lab 09 data selection

import%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22..%2F..%2F..%2Fwheels%2Fmlsysim-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%22mlsysim%22%20not%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20_root%20%3D%20Path(__file__).resolve().parents%5B2%5D%0A%20%20%20%20%20%20%20%20if%20str(_root)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_root))%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20import%20mlsysim%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Hardware%20constants%20from%20registry%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20A100_TFLOPS%20%3D%20mlsysim.Hardware.Cloud.A100.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20A100_BW%20%20%20%20%20%3D%20mlsysim.Hardware.Cloud.A100.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20A100_RAM%20%20%20%20%3D%20mlsysim.Hardware.Cloud.A100.memory.capacity.m_as(%22GB%22)%0A%0A%20%20%20%20JETSON_TFLOPS%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20JETSON_BW%20%20%20%20%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20JETSON_RAM%20%20%20%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX.memory.capacity.m_as(%22GB%22)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Model%20constants%20from%20registry%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20RESNET50_PARAMS%20%3D%20mlsysim.Models.ResNet50.parameters.m_as(%22count%22)%0A%20%20%20%20RESNET50_FLOPS%20%20%3D%20mlsysim.Models.ResNet50.inference_flops.m_as(%22flop%22)%0A%20%20%20%20MOBILENET_PARAMS%20%3D%20mlsysim.Models.MobileNetV2.parameters.m_as(%22count%22)%0A%20%20%20%20MOBILENET_FLOPS%20%20%3D%20mlsysim.Models.MobileNetV2.inference_flops.m_as(%22flop%22)%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20A100_BW%2C%0A%20%20%20%20%20%20%20%20A100_TFLOPS%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20JETSON_BW%2C%0A%20%20%20%20%20%20%20%20JETSON_TFLOPS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20MOBILENET_FLOPS%2C%0A%20%20%20%20%20%20%20%20RESNET50_FLOPS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20math%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20mo.Html(%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%230f172a%200%25%2C%20%231e293b%2060%25%2C%20%230c1a2e%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2036px%2044px%3B%20border-radius%3A%2016px%3B%20color%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2032px%20rgba(0%2C0%2C0%2C0.35)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20letter-spacing%3A%200.18em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23475569%3B%20text-transform%3A%20uppercase%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Machine%20Learning%20Systems%20%26middot%3B%20Volume%20I%20%26middot%3B%20Lab%2009%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch1%20style%3D%22margin%3A%200%200%2010px%200%3B%20font-size%3A%202.4rem%3B%20font-weight%3A%20900%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23f8fafc%3B%20line-height%3A%201.1%3B%20letter-spacing%3A%20-0.02em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Data%20Selection%20Paradox%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%206px%200%3B%20font-size%3A%201.15rem%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%2394a3b8%3B%20letter-spacing%3A%200.04em%3B%20font-family%3A%20'SF%20Mono'%2C%20monospace%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Coresets%20%26middot%3B%20Selection%20Cost%20%26middot%3B%20Preprocessing%20Tax%20%26middot%3B%20Scaling%20Laws%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%2022px%200%3B%20font-size%3A%201.0rem%3B%20color%3A%20%2364748b%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max-width%3A%20680px%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Less%20data%20trains%20faster%20%26mdash%3B%20until%20the%20cost%20of%20choosing%20that%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20exceeds%20the%20savings%2C%20and%20meanwhile%20your%20GPU%20starves%20waiting%20for%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20CPU%20to%20finish%20preprocessing.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2012px%3B%20flex-wrap%3A%20wrap%3B%20margin-bottom%3A%2020px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(99%2C102%2C241%2C0.18)%3B%20color%3A%20%23a5b4fc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(99%2C102%2C241%2C0.3)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%204%20Parts%20%26middot%3B%20~52%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(203%2C32%2C45%2C0.15)%3B%20color%3A%20%23fca5a5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(203%2C32%2C45%2C0.25)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Chapter%209%3A%20Data%20Selection%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2010px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EICR%20Frontier%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3ESelection%20Inequality%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-fail%22%3EPreprocessing%20Tax%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3EQuantify%20the%20ICR%20frontier%3C%2Fstrong%3E%20%26mdash%3B%20determine%20that%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2050%25%20of%20a%20large%20dataset%20can%20be%20discarded%20while%20retaining%2099%25%20of%20accuracy%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20because%20the%20informativeness%20distribution%20follows%20a%20power%20law.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3EEvaluate%20the%20Selection%20Inequality%3C%2Fstrong%3E%20%26mdash%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20T%3Csub%3Eselection%3C%2Fsub%3E%20%2B%20T%3Csub%3Etrain%3C%2Fsub%3E(subset)%20%26lt%3B%20T%3Csub%3Etrain%3C%2Fsub%3E(full)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20breaks%20on%20edge%20hardware%20when%20scoring%20cost%20exceeds%20training%20savings.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3EDiagnose%20the%20preprocessing%20bottleneck%3C%2Fstrong%3E%20%26mdash%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20identify%20when%20CPU%20augmentation%20starves%20the%20GPU%2C%20reducing%20utilization%20below%2030%25.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Data%20engineering%20pipeline%20from%20%40sec-data-engineering%20%26middot%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Training%20fundamentals%20from%20%40sec-model-training%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E~52%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%3A%20~12%20min%20%26middot%3B%20B%3A%20~12%20min%20%26middot%3B%20C%3A%20~12%20min%20%26middot%3B%20D%3A%20~10%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%2012px%20-28px%200%20-28px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2016px%2028px%200%2028px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BIf%20half%20your%20training%20data%20contributes%20almost%20nothing%2C%20why%20does%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20throwing%20it%20away%20not%20always%20make%20training%20faster%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20--%20Complete%20the%20following%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20**Chapter%209%3A%20Data%20Selection**%20--%20ICR%20curve%2C%20coreset%20selection%20methods%2C%20and%20the%0A%20%20%20%20%20%20Selection%20Inequality%20T_selection%20%2B%20T_train(subset)%20%3C%20T_train(full).%0A%20%20%20%20-%20**Chapter%204%3A%20Data%20Engineering**%20--%20data%20pipeline%20stages%2C%20CPU%20preprocessing%2C%0A%20%20%20%20%20%20and%20data%20loading%20bottlenecks.%0A%20%20%20%20-%20**Chapter%208%3A%20Training**%20--%20training%20loop%20fundamentals%20and%20batch%20processing.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Part%20A%20widgets%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20partA_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%2010%25%20(keep%20900K)%20--%20every%20image%20matters%22%3A%20%2210%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%2030%25%20(keep%20700K)%20--%20some%20redundancy%22%3A%20%2230%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%2050%25%20(keep%20500K)%20--%20massive%20redundancy%22%3A%20%2250%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%2080%25%20(keep%20200K)%20--%20extreme%20redundancy%22%3A%20%2280%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22You%20have%20a%201M-image%20dataset.%20You%20want%2099%25%20of%20full-dataset%20accuracy.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22What%20fraction%20of%20the%20data%20can%20you%20discard%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(partA_pred%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partA_pred)%3A%0A%20%20%20%20mo.stop(partA_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partA_frac%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D5%2C%20stop%3D100%2C%20value%3D100%2C%20step%3D5%2C%0A%20%20%20%20%20%20%20%20label%3D%22Dataset%20fraction%20(%25)%22%2C%0A%20%20%20%20)%0A%20%20%20%20partA_redundancy%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Low%20redundancy%22%3A%20%22low%22%2C%20%22Medium%20redundancy%22%3A%20%22med%22%2C%20%22High%20redundancy%22%3A%20%22high%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Medium%20redundancy%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Dataset%20redundancy%20level%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Part%20B%20widgets%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20partB_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Yes%2C%20you%20save%201.0%20hours%20(8.0%20-%202.8%20-%204.2)%22%3A%20%22yes_large%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Yes%2C%20but%20barely%20--%20only%2012.5%25%20time%20reduction%22%3A%20%22yes_barely%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20No%2C%20you%20lose%20time%20(scoring%20%2B%20subset%20%3E%20full)%22%3A%20%22no_loss%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20It%20depends%20on%20the%20proxy%20model%20cost%22%3A%20%22depends%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22ResNet-50%20scores%201M%20images%20on%20A100%20(2.8%20hrs).%20Full%20training%3A%208.0%20hrs.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Coreset%20(50%25)%20training%3A%204.2%20hrs.%20Is%20selection%20worth%20it%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partA_frac%2C%20partA_redundancy%2C%20partB_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partB_pred)%3A%0A%20%20%20%20mo.stop(partB_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partB_coreset%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D10%2C%20stop%3D90%2C%20value%3D50%2C%20step%3D5%2C%0A%20%20%20%20%20%20%20%20label%3D%22Coreset%20fraction%20(%25)%22%2C%0A%20%20%20%20)%0A%20%20%20%20partB_scorer%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Full%20ResNet-50%22%3A%20%22resnet%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Proxy%20MobileNetV2%22%3A%20%22mobilenet%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Cached%20embeddings%22%3A%20%22cached%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Full%20ResNet-50%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Scoring%20model%22%2C%0A%20%20%20%20)%0A%20%20%20%20partB_hw%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Cloud%20(A100)%22%3A%20%22cloud%22%2C%20%22Edge%20(Jetson%20Orin%20NX)%22%3A%20%22edge%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Cloud%20(A100)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Deployment%20context%3A%22%2C%0A%20%20%20%20%20%20%20%20inline%3DTrue%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Part%20C%20widgets%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20partC_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~80%25%20(GPU%20dominates%2C%20preprocessing%20is%20fast)%22%3A%20%2280%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~50%25%20(roughly%20balanced)%22%3A%20%2250%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~25%25%20(GPU%20waits%20for%20CPU%20most%20of%20the%20time)%22%3A%20%2225%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~10%25%20(GPU%20is%20almost%20entirely%20idle)%22%3A%20%2210%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22RandAugment%20(5%20transforms)%20%2B%20resize%20%2B%20normalize%20on%208%20CPU%20workers%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22feeding%20an%20A100%20GPU.%20GPU%20forward-backward%3A%2012%20ms%2Fbatch.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22What%20fraction%20of%20step%20time%20is%20GPU%20compute%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partB_coreset%2C%20partB_hw%2C%20partB_scorer%2C%20partC_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partC_pred)%3A%0A%20%20%20%20mo.stop(partC_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partC_workers%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D16%2C%20value%3D8%2C%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22CPU%20workers%22%2C%0A%20%20%20%20)%0A%20%20%20%20partC_augment%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22None%20(load%20only)%22%3A%20%22none%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Basic%20(flip%20%2B%20crop)%22%3A%20%22basic%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22RandAugment-5%22%3A%20%22ra5%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22RandAugment-10%20%2B%20MixUp%22%3A%20%22ra10%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22RandAugment-5%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Augmentation%20complexity%22%2C%0A%20%20%20%20)%0A%20%20%20%20partC_model%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22MobileNetV2%22%3A%20%22mobilenet%22%2C%20%22ResNet-50%22%3A%20%22resnet%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22ResNet-50%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Training%20model%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Part%20D%20widgets%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20partD_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%2010B%20params%20on%20200B%20tokens%22%3A%20%2210b_200b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%203B%20params%20on%20660B%20tokens%22%3A%20%223b_660b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%2030B%20params%20on%2066B%20tokens%22%3A%20%2230b_66b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20All%20achieve%20roughly%20the%20same%20loss%22%3A%20%22same%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Fixed%20budget%3A%2010%5E21%20FLOPs.%20Which%20achieves%20lower%20loss%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partC_augment%2C%20partC_model%2C%20partC_workers%2C%20partD_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20A100_BW%2C%0A%20%20%20%20A100_TFLOPS%2C%0A%20%20%20%20COLORS%2C%0A%20%20%20%20JETSON_BW%2C%0A%20%20%20%20JETSON_TFLOPS%2C%0A%20%20%20%20MOBILENET_FLOPS%2C%0A%20%20%20%20RESNET50_FLOPS%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20go%2C%0A%20%20%20%20math%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20partA_frac%2C%0A%20%20%20%20partA_pred%2C%0A%20%20%20%20partA_redundancy%2C%0A%20%20%20%20partB_coreset%2C%0A%20%20%20%20partB_hw%2C%0A%20%20%20%20partB_pred%2C%0A%20%20%20%20partB_scorer%2C%0A%20%20%20%20partC_augment%2C%0A%20%20%20%20partC_model%2C%0A%20%20%20%20partC_pred%2C%0A%20%20%20%20partC_workers%2C%0A%20%20%20%20partD_pred%2C%0A)%3A%0A%20%20%20%20mo.stop(partD_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partD_params_b%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.5%2C%20stop%3D50%2C%20value%3D10%2C%20step%3D0.5%2C%0A%20%20%20%20%20%20%20%20label%3D%22Model%20size%20(B%20parameters)%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20A%3A%20ICR%20Frontier%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'BlueL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20ML%20Lead%2C%20WildWatch%20Conservation%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20have%202%20million%20trail%20camera%20images.%20Training%20on%20the%20full%20dataset%20takes%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2014%20hours%20on%20our%20A100%20node.%20Our%20wildlife%20biologists%20say%20many%20images%20are%20near-duplicates%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(same%20empty%20trail%2C%20different%20timestamp).%20Can%20we%20train%20on%20less%20data%20without%20losing%20accuracy%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20ICR%20Frontier%3A%20Diminishing%20Returns%0A%0A%20%20%20%20%20%20%20%20The%20**Information-Compute%20Ratio%20(ICR)**%20measures%20how%20much%20each%20additional%0A%20%20%20%20%20%20%20%20training%20sample%20contributes%20to%20model%20improvement.%20In%20natural%20image%20datasets%2C%0A%20%20%20%20%20%20%20%20sample%20informativeness%20follows%20a%20**power%20law**%3A%20a%20small%20fraction%20of%20samples%0A%20%20%20%20%20%20%20%20contribute%20most%20of%20the%20learning%20signal%2C%20while%20the%20long%20tail%20adds%20near-zero%0A%20%20%20%20%20%20%20%20gradient%20information.%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20ICR(fraction)%20%3D%201%20%2F%20(O%20x%20D)%20%20%20%20where%20O%20%3D%20overlap%2C%20D%20%3D%20dataset%20fraction%0A%20%20%20%20%20%20%20%20Accuracy(f)%20%3D%20Acc_max%20*%20(1%20-%20alpha%20*%20exp(-beta%20*%20f))%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20The%20ICR%20curve%20flattens%20dramatically%20past%20the%20**knee%20point**%3A%20the%20dataset%0A%20%20%20%20%20%20%20%20fraction%20where%20marginal%20accuracy%20gains%20approach%20zero.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partA_pred)%0A%0A%20%20%20%20%20%20%20%20if%20partA_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20ICR%20explorer.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartA_frac%2C%20partA_redundancy%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20%23%20ICR%20curve%20physics%0A%20%20%20%20%20%20%20%20_redundancy_params%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22low%22%3A%20(0.98%2C%200.02%2C%208.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22med%22%3A%20(0.98%2C%200.02%2C%204.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22high%22%3A%20(0.98%2C%200.02%2C%202.5)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_red%20%3D%20partA_redundancy.value%0A%20%20%20%20%20%20%20%20_max_acc%2C%20_alpha%2C%20_beta%20%3D%20_redundancy_params%5B_red%5D%0A%0A%20%20%20%20%20%20%20%20_fracs%20%3D%20np.linspace(0.05%2C%201.0%2C%2050)%0A%20%20%20%20%20%20%20%20_accs%20%3D%20%5B_max_acc%20*%20(1.0%20-%20_alpha%20*%20math.exp(-_beta%20*%20f))%20for%20f%20in%20_fracs%5D%0A%20%20%20%20%20%20%20%20_threshold%20%3D%20_max_acc%20*%200.99%0A%0A%20%20%20%20%20%20%20%20_knee_frac%20%3D%201.0%0A%20%20%20%20%20%20%20%20for%20_f%2C%20_a%20in%20zip(_fracs%2C%20_accs)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_a%20%3E%3D%20_threshold%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_knee_frac%20%3D%20_f%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%0A%0A%20%20%20%20%20%20%20%20_cur_frac%20%3D%20partA_frac.value%20%2F%20100.0%0A%20%20%20%20%20%20%20%20_cur_acc%20%3D%20_max_acc%20*%20(1.0%20-%20_alpha%20*%20math.exp(-_beta%20*%20_cur_frac))%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Bf%20*%20100%20for%20f%20in%20_fracs%5D%2C%20y%3D%5Ba%20*%20100%20for%20a%20in%20_accs%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D3)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Accuracy%20vs%20Dataset%20Fraction%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D_threshold%20*%20100%2C%20line_dash%3D%22dash%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line_color%3DCOLORS%5B%22GreenLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%2299%25%20of%20max%20accuracy%22)%0A%20%20%20%20%20%20%20%20_fig.add_vline(x%3D_knee_frac%20*%20100%2C%20line_dash%3D%22dot%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line_color%3DCOLORS%5B%22OrangeLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22Knee%3A%20%7B_knee_frac*100%3A.0f%7D%25%22)%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_cur_frac%20*%20100%5D%2C%20y%3D%5B_cur_acc%20*%20100%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%20marker%3Ddict(size%3D14%2C%20color%3DCOLORS%5B%22RedLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20symbol%3D%22diamond%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Current%3A%20%7B_cur_frac*100%3A.0f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D360%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Dataset%20Fraction%20(%25)%22%2C%20range%3D%5B0%2C%20105%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Accuracy%20(%25)%22%2C%20range%3D%5B90%2C%20100%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_full_train_hrs%20%3D%208.0%0A%20%20%20%20%20%20%20%20_subset_train_hrs%20%3D%20_full_train_hrs%20*%20_cur_frac%0A%20%20%20%20%20%20%20%20_time_saved%20%3D%20_full_train_hrs%20-%20_subset_train_hrs%0A%20%20%20%20%20%20%20%20_acc_pct%20%3D%20_cur_acc%20*%20100%0A%20%20%20%20%20%20%20%20_max_pct%20%3D%20_max_acc%20*%20100%0A%0A%20%20%20%20%20%20%20%20_knee_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_cur_frac%20%3C%3D%20_knee_frac%20*%201.1%20else%20COLORS%5B%22OrangeLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EDataset%20Fraction%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_cur_frac*100%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7Bint(_cur_frac*1e6)%3A%2C%7D%20of%201M%20images%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7B_knee_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EAccuracy%20Retained%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_knee_color%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_acc_pct%2F_max_pct*100%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_acc_pct%3A.1f%7D%25%20of%20%7B_max_pct%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ETraining%20Time%20Saved%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_time_saved%3A.1f%7D%20hrs%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_subset_train_hrs%3A.1f%7D%20vs%20%7B_full_train_hrs%3A.1f%7D%20hrs%20on%20A100%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**ICR%20Curve%20--%20Live%20Calculation**%20(%60redundancy%20%3D%20%7B_red%7D%60)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Accuracy(f)%20%3D%20%7B_max_acc%7D%20x%20(1%20-%20%7B_alpha%7D%20x%20exp(-%7B_beta%7D%20x%20f))%0A%20%20%20%20At%20f%20%3D%20%7B_cur_frac%3A.2f%7D%3A%20Accuracy%20%3D%20%7B_acc_pct%3A.2f%7D%25%0A%20%20%20%20Knee%20point%3A%20%20f%20%3D%20%7B_knee_frac%3A.2f%7D%20(%7B_knee_frac*100%3A.0f%7D%25%20of%20data%20retains%2099%25%20accuracy)%0A%20%20%20%20Time%20saved%3A%20%20%7B_full_train_hrs%3A.1f%7D%20-%20%7B_subset_train_hrs%3A.1f%7D%20%3D%20%7B_time_saved%3A.1f%7D%20hours%20on%20A100%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20Chapter%209%2C%20ICR%20decay%20curve%20and%20coreset%20selection*%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred_val%20%3D%20partA_pred.value%0A%20%20%20%20%20%20%20%20if%20_pred_val%20%3D%3D%20%2250%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_rev%20%3D%20(%22**Correct.**%20The%20ICR%20curve%20shows%20that%2050%25%20of%20a%20typical%20image%20dataset%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22contributes%20near-zero%20learning%20signal.%20The%20knee%20is%20at%20~%7B_knee_frac*100%3A.0f%7D%25%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22meaning%20you%20can%20discard%20half%20the%20data%20and%20retain%2099%25%2B%20accuracy.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Redundancy%20in%20natural%20image%20datasets%20follows%20a%20power%20law.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20elif%20_pred_val%20%3D%3D%20%2280%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_rev%20%3D%20(%22**Too%20aggressive.**%20Discarding%2080%25%20pushes%20past%20the%20knee%20into%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22steep%20part%20of%20the%20ICR%20curve.%20Accuracy%20drops%20below%20the%2099%25%20threshold.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20actual%20knee%20is%20at%20~%7B_knee_frac*100%3A.0f%7D%25.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_rev%20%3D%20(f%22**Too%20conservative.**%20You%20predicted%20only%20%7B_pred_val%7D%25%20could%20be%20discarded.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20ICR%20curve%20knee%20is%20at%20~%7B_knee_frac*100%3A.0f%7D%25%20--%20most%20datasets%20have%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22massive%20redundancy%2C%20especially%20natural%20image%20datasets%20with%20near-duplicates.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_rev)%2C%20kind%3D_kind))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20B%3A%20Selection%20Inequality%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'OrangeL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Systems%20Architect%2C%20WildWatch%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BYou%20proved%20we%20can%20discard%20half%20the%20data.%20The%20obvious%20move%3A%20score%20every%20image%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20by%20informativeness%20and%20keep%20the%20top%2050%25.%20But%20my%20GPU%20time%20is%20not%20free.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Is%20the%20scoring%20investment%20worth%20the%20training%20savings%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Selection%20Inequality%0A%0A%20%20%20%20%20%20%20%20For%20coreset%20selection%20to%20be%20systems-efficient%2C%20this%20inequality%20**must**%20hold%3A%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20T_selection%20%2B%20T_train(subset)%20%20%3C%20%20T_train(full)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20If%20scoring%201M%20images%20costs%202.8%20hours%20and%20training%20on%2050%25%20costs%204.2%20hours%2C%0A%20%20%20%20%20%20%20%20the%20total%20is%207.0%20hours%20vs.%208.0%20hours%20for%20full%20training.%20The%20margin%20is%20thin.%0A%20%20%20%20%20%20%20%20On%20edge%20hardware%20where%20scoring%20is%2010x%20slower%2C%20the%20inequality%20**breaks**.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partB_pred)%0A%0A%20%20%20%20%20%20%20%20if%20partB_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20Selection%20Inequality%20analyzer.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartB_coreset%2C%20partB_scorer%5D%2C%20justify%3D%22start%22))%0A%20%20%20%20%20%20%20%20items.append(partB_hw)%0A%0A%20%20%20%20%20%20%20%20_frac%20%3D%20partB_coreset.value%20%2F%20100.0%0A%20%20%20%20%20%20%20%20_scorer%20%3D%20partB_scorer.value%0A%20%20%20%20%20%20%20%20_hw%20%3D%20partB_hw.value%0A%20%20%20%20%20%20%20%20_n_images%20%3D%201_000_000%0A%0A%20%20%20%20%20%20%20%20if%20_hw%20%3D%3D%20%22cloud%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_tflops%2C%20_bw%20%3D%20A100_TFLOPS%2C%20A100_BW%0A%20%20%20%20%20%20%20%20%20%20%20%20_hw_label%20%3D%20%22A100%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_tflops%2C%20_bw%20%3D%20JETSON_TFLOPS%2C%20JETSON_BW%0A%20%20%20%20%20%20%20%20%20%20%20%20_hw_label%20%3D%20%22Jetson%20Orin%20NX%22%0A%0A%20%20%20%20%20%20%20%20_eta%20%3D%200.5%0A%20%20%20%20%20%20%20%20if%20_scorer%20%3D%3D%20%22resnet%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_score_flops%20%3D%20RESNET50_FLOPS%0A%20%20%20%20%20%20%20%20%20%20%20%20_scorer_label%20%3D%20%22ResNet-50%22%0A%20%20%20%20%20%20%20%20elif%20_scorer%20%3D%3D%20%22mobilenet%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_score_flops%20%3D%20MOBILENET_FLOPS%0A%20%20%20%20%20%20%20%20%20%20%20%20_scorer_label%20%3D%20%22MobileNetV2%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_score_flops%20%3D%20MOBILENET_FLOPS%20*%200.1%0A%20%20%20%20%20%20%20%20%20%20%20%20_scorer_label%20%3D%20%22Cached%20embeddings%22%0A%0A%20%20%20%20%20%20%20%20_t_score_s%20%3D%20_n_images%20*%20_score_flops%20%2F%20(_tflops%20*%201e12%20*%20_eta)%0A%20%20%20%20%20%20%20%20_t_score_hrs%20%3D%20_t_score_s%20%2F%203600.0%0A%0A%20%20%20%20%20%20%20%20_full_train_hrs%20%3D%208.0%20if%20_hw%20%3D%3D%20%22cloud%22%20else%2080.0%0A%20%20%20%20%20%20%20%20_subset_train_hrs%20%3D%20_full_train_hrs%20*%20_frac%0A%20%20%20%20%20%20%20%20_total_selection%20%3D%20_t_score_hrs%20%2B%20_subset_train_hrs%0A%20%20%20%20%20%20%20%20_savings%20%3D%20_full_train_hrs%20-%20_total_selection%0A%20%20%20%20%20%20%20%20_inequality_holds%20%3D%20_total_selection%20%3C%20_full_train_hrs%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Scoring%20Cost%22%2C%20x%3D%5B%22Selection%20Pipeline%22%5D%2C%20y%3D%5B_t_score_hrs%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20opacity%3D0.88%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Subset%20Training%22%2C%20x%3D%5B%22Selection%20Pipeline%22%5D%2C%20y%3D%5B_subset_train_hrs%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22BlueLine%22%5D%2C%20opacity%3D0.88%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Full%20Training%22%2C%20x%3D%5B%22Full%20Pipeline%22%5D%2C%20y%3D%5B_full_train_hrs%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22GreenLine%22%5D%20if%20not%20_inequality_holds%20else%20COLORS%5B%22Grey%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D0.88%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20barmode%3D%22stack%22%2C%20height%3D340%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Time%20(hours)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20if%20not%20_inequality_holds%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**SELECTION%20INEQUALITY%20VIOLATED.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Scoring%20(%7B_t_score_hrs%3A.1f%7D%20hrs)%20%2B%20subset%20training%20(%7B_subset_train_hrs%3A.1f%7D%20hrs)%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%3D%20%7B_total_selection%3A.1f%7D%20hrs%20%3E%20full%20training%20(%7B_full_train_hrs%3A.1f%7D%20hrs).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20scoring%20cost%20exceeds%20the%20training%20savings.%20Just%20train%20on%20everything.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22danger%22))%0A%0A%20%20%20%20%20%20%20%20_sav_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_inequality_holds%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EScoring%20Time%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_t_score_hrs%3A.1f%7D%20hrs%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_scorer_label%7D%20on%20%7B_hw_label%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ESubset%20Training%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_subset_train_hrs%3A.1f%7D%20hrs%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_frac*100%3A.0f%7D%25%20of%20full%20dataset%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7B_sav_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ENet%20Savings%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_sav_color%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_savings%3A%2B.1f%7D%20hrs%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Inequality%20holds%22%20if%20_inequality_holds%20else%20%22VIOLATED%22%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Selection%20Inequality%20--%20Live%20Calculation**%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20T_score%20%20%20%20%20%20%20%3D%20%7B_n_images%3A%2C%7D%20images%20x%20%7B_score_flops%3A.2e%7D%20FLOPs%20%2F%20(%7B_tflops%3A.1f%7D%20TFLOPS%20x%20%7B_eta%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%20%7B_t_score_hrs%3A.2f%7D%20hours%20(%7B_scorer_label%7D%20on%20%7B_hw_label%7D)%0A%20%20%20%20T_train(sub)%20%20%3D%20%7B_full_train_hrs%3A.1f%7D%20hrs%20x%20%7B_frac%3A.2f%7D%20%3D%20%7B_subset_train_hrs%3A.1f%7D%20hrs%0A%20%20%20%20T_train(full)%20%3D%20%7B_full_train_hrs%3A.1f%7D%20hrs%0A%20%20%20%20Pipeline%3A%20%20%20%20%20%7B_t_score_hrs%3A.1f%7D%20%2B%20%7B_subset_train_hrs%3A.1f%7D%20%3D%20%7B_total_selection%3A.1f%7D%20hrs%0A%20%20%20%20Savings%3A%20%20%20%20%20%20%7B_savings%3A%2B.1f%7D%20hrs%20%20%7B%22(HOLDS)%22%20if%20_inequality_holds%20else%20%22(VIOLATED)%22%7D%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20Chapter%209%2C%20Selection%20Inequality*%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20partB_pred.value%20%3D%3D%20%22yes_barely%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_rev%20%3D%20(%22**Correct.**%20On%20Cloud%20A100%20with%20ResNet-50%20scoring%2C%20the%20margin%20is%20thin%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22only%20~1.0%20hours%20saved%20(12.5%25%20reduction).%20The%20scoring%20cost%20consumes%20most%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22of%20the%20benefit.%20Switch%20to%20Edge%20to%20see%20the%20inequality%20break%20entirely.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_rev%20%3D%20(%22**The%20margin%20is%20thinner%20than%20most%20expect.**%20On%20Cloud%20A100%20the%20savings%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22are%20only%20~12.5%25.%20On%20Edge%20hardware%2C%20the%20inequality%20breaks%20entirely%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22because%20scoring%20is%2010x%20slower.%20Try%20switching%20the%20deployment%20context.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_rev)%2C%20kind%3D_kind))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20C%3A%20Preprocessing%20Tax%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'RedL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Infrastructure%20Engineer%2C%20WildWatch%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20added%20aggressive%20data%20augmentation%20to%20prevent%20overfitting%20on%20the%20coreset.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20RandAugment%20with%205%20transforms%20per%20image.%20Training%20is%20now%20slower%20than%20before%20we%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selected%20data.%20GPU%20utilization%20shows%2027%25.%20What%20is%20going%20on%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Preprocessing%20Tax%0A%0A%20%20%20%20%20%20%20%20CPU-side%20data%20augmentation%20and%20preprocessing%20is%20often%20the%20**true%20training%0A%20%20%20%20%20%20%20%20bottleneck**%2C%20not%20GPU%20compute.%20A%20pipeline%20that%20applies%20RandAugment%20on%20CPU%0A%20%20%20%20%20%20%20%20can%20starve%20an%20A100%20that%20finishes%20its%20forward-backward%20pass%20in%2012%20ms%20while%0A%20%20%20%20%20%20%20%20preprocessing%20takes%2045%2B%20ms%20per%20batch.%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20GPU%20utilization%20%3D%20T_gpu%20%2F%20max(T_gpu%2C%20T_preprocess)%0A%20%20%20%20%20%20%20%20T_preprocess%20%20%20%20%3D%20N_transforms%20x%20T_per_transform%20%2F%20N_workers%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20Per-transform%20costs%3A%20resize%20(2%20ms)%2C%20flip%20(0.5%20ms)%2C%20RandAugment%20transform%20(8%20ms%20each).%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partC_pred)%0A%0A%20%20%20%20%20%20%20%20if%20partC_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20pipeline%20analyzer.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartC_workers%2C%20partC_augment%2C%20partC_model%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_n_workers%20%3D%20partC_workers.value%0A%20%20%20%20%20%20%20%20_aug%20%3D%20partC_augment.value%0A%20%20%20%20%20%20%20%20_model%20%3D%20partC_model.value%0A%0A%20%20%20%20%20%20%20%20_augment_costs%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22none%22%3A%203.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22basic%22%3A%206.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ra5%22%3A%2045.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ra10%22%3A%2095.0%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_aug_labels%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22none%22%3A%20%22None%22%2C%20%22basic%22%3A%20%22Basic%22%2C%20%22ra5%22%3A%20%22RandAugment-5%22%2C%20%22ra10%22%3A%20%22RandAug-10%2BMixUp%22%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_t_preprocess_per_worker%20%3D%20_augment_costs%5B_aug%5D%0A%20%20%20%20%20%20%20%20_t_preprocess%20%3D%20_t_preprocess_per_worker%20%2F%20_n_workers%0A%0A%20%20%20%20%20%20%20%20if%20_model%20%3D%3D%20%22resnet%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_t_gpu%20%3D%2012.0%0A%20%20%20%20%20%20%20%20%20%20%20%20_model_label%20%3D%20%22ResNet-50%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_t_gpu%20%3D%204.0%0A%20%20%20%20%20%20%20%20%20%20%20%20_model_label%20%3D%20%22MobileNetV2%22%0A%0A%20%20%20%20%20%20%20%20_t_step%20%3D%20max(_t_gpu%2C%20_t_preprocess)%0A%20%20%20%20%20%20%20%20_gpu_util%20%3D%20_t_gpu%20%2F%20_t_step%20if%20_t_step%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20_gpu_idle%20%3D%20max(0%2C%20_t_preprocess%20-%20_t_gpu)%0A%20%20%20%20%20%20%20%20_gpu_util_pct%20%3D%20_gpu_util%20*%20100%0A%0A%20%20%20%20%20%20%20%20%23%20Gantt-style%20timeline%0A%20%20%20%20%20%20%20%20_n_steps%20%3D%206%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20for%20_i%20in%20range(_n_steps)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_start_cpu%20%3D%20_i%20*%20_t_step%0A%20%20%20%20%20%20%20%20%20%20%20%20_start_gpu%20%3D%20_start_cpu%20%2B%20max(0%2C%20_t_preprocess%20-%20_t_gpu)%20if%20_t_preprocess%20%3E%20_t_gpu%20else%20_start_cpu%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_t_preprocess%5D%2C%20y%3D%5Bf%22Step%20%7B_i%2B1%7D%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20base%3D_start_cpu%2C%20orientation%3D%22h%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20opacity%3D0.7%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22CPU%20Preprocess%22%20if%20_i%20%3D%3D%200%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3D(_i%20%3D%3D%200)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20_gpu_base%20%3D%20_start_cpu%20%2B%20_t_preprocess%20if%20_t_preprocess%20%3E%20_t_gpu%20else%20_start_cpu%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_t_gpu%5D%2C%20y%3D%5Bf%22Step%20%7B_i%2B1%7D%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20base%3D_gpu_base%2C%20orientation%3D%22h%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22BlueLine%22%5D%2C%20opacity%3D0.7%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22GPU%20Compute%22%20if%20_i%20%3D%3D%200%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3D(_i%20%3D%3D%200)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20barmode%3D%22overlay%22%2C%20height%3D280%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Time%20(ms)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(autorange%3D%22reversed%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_util_color%20%3D%20(COLORS%5B%22GreenLine%22%5D%20if%20_gpu_util_pct%20%3E%2070%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_gpu_util_pct%20%3E%2040%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20COLORS%5B%22RedLine%22%5D)%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7B_util_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EGPU%20Utilization%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_util_color%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_gpu_util_pct%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_t_gpu%3A.1f%7D%20ms%20compute%20%2F%20%7B_t_step%3A.1f%7D%20ms%20step%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ECPU%20Preprocess%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_t_preprocess%3A.1f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_aug_labels%5B_aug%5D%7D%20%2F%20%7B_n_workers%7D%20workers%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EGPU%20Idle%20Time%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_gpu_idle%3A.1f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3Eper%20step%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Pipeline%20--%20Live%20Calculation**%20(%60%7B_aug_labels%5B_aug%5D%7D%2C%20%7B_n_workers%7D%20workers%2C%20%7B_model_label%7D%60)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20T_preprocess%20%3D%20%7B_t_preprocess_per_worker%3A.1f%7D%20ms%20%2F%20%7B_n_workers%7D%20workers%20%3D%20%7B_t_preprocess%3A.1f%7D%20ms%0A%20%20%20%20T_gpu%20%20%20%20%20%20%20%20%3D%20%7B_t_gpu%3A.1f%7D%20ms%20(forward%20%2B%20backward%20on%20A100)%0A%20%20%20%20T_step%20%20%20%20%20%20%20%3D%20max(%7B_t_preprocess%3A.1f%7D%2C%20%7B_t_gpu%3A.1f%7D)%20%3D%20%7B_t_step%3A.1f%7D%20ms%0A%20%20%20%20GPU%20util%20%20%20%20%20%3D%20%7B_t_gpu%3A.1f%7D%20%2F%20%7B_t_step%3A.1f%7D%20%3D%20%7B_gpu_util_pct%3A.1f%7D%25%0A%20%20%20%20GPU%20idle%20%20%20%20%20%3D%20max(0%2C%20%7B_t_preprocess%3A.1f%7D%20-%20%7B_t_gpu%3A.1f%7D)%20%3D%20%7B_gpu_idle%3A.1f%7D%20ms%20per%20step%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20Chapter%209%2C%20preprocessing%20pipeline%20costs%3B%20Chapter%204%2C%20data%20loading*%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20partC_pred.value%20%3D%3D%20%2225%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_rev%20%3D%20(%22**Correct.**%20With%20RandAugment-5%20and%208%20workers%2C%20preprocessing%20takes%20~5.6%20ms%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22while%20GPU%20compute%20is%2012%20ms%20--%20in%20this%20configuration%20the%20GPU%20is%20actually%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22bottleneck.%20However%2C%20increase%20augmentation%20to%20RA-10%2BMixUp%20or%20reduce%20workers%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22to%202-3%20and%20watch%20GPU%20utilization%20plummet%20below%2030%25.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_rev%20%3D%20(%22**Explore%20the%20controls.**%20With%20aggressive%20augmentation%20and%20few%20workers%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22GPU%20utilization%20drops%20below%2030%25.%20The%20expensive%20A100%20sits%20idle%20waiting%20for%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20cheap%20CPUs.%20This%20is%20the%20preprocessing%20tax.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_rev)%2C%20kind%3D_kind))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20D%3A%20Chinchilla%20Scaling%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%236366f1%3B%20background%3A%23f0f4ff%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%236366f1%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20CTO%2C%20LanguageAI%20Corp%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20have%20a%20fixed%20compute%20budget%20of%2010%3Csup%3E21%3C%2Fsup%3E%20FLOPs%20for%20our%20next%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20training%20run.%20Our%20team%20is%20split%3A%20half%20want%20a%2010B%20model%20on%20200B%20tokens%2C%20the%20other%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20half%20want%20a%203B%20model%20on%20660B%20tokens.%20Which%20configuration%20wins%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Compute-Optimal%20Frontier%0A%0A%20%20%20%20%20%20%20%20The%20**Chinchilla%20scaling%20law**%20determines%20whether%20a%20training%20run%20is%0A%20%20%20%20%20%20%20%20**data-starved**%20(more%20data%20would%20help)%20or%20**compute-starved**%20(bigger%20model%0A%20%20%20%20%20%20%20%20would%20help).%20The%20optimal%20ratio%20requires%20~20x%20more%20data%20tokens%20than%20parameters.%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20L(N%2C%20D)%20%3D%20A%20%2F%20N%5Ealpha%20%2B%20B%20%2F%20D%5Ebeta%20%2B%20E%0A%20%20%20%20%20%20%20%20Chinchilla%20optimal%3A%20D_opt%20~%2020%20x%20N%0A%20%20%20%20%20%20%20%20Compute%3A%20C%20~%206%20x%20N%20x%20D%20%20(FLOPs)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20Most%20teams%20over-allocate%20to%20model%20size%20and%20under-allocate%20to%20data.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partD_pred)%0A%0A%20%20%20%20%20%20%20%20if%20partD_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20scaling%20frontier.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(partD_params_b)%0A%0A%20%20%20%20%20%20%20%20_N%20%3D%20partD_params_b.value%0A%20%20%20%20%20%20%20%20_budget%20%3D%201e21%0A%20%20%20%20%20%20%20%20_D_tokens%20%3D%20_budget%20%2F%20(6%20*%20_N%20*%201e9)%0A%20%20%20%20%20%20%20%20_D_B%20%3D%20_D_tokens%20%2F%201e9%0A%0A%20%20%20%20%20%20%20%20_N_opt%20%3D%20math.sqrt(_budget%20%2F%20120)%20%2F%201e9%0A%20%20%20%20%20%20%20%20_D_opt%20%3D%2020%20*%20_N_opt%0A%0A%20%20%20%20%20%20%20%20_A%2C%20_alpha_l%20%3D%20406.4%2C%200.34%0A%20%20%20%20%20%20%20%20_B%2C%20_beta_l%20%3D%20410.7%2C%200.28%0A%20%20%20%20%20%20%20%20_E_loss%20%3D%201.69%0A%0A%20%20%20%20%20%20%20%20def%20_loss(n_b%2C%20d_b)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20n_b%20%3C%3D%200%20or%20d_b%20%3C%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%2010.0%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20_A%20%2F%20(n_b%20**%20_alpha_l)%20%2B%20_B%20%2F%20(d_b%20**%20_beta_l)%20%2B%20_E_loss%0A%0A%20%20%20%20%20%20%20%20_cur_loss%20%3D%20_loss(_N%2C%20_D_B)%0A%20%20%20%20%20%20%20%20_opt_loss%20%3D%20_loss(_N_opt%2C%20_D_opt)%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_ns%20%3D%20np.logspace(math.log10(0.5)%2C%20math.log10(50)%2C%2080)%0A%20%20%20%20%20%20%20%20_ds%20%3D%20%5B_budget%20%2F%20(6%20*%20n%20*%201e9)%20%2F%201e9%20for%20n%20in%20_ns%5D%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_ns.tolist()%2C%20y%3D_ds%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22Grey%22%5D%2C%20width%3D2%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22IsoFLOP%3A%2010%5E21%22%2C%0A%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20%20%20%20%20_chinch_ns%20%3D%20np.logspace(math.log10(0.5)%2C%20math.log10(50)%2C%2050)%0A%20%20%20%20%20%20%20%20_chinch_ds%20%3D%20%5B20%20*%20n%20for%20n%20in%20_chinch_ns%5D%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_chinch_ns.tolist()%2C%20y%3D_chinch_ds%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%20line%3Ddict(color%3DCOLORS%5B%22GreenLine%22%5D%2C%20width%3D2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Chinchilla%20Optimal%20(D%20%3D%2020N)%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_N_opt%5D%2C%20y%3D%5B_D_opt%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%2Btext%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D14%2C%20color%3DCOLORS%5B%22GreenLine%22%5D%2C%20symbol%3D%22star%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22Optimal%3A%20%7B_N_opt%3A.1f%7DB%22%5D%2C%20textposition%3D%22top%20right%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Compute-Optimal%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_N%5D%2C%20y%3D%5B_D_B%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%2Btext%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D14%2C%20color%3DCOLORS%5B%22RedLine%22%5D%2C%20symbol%3D%22diamond%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22Current%3A%20%7B_N%3A.1f%7DB%22%5D%2C%20textposition%3D%22bottom%20left%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Your%20Configuration%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D400%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Model%20Size%20(B%20parameters)%22%2C%20type%3D%22log%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Dataset%20Size%20(B%20tokens)%22%2C%20type%3D%22log%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.14%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_ratio%20%3D%20_D_B%20%2F%20(_N%20*%2020)%20if%20_N%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20if%20_ratio%20%3C%200.8%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_regime%2C%20_regime_color%20%3D%20%22DATA-STARVED%22%2C%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_regime_advice%20%3D%20%22More%20data%20would%20help%20more%20than%20a%20bigger%20model.%22%0A%20%20%20%20%20%20%20%20elif%20_ratio%20%3E%201.2%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_regime%2C%20_regime_color%20%3D%20%22COMPUTE-STARVED%22%2C%20COLORS%5B%22OrangeLine%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_regime_advice%20%3D%20%22A%20bigger%20model%20would%20use%20this%20data%20more%20efficiently.%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_regime%2C%20_regime_color%20%3D%20%22NEAR-OPTIMAL%22%2C%20COLORS%5B%22GreenLine%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_regime_advice%20%3D%20%22Close%20to%20the%20Chinchilla-optimal%20balance.%22%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7B_regime_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ERegime%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.3rem%3B%20font-weight%3A800%3B%20color%3A%7B_regime_color%7D%3B%22%3E%7B_regime%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_regime_advice%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EYour%20Loss%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_cur_loss%3A.2f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_N%3A.1f%7DB%20params%2C%20%7B_D_B%3A.0f%7DB%20tokens%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EOptimal%20Loss%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_opt_loss%3A.2f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_N_opt%3A.1f%7DB%20params%2C%20%7B_D_opt%3A.0f%7DB%20tokens%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Chinchilla%20Scaling%20--%20Live%20Calculation**%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Budget%3A%20%20%20%20C%20%3D%2010%5E21%20FLOPs%0A%20%20%20%20Your%20cfg%3A%20%20N%20%3D%20%7B_N%3A.1f%7DB%2C%20D%20%3D%20C%2F(6N)%20%3D%20%7B_D_B%3A.0f%7DB%20tokens%0A%20%20%20%20Optimal%3A%20%20%20N*%20%3D%20sqrt(C%2F120)%20%3D%20%7B_N_opt%3A.1f%7DB%2C%20D*%20%3D%2020N*%20%3D%20%7B_D_opt%3A.0f%7DB%20tokens%0A%20%20%20%20Your%20loss%3A%20L%20%3D%20%7B_cur_loss%3A.2f%7D%20%20%20Optimal%20loss%3A%20L*%20%3D%20%7B_opt_loss%3A.2f%7D%0A%20%20%20%20Regime%3A%20%20%20%20%7B_regime%7D%20(D%2F20N%20%3D%20%7B_ratio%3A.2f%7D)%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20Chapter%209%2C%20Chinchilla%20scaling%20law%20(Hoffmann%20et%20al.%2C%202022)*%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20partD_pred.value%20%3D%3D%20%223b_660b%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_rev%20%3D%20(%22**Correct.**%20The%203B%20model%20on%20660B%20tokens%20sits%20closest%20to%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Chinchilla-optimal%20point.%20The%2010B%20model%20is%20data-starved%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%2030B%20model%20wastes%20FLOPs%20on%20a%20model%20too%20large%20for%20its%20data%20budget.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_rev%20%3D%20(%22**The%20Chinchilla-optimal%20point%20favors%20more%20data%2C%20not%20a%20bigger%20model.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20optimal%20split%20for%2010%5E21%20FLOPs%20is%20~%7B_N_opt%3A.1f%7DB%20parameters%20on%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22~%7B_D_opt%3A.0f%7DB%20tokens.%20Most%20teams%20over-allocate%20to%20model%20size.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_rev)%2C%20kind%3D_kind))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20SYNTHESIS%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22---%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2024px%2028px%3B%20margin%3A%2016px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%2012px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Key%20Takeaways%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.92rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20line-height%3A%201.75%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E1.%20Half%20your%20data%20is%20dead%20weight.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20ICR%20curve%20shows%20that%2050%25%20of%20a%20typical%20image%20dataset%20contributes%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20near-zero%20learning%20signal.%20The%20informativeness%20distribution%20follows%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20power%20law%2C%20not%20a%20uniform%20distribution.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E2.%20Selection%20has%20a%20cost%20that%20can%20exceed%20the%20savings.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Selection%20Inequality%20T_sel%20%2B%20T_train(subset)%20%26lt%3B%20T_train(full)%20has%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20thin%20margins%20on%20cloud%20and%20breaks%20entirely%20on%20edge%20hardware.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E3.%20The%20GPU%20is%20only%20as%20fast%20as%20its%20data%20pipeline.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20CPU%20preprocessing%20with%20aggressive%20augmentation%20can%20starve%20an%20A100%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dropping%20GPU%20utilization%20below%2030%25.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2016px%3B%20margin%3A%208px%200%2016px%200%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20What's%20Next%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ELab%2010%3A%3C%2Fstrong%3E%20The%20Compression%20Paradox%20--%20you%20selected%20the%20right%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20data.%20Now%20discover%20that%20compressing%20the%20model%20itself%20is%20free%20at%204x%20but%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hardware%20trap%20at%2090%25%20sparsity.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Textbook%20%26amp%3B%20TinyTorch%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ERead%3A%3C%2Fstrong%3E%20%40sec-data-selection%20for%20the%20full%20ICR%20derivation.%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3EBuild%3A%3C%2Fstrong%3E%20TinyTorch%20Module%2009%20--%20coreset%20selection.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20_tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%3A%20ICR%20Frontier%22%3A%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%3A%20Selection%20Inequality%22%3A%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%3A%20Preprocessing%20Tax%22%3A%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%3A%20Scaling%20Frontier%22%3A%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20_tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ledger%2C%20mo)%3A%0A%20%20%20%20ledger.save(chapter%3D9%2C%20design%3D%7B%22lab%22%3A%20%22data_selection%22%2C%20%22completed%22%3A%20True%7D)%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3E09%20%26middot%3B%20Data%20Selection%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22flex%3A1%3B%22%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ECH%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3E9%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ESTATUS%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-active%22%3ECOMPLETE%3C%2Fspan%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A