lab 04 data storage

import%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22..%2F..%2F..%2Fwheels%2Fmlsysim-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%22mlsysim%22%20not%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20_root%20%3D%20Path(__file__).resolve().parents%5B2%5D%0A%20%20%20%20%20%20%20%20if%20str(_root)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_root))%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20import%20mlsysim%0A%20%20%20%20from%20mlsysim.core.defaults%20import%20GPU_MTTF_HOURS%0A%20%20%20%20from%20mlsysim.core.formulas%20import%20calc_young_daly_interval%2C%20calc_mtbf_cluster%0A%20%20%20%20from%20mlsysim.core.constants%20import%20(%0A%20%20%20%20%20%20%20%20ureg%2C%0A%20%20%20%20%20%20%20%20H100_FLOPS_FP16_TENSOR%2C%0A%20%20%20%20%20%20%20%20A100_FLOPS_FP16_TENSOR%2C%0A%20%20%20%20%20%20%20%20B200_FLOPS_FP16_TENSOR%2C%0A%20%20%20%20%20%20%20%20V100_FLOPS_FP16_TENSOR%2C%0A%20%20%20%20%20%20%20%20NVME_SEQUENTIAL_BW%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Hardware%20registry%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_H100_REG%20%3D%20mlsysim.Hardware.Cloud.H100%0A%20%20%20%20_T4_REG%20%3D%20mlsysim.Hardware.Cloud.T4%0A%20%20%20%20_EDGE_REG%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX%0A%0A%20%20%20%20%23%20Scalar%20extraction%0A%20%20%20%20H100_TFLOPS%20%3D%20H100_FLOPS_FP16_TENSOR.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20A100_TFLOPS%20%3D%20A100_FLOPS_FP16_TENSOR.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20B200_TFLOPS%20%3D%20B200_FLOPS_FP16_TENSOR.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20V100_TFLOPS%20%3D%20V100_FLOPS_FP16_TENSOR.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20NVME_GBS%20%3D%20NVME_SEQUENTIAL_BW.m_as(%22GB%2Fs%22)%0A%0A%20%20%20%20H100_RAM_GB%20%3D%20_H100_REG.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20T4_RAM_GB%20%3D%20_T4_REG.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20EDGE_RAM_GB%20%3D%20_EDGE_REG.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20EDGE_TFLOPS%20%3D%20_EDGE_REG.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Model%20registry%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20GPT2%20%3D%20mlsysim.Models.GPT2%0A%20%20%20%20GPT2_PARAMS_B%20%3D%20GPT2.parameters.m_as(%22dimensionless%22)%20%2F%201e9%20%20%23%20billions%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20A100_TFLOPS%2C%0A%20%20%20%20%20%20%20%20B200_TFLOPS%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20H100_TFLOPS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20NVME_GBS%2C%0A%20%20%20%20%20%20%20%20V100_TFLOPS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20calc_young_daly_interval%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20math%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20ureg%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20mo.Html(%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%230f172a%200%25%2C%20%231e293b%2060%25%2C%20%230c1a2e%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2036px%2044px%3B%20border-radius%3A%2016px%3B%20color%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2032px%20rgba(0%2C0%2C0%2C0.35)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20letter-spacing%3A%200.18em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23475569%3B%20text-transform%3A%20uppercase%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Machine%20Learning%20Systems%20%26middot%3B%20Volume%20II%20%26middot%3B%20Lab%2004%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch1%20style%3D%22margin%3A%200%200%2010px%200%3B%20font-size%3A%202.4rem%3B%20font-weight%3A%20900%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23f8fafc%3B%20line-height%3A%201.1%3B%20letter-spacing%3A%20-0.02em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Data%20Pipeline%20Wall%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%206px%200%3B%20font-size%3A%201.15rem%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%2394a3b8%3B%20letter-spacing%3A%200.04em%3B%20font-family%3A%20'SF%20Mono'%2C%20monospace%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Storage%20Chasm%20%26middot%3B%20Pipeline%20Equation%20%26middot%3B%20Shard%20Contention%20%26middot%3B%20Checkpoints%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%2022px%200%3B%20font-size%3A%201.0rem%3B%20color%3A%20%2364748b%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max-width%3A%20680px%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Storage%20--%20the%20least%20glamorous%20infrastructure%20component%20--%20can%20silently%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20determine%20whether%20your%20cluster%20is%20productive%20or%20an%20expensive%20space%20heater.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20compute-storage%20gap%20has%20widened%2060x%20in%20seven%20years%20and%20is%20getting%20worse.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2012px%3B%20flex-wrap%3A%20wrap%3B%20margin-bottom%3A%2020px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(99%2C102%2C241%2C0.18)%3B%20color%3A%20%23a5b4fc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(99%2C102%2C241%2C0.3)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%205%20Parts%20%26middot%3B%20~58%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(203%2C32%2C45%2C0.15)%3B%20color%3A%20%23fca5a5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(203%2C32%2C45%2C0.25)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Vol%20II%20Ch%204%3A%20Data%20and%20Storage%20at%20Scale%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2010px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3E60x%20widening%20gap%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3EBirthday%20problem%20in%20shards%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-fail%22%3EYoung-Daly%20checkpoint%20interval%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3EQuantify%20the%20storage-compute%20chasm%3C%2Fstrong%3E%20%26mdash%3B%20show%20that%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20accelerator%20throughput%20has%20grown%20236x%20(V100%20to%20B200)%20while%20NVMe%20bandwidth%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20grew%20only%204x%2C%20and%20explain%20why%20faster%20GPUs%20make%20the%20storage%20problem%20worse.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3EDiagnose%20data%20stalls%3C%2Fstrong%3E%20%26mdash%3B%20calculate%20that%20prefetching%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cannot%20eliminate%20stalls%20when%20I%2FO%20time%20exceeds%20compute%20time%2C%20and%20apply%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20the%20pipelining%20equation%20T_step%20%3D%20max(T_compute%2C%20T_IO).%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3EOptimize%20checkpoint%20frequency%3C%2Fstrong%3E%20%26mdash%3B%20apply%20the%20Young-Daly%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20formula%20to%20find%20the%20optimal%20checkpoint%20interval%20that%20minimizes%20total%20waste%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(checkpoint%20overhead%20%2B%20expected%20rework).%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20V2-01%20(reliability)%20%26middot%3B%20V2-02%20(memory%20hierarchy)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E~58%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Parts%20A%26ndash%3BE%3A%20~10%26ndash%3B12%20min%20each%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%2012px%20-28px%200%20-28px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2016px%2028px%200%2028px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BYour%20cluster%20is%20storage-bottlenecked%20at%2030%25%20GPU%20utilization.%20You%20upgrade%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20to%20GPUs%20with%202x%20the%20TFLOPS.%20Does%20utilization%20improve%2C%20stay%20the%20same%2C%20or%20get%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20worse%20%26mdash%3B%20and%20how%20often%20should%20you%20save%20checkpoints%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20--%20Complete%20the%20following%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20**Vol%20II%20Ch%204%3A%20The%20Storage-Compute%20Chasm**%20--%2060x%20widening%20gap%2C%20pipeline%20equation.%0A%20%20%20%20-%20**Vol%20II%20Ch%204%3A%20Data%20Stalls%20and%20Prefetching**%20--%20when%20pipelining%20cannot%20help.%0A%20%20%20%20-%20**Vol%20II%20Ch%204%3A%20Checkpoint%20Economics**%20--%20Young-Daly%20optimal%20interval.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20WIDGETS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20pA_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~60%25%20--%20faster%20GPUs%20process%20data%20faster%22%3A%20%2260%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~30%25%20--%20no%20change%2C%20storage%20is%20the%20bottleneck%22%3A%20%2230%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~15%25%20--%20utilization%20drops%20because%20GPUs%20are%20faster%20but%20storage%20is%20not%22%3A%20%2215%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~5%25%20--%20catastrophic%20collapse%22%3A%20%225%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Storage-bottlenecked%20at%2030%25%20utilization.%20Upgrade%20GPUs%20to%202x%20TFLOPS.%20What%20happens%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(pA_pred%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pA_pred)%3A%0A%20%20%20%20mo.stop(pA_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pA_gen%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22V100%20(2017)%22%3A%20%22v100%22%2C%20%22A100%20(2020)%22%3A%20%22a100%22%2C%20%22H100%20(2022)%22%3A%20%22h100%22%2C%20%22B200%20(2024)%22%3A%20%22b200%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22H100%20(2022)%22%2C%20label%3D%22GPU%20generation%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20pB_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~80%25%20--%20utilization%20stays%22%3A%20%2280%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~60%25%20--%20moderate%20drop%22%3A%20%2260%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~40%25%20--%20storage%20BW%20split%20across%20twice%20as%20many%20GPUs%22%3A%20%2240%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~20%25%20--%20catastrophic%20starving%22%3A%20%2220%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22128%20GPUs%20at%2080%25%20utilization.%20Double%20to%20256%20without%20upgrading%20storage.%20What%20happens%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pA_gen%2C%20pB_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pB_pred)%3A%0A%20%20%20%20mo.stop(pB_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pB_gpus%20%3D%20mo.ui.slider(start%3D8%2C%20stop%3D1024%2C%20value%3D128%2C%20step%3D8%2C%20label%3D%22GPU%20count%22)%0A%20%20%20%20pB_target%20%3D%20mo.ui.slider(start%3D50%2C%20stop%3D95%2C%20value%3D80%2C%20step%3D5%2C%20label%3D%22Target%20utilization%20(%25)%22)%0A%0A%20%20%20%20pC_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~10%25%20--%201%2C000%20shards%20is%20plenty%20for%20256%20workers%22%3A%20%2210%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~50%25%20--%20borderline%22%3A%20%2250%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~100%25%20--%20collisions%20are%20essentially%20guaranteed%22%3A%20%22100%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~75%25%20--%20high%20but%20not%20certain%22%3A%20%2275%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22256%20GPUs%2C%201%2C000%20shards%2C%20random%20selection.%20Collision%20probability%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pB_gpus%2C%20pB_target%2C%20pC_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pC_pred)%3A%0A%20%20%20%20mo.stop(pC_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pC_workers%20%3D%20mo.ui.slider(start%3D8%2C%20stop%3D256%2C%20value%3D256%2C%20step%3D8%2C%20label%3D%22GPU%20workers%22)%0A%20%20%20%20pC_shards%20%3D%20mo.ui.slider(start%3D100%2C%20stop%3D10000%2C%20value%3D1000%2C%20step%3D100%2C%20label%3D%22Dataset%20shards%22)%0A%0A%20%20%20%20pD_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Yes%20--%204%20batches%20of%20prefetch%20hide%20the%20300%20ms%20I%2FO%22%3A%20%22yes%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20No%20--%20stall%20drops%20from%2060%25%20to%2033%25%20but%20never%20reaches%20zero%22%3A%20%22no_partial%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Partially%20--%20stall%20drops%20to%20~10%25%22%3A%20%22partial%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20No%20effect%20--%20prefetching%20only%20helps%20random%20access%22%3A%20%22no_effect%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22200%20ms%20compute%2C%20300%20ms%20I%2FO.%20Add%20prefetch%20depth%204.%20Does%20the%20stall%20disappear%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pC_shards%2C%20pC_workers%2C%20pD_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pD_pred)%3A%0A%20%20%20%20mo.stop(pD_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pD_compute%20%3D%20mo.ui.slider(start%3D100%2C%20stop%3D500%2C%20value%3D200%2C%20step%3D10%2C%20label%3D%22Compute%20time%20(ms)%22)%0A%20%20%20%20pD_io%20%3D%20mo.ui.slider(start%3D50%2C%20stop%3D1000%2C%20value%3D300%2C%20step%3D10%2C%20label%3D%22I%2FO%20time%20(ms)%22)%0A%20%20%20%20pD_prefetch%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D8%2C%20value%3D0%2C%20step%3D1%2C%20label%3D%22Prefetch%20depth%22)%0A%0A%20%20%20%20pE_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Every%205%20minutes%20--%20minimize%20lost%20work%22%3A%20%225%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Every%20~27%20minutes%20--%20Young-Daly%20sweet%20spot%22%3A%20%2227%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Every%20hour%20--%20minimize%20I%2FO%20overhead%22%3A%20%2260%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Every%202%20hours%20--%20checkpoints%20are%20expensive%22%3A%20%22120%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%221%2C000-GPU%20cluster%2C%20MTBF%20%3D%205%20hours%2C%20checkpoint%20write%20%3D%202%20min.%20Optimal%20interval%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pD_compute%2C%20pD_io%2C%20pD_prefetch%2C%20pE_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20A100_TFLOPS%2C%0A%20%20%20%20B200_TFLOPS%2C%0A%20%20%20%20COLORS%2C%0A%20%20%20%20H100_TFLOPS%2C%0A%20%20%20%20NVME_GBS%2C%0A%20%20%20%20V100_TFLOPS%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20calc_young_daly_interval%2C%0A%20%20%20%20go%2C%0A%20%20%20%20math%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pA_gen%2C%0A%20%20%20%20pA_pred%2C%0A%20%20%20%20pB_gpus%2C%0A%20%20%20%20pB_pred%2C%0A%20%20%20%20pB_target%2C%0A%20%20%20%20pC_pred%2C%0A%20%20%20%20pC_shards%2C%0A%20%20%20%20pC_workers%2C%0A%20%20%20%20pD_compute%2C%0A%20%20%20%20pD_io%2C%0A%20%20%20%20pD_pred%2C%0A%20%20%20%20pD_prefetch%2C%0A%20%20%20%20pE_pred%2C%0A%20%20%20%20ureg%2C%0A)%3A%0A%20%20%20%20mo.stop(pE_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pE_mtbf%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D24%2C%20value%3D5%2C%20step%3D1%2C%20label%3D%22Cluster%20MTBF%20(hours)%22)%0A%20%20%20%20pE_write%20%3D%20mo.ui.slider(start%3D30%2C%20stop%3D300%2C%20value%3D120%2C%20step%3D10%2C%20label%3D%22Checkpoint%20write%20time%20(s)%22)%0A%20%20%20%20pE_interval%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D120%2C%20value%3D30%2C%20step%3D1%2C%20label%3D%22Checkpoint%20interval%20(min)%22)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20A%3A%20THE%20STORAGE-COMPUTE%20CHASM%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'BlueL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20VP%20Infrastructure%2C%20DataScale%20Corp%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20upgraded%20from%20A100s%20to%20H100s.%20Our%20storage-bottlenecked%20cluster%20was%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20at%2030%25%20GPU%20utilization.%20Surely%20the%20faster%20GPUs%20will%20help%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Storage-Compute%20Chasm%20Widens%20Every%20Generation%0A%0A%20%20%20%20%20%20%20%20%7C%20Generation%20%7C%20Compute%20(TFLOPS)%20%7C%20Storage%20BW%20(GB%2Fs)%20%7C%20Ratio%20%7C%0A%20%20%20%20%20%20%20%20%7C---%7C---%7C---%7C---%7C%0A%20%20%20%20%20%20%20%20%7C%20V100%20(2017)%20%7C%20%7BV100_TFLOPS%3A.0f%7D%20%7C%20~%7BNVME_GBS*0.5%3A.1f%7D%20%7C%20%7BV100_TFLOPS%2F(NVME_GBS*0.5)%3A.0f%7Dx%20%7C%0A%20%20%20%20%20%20%20%20%7C%20A100%20(2020)%20%7C%20%7BA100_TFLOPS%3A.0f%7D%20%7C%20~%7BNVME_GBS*0.7%3A.1f%7D%20%7C%20%7BA100_TFLOPS%2F(NVME_GBS*0.7)%3A.0f%7Dx%20%7C%0A%20%20%20%20%20%20%20%20%7C%20H100%20(2022)%20%7C%20%7BH100_TFLOPS%3A.0f%7D%20%7C%20~%7BNVME_GBS%3A.1f%7D%20%7C%20%7BH100_TFLOPS%2FNVME_GBS%3A.0f%7Dx%20%7C%0A%20%20%20%20%20%20%20%20%7C%20B200%20(2024)%20%7C%20%7BB200_TFLOPS%3A.0f%7D%20%7C%20~%7BNVME_GBS*1.4%3A.1f%7D%20%7C%20%7BB200_TFLOPS%2F(NVME_GBS*1.4)%3A.0f%7Dx%20%7C%0A%0A%20%20%20%20%20%20%20%20Faster%20GPUs%20make%20the%20storage%20problem%20**worse**%2C%20not%20better.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(pA_pred)%0A%20%20%20%20%20%20%20%20if%20pA_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(pA_gen)%0A%0A%20%20%20%20%20%20%20%20_hw%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22v100%22%3A%20(%22V100%22%2C%20V100_TFLOPS%2C%20NVME_GBS%20*%200.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22a100%22%3A%20(%22A100%22%2C%20A100_TFLOPS%2C%20NVME_GBS%20*%200.7)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22h100%22%3A%20(%22H100%22%2C%20H100_TFLOPS%2C%20NVME_GBS)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22b200%22%3A%20(%22B200%22%2C%20B200_TFLOPS%2C%20NVME_GBS%20*%201.4)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_name%2C%20_tflops%2C%20_storage_bw%20%3D%20_hw%5BpA_gen.value%5D%0A%0A%20%20%20%20%20%20%20%20%23%20If%20storage-bottlenecked%2C%20utilization%20%3D%20storage_delivery%20%2F%20gpu_demand%0A%20%20%20%20%20%20%20%20%23%20Doubling%20GPU%20speed%20halves%20utilization%20when%20storage%20stays%20fixed%0A%20%20%20%20%20%20%20%20_base_util%20%3D%2030.0%0A%20%20%20%20%20%20%20%20_ratio_vs_a100%20%3D%20_tflops%20%2F%20A100_TFLOPS%0A%20%20%20%20%20%20%20%20_new_util%20%3D%20_base_util%20%2F%20_ratio_vs_a100%20%20%23%20storage-limited%0A%0A%20%20%20%20%20%20%20%20%23%20Generational%20chart%0A%20%20%20%20%20%20%20%20_gens%20%3D%20%5B%22V100%22%2C%20%22A100%22%2C%20%22H100%22%2C%20%22B200%22%5D%0A%20%20%20%20%20%20%20%20_gen_tflops%20%3D%20%5BV100_TFLOPS%2C%20A100_TFLOPS%2C%20H100_TFLOPS%2C%20B200_TFLOPS%5D%0A%20%20%20%20%20%20%20%20_gen_storage%20%3D%20%5BNVME_GBS%20*%200.5%2C%20NVME_GBS%20*%200.7%2C%20NVME_GBS%2C%20NVME_GBS%20*%201.4%5D%0A%20%20%20%20%20%20%20%20_gen_ratios%20%3D%20%5Bt%20%2F%20s%20for%20t%2C%20s%20in%20zip(_gen_tflops%2C%20_gen_storage)%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Compute%20(TFLOPS)%22%2C%20x%3D_gens%2C%20y%3D_gen_tflops%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22BlueLine%22%5D%2C%20yaxis%3D%22y%22))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(name%3D%22Compute%2FStorage%20Ratio%22%2C%20x%3D_gens%2C%20y%3D_gen_ratios%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%2Bmarkers%22%2C%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D10)%2C%20yaxis%3D%22y2%22))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D340%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22TFLOPS%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis2%3Ddict(title%3D%22Compute%2FStorage%20Ratio%22%2C%20overlaying%3D%22y%22%2C%20side%3D%22right%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D60%2C%20t%3D60%2C%20b%3D40)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ENew%20Utilization%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%7B_new_util%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3EWas%3A%2030%25%20(A100)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ECompute%2FStorage%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_tflops%2F_storage_bw%3A.0f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20pA_pred.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%2215%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(%22**Correct.**%20When%20storage%20is%20the%20bottleneck%2C%20faster%20GPUs%20reduce%20utilization.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20%7B_name%7D%20processes%20data%202x%20faster%20but%20storage%20delivers%20at%20the%20same%20rate.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Utilization%20drops%20to%20~%7B_new_util%3A.0f%7D%25.**%20Faster%20GPUs%20wait%20longer%20for%20data.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20storage-compute%20chasm%20widens%20every%20hardware%20generation.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_msg)%2C%20kind%3D_kind))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20B%3A%20THE%20DATA%20PIPELINE%20EQUATION%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'OrangeL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Training%20Lead%2C%20DataScale%20Corp%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20doubled%20our%20GPU%20count%20from%20128%20to%20256%20without%20upgrading%20storage.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Why%20did%20utilization%20drop%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Pipeline%20Equation%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20BW_required%20%3D%20N_GPUs%20x%20U_target%20x%20S_batch%20%2F%20T_iteration%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20Storage%20bandwidth%20is%20a%20**shared%20resource**.%20Doubling%20GPUs%20without%20upgrading%0A%20%20%20%20%20%20%20%20storage%20halves%20the%20per-GPU%20bandwidth%2C%20proportionally%20dropping%20utilization.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(pB_pred)%0A%20%20%20%20%20%20%20%20if%20pB_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpB_gpus%2C%20pB_target%5D%2C%20justify%3D%22start%22%2C%20gap%3D%222rem%22))%0A%0A%20%20%20%20%20%20%20%20_n%20%3D%20pB_gpus.value%0A%20%20%20%20%20%20%20%20_target%20%3D%20pB_target.value%20%2F%20100%0A%20%20%20%20%20%20%20%20_base_n%20%3D%20128%0A%20%20%20%20%20%20%20%20_base_bw%20%3D%20NVME_GBS%20*%2020%20%20%23%2020%20NVMe%20drives%0A%20%20%20%20%20%20%20%20_bw_per_gpu%20%3D%20_base_bw%20%2F%20_n%0A%20%20%20%20%20%20%20%20_base_bw_per_gpu%20%3D%20_base_bw%20%2F%20_base_n%0A%20%20%20%20%20%20%20%20_util%20%3D%20min(_target%2C%20_bw_per_gpu%20%2F%20_base_bw_per_gpu%20*%20_target)%20*%20100%0A%0A%20%20%20%20%20%20%20%20%23%20S-curve%3A%20utilization%20vs%20GPU%20count%0A%20%20%20%20%20%20%20%20_n_range%20%3D%20np.arange(8%2C%201025%2C%208)%0A%20%20%20%20%20%20%20%20_util_curve%20%3D%20np.minimum(_target%20*%20100%2C%20_base_bw%20%2F%20_n_range%20%2F%20_base_bw_per_gpu%20*%20_target%20*%20100)%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D_n_range%2C%20y%3D_util_curve%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22GPU%20Utilization%22%2C%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2.5)))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D50%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22OrangeLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%2250%25%20stall%20threshold%22)%0A%20%20%20%20%20%20%20%20_fig.add_vline(x%3D_n%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22TextMuted%22%5D)%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D%5B_n%5D%2C%20y%3D%5B_util%5D%2C%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22N%3D%7B_n%7D%3A%20%7B_util%3A.0f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20size%3D12%2C%20symbol%3D%22star%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22white%22%2C%20width%3D2))))%0A%20%20%20%20%20%20%20%20_fig.update_layout(height%3D320%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22GPU%20Count%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22GPU%20Utilization%20(%25)%22%2C%20range%3D%5B0%2C%20100%5D%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_uc%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_util%20%3E%2070%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_util%20%3E%2040%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_uc%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EUtilization%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_uc%7D%3B%22%3E%7B_util%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EBW%20per%20GPU%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_bw_per_gpu%3A.1f%7D%20GB%2Fs%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20_util%20%3C%2050%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Storage-starved.**%20At%20%7B_n%7D%20GPUs%2C%20utilization%20is%20%7B_util%3A.0f%7D%25.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22More%20than%20half%20the%20compute%20budget%20is%20wasted%20waiting%20for%20data.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22danger%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20pB_pred.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%2240%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20%22**Correct.**%20Storage%20BW%20is%20split%20across%202x%20GPUs%2C%20halving%20per-GPU%20BW%20and%20utilization.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20%22**Utilization%20drops%20proportionally.**%20Storage%20bandwidth%20is%20shared%3B%20doubling%20GPUs%20halves%20per-GPU%20BW.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_msg)%2C%20kind%3D_kind))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20C%3A%20THE%20SHARD%20CONTENTION%20BIRTHDAY%20PROBLEM%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'GreenL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Data%20Engineer%2C%20DataScale%20Corp%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20have%201%2C000%20dataset%20shards%20and%20256%20workers.%20Each%20worker%20randomly%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selects%20a%20shard.%20Should%20collisions%20be%20rare%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Birthday%20Problem%20at%20Datacenter%20Scale%0A%0A%20%20%20%20%20%20%20%20Even%20with%20many%20shards%2C%20random%20access%20by%20many%20workers%20creates%20surprisingly%0A%20%20%20%20%20%20%20%20high%20collision%20probability.%20The%20birthday%20problem%20strikes%20at%20n%20%3D%20sqrt(N)%3A%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20P(collision)%20%3D%201%20-%20e%5E(-n%5E2%20%2F%202N)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20With%20256%20workers%20and%201%2C000%20shards%3A%20exponent%20%3D%20-256%5E2%2F2000%20%3D%20-32.8.%0A%20%20%20%20%20%20%20%20P%20%3D%201%20-%20e%5E(-32.8)%20%3D%20**near%20certainty**.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(pC_pred)%0A%20%20%20%20%20%20%20%20if%20pC_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpC_workers%2C%20pC_shards%5D%2C%20justify%3D%22start%22%2C%20gap%3D%222rem%22))%0A%0A%20%20%20%20%20%20%20%20_n%20%3D%20pC_workers.value%0A%20%20%20%20%20%20%20%20_N%20%3D%20pC_shards.value%0A%20%20%20%20%20%20%20%20_exponent%20%3D%20-(_n%20**%202)%20%2F%20(2%20*%20_N)%0A%20%20%20%20%20%20%20%20_p_collision%20%3D%201%20-%20math.exp(max(_exponent%2C%20-500))%0A%20%20%20%20%20%20%20%20_birthday_threshold%20%3D%20math.sqrt(_N)%0A%0A%20%20%20%20%20%20%20%20%23%20Collision%20probability%20vs%20workers%0A%20%20%20%20%20%20%20%20_w_range%20%3D%20np.arange(1%2C%20257)%0A%20%20%20%20%20%20%20%20_p_curve%20%3D%201%20-%20np.exp(np.maximum(-_w_range%20**%202%20%2F%20(2%20*%20_N)%2C%20-500))%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D_w_range%2C%20y%3D_p_curve%20*%20100%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Shards%20%3D%20%7B_N%3A%2C%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2.5)))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D50%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22OrangeLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%2250%25%20collision%20probability%22)%0A%20%20%20%20%20%20%20%20_fig.add_vline(x%3D_birthday_threshold%2C%20line_dash%3D%22dot%22%2C%20line_color%3DCOLORS%5B%22GreenLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22sqrt(%7B_N%7D)%20%3D%20%7B_birthday_threshold%3A.0f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_font_size%3D10)%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D%5B_n%5D%2C%20y%3D%5B_p_collision%20*%20100%5D%2C%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Your%20config%3A%20%7B_p_collision*100%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20size%3D14%2C%20symbol%3D%22star%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22white%22%2C%20width%3D2))))%0A%20%20%20%20%20%20%20%20_fig.update_layout(height%3D340%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Workers%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Collision%20Probability%20(%25)%22%2C%20range%3D%5B0%2C%20105%5D%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_pc%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_p_collision%20%3C%200.5%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_p_collision%20%3C%200.9%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_pc%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ECollision%20Prob.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_pc%7D%3B%22%3E%7B_p_collision*100%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EBirthday%20Threshold%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_birthday_threshold%3A.0f%7D%20workers%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20pC_pred.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%22100%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20f%22**Correct.**%20With%20%7B_n%7D%20workers%20and%20%7B_N%3A%2C%7D%20shards%2C%20collisions%20are%20near-certain%20(%7B_p_collision*100%3A.1f%7D%25).%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Collisions%20are%20%7B_p_collision*100%3A.1f%7D%25%20probable.**%20The%20birthday%20problem%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22strikes%20at%20sqrt(%7B_N%7D)%20%3D%20%7B_birthday_threshold%3A.0f%7D%20workers%2C%20far%20below%20%7B_n%7D.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_msg)%2C%20kind%3D_kind))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20D%3A%20THE%20DATA%20STALL%20DIAGNOSTIC%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'RedL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Performance%20Engineer%2C%20DataScale%20Corp%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20added%20prefetch%20depth%204.%20The%20PM%20says%20the%20stall%20should%20be%20eliminated.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20But%20GPU%20utilization%20barely%20improved.%20Why%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Pipelining%20Cannot%20Fix%20I%2FO%20%3E%20Compute%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20Without%20pipeline%3A%20T_step%20%3D%20T_IO%20%2B%20T_compute%0A%20%20%20%20%20%20%20%20With%20pipeline%3A%20%20%20%20T_step%20%3D%20max(T_compute%2C%20T_IO)%0A%20%20%20%20%20%20%20%20Stall%20%25%20%20%20%20%20%20%20%20%20%3D%20(T_step%20-%20T_compute)%20%2F%20T_step%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20When%20I%2FO%20exceeds%20compute%2C%20**no%20amount%20of%20prefetching%20eliminates%20the%20stall**.%0A%20%20%20%20%20%20%20%20The%20only%20fix%20is%20faster%20storage%20or%20smaller%20data.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(pD_pred)%0A%20%20%20%20%20%20%20%20if%20pD_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpD_compute%2C%20pD_io%5D%2C%20justify%3D%22start%22%2C%20gap%3D%222rem%22))%0A%20%20%20%20%20%20%20%20items.append(pD_prefetch)%0A%0A%20%20%20%20%20%20%20%20_tc%20%3D%20pD_compute.value%0A%20%20%20%20%20%20%20%20_tio%20%3D%20pD_io.value%0A%20%20%20%20%20%20%20%20_depth%20%3D%20pD_prefetch.value%0A%0A%20%20%20%20%20%20%20%20_sequential_ms%20%3D%20_tc%20%2B%20_tio%0A%20%20%20%20%20%20%20%20_sequential_stall%20%3D%20_tio%20%2F%20_sequential_ms%20*%20100%0A%0A%20%20%20%20%20%20%20%20_pipelined_ms%20%3D%20max(_tc%2C%20_tio)%0A%20%20%20%20%20%20%20%20_pipelined_stall%20%3D%20max(0%2C%20(_pipelined_ms%20-%20_tc))%20%2F%20_pipelined_ms%20*%20100%20if%20_pipelined_ms%20%3E%200%20else%200%0A%0A%20%20%20%20%20%20%20%20%23%20With%20partial%20pipeline%20(depth%20effect%3A%20transitions%20from%20sequential%20to%20pipelined)%0A%20%20%20%20%20%20%20%20_alpha%20%3D%20min(1.0%2C%20_depth%20%2F%204.0)%20%20%23%200%20%3D%20sequential%2C%201%20%3D%20fully%20pipelined%0A%20%20%20%20%20%20%20%20_actual_ms%20%3D%20(1%20-%20_alpha)%20*%20_sequential_ms%20%2B%20_alpha%20*%20_pipelined_ms%0A%20%20%20%20%20%20%20%20_actual_stall%20%3D%20max(0%2C%20(_actual_ms%20-%20_tc))%20%2F%20_actual_ms%20*%20100%20if%20_actual_ms%20%3E%200%20else%200%0A%0A%20%20%20%20%20%20%20%20%23%20Timeline%20bars%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_configs%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22No%20prefetch%22%2C%20_sequential_ms%2C%20_sequential_stall)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(f%22Prefetch%3D%7B_depth%7D%22%2C%20_actual_ms%2C%20_actual_stall)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Perfect%20pipeline%22%2C%20_pipelined_ms%2C%20_pipelined_stall)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20for%20_name%2C%20_time%2C%20_stall%20in%20_configs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_col%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_stall%20%3C%2010%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_stall%20%3C%2030%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3Df%22%7B_name%7D%20(%7B_stall%3A.0f%7D%25%20stall)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_name%5D%2C%20y%3D%5B_time%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_col%2C%20width%3D0.4))%0A%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D_tc%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22BlueLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22Compute%20%3D%20%7B_tc%7D%20ms%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(height%3D300%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Step%20Time%20(ms)%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.15%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_sc%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_actual_stall%20%3C%2010%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_actual_stall%20%3C%2030%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_sc%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ECurrent%20Stall%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_sc%7D%3B%22%3E%7B_actual_stall%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EBest%20Possible%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_pipelined_stall%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3EPerfect%20pipeline%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EI%2FO%20Bound%3F%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B'Yes'%20if%20_tio%20%3E%20_tc%20else%20'No'%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20pD_pred.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%22no_partial%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Correct.**%20With%20I%2FO%20(%7B_tio%7D%20ms)%20%3E%20compute%20(%7B_tc%7D%20ms)%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22perfect%20pipelining%20gives%20T_step%20%3D%20max(%7B_tc%7D%2C%20%7B_tio%7D)%20%3D%20%7B_pipelined_ms%7D%20ms.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Stall%20%3D%20(%7B_pipelined_ms%7D%20-%20%7B_tc%7D)%2F%7B_pipelined_ms%7D%20%3D%20%7B_pipelined_stall%3A.0f%7D%25.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20only%20fix%20is%20faster%20storage%20or%20smaller%20data.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Stall%20persists%20at%20%7B_pipelined_stall%3A.0f%7D%25%20even%20with%20perfect%20pipelining.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22When%20I%2FO%20%3E%20compute%2C%20T_step%20%3D%20max(compute%2C%20I%2FO)%20%3D%20I%2FO.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Prefetching%20converts%20sequential%20to%20pipelined%20but%20cannot%20shrink%20max().%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_msg)%2C%20kind%3D_kind))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20E%3A%20CHECKPOINT%20ECONOMICS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_e()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%236366f1%3B%20background%3A%23f0f4ff%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%236366f1%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Training%20Manager%2C%20DataScale%20Corp%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BHow%20often%20should%20we%20checkpoint%3F%20Too%20frequent%20wastes%20I%2FO%20bandwidth.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Too%20infrequent%20wastes%20compute%20on%20rework%20after%20failures.%20What%20is%20optimal%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Young-Daly%20Optimal%20Checkpoint%20Interval%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20tau_opt%20%3D%20sqrt(2%20*%20delta%20*%20MTBF)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20The%20U-shaped%20waste%20curve%20has%20three%20terms%3A%0A%20%20%20%20%20%20%20%20-%20Checkpoint%20overhead%20(decreases%20with%20interval)%0A%20%20%20%20%20%20%20%20-%20Expected%20rework%20(increases%20with%20interval)%0A%20%20%20%20%20%20%20%20-%20Total%20waste%20%3D%20overhead%20%2B%20rework%20(U-curve%20with%20minimum%20at%20tau_opt)%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(pE_pred)%0A%20%20%20%20%20%20%20%20if%20pE_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpE_mtbf%2C%20pE_write%5D%2C%20justify%3D%22start%22%2C%20gap%3D%222rem%22))%0A%20%20%20%20%20%20%20%20items.append(pE_interval)%0A%0A%20%20%20%20%20%20%20%20_mtbf_s%20%3D%20pE_mtbf.value%20*%203600%0A%20%20%20%20%20%20%20%20_delta_s%20%3D%20pE_write.value%0A%20%20%20%20%20%20%20%20_interval_s%20%3D%20pE_interval.value%20*%2060%0A%0A%20%20%20%20%20%20%20%20%23%20Young-Daly%20optimal%0A%20%20%20%20%20%20%20%20_yd%20%3D%20calc_young_daly_interval(_delta_s%2C%20_mtbf_s)%0A%20%20%20%20%20%20%20%20_tau_opt_s%20%3D%20_yd.m_as(ureg.second)%0A%20%20%20%20%20%20%20%20_tau_opt_min%20%3D%20_tau_opt_s%20%2F%2060%0A%0A%20%20%20%20%20%20%20%20%23%20Waste%20components%20at%20current%20interval%0A%20%20%20%20%20%20%20%20_overhead_pct%20%3D%20(_delta_s%20%2F%20_interval_s)%20*%20100%20if%20_interval_s%20%3E%200%20else%20100%0A%20%20%20%20%20%20%20%20_rework_pct%20%3D%20(_interval_s%20%2F%20(2%20*%20_mtbf_s))%20*%20100%0A%20%20%20%20%20%20%20%20_total_waste%20%3D%20_overhead_pct%20%2B%20_rework_pct%0A%0A%20%20%20%20%20%20%20%20%23%20Waste%20at%20optimal%0A%20%20%20%20%20%20%20%20_opt_overhead%20%3D%20(_delta_s%20%2F%20_tau_opt_s)%20*%20100%0A%20%20%20%20%20%20%20%20_opt_rework%20%3D%20(_tau_opt_s%20%2F%20(2%20*%20_mtbf_s))%20*%20100%0A%20%20%20%20%20%20%20%20_opt_waste%20%3D%20_opt_overhead%20%2B%20_opt_rework%0A%0A%20%20%20%20%20%20%20%20%23%20U-curve%0A%20%20%20%20%20%20%20%20_intervals%20%3D%20np.linspace(60%2C%207200%2C%20200)%0A%20%20%20%20%20%20%20%20_oh_curve%20%3D%20(_delta_s%20%2F%20_intervals)%20*%20100%0A%20%20%20%20%20%20%20%20_rw_curve%20%3D%20(_intervals%20%2F%20(2%20*%20_mtbf_s))%20*%20100%0A%20%20%20%20%20%20%20%20_total_curve%20%3D%20_oh_curve%20%2B%20_rw_curve%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D_intervals%20%2F%2060%2C%20y%3D_oh_curve%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Checkpoint%20overhead%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20width%3D1.5%2C%20dash%3D%22dash%22)))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D_intervals%20%2F%2060%2C%20y%3D_rw_curve%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Expected%20rework%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D1.5%2C%20dash%3D%22dash%22)))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D_intervals%20%2F%2060%2C%20y%3D_total_curve%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Total%20waste%22%2C%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2.5)))%0A%20%20%20%20%20%20%20%20_fig.add_vline(x%3D_tau_opt_min%2C%20line_dash%3D%22dot%22%2C%20line_color%3DCOLORS%5B%22GreenLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22Optimal%3A%20%7B_tau_opt_min%3A.0f%7D%20min%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_font_size%3D10)%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D%5BpE_interval.value%5D%2C%20y%3D%5B_total_waste%5D%2C%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Your%20interval%3A%20%7BpE_interval.value%7D%20min%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20size%3D14%2C%20symbol%3D%22star%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22white%22%2C%20width%3D2))))%0A%20%20%20%20%20%20%20%20_fig.update_layout(height%3D360%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Checkpoint%20Interval%20(min)%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Waste%20(%25)%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.15%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20Failure%3A%20checkpoint%20write%20exceeds%20interval%0A%20%20%20%20%20%20%20%20_write_exceeds%20%3D%20_delta_s%20%3E%3D%20_interval_s%0A%20%20%20%20%20%20%20%20if%20_write_exceeds%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Checkpoint%20write%20(%7B_delta_s%7Ds)%20exceeds%20interval%20(%7B_interval_s%7Ds).**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20system%20spends%20all%20its%20time%20writing%20checkpoints%20and%20never%20trains.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22danger%22))%0A%0A%20%20%20%20%20%20%20%20_wc%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20abs(pE_interval.value%20-%20_tau_opt_min)%20%3C%205%20else%20COLORS%5B%22OrangeLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EOptimal%20Interval%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_tau_opt_min%3A.0f%7D%20min%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3EYoung-Daly%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_wc%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EYour%20Waste%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_wc%7D%3B%22%3E%7B_total_waste%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EOptimal%20Waste%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_opt_waste%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20pE_pred.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%2227%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20f%22**Correct.**%20Young-Daly%20optimal%20%3D%20sqrt(2%20x%20%7B_delta_s%7D%20x%20%7B_mtbf_s%7D)%20%3D%20%7B_tau_opt_min%3A.0f%7D%20min.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Optimal%20interval%20is%20%7B_tau_opt_min%3A.0f%7D%20minutes.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Too%20frequent%20wastes%20I%2FO%20on%20checkpoint%20writes.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Too%20infrequent%20wastes%20compute%20on%20rework%20after%20failures.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_msg)%2C%20kind%3D_kind))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20SYNTHESIS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Key%20Takeaways%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**1.%20Faster%20GPUs%20make%20storage%20bottlenecks%20worse.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Accelerator%20throughput%20grew%20236x%20while%20NVMe%20bandwidth%20grew%20only%204x.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Upgrading%20GPUs%20on%20a%20storage-starved%20cluster%20reduces%20utilization%2C%20not%20improves%20it.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**2.%20Prefetching%20cannot%20fix%20I%2FO%20%3E%20compute.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22With%20perfect%20pipelining%2C%20T_step%20%3D%20max(T_compute%2C%20T_IO).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22When%20I%2FO%20exceeds%20compute%2C%20the%20stall%20is%20irreducible%20without%20faster%20storage.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20birthday%20problem%20makes%20shard%20contention%20near-certain%20at%20scale.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**3.%20Checkpoint%20frequency%20is%20a%20U-shaped%20optimization.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Young-Daly%20gives%20tau_opt%20%3D%20sqrt(2%20*%20delta%20*%20MTBF).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Too-frequent%20checkpointing%20saturates%20storage%20bandwidth.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Too-infrequent%20checkpointing%20wastes%20millions%20in%20rework%20after%20failures.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Connections%0A%0A%20%20%20%20**Textbook%3A**%20Vol%20II%20Ch%204%20--%20storage-compute%20chasm%2C%20data%20pipeline%20equation%2C%0A%20%20%20%20birthday%20problem%20in%20shard%20contention%2C%20Young-Daly%20checkpointing.%0A%0A%20%20%20%20**Next%20Lab%3A**%20V2-05%20explores%20the%20parallelism%20puzzle%3A%20data%20parallelism%20hits%20a%20communication%0A%20%20%20%20wall%2C%20ZeRO%20trades%20communication%20for%20memory%2C%20pipeline%20parallelism%20creates%20bubbles%2C%0A%20%20%20%20and%203D%20parallelism%20maps%20strategies%20to%20the%20bandwidth%20hierarchy.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20COMPOSE%20TABS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%20--%20Storage-Compute%20Chasm%22%3A%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%20--%20Pipeline%20Equation%22%3A%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%20--%20Shard%20Contention%22%3A%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%20--%20Data%20Stall%20Diagnostic%22%3A%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Part%20E%20--%20Checkpoint%20Economics%22%3A%20build_part_e()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20ledger%2C%20mo)%3A%0A%20%20%20%20_track%20%3D%20ledger._state.track%20or%20%22not%20set%22%0A%20%20%20%20ledger.save(chapter%3D4%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%22chapter%22%3A%20%22v2_04%22%2C%0A%20%20%20%20%20%20%20%20%22completed%22%3A%20True%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3EV2-04%20%26middot%3B%20The%20Data%20Pipeline%20Wall%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ETRACK%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22%7B'hud-active'%20if%20_track%20!%3D%20'not%20set'%20else%20'hud-none'%7D%22%3E%7B_track%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3EVOL%26nbsp%3BII%26nbsp%3BCH%26nbsp%3B4%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3EData%20and%20Storage%20at%20Scale%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ESTATUS%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-active%22%3Eactive%3C%2Fspan%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A