lab 07 fault tolerance

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.8%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysim-0.1.2-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_labs_dir%20%3D%20Path(__file__).resolve().parents%5B1%5D%0A%20%20%20%20%20%20%20%20if%20str(_labs_dir)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_labs_dir))%0A%20%20%20%20%20%20%20%20from%20bootstrap%20import%20native_bootstrap%0A%20%20%20%20%20%20%20%20native_bootstrap(__file__)%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20from%20mlsysim.labs.components%20import%20DecisionLog%0A%20%20%20%20from%20mlsysim%20import%20Hardware%2C%20Systems%2C%20Infrastructure%0A%20%20%20%20from%20mlsysim.physics%20import%20calc_young_daly_interval%0A%0A%20%20%20%20GPU_MTTF_HOURS%20%3D%20Systems.Reliability.Gpu.mttf_hours%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Hardware%20registry%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20H100%20%3D%20Hardware.Cloud.H100%0A%20%20%20%20A100%20%3D%20Hardware.Cloud.A100%0A%20%20%20%20EDGE%20%3D%20Hardware.Edge.JetsonOrinNX%0A%20%20%20%20H100_RAM_GB%20%3D%20H100.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20EDGE_RAM_GB%20%3D%20EDGE.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20GPU_COST_HR%20%3D%20Infrastructure.Pricing.Fleet.GpuHourRef.rate.m_as(%22USD%2Fhour%22)%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20_%20%3D%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20DecisionLog%2C%0A%20%20%20%20%20%20%20%20GPU_COST_HR%2C%0A%20%20%20%20%20%20%20%20GPU_MTTF_HOURS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20calc_young_daly_interval%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20LAB_CSS%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%7BCOLORS%5B'Surface0'%5D%7D%200%25%2C%20%7BCOLORS%5B'Surface1'%5D%7D%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2016px%3B%20padding%3A%2032px%2040px%3B%20margin-bottom%3A%208px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%232d3748%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20justify-content%3A%20space-between%3B%20align-items%3A%20flex-start%3B%20flex-wrap%3A%20wrap%3B%20gap%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%2394a3b8%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.14em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Vol%202%20%26middot%3B%20Lab%2007%20%26middot%3B%20Fault%20Tolerance%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%202.0rem%3B%20font-weight%3A%20800%3B%20color%3A%20%23f1f5f9%3B%20line-height%3A%201.15%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20When%20Failure%20is%20Routine%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.95rem%3B%20color%3A%20%2394a3b8%3B%20max-width%3A%20600px%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%2010%2C000-GPU%20cluster%20fails%20every%205%20hours.%20Checkpoint%20too%20often%20and%20you%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20waste%20compute%20writing.%20Checkpoint%20too%20rarely%20and%20you%20lose%20days%20of%20work.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Young-Daly%20formula%20finds%20the%20sweet%20spot%20--%20but%20at%20frontier%20scale%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20even%20checkpointing%20can%20become%20the%20bottleneck.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20flex-direction%3A%20column%3B%20gap%3A%208px%3B%20flex-shrink%3A%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EMTBF%20Scaling%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EYoung-Daly%20U-Curve%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3ECheckpoint%20Storm%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3E45%26ndash%3B55%20minutes%20%26middot%3B%204%20Parts%20%2B%20Synthesis%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3ECalculate%20cluster%20MTBF%3A%3C%2Fstrong%3E%20apply%20MTBF_system%20%3D%20MTBF_component%20%2F%20N%20to%20determine%20failure%20frequency%20at%20scale.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3EDerive%20the%20Young-Daly%20optimal%20checkpoint%20interval%3A%3C%2Fstrong%3E%20understand%20why%20tau_opt%20%3D%20sqrt(2%20*%20T_write%20*%20MTBF)%20minimizes%20total%20waste%20on%20the%20U-shaped%20cost%20curve.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3EIdentify%20the%20checkpoint%20storm%20pathology%3A%3C%2Fstrong%3E%20recognize%20when%20checkpoint%20write%20time%20exceeds%20the%20optimal%20interval%2C%20making%20the%20system%20spend%20more%20time%20checkpointing%20than%20computing.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20margin-bottom%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Reliability%20collapse%20from%20the%20Scale%20chapter%20%26middot%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20MTBF_system%20%3D%20MTBF_component%20%2F%20N%20from%20the%20Fault%20Tolerance%20chapter%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E35-40%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Part%20A%3A%20~15%20min%20%26middot%3B%20Part%20B%3A%20~25%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-top%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22If%20a%2010%2C000-GPU%20cluster%20fails%20every%205%20hours%2C%20how%20do%20you%20checkpoint%20often%20enough%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20to%20avoid%20losing%20work%20but%20not%20so%20often%20that%20checkpointing%20itself%20becomes%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bottleneck%20%26mdash%3B%20and%20what%20happens%20when%20even%20optimal%20checkpointing%20cannot%20keep%20up%3F%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20--%20Complete%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20**The%20Fault%20Tolerance%20chapter**%20--%20MTBF%20scaling%2C%20Young-Daly%20checkpoint%20model%0A%20%20%20%20-%20**The%20Scale%20chapter**%20--%20Fleet%20reliability%20collapse%20(V2-01%20recap)%0A%20%20%20%20-%20The%20Checkpoint%20Storm%20section%20--%20Storage%20bandwidth%20saturation%20at%20scale%0A%20%20%20%20-%20The%20Serving%20Fault%20Tolerance%20section%20--%20KV%20cache%20state%20and%20replica%20failover%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20partA_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Every%202%20minutes%20--%20match%20the%20write%20time%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Every%2010%20minutes%20--%20frequent%20saves%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Every%20~27%20minutes%20--%20the%20square-root%20law%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Every%2090%20minutes%20--%20halfway%20to%20MTBF%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22A%2016%2C000-GPU%20cluster%20(MTBF%20~3%20hours).%20Checkpoint%20writes%20take%202%20minutes.%20What%20is%20the%20optimal%20checkpoint%20interval%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20a1_cluster_gpus%20%3D%20mo.ui.slider(start%3D1000%2C%20stop%3D25000%2C%20value%3D16000%2C%20step%3D1000%2C%20label%3D%22Cluster%20GPUs%22)%0A%20%20%20%20a1_write_time_s%20%3D%20mo.ui.slider(start%3D10%2C%20stop%3D300%2C%20value%3D120%2C%20step%3D10%2C%20label%3D%22Checkpoint%20write%20time%20(seconds)%22)%0A%20%20%20%20a1_interval_s%20%3D%20mo.ui.slider(start%3D60%2C%20stop%3D10800%2C%20value%3D600%2C%20step%3D60%2C%20label%3D%22Your%20checkpoint%20interval%20(seconds)%22)%0A%20%20%20%20return%20a1_cluster_gpus%2C%20a1_interval_s%2C%20a1_write_time_s%2C%20partA_prediction%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20partA_reflection%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Double%20the%20checkpoint%20frequency%20to%20protect%20against%20failures%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Reduce%20checkpoint%20write%20time%20through%20faster%20storage%20or%20async%20checkpointing%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Increase%20GPU%20MTTF%20by%20using%20higher-quality%20components%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Accept%20the%20waste%20--%20it%20is%20a%20fixed%20cost%20of%20distributed%20training%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22The%20Young-Daly%20formula%20shows%20waste%20is%20sqrt(T_write%20%2F%20MTBF).%20Which%20lever%20most%20effectively%20reduces%20waste%3F%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20partB_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~10%20seconds%20--%20fast%20with%20modern%20storage%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~2%20minutes%20--%20manageable%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~41%20minutes%20--%20longer%20than%20the%20Young-Daly%20optimal%20interval%20at%20this%20cluster%20size%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~5%20minutes%20--%20within%20budget%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22A%20175B%20model%20checkpoints%20on%20a%201%2C000-GPU%20cluster%20with%20NFS%20storage%20(1%20GB%2Fs).%20How%20long%20does%20one%20checkpoint%20take%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partA_reflection%2C%20partB_prediction%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20a2_model_b%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D175%2C%20value%3D175%2C%20step%3D1%2C%20label%3D%22Model%20size%20(B%20params)%22)%0A%20%20%20%20a2_cluster_gpus%20%3D%20mo.ui.slider(start%3D100%2C%20stop%3D25000%2C%20value%3D1000%2C%20step%3D100%2C%20label%3D%22Cluster%20GPUs%22)%0A%20%20%20%20a2_storage%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22NFS%20(1%20GB%2Fs)%22%3A%201.0%2C%20%22Parallel%20FS%20(10%20GB%2Fs)%22%3A%2010.0%2C%20%22NVMe%20RAID%20(100%20GB%2Fs)%22%3A%20100.0%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22NFS%20(1%20GB%2Fs)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Storage%20type%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20partB_reflection%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Asynchronous%20checkpointing%20--%20overlap%20checkpoint%20writes%20with%20training%20compute%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Reduce%20model%20size%20so%20checkpoints%20are%20smaller%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Increase%20cluster%20MTBF%20by%20adding%20redundant%20GPUs%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Checkpoint%20only%20every%20hour%20regardless%20of%20the%20Young-Daly%20formula%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20is%20the%20most%20practical%20solution%20to%20the%20checkpoint%20storm%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20a2_cluster_gpus%2C%20a2_model_b%2C%20a2_storage%2C%20partB_reflection%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20partC_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%2010%20seconds%20--%20NVMe%20is%20fast%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~24%20seconds%20--%20local%20NVMe%20first%2C%20then%20drain%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~1%20second%20--%20async%20hides%20all%20write%20time%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Same%20as%20NFS%20--%2041%20minutes%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22With%20async%20checkpointing%20(write%20to%20local%20NVMe%20RAID%20at%20100%20GB%2Fs%2C%20then%20drain)%2C%20how%20long%20does%20the%20training%20loop%20pause%20for%20a%20175B%20checkpoint%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20c1_nvme_bw%20%3D%20mo.ui.slider(start%3D10%2C%20stop%3D200%2C%20value%3D100%2C%20step%3D10%2C%20label%3D%22Local%20NVMe%20BW%20(GB%2Fs)%22)%0A%20%20%20%20c1_drain_bw%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D50%2C%20value%3D10%2C%20step%3D1%2C%20label%3D%22Background%20drain%20BW%20to%20durable%20storage%20(GB%2Fs)%22)%0A%20%20%20%20c1_cluster_gpus%20%3D%20mo.ui.slider(start%3D1000%2C%20stop%3D25000%2C%20value%3D10000%2C%20step%3D1000%2C%20label%3D%22Cluster%20GPUs%22)%0A%20%20%20%20partC_reflection%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Async%20checkpointing%20eliminates%20all%20checkpoint%20overhead%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Async%20reduces%20training-loop%20pause%20to%20NVMe%20write%20time%20but%20requires%20enough%20local%20NVMe%20capacity%20for%20at%20least%202%20checkpoints%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Async%20is%20free%20--%20no%20additional%20hardware%20cost%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Async%20is%20unnecessary%20if%20you%20use%20a%20fast%20parallel%20file%20system%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20is%20the%20key%20requirement%20for%20async%20checkpointing%20to%20work%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20c1_cluster_gpus%2C%0A%20%20%20%20%20%20%20%20c1_drain_bw%2C%0A%20%20%20%20%20%20%20%20c1_nvme_bw%2C%0A%20%20%20%20%20%20%20%20partC_prediction%2C%0A%20%20%20%20%20%20%20%20partC_reflection%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20partD_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%201%20replica%20--%20just%20restart%20the%20failed%20one%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20N%2B1%20replicas%20--%20one%20cold%20spare%20per%20service%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20It%20depends%3A%20replica%20count%20%3D%20ceil(QPS%20*%20recovery_time%20%2F%20max_queue_depth)%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%202x%20replicas%20--%20always%20double%20for%20safety%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Your%20inference%20service%20runs%2010%20replicas%20at%201000%20QPS%20total.%20One%20replica%20fails%20(MTBF%20~30%20days).%20Recovery%20takes%2090%20seconds%20(model%20reload).%20How%20many%20spare%20replicas%20do%20you%20need%20to%20maintain%20the%20SLO%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20d1_replicas%20%3D%20mo.ui.slider(start%3D4%2C%20stop%3D32%2C%20value%3D10%2C%20step%3D1%2C%20label%3D%22Active%20replicas%22)%0A%20%20%20%20d1_qps%20%3D%20mo.ui.slider(start%3D100%2C%20stop%3D5000%2C%20value%3D1000%2C%20step%3D100%2C%20label%3D%22Total%20QPS%22)%0A%20%20%20%20d1_recovery_s%20%3D%20mo.ui.slider(start%3D10%2C%20stop%3D300%2C%20value%3D90%2C%20step%3D10%2C%20label%3D%22Recovery%20time%20(seconds)%22)%0A%20%20%20%20d1_slo_p99_ms%20%3D%20mo.ui.slider(start%3D100%2C%20stop%3D2000%2C%20value%3D500%2C%20step%3D50%2C%20label%3D%22P99%20latency%20SLO%20(ms)%22)%0A%20%20%20%20partD_reflection%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Serving%20fault%20tolerance%20is%20simpler%20than%20training%20--%20just%20add%20replicas%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Serving%20fault%20tolerance%20is%20harder%20because%20KV%20cache%20state%20is%20lost%20on%20failure%20and%20must%20be%20rebuilt%20per-request%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Serving%20fault%20tolerance%20is%20the%20same%20problem%20as%20training%20fault%20tolerance%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Serving%20does%20not%20need%20fault%20tolerance%20--%20requests%20are%20stateless%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20does%20serving%20fault%20tolerance%20differ%20from%20training%20fault%20tolerance%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20d1_qps%2C%0A%20%20%20%20%20%20%20%20d1_recovery_s%2C%0A%20%20%20%20%20%20%20%20d1_replicas%2C%0A%20%20%20%20%20%20%20%20d1_slo_p99_ms%2C%0A%20%20%20%20%20%20%20%20partD_prediction%2C%0A%20%20%20%20%20%20%20%20partD_reflection%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(DecisionLog)%3A%0A%20%20%20%20synth_decision_input%2C%20synth_decision_ui%20%3D%20DecisionLog(%0A%20%20%20%20%20%20%20%20placeholder%3D%22Based%20on%20what%20I%20learned%20in%20this%20lab%2C%20the%20most%20important%20insight%20about%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fault%20tolerance%20at%20scale%20is...%22%0A%20%20%20%20)%0A%20%20%20%20return%20synth_decision_input%2C%20synth_decision_ui%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20GPU_COST_HR%2C%0A%20%20%20%20GPU_MTTF_HOURS%2C%0A%20%20%20%20a1_cluster_gpus%2C%0A%20%20%20%20a1_interval_s%2C%0A%20%20%20%20a1_write_time_s%2C%0A%20%20%20%20a2_cluster_gpus%2C%0A%20%20%20%20a2_model_b%2C%0A%20%20%20%20a2_storage%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20c1_cluster_gpus%2C%0A%20%20%20%20c1_drain_bw%2C%0A%20%20%20%20c1_nvme_bw%2C%0A%20%20%20%20calc_young_daly_interval%2C%0A%20%20%20%20d1_qps%2C%0A%20%20%20%20d1_recovery_s%2C%0A%20%20%20%20d1_replicas%2C%0A%20%20%20%20d1_slo_p99_ms%2C%0A%20%20%20%20go%2C%0A%20%20%20%20ledger%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20partA_prediction%2C%0A%20%20%20%20partA_reflection%2C%0A%20%20%20%20partB_prediction%2C%0A%20%20%20%20partB_reflection%2C%0A%20%20%20%20partC_prediction%2C%0A%20%20%20%20partC_reflection%2C%0A%20%20%20%20partD_prediction%2C%0A%20%20%20%20partD_reflection%2C%0A%20%20%20%20synth_decision_input%2C%0A%20%20%20%20synth_decision_ui%2C%0A)%3A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20A%20BUILDER%20--%20The%20Young-Daly%20Sweet%20Spot%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Stakeholder%20message%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'BlueLL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Training%20Reliability%20Engineer%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Our%2016%2C000-GPU%20cluster%20has%20a%20system%20MTBF%20of%20about%203%20hours.%20Each%20checkpoint%0A%20%20%20%20%20%20%20%20%20%20%20%20write%20takes%202%20minutes.%20I%20want%20to%20checkpoint%20every%2010%20minutes%20to%20be%20safe.%0A%20%20%20%20%20%20%20%20%20%20%20%20My%20manager%20says%20that%20is%20too%20aggressive.%20Who%20is%20right%3F%22%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Concept%20framing%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20Checkpointing%20has%20two%20costs%20that%20pull%20in%20opposite%20directions%3A%0A%0A%20%20%20%201.%20**Checkpoint%20overhead**%3A%20Writing%20checkpoints%20consumes%20time%20that%20could%20be%20used%20for%0A%20%20%20%20%20%20%20training.%20Checkpointing%20every%20tau%20seconds%20wastes%20T_write%2Ftau%20fraction%20of%20wall%20time.%0A%0A%20%20%20%202.%20**Expected%20rework**%3A%20When%20a%20failure%20occurs%2C%20you%20lose%20all%20progress%20since%20the%20last%0A%20%20%20%20%20%20%20checkpoint.%20On%20average%2C%20you%20lose%20tau%2F2%20seconds%20of%20compute.%20The%20expected%20rework%0A%20%20%20%20%20%20%20per%20unit%20time%20is%20tau%20%2F%20(2%20*%20MTBF).%0A%0A%20%20%20%20Total%20waste%20%3D%20T_write%2Ftau%20%2B%20tau%2F(2*MTBF).%20This%20is%20a%20**U-shaped%20curve**%20with%20a%20unique%0A%20%20%20%20minimum%20at%3A%0A%0A%20%20%20%20**tau_opt%20%3D%20sqrt(2%20*%20T_write%20*%20MTBF)**%20(the%20Young-Daly%20formula)%0A%0A%20%20%20%20For%20MTBF%20%3D%203%20hours%20(10%2C800s)%20and%20T_write%20%3D%202%20minutes%20(120s)%3A%0A%20%20%20%20tau_opt%20%3D%20sqrt(2%20*%20120%20*%2010%2C800)%20%3D%20sqrt(2%2C592%2C000)%20%3D%20**~1%2C610%20seconds%20%3D%20~27%20minutes**%0A%0A%20%20%20%20The%20engineer's%2010-minute%20interval%20wastes%202%2F10%20%3D%2020%25%20of%20time%20on%20checkpoint%20overhead%20alone.%0A%20%20%20%20The%20optimal%2027-minute%20interval%20wastes%20only%202%2F27%20%3D%207.4%25%20on%20overhead.%0A%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**Caveat%3A**%20The%20MTBF%20formula%20assumes%20independent%20failures.%20In%20practice%2C%20failures%20are%20often%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22correlated%3A%20a%20power%20supply%20failure%20takes%20down%208%20GPUs%2C%20a%20switch%20failure%20isolates%20an%20entire%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22rack%20(64-128%20GPUs).%20Correlated%20failures%20can%20increase%20effective%20failure%20rates%20by%202-5x%20over%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22the%20independent%20model.%22%0A%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Prediction%20lock%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Your%20Prediction%22))%0A%20%20%20%20%20%20%20%20items.append(partA_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partA_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20Part%20A%20instruments.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Instruments%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Young-Daly%20Checkpoint%20Optimizer%22))%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5Ba1_cluster_gpus%2C%20a1_write_time_s%2C%20a1_interval_s%5D%2C%20justify%3D%22center%22%2C%20gap%3D2))%0A%0A%20%20%20%20%20%20%20%20_n_gpus%20%3D%20a1_cluster_gpus.value%0A%20%20%20%20%20%20%20%20_t_write%20%3D%20a1_write_time_s.value%0A%20%20%20%20%20%20%20%20_tau%20%3D%20a1_interval_s.value%0A%0A%20%20%20%20%20%20%20%20%23%20MTBF%20%3D%20component%20MTTF%20%2F%20N%0A%20%20%20%20%20%20%20%20_mtbf_s%20%3D%20GPU_MTTF_HOURS%20*%203600%20%2F%20_n_gpus%0A%20%20%20%20%20%20%20%20_mtbf_h%20%3D%20_mtbf_s%20%2F%203600%0A%0A%20%20%20%20%20%20%20%20%23%20Young-Daly%20optimal%0A%20%20%20%20%20%20%20%20_tau_opt%20%3D%20calc_young_daly_interval(_t_write%2C%20_mtbf_s).m_as(%22second%22)%0A%20%20%20%20%20%20%20%20_tau_opt_min%20%3D%20_tau_opt%20%2F%2060%0A%0A%20%20%20%20%20%20%20%20%23%20Waste%20components%20at%20current%20interval%0A%20%20%20%20%20%20%20%20_ckpt_overhead%20%3D%20_t_write%20%2F%20_tau%20if%20_tau%20%3E%200%20else%201.0%0A%20%20%20%20%20%20%20%20_rework%20%3D%20_tau%20%2F%20(2%20*%20_mtbf_s)%20if%20_mtbf_s%20%3E%200%20else%201.0%0A%20%20%20%20%20%20%20%20_total_waste%20%3D%20_ckpt_overhead%20%2B%20_rework%0A%20%20%20%20%20%20%20%20_total_waste_pct%20%3D%20min(_total_waste%20*%20100%2C%20100)%0A%0A%20%20%20%20%20%20%20%20%23%20Waste%20at%20optimal%0A%20%20%20%20%20%20%20%20_waste_opt%20%3D%20_t_write%20%2F%20_tau_opt%20%2B%20_tau_opt%20%2F%20(2%20*%20_mtbf_s)%0A%20%20%20%20%20%20%20%20_waste_opt_pct%20%3D%20_waste_opt%20*%20100%0A%0A%20%20%20%20%20%20%20%20%23%20Dollar%20cost%20of%20waste%20per%20day%0A%20%20%20%20%20%20%20%20_compute_cost_day%20%3D%20_n_gpus%20*%20GPU_COST_HR%20*%2024%0A%20%20%20%20%20%20%20%20_waste_cost_day%20%3D%20_compute_cost_day%20*%20_total_waste%0A%20%20%20%20%20%20%20%20_waste_cost_opt_day%20%3D%20_compute_cost_day%20*%20_waste_opt%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20U-curve%20chart%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_tau_range%20%3D%20np.linspace(60%2C%20min(_mtbf_s%2C%2010800)%2C%20200)%0A%20%20%20%20%20%20%20%20_overhead_curve%20%3D%20%5B_t_write%20%2F%20t%20*%20100%20for%20t%20in%20_tau_range%5D%0A%20%20%20%20%20%20%20%20_rework_curve%20%3D%20%5Bt%20%2F%20(2%20*%20_mtbf_s)%20*%20100%20for%20t%20in%20_tau_range%5D%0A%20%20%20%20%20%20%20%20_total_curve%20%3D%20%5B(_t_write%20%2F%20t%20%2B%20t%20%2F%20(2%20*%20_mtbf_s))%20*%20100%20for%20t%20in%20_tau_range%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D_tau_range%20%2F%2060%2C%20y%3D_overhead_curve%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Checkpoint%20overhead%22%2C%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2)))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D_tau_range%20%2F%2060%2C%20y%3D_rework_curve%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Expected%20rework%22%2C%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D2)))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D_tau_range%20%2F%2060%2C%20y%3D_total_curve%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Total%20waste%22%2C%20line%3Ddict(color%3DCOLORS%5B%22Text%22%5D%2C%20width%3D3)))%0A%20%20%20%20%20%20%20%20%23%20Mark%20optimal%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D%5B_tau_opt_min%5D%2C%20y%3D%5B_waste_opt_pct%5D%2C%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Young-Daly%20optimum%22%2C%20marker%3Ddict(size%3D14%2C%20color%3DCOLORS%5B%22GreenLine%22%5D%2C%20symbol%3D%22star%22)))%0A%20%20%20%20%20%20%20%20%23%20Mark%20current%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D%5B_tau%20%2F%2060%5D%2C%20y%3D%5B_total_waste_pct%5D%2C%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Your%20interval%22%2C%20marker%3Ddict(size%3D14%2C%20color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20symbol%3D%22diamond%22)))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D340%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Checkpoint%20Interval%20(minutes)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Time%20Wasted%20(%25)%22%2C%20range%3D%5B0%2C%20min(max(_total_curve)%20*%201.1%2C%20100)%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20yanchor%3D%22bottom%22%2C%20y%3D1.02%2C%20xanchor%3D%22right%22%2C%20x%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D40%2C%20b%3D50%2C%20l%3D50%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20%23%20Colors%0A%20%20%20%20%20%20%20%20_waste_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_total_waste_pct%20%3C%2015%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_total_waste_pct%20%3C%2030%20else%20COLORS%5B%22RedLine%22%5D)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A12px%3B%20padding%3A16px%2020px%3B%20margin%3A8px%200%3B%20font-family%3Amonospace%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A0.83rem%3B%20line-height%3A1.8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A8px%3B%20font-family%3Asans-serif%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Physics%20%26mdash%3B%20Young-Daly%20Checkpoint%20Optimization%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ECluster%3A%20%7B_n_gpus%3A%2C%7D%20GPUs%20%26times%3B%20MTTF%20%7BGPU_MTTF_HOURS%3A%2C%7D%20hrs%20%3D%20MTBF_system%20%3D%20%3Cstrong%3E%7B_mtbf_h%3A.1f%7D%20hours%20(%7B_mtbf_s%3A.0f%7Ds)%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3Etau_opt%20%3D%20sqrt(2%20%26times%3B%20%7B_t_write%7Ds%20%26times%3B%20%7B_mtbf_s%3A.0f%7Ds)%20%3D%20%3Cstrong%3E%7B_tau_opt%3A.0f%7Ds%20(%7B_tau_opt_min%3A.1f%7D%20min)%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EYour%20interval%3A%20%7B_tau%7Ds%20(%7B_tau%2F60%3A.1f%7D%20min)%20%26mdash%3B%20overhead%3A%20%7B_ckpt_overhead*100%3A.1f%7D%25%20%2B%20rework%3A%20%7B_rework*100%3A.1f%7D%25%20%3D%20%3Cstrong%20style%3D%22color%3A%7B_waste_color%7D%3B%22%3E%7B_total_waste_pct%3A.1f%7D%25%20waste%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EOptimal%20waste%3A%20%3Cstrong%20style%3D%22color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_waste_opt_pct%3A.1f%7D%25%3C%2Fstrong%3E%20%26mdash%3B%20savings%20vs%20your%20interval%3A%20%3Cstrong%3E%24%7B(_waste_cost_day%20-%20_waste_cost_opt_day)%3A%2C.0f%7D%2Fday%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A16px%3B%20justify-content%3Acenter%3B%20margin%3A8px%200%3B%20flex-wrap%3Awrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3ESystem%20MTBF%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_mtbf_h%3A.1f%7Dh%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3E%7B_n_gpus%3A%2C%7D%20GPUs%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EOptimal%20Interval%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_tau_opt_min%3A.0f%7Dm%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3EYoung-Daly%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3ETotal%20Waste%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_waste_color%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_total_waste_pct%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Eyour%20interval%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EWaste%20Cost%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_waste_color%7D%3B%20font-family%3Amonospace%3B%22%3E%24%7B_waste_cost_day%3A%2C.0f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Eper%20day%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.ui.plotly(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Prediction%20reveal%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20if%20partA_prediction.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20The%20Young-Daly%20formula%20gives%20tau_opt%20%3D%20sqrt(2%20*%20120s%20*%2010%2C800s)%20%3D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22~1%2C610%20seconds%20%3D%20~27%20minutes.%20This%20is%20the%20geometric%20mean%20between%20write%20time%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22MTBF%2C%20not%20the%20arithmetic%20mean.%20The%20square%20root%20law%20means%20the%20optimal%20interval%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22is%20much%20closer%20to%20the%20write%20time%20than%20to%20the%20MTBF.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partA_prediction.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Far%20too%20aggressive.**%20Checkpointing%20every%202%20minutes%20with%20a%202-minute%20write%20time%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22means%2050%25%20of%20wall%20time%20is%20spent%20checkpointing.%20Only%2050%25%20remains%20for%20training.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20optimal%20interval%20balances%20overhead%20against%20rework%2C%20not%20minimizes%20rework%20alone.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partA_prediction.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Too%20aggressive.**%20At%2010-minute%20intervals%2C%20checkpoint%20overhead%20is%202%2F10%20%3D%2020%25%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22plus%20rework%20of%2010%2F(2*180)%20%3D%202.8%25%2C%20total%20%3D%2022.8%25.%20The%20optimal%2027-minute%20interval%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22achieves%20only%2012.3%25%20waste%20--%20saving%20nearly%2010%20percentage%20points%20of%20compute%20time.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partA_prediction.value%20%3D%3D%20%22D%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Too%20conservative.**%20At%2090%20minutes%20with%20MTBF%20of%203%20hours%2C%20expected%20rework%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2290%2F(2*180)%20%3D%2025%25.%20Combined%20with%202%2F90%20%3D%202.2%25%20overhead%2C%20total%20waste%20is%2027.2%25.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20optimal%2027-minute%20interval%20achieves%2012.3%25%20--%20half%20the%20waste.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20MathPeek%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Governing%20equations%20--%20Young-Daly%20checkpoint%20optimization%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20**System%20MTBF**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20MTBF_system%20%3D%20MTBF_component%20%2F%20N%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20-%20N%20%3D%20number%20of%20GPUs%20in%20the%20cluster%0A%20%20%20%20%20%20%20%20-%20MTBF_component%20%3D%2050%2C000%20hours%20(individual%20GPU%20MTTF)%0A%20%20%20%20%20%20%20%20-%20At%20N%20%3D%2016%2C000%3A%20MTBF%20%3D%2050%2C000%20%2F%2016%2C000%20%3D%203.125%20hours%0A%0A%20%20%20%20%20%20%20%20**Young-Daly%20Optimal%20Interval**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20tau_opt%20%3D%20sqrt(2%20*%20T_write%20*%20MTBF)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20-%20T_write%20%3D%20time%20to%20write%20one%20checkpoint%0A%20%20%20%20%20%20%20%20-%20Total%20waste%20at%20optimum%20%3D%202%20*%20sqrt(T_write%20%2F%20(2%20*%20MTBF))%0A%20%20%20%20%20%20%20%20-%20The%20square%20root%20law%20means%20the%20interval%20scales%20with%20the%20geometric%0A%20%20%20%20%20%20%20%20%20%20mean%20of%20write%20time%20and%20MTBF%2C%20not%20the%20arithmetic%20mean%0A%0A%20%20%20%20%20%20%20%20**U-Shaped%20Waste%20Curve**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20W(tau)%20%3D%20T_write%20%2F%20tau%20%20%2B%20%20tau%20%2F%20(2%20*%20MTBF)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Boverhead%5D%20%20%20%20%20%20%20%20%5Brework%5D%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20-%20dW%2Fd(tau)%20%3D%200%20yields%20tau_opt%20%3D%20sqrt(2%20*%20T_write%20*%20MTBF)%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Reflection%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Reflection%22))%0A%20%20%20%20%20%20%20%20items.append(partA_reflection)%0A%0A%20%20%20%20%20%20%20%20if%20partA_reflection.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20an%20answer%20to%20see%20the%20explanation.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partA_reflection.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20The%20optimal%20waste%20is%20proportional%20to%20sqrt(T_write%20%2F%20MTBF).%20Reducing%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22T_write%20by%204x%20(e.g.%2C%20from%20NFS%20to%20parallel%20FS)%20reduces%20waste%20by%202x.%20Async%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22checkpointing%20effectively%20makes%20T_write%20appear%20near-zero%20for%20the%20training%20loop.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20is%20the%20most%20actionable%20lever%20because%20storage%20is%20within%20the%20team's%20control.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Not%20the%20primary%20lever.**%20The%20Young-Daly%20waste%20formula%20is%202%20*%20sqrt(T_write%20%2F%20(2%20*%20MTBF)).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Reducing%20T_write%20has%20the%20most%20direct%20impact%20because%20storage%20technology%20is%20within%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22engineering%20control%2C%20unlike%20hardware%20reliability%20(MTBF).%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20B%20BUILDER%20--%20The%20Checkpoint%20Storm%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Stakeholder%20message%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'Cloud'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'BlueLL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'Cloud'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Storage%20Architect%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22We%20have%20a%20175B%20model%20training%20on%201%2C000%20GPUs.%20Our%20storage%20is%20NFS%20with%0A%20%20%20%20%20%20%20%20%20%20%20%201%20GB%2Fs%20aggregate%20write%20bandwidth.%20How%20long%20does%20one%20checkpoint%20take%3F%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20training%20team%20says%20it%20is%20only%20a%20few%20minutes.%20I%20disagree.%22%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Concept%20framing%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20A%20175B%20model%20checkpoint%20includes%20weights%20%2B%20optimizer%20states%20%2B%20gradients%3A%0A%20%20%20%20-%20175B%20parameters%20x%2014%20bytes%20(FP16%20weights%20%2B%20FP32%20Adam%20m1%20%2B%20m2%20%2B%20master)%20%3D%20**2.45%20TB**%20per%20checkpoint%0A%20%20%20%20-%20At%20NFS%201%20GB%2Fs%20aggregate%20write%3A%202%2C450%20seconds%20%3D%20**~41%20minutes**%0A%0A%20%20%20%20With%20MTBF%20of%20~50%20hours%20(1%2C000%20GPUs%2C%20MTTF%3D50%2C000%20hrs%20each)%2C%20the%20Young-Daly%20optimal%20interval%20is%3A%0A%20%20%20%20tau_opt%20%3D%20sqrt(2%20*%202450%20*%20180%2C000)%20%3D%20sqrt(882%2C000%2C000)%20%3D%20~29%2C700s%20%3D%20~8.2%20hours%0A%0A%20%20%20%20At%201%20GB%2Fs%20NFS%2C%20checkpoint%20write%20time%20(41%20min)%20is%20a%20manageable%20fraction%20of%20the%208.2%20hour%0A%20%20%20%20optimal%20interval.%20With%20faster%20storage%20(100%20GB%2Fs%20NVMe%20RAID)%2C%20the%20same%20checkpoint%20takes%20only%0A%20%20%20%2024.5%20seconds.%0A%0A%20%20%20%20What%20happens%20at%20a%20larger%20cluster%20(10%2C000%20GPUs)%20where%20MTBF%20drops%20to%20~5%20hours%3F%0A%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Prediction%20lock%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Your%20Prediction%22))%0A%20%20%20%20%20%20%20%20items.append(partB_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partB_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20Part%20B%20instruments.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Instruments%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Checkpoint%20Storm%20Analyzer%22))%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5Ba2_model_b%2C%20a2_cluster_gpus%2C%20a2_storage%5D%2C%20justify%3D%22center%22%2C%20gap%3D2))%0A%0A%20%20%20%20%20%20%20%20_params_b%20%3D%20a2_model_b.value%0A%20%20%20%20%20%20%20%20_n_gpus%20%3D%20a2_cluster_gpus.value%0A%20%20%20%20%20%20%20%20_storage_bw%20%3D%20a2_storage.value%0A%0A%20%20%20%20%20%20%20%20%23%20Checkpoint%20size%3A%2014%20bytes%20per%20param%20(weights%20%2B%20optimizer)%0A%20%20%20%20%20%20%20%20_ckpt_bytes%20%3D%20_params_b%20*%201e9%20*%2014%0A%20%20%20%20%20%20%20%20_ckpt_tb%20%3D%20_ckpt_bytes%20%2F%201e12%0A%20%20%20%20%20%20%20%20_ckpt_gb%20%3D%20_ckpt_bytes%20%2F%201e9%0A%0A%20%20%20%20%20%20%20%20%23%20Write%20time%0A%20%20%20%20%20%20%20%20_write_time_s%20%3D%20_ckpt_gb%20%2F%20_storage_bw%0A%20%20%20%20%20%20%20%20_write_time_min%20%3D%20_write_time_s%20%2F%2060%0A%0A%20%20%20%20%20%20%20%20%23%20MTBF%0A%20%20%20%20%20%20%20%20_mtbf_s%20%3D%20GPU_MTTF_HOURS%20*%203600%20%2F%20_n_gpus%0A%20%20%20%20%20%20%20%20_mtbf_h%20%3D%20_mtbf_s%20%2F%203600%0A%0A%20%20%20%20%20%20%20%20%23%20Young-Daly%20optimal%0A%20%20%20%20%20%20%20%20_tau_opt_s%20%3D%20calc_young_daly_interval(_write_time_s%2C%20_mtbf_s).m_as(%22second%22)%0A%20%20%20%20%20%20%20%20_tau_opt_min%20%3D%20_tau_opt_s%20%2F%2060%0A%0A%20%20%20%20%20%20%20%20%23%20Pathological%3A%20write%20time%20%3E%20optimal%20interval%0A%20%20%20%20%20%20%20%20_pathological%20%3D%20_write_time_s%20%3E%20_tau_opt_s%0A%20%20%20%20%20%20%20%20_ckpt_fraction%20%3D%20_write_time_s%20%2F%20_tau_opt_s%20if%20_tau_opt_s%20%3E%200%20else%20999%0A%0A%20%20%20%20%20%20%20%20%23%20Dollar%20cost%0A%20%20%20%20%20%20%20%20_compute_cost_day%20%3D%20_n_gpus%20*%20GPU_COST_HR%20*%2024%0A%20%20%20%20%20%20%20%20_ckpt_cost_per%20%3D%20_n_gpus%20*%20GPU_COST_HR%20*%20(_write_time_s%20%2F%203600)%0A%20%20%20%20%20%20%20%20_daily_ckpts%20%3D%2086400%20%2F%20_tau_opt_s%20if%20_tau_opt_s%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20_daily_ckpt_cost%20%3D%20_ckpt_cost_per%20*%20_daily_ckpts%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Storage%20comparison%20chart%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_storages%20%3D%20%5B(%22NFS%201%20GB%2Fs%22%2C%201.0)%2C%20(%22Parallel%20FS%2010%20GB%2Fs%22%2C%2010.0)%2C%20(%22NVMe%20RAID%20100%20GB%2Fs%22%2C%20100.0)%5D%0A%20%20%20%20%20%20%20%20_write_times%20%3D%20%5B_ckpt_gb%20%2F%20bw%20for%20_%2C%20bw%20in%20_storages%5D%0A%20%20%20%20%20%20%20%20_bar_colors%20%3D%20%5BCOLORS%5B%22RedLine%22%5D%20if%20wt%20%3E%20_tau_opt_s%20else%20COLORS%5B%22GreenLine%22%5D%20for%20wt%20in%20_write_times%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Bn%20for%20n%2C%20_%20in%20_storages%5D%2C%20y%3D%5Bwt%20%2F%2060%20for%20wt%20in%20_write_times%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_bar_colors%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7Bwt%2F60%3A.1f%7D%20min%22%20for%20wt%20in%20_write_times%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20textposition%3D%22auto%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D%22%25%7Bx%7D%3Cbr%3EWrite%20time%3A%20%25%7By%3A.1f%7D%20min%3Cextra%3E%3C%2Fextra%3E%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D_tau_opt_min%2C%20line%3Ddict(color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20width%3D2%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22Young-Daly%20optimal%3A%20%7B_tau_opt_min%3A.1f%7D%20min%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_position%3D%22top%20right%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D300%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Storage%20System%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Checkpoint%20Write%20Time%20(minutes)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D30%2C%20b%3D50%2C%20l%3D50%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Failure%20banner%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20if%20_pathological%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'RedLL'%5D%7D%3B%20border%3A2px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A10px%3B%20padding%3A14px%2018px%3B%20margin%3A10px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.88rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%20margin-bottom%3A4px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20CHECKPOINT%20STORM%20%26mdash%3B%20System%20Pathological%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.85rem%3B%20color%3A%237f1d1d%3B%20line-height%3A1.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Checkpoint%20write%20time%20(%7B_write_time_min%3A.1f%7D%20min)%20%3Cstrong%3Eexceeds%3C%2Fstrong%3E%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Young-Daly%20optimal%20interval%20(%7B_tau_opt_min%3A.1f%7D%20min).%3Cbr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20system%20would%20spend%20more%20time%20writing%20checkpoints%20than%20computing.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3EUpgrade%20storage%20bandwidth%20or%20reduce%20checkpoint%20size.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A12px%3B%20padding%3A16px%2020px%3B%20margin%3A8px%200%3B%20font-family%3Amonospace%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A0.83rem%3B%20line-height%3A1.8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A8px%3B%20font-family%3Asans-serif%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Physics%20%26mdash%3B%20Checkpoint%20Storm%20Analysis%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EModel%3A%20%7B_params_b%7DB%20params%20%26times%3B%2014%20bytes%20%3D%20%3Cstrong%3E%7B_ckpt_tb%3A.2f%7D%20TB%3C%2Fstrong%3E%20per%20checkpoint%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EWrite%20time%20%3D%20%7B_ckpt_gb%3A.0f%7D%20GB%20%2F%20%7B_storage_bw%7D%20GB%2Fs%20%3D%20%3Cstrong%3E%7B_write_time_min%3A.1f%7D%20minutes%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ESystem%20MTBF%20%3D%20%7BGPU_MTTF_HOURS%3A%2C%7Dh%20%2F%20%7B_n_gpus%3A%2C%7D%20%3D%20%3Cstrong%3E%7B_mtbf_h%3A.1f%7D%20hours%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EYoung-Daly%20optimal%20%3D%20sqrt(2%20%26times%3B%20%7B_write_time_s%3A.0f%7Ds%20%26times%3B%20%7B_mtbf_s%3A.0f%7Ds)%20%3D%20%3Cstrong%3E%7B_tau_opt_min%3A.1f%7D%20minutes%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EWrite%2FOptimal%20ratio%20%3D%20%3Cstrong%20style%3D%22color%3A%7BCOLORS%5B'RedLine'%5D%20if%20_pathological%20else%20COLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_ckpt_fraction%3A.2f%7Dx%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B'(PATHOLOGICAL)'%20if%20_pathological%20else%20'(healthy)'%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A16px%3B%20justify-content%3Acenter%3B%20margin%3A8px%200%3B%20flex-wrap%3Awrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3ECkpt%20Size%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_ckpt_tb%3A.1f%7DTB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EWrite%20Time%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%20if%20_pathological%20else%20COLORS%5B'GreenLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_write_time_min%3A.0f%7Dm%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EDaily%20Ckpt%20Cost%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%24%7B_daily_ckpt_cost%3A%2C.0f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3ESystem%20MTBF%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_mtbf_h%3A.1f%7Dh%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.ui.plotly(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Prediction%20reveal%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20if%20partB_prediction.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20175B%20x%2014%20bytes%20%3D%202.45%20TB%20per%20checkpoint.%20At%201%20GB%2Fs%20NFS%2C%20that%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%222%2C450%20seconds%20%3D%20~41%20minutes.%20With%20MTBF%20of%20~50%20hours%20for%20a%201%2C000-GPU%20cluster%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20Young-Daly%20optimal%20interval%20is%20~8.2%20hours%2C%20so%2041%20minutes%20is%20well%20within%20budget.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22But%20at%2010%2C000%20GPUs%20(MTBF%20~5%20hours)%2C%20optimal%20interval%20drops%20to%20~2.6%20hours%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22--%20now%20the%20write%20time%20(41%20min)%20is%20a%20large%20fraction%20of%20the%20optimal%20interval.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partB_prediction.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Off%20by%20orders%20of%20magnitude.**%20175B%20x%2014%20bytes%20%3D%202.45%20TB.%20At%201%20GB%2Fs%20NFS%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22writing%202%2C450%20GB%20takes%202%2C450%20seconds%20--%20not%2010%20seconds.%20Even%20NVMe%20RAID%20at%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22100%20GB%2Fs%20takes%20~24.5%20seconds.%20NFS%20cannot%20handle%20frontier-scale%20checkpoints.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partB_prediction.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Too%20optimistic%20by%2020x.**%202.45%20TB%20at%201%20GB%2Fs%20%3D%202%2C450%20seconds%20%3D%20~41%20minutes%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22not%202%20minutes.%202%20minutes%20would%20require%202%2C450%20%2F%20120%20%3D%2020%20GB%2Fs%20sustained%20write%20--%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22faster%20than%20most%20parallel%20file%20systems.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partB_prediction.value%20%3D%3D%20%22D%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Still%208x%20too%20optimistic.**%205%20minutes%20%3D%20300%20seconds.%20But%202%2C450%20GB%20%2F%20300s%20%3D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%228.2%20GB%2Fs%20required.%20NFS%20provides%201%20GB%2Fs.%20Even%20parallel%20FS%20at%2010%20GB%2Fs%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22takes%204%20minutes.%20NFS%3A%2041%20minutes.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20MathPeek%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Governing%20equations%20--%20checkpoint%20storm%20and%20storage%20requirements%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20**Checkpoint%20Size**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20C%20%3D%20P%20*%20(2%20%2B%204%20%2B%204%20%2B%204)%20%3D%20P%20*%2014%20bytes%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20-%20FP16%20weights%3A%202%20bytes%2Fparam%0A%20%20%20%20%20%20%20%20-%20FP32%20optimizer%20momentum%20(m1)%3A%204%20bytes%2Fparam%0A%20%20%20%20%20%20%20%20-%20FP32%20optimizer%20variance%20(m2)%3A%204%20bytes%2Fparam%0A%20%20%20%20%20%20%20%20-%20FP32%20master%20weights%3A%204%20bytes%2Fparam%0A%20%20%20%20%20%20%20%20-%20175B%20params%3A%20C%20%3D%20175e9%20*%2014%20%3D%202.45%20TB%0A%0A%20%20%20%20%20%20%20%20**Checkpoint%20Storm%20Condition**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20T_write%20%3E%20tau_opt%20%20%3D%3E%20%20C%2FBW%20%3E%20sqrt(2%20*%20C%2FBW%20*%20MTBF)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20Simplifying%3A%20C%2FBW%20%3E%202%20*%20MTBF%20(approximately)%0A%20%20%20%20%20%20%20%20Storm%20occurs%20when%20storage%20bandwidth%20is%20insufficient%20relative%20to%0A%20%20%20%20%20%20%20%20model%20size%20and%20cluster%20MTBF.%0A%0A%20%20%20%20%20%20%20%20**Required%20Storage%20Bandwidth%20to%20Avoid%20Storm**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20BW_min%20%3E%20C%20%2F%20tau_opt%20%3D%20C%20%2F%20sqrt(2%20*%20T_write%20*%20MTBF)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Reflection%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Reflection%22))%0A%20%20%20%20%20%20%20%20items.append(partB_reflection)%0A%0A%20%20%20%20%20%20%20%20if%20partB_reflection.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20an%20answer%20to%20see%20the%20explanation.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partB_reflection.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20Async%20checkpointing%20writes%20to%20fast%20local%20NVMe%20while%20training%20continues%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22then%20drains%20to%20durable%20storage%20in%20the%20background.%20This%20makes%20T_write%20effectively%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22near-zero%20for%20the%20training%20loop%2C%20breaking%20the%20checkpoint%20storm.%20Combined%20with%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22parallel%20file%20systems%20(10-100%20GB%2Fs)%2C%20this%20is%20the%20standard%20production%20solution.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Not%20the%20primary%20solution.**%20Asynchronous%20checkpointing%20decouples%20checkpoint%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22writes%20from%20the%20training%20loop%20by%20writing%20to%20fast%20local%20NVMe%20first%2C%20then%20draining%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22to%20durable%20storage%20in%20the%20background.%20This%20makes%20T_write%20effectively%20zero%20for%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20training%20loop%2C%20eliminating%20the%20checkpoint%20storm%20regardless%20of%20storage%20speed.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20C%20BUILDER%20--%20Async%20Checkpointing%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Stakeholder%20message%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'OrangeLL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Systems%20Architect%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20checkpoint%20storm%20from%20Part%20B%20is%20blocking%20our%20175B%20training%20run.%0A%20%20%20%20%20%20%20%20%20%20%20%20Someone%20suggested%20async%20checkpointing%20--%20write%20to%20local%20NVMe%20first%2C%20then%20drain%0A%20%20%20%20%20%20%20%20%20%20%20%20to%20durable%20storage%20in%20the%20background.%20How%20much%20does%20this%20actually%20help%3F%22%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Concept%20framing%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20Asynchronous%20checkpointing%20splits%20the%20write%20into%20two%20phases%3A%0A%0A%20%20%20%201.%20**Snapshot%20to%20local%20NVMe**%3A%20Each%20GPU%20writes%20its%20shard%20to%20local%20NVMe%20RAID.%0A%20%20%20%20%20%20%20At%20100%20GB%2Fs%20per%20node%2C%208%20GPUs%20write%20their%20shards%20in%20parallel.%0A%0A%20%20%20%202.%20**Background%20drain**%3A%20A%20background%20thread%20copies%20the%20snapshot%20from%20NVMe%0A%20%20%20%20%20%20%20to%20durable%20storage%20(parallel%20FS%20or%20object%20store)%20while%20training%20resumes.%0A%0A%20%20%20%20The%20training%20loop%20pauses%20only%20for%20Phase%201.%20For%20a%20175B%20model%3A%0A%20%20%20%20-%20Checkpoint%20per%20node%20%3D%202.45%20TB%20%2F%20(N_nodes)%20--%20sharded%20across%20nodes%0A%20%20%20%20-%20At%20100%20GB%2Fs%20local%20NVMe%3A%20pause%20%3D%20shard_size%20%2F%20100%20GB%2Fs%0A%0A%20%20%20%20For%20256%20GPUs%20(32%20nodes)%3A%20per-node%20shard%20%3D%202.45%20TB%20%2F%2032%20%3D%20~77%20GB.%0A%20%20%20%20NVMe%20pause%20%3D%2077%20GB%20%2F%20100%20GB%2Fs%20%3D%20**~0.8%20seconds**%20(vs%2041%20min%20on%20NFS).%0A%0A%20%20%20%20The%20catch%3A%20local%20NVMe%20must%20hold%20at%20least%202%20checkpoints%20(current%20%2B%20previous)%0A%20%20%20%20for%20rollback%20safety.%20At%2077%20GB%20per%20checkpoint%2C%20that%20requires%20~154%20GB%20local%20NVMe%20per%20node.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20lock%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Your%20Prediction%22))%0A%20%20%20%20%20%20%20%20items.append(partC_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partC_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20Part%20C%20instruments.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20Controls%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Async%20Checkpoint%20Analyzer%22))%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5Bc1_nvme_bw%2C%20c1_drain_bw%2C%20c1_cluster_gpus%5D%2C%20justify%3D%22center%22%2C%20gap%3D2))%0A%0A%20%20%20%20%20%20%20%20%23%20Physics%0A%20%20%20%20%20%20%20%20_params_b%20%3D%20175%0A%20%20%20%20%20%20%20%20_ckpt_gb%20%3D%20_params_b%20*%201e9%20*%2014%20%2F%201e9%20%20%23%202450%20GB%0A%20%20%20%20%20%20%20%20_n_gpus%20%3D%20c1_cluster_gpus.value%0A%20%20%20%20%20%20%20%20_n_nodes%20%3D%20max(_n_gpus%20%2F%2F%208%2C%201)%0A%20%20%20%20%20%20%20%20_nvme_bw%20%3D%20c1_nvme_bw.value%0A%20%20%20%20%20%20%20%20_drain_bw%20%3D%20c1_drain_bw.value%0A%0A%20%20%20%20%20%20%20%20_shard_gb%20%3D%20_ckpt_gb%20%2F%20_n_nodes%0A%20%20%20%20%20%20%20%20_nvme_pause_s%20%3D%20_shard_gb%20%2F%20_nvme_bw%0A%20%20%20%20%20%20%20%20_drain_time_s%20%3D%20_ckpt_gb%20%2F%20_drain_bw%20%20%23%20total%20drain%20time%0A%20%20%20%20%20%20%20%20_nfs_time_s%20%3D%20_ckpt_gb%20%2F%201.0%20%20%23%20NFS%20baseline%0A%20%20%20%20%20%20%20%20_nfs_time_min%20%3D%20_nfs_time_s%20%2F%2060%0A%0A%20%20%20%20%20%20%20%20_mtbf_s%20%3D%20GPU_MTTF_HOURS%20*%203600%20%2F%20_n_gpus%0A%20%20%20%20%20%20%20%20_tau_opt%20%3D%20calc_young_daly_interval(_nvme_pause_s%2C%20_mtbf_s).m_as(%22second%22)%0A%20%20%20%20%20%20%20%20_tau_opt_min%20%3D%20_tau_opt%20%2F%2060%0A%0A%20%20%20%20%20%20%20%20_waste_async%20%3D%20_nvme_pause_s%20%2F%20_tau_opt%20%2B%20_tau_opt%20%2F%20(2%20*%20_mtbf_s)%20if%20_tau_opt%20%3E%200%20else%201.0%0A%20%20%20%20%20%20%20%20_tau_nfs%20%3D%20calc_young_daly_interval(_nfs_time_s%2C%20_mtbf_s).m_as(%22second%22)%0A%20%20%20%20%20%20%20%20_waste_nfs%20%3D%20_nfs_time_s%20%2F%20_tau_nfs%20%2B%20_tau_nfs%20%2F%20(2%20*%20_mtbf_s)%20if%20_mtbf_s%20%3E%200%20else%201.0%0A%0A%20%20%20%20%20%20%20%20_speedup%20%3D%20_nfs_time_s%20%2F%20max(_nvme_pause_s%2C%200.001)%0A%20%20%20%20%20%20%20%20_nvme_storage_needed_gb%20%3D%20_shard_gb%20*%202%20%20%23%202%20checkpoints%0A%0A%20%20%20%20%20%20%20%20%23%20Comparison%20chart%0A%20%20%20%20%20%20%20%20_methods%20%3D%20%5B%22NFS%20(1%20GB%2Fs)%22%2C%20%22Parallel%20FS%20(10%20GB%2Fs)%22%2C%20f%22Async%20NVMe%20(%7B_nvme_bw%7D%20GB%2Fs)%22%5D%0A%20%20%20%20%20%20%20%20_pause_times%20%3D%20%5B_nfs_time_s%2C%20_ckpt_gb%20%2F%2010.0%2C%20_nvme_pause_s%5D%0A%20%20%20%20%20%20%20%20_bar_colors%20%3D%20%5BCOLORS%5B%22RedLine%22%5D%2C%20COLORS%5B%22OrangeLine%22%5D%2C%20COLORS%5B%22GreenLine%22%5D%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_methods%2C%20y%3D_pause_times%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_bar_colors%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7Bt%3A.1f%7Ds%22%20if%20t%20%3C%2060%20else%20f%22%7Bt%2F60%3A.1f%7Dm%22%20for%20t%20in%20_pause_times%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20textposition%3D%22auto%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D300%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Checkpoint%20Method%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Training%20Loop%20Pause%20(seconds)%22%2C%20type%3D%22log%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D30%2C%20b%3D50%2C%20l%3D50%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20_pause_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_nvme_pause_s%20%3C%205%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_nvme_pause_s%20%3C%2060%20else%20COLORS%5B%22RedLine%22%5D)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A12px%3B%20padding%3A16px%2020px%3B%20margin%3A8px%200%3B%20font-family%3Amonospace%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A0.83rem%3B%20line-height%3A1.8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A8px%3B%20font-family%3Asans-serif%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Physics%20%26mdash%3B%20Async%20Checkpoint%20Analysis%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ECheckpoint%3A%20175B%20%26times%3B%2014%20bytes%20%3D%20%3Cstrong%3E%7B_ckpt_gb%3A.0f%7D%20GB%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ENodes%3A%20%7B_n_nodes%7D%20%26mdash%3B%20shard%20per%20node%3A%20%3Cstrong%3E%7B_shard_gb%3A.1f%7D%20GB%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ENVMe%20pause%20%3D%20%7B_shard_gb%3A.1f%7D%20%2F%20%7B_nvme_bw%7D%20%3D%20%3Cstrong%20style%3D%22color%3A%7B_pause_color%7D%3B%22%3E%7B_nvme_pause_s%3A.2f%7Ds%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ENFS%20baseline%3A%20%3Cstrong%20style%3D%22color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%7B_nfs_time_min%3A.1f%7D%20min%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ESpeedup%3A%20%3Cstrong%20style%3D%22color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_speedup%3A.0f%7Dx%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ELocal%20NVMe%20required%3A%20%3Cstrong%3E%7B_nvme_storage_needed_gb%3A.0f%7D%20GB%3C%2Fstrong%3E%20per%20node%20(2%20checkpoints)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A16px%3B%20justify-content%3Acenter%3B%20margin%3A8px%200%3B%20flex-wrap%3Awrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3ENVMe%20Pause%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_pause_color%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_nvme_pause_s%3A.1f%7Ds%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Evs%20%7B_nfs_time_min%3A.0f%7Dm%20NFS%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3ESpeedup%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_speedup%3A.0f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EWaste%20(async)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_waste_async*100%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Evs%20%7B_waste_nfs*100%3A.1f%7D%25%20NFS%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.ui.plotly(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20reveal%0A%20%20%20%20%20%20%20%20if%20partC_prediction.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20With%20256%20GPUs%20across%2032%20nodes%2C%20each%20node%20writes%20~77%20GB%20to%20local%20NVMe%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22at%20100%20GB%2Fs%20%3D%200.8%20seconds.%20The%20training%20loop%20pauses%20for%20less%20than%201%20second.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Background%20drain%20to%20durable%20storage%20takes%20minutes%2C%20but%20training%20has%20already%20resumed.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20reduces%20Young-Daly%20waste%20from%20~25%25%20(NFS)%20to%20under%202%25.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partC_prediction.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Close%20but%20wrong%20phase.**%2010%20seconds%20would%20be%20the%20time%20to%20drain%20to%20NVMe%20if%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22entire%20checkpoint%20were%20written%20to%20one%20node.%20With%20sharding%20across%2032%20nodes%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22each%20writes%20only%2077%20GB%20--%20pause%20is%20under%201%20second.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partC_prediction.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**That%20is%20the%20full%20checkpoint%20size%20%2F%20NVMe%20BW.**%202450%20GB%20%2F%20100%20GB%2Fs%20%3D%2024.5%20seconds.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22But%20with%2032%20nodes%20writing%20in%20parallel%2C%20each%20writes%20only%2077%20GB%20%2F%20100%20%3D%200.8%20seconds.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20parallelism%20across%20nodes%20is%20the%20key%20insight.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partC_prediction.value%20%3D%3D%20%22D%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Async%20does%20not%20use%20NFS%20for%20the%20training%20pause.**%20The%20whole%20point%20is%20to%20write%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fast%20local%20NVMe%20first%20(sub-second)%2C%20then%20drain%20to%20NFS%2Fparallel%20FS%20in%20the%20background.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20%23%20MathPeek%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Governing%20equations%20--%20async%20checkpointing%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20**Async%20Checkpoint%20Pause**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20T_pause%20%3D%20(C%20%2F%20N_nodes)%20%2F%20BW_nvme%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20-%20C%20%3D%20total%20checkpoint%20size%20(bytes)%0A%20%20%20%20%20%20%20%20-%20N_nodes%20%3D%20cluster%20nodes%20(each%20writes%20its%20shard%20in%20parallel)%0A%20%20%20%20%20%20%20%20-%20BW_nvme%20%3D%20per-node%20NVMe%20write%20bandwidth%0A%0A%20%20%20%20%20%20%20%20**Background%20Drain%20Time**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20T_drain%20%3D%20C%20%2F%20BW_durable_storage%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20T_drain%20%3E%20T_pause%20is%20expected%20and%20acceptable%20--%20training%20continues%20during%20drain.%0A%0A%20%20%20%20%20%20%20%20**Requirement**%3A%20Local%20NVMe%20must%20hold%20%3E%3D%202%20checkpoints%3A%0A%20%20%20%20%20%20%20%20-%20Current%20checkpoint%20being%20written%0A%20%20%20%20%20%20%20%20-%20Previous%20checkpoint%20for%20rollback%20safety%0A%20%20%20%20%20%20%20%20-%20NVMe_capacity%20%3E%3D%202%20*%20C%20%2F%20N_nodes%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20%23%20Reflection%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Reflection%22))%0A%20%20%20%20%20%20%20%20items.append(partC_reflection)%0A%0A%20%20%20%20%20%20%20%20if%20partC_reflection.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20an%20answer%20to%20see%20the%20explanation.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partC_reflection.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20Async%20checkpointing%20reduces%20the%20training%20pause%20to%20NVMe%20write%20time%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22but%20requires%3A%20(1)%20enough%20local%20NVMe%20capacity%20for%202%20checkpoints%20per%20node%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22(2)%20background%20drain%20bandwidth%20sufficient%20to%20drain%20before%20the%20next%20checkpoint.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22For%20175B%20at%2032%20nodes%3A%20154%20GB%20NVMe%20per%20node.%20Most%20DGX%20nodes%20ship%20with%202-4%20TB%20NVMe.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Not%20quite.**%20Async%20checkpointing%20is%20not%20free%20--%20it%20requires%20local%20NVMe%20storage%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22capacity%20for%20at%20least%202%20checkpoints%20per%20node.%20The%20training%20pause%20is%20reduced%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22NVMe%20write%20time%2C%20but%20if%20drain%20bandwidth%20is%20too%20slow%2C%20checkpoints%20can%20pile%20up%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22and%20exhaust%20local%20storage.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20D%20BUILDER%20--%20Serving%20Fault%20Tolerance%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Stakeholder%20message%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'RedLL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20SRE%20Team%20Lead%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Our%20inference%20service%20runs%2010%20replicas%20serving%201%2C000%20QPS%20total%20with%20a%20500ms%20P99%20SLO.%0A%20%20%20%20%20%20%20%20%20%20%20%20When%20a%20replica%20fails%2C%20it%20takes%2090%20seconds%20to%20reload%20the%2070B%20model.%20During%20recovery%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20remaining%209%20replicas%20must%20absorb%20the%20extra%20traffic.%20Are%20we%20SLO-safe%2C%20or%20do%20we%0A%20%20%20%20%20%20%20%20%20%20%20%20need%20spare%20replicas%3F%22%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Concept%20framing%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20Training%20fault%20tolerance%20is%20about%20**protecting%20state**%20(checkpoint%2Frestore).%0A%20%20%20%20Serving%20fault%20tolerance%20is%20about%20**maintaining%20throughput**%20during%20failures.%0A%0A%20%20%20%20Key%20differences%3A%0A%20%20%20%20-%20**Training**%3A%20lose%20GPU%20-%3E%20lose%20progress%20since%20last%20checkpoint.%20Restart%20from%20checkpoint.%0A%20%20%20%20-%20**Serving**%3A%20lose%20replica%20-%3E%20lose%20KV%20cache%20state%20for%20all%20in-flight%20requests.%20Those%0A%20%20%20%20%20%20requests%20must%20be%20re-issued%20to%20other%20replicas.%20The%20remaining%20replicas%20must%20absorb%0A%20%20%20%20%20%20the%20extra%20QPS%20without%20violating%20the%20latency%20SLO.%0A%0A%20%20%20%20The%20critical%20question%3A%20can%20N-1%20replicas%20handle%20the%20full%20QPS%20within%20the%20SLO%0A%20%20%20%20during%20the%20recovery%20window%3F%0A%0A%20%20%20%20Per-replica%20capacity%20%3D%20QPS_total%20%2F%20N.%20After%20one%20failure%2C%20load%20per%20survivor%20%3D%0A%20%20%20%20QPS_total%20%2F%20(N%20-%201).%20If%20this%20exceeds%20per-replica%20max%20throughput%2C%20requests%20queue%0A%20%20%20%20and%20P99%20latency%20spikes%20above%20the%20SLO.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20lock%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Your%20Prediction%22))%0A%20%20%20%20%20%20%20%20items.append(partD_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partD_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20Part%20D%20instruments.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20Controls%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Serving%20Fault%20Tolerance%20Analyzer%22))%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bd1_replicas%2C%20d1_qps%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bd1_recovery_s%2C%20d1_slo_p99_ms%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22center%22%2C%20gap%3D2))%0A%0A%20%20%20%20%20%20%20%20%23%20Physics%0A%20%20%20%20%20%20%20%20_replicas%20%3D%20d1_replicas.value%0A%20%20%20%20%20%20%20%20_qps%20%3D%20d1_qps.value%0A%20%20%20%20%20%20%20%20_recovery_s%20%3D%20d1_recovery_s.value%0A%20%20%20%20%20%20%20%20_slo_ms%20%3D%20d1_slo_p99_ms.value%0A%0A%20%20%20%20%20%20%20%20_qps_per_replica%20%3D%20_qps%20%2F%20_replicas%0A%20%20%20%20%20%20%20%20_qps_after_failure%20%3D%20_qps%20%2F%20max(_replicas%20-%201%2C%201)%0A%0A%20%20%20%20%20%20%20%20%23%20Simple%20capacity%20model%3A%20max%20throughput%20per%20replica%20before%20SLO%20violation%0A%20%20%20%20%20%20%20%20%23%20Assume%20each%20replica%20can%20handle%20~1.3x%20its%20normal%20load%20before%20SLO%20breach%0A%20%20%20%20%20%20%20%20_max_qps_per_replica%20%3D%20_qps_per_replica%20*%201.3%0A%20%20%20%20%20%20%20%20_overloaded%20%3D%20_qps_after_failure%20%3E%20_max_qps_per_replica%0A%20%20%20%20%20%20%20%20_overflow_qps%20%3D%20max(0%2C%20_qps_after_failure%20-%20_max_qps_per_replica)%0A%0A%20%20%20%20%20%20%20%20%23%20Requests%20dropped%20during%20recovery%0A%20%20%20%20%20%20%20%20_requests_at_risk%20%3D%20_overflow_qps%20*%20_recovery_s%20if%20_overloaded%20else%200%0A%20%20%20%20%20%20%20%20_slo_violation%20%3D%20_overloaded%0A%0A%20%20%20%20%20%20%20%20%23%20Spare%20replicas%20needed%0A%20%20%20%20%20%20%20%20_spare_needed%20%3D%200%0A%20%20%20%20%20%20%20%20for%20_s%20in%20range(0%2C%205)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_test_survivors%20%3D%20_replicas%20%2B%20_s%20-%201%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_test_survivors%20%3E%200%20and%20_qps%20%2F%20_test_survivors%20%3C%3D%20_max_qps_per_replica%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_spare_needed%20%3D%20_s%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_spare_needed%20%3D%205%0A%0A%20%20%20%20%20%20%20%20%23%20Cost%20of%20spares%0A%20%20%20%20%20%20%20%20_spare_cost_day%20%3D%20_spare_needed%20*%208%20*%20GPU_COST_HR%20*%2024%20%20%23%208%20GPUs%20per%20replica%0A%0A%20%20%20%20%20%20%20%20%23%20Chart%3A%20latency%20vs%20replica%20count%20during%20failure%0A%20%20%20%20%20%20%20%20_replica_range%20%3D%20list(range(max(_replicas%20-%203%2C%202)%2C%20_replicas%20%2B%205))%0A%20%20%20%20%20%20%20%20_latency_factor%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_r%20in%20_replica_range%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_survivors%20%3D%20_r%20-%201%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_survivors%20%3C%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_latency_factor.append(999)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20%20%20%20%20_load_ratio%20%3D%20_qps%20%2F%20_survivors%20%2F%20_qps_per_replica%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Approximate%3A%20latency%20scales%20as%201%2F(1%20-%20load_ratio%2Fcapacity)%20for%20queueing%0A%20%20%20%20%20%20%20%20%20%20%20%20_lat%20%3D%20_slo_ms%20*%20min(max(_load_ratio%2C%201.0)%2C%205.0)%20if%20_load_ratio%20%3C%201.3%20else%20_slo_ms%20*%205%0A%20%20%20%20%20%20%20%20%20%20%20%20_latency_factor.append(_lat)%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_colors_bar%20%3D%20%5BCOLORS%5B%22GreenLine%22%5D%20if%20lat%20%3C%3D%20_slo_ms%20else%20COLORS%5B%22RedLine%22%5D%20for%20lat%20in%20_latency_factor%5D%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Bstr(r)%20for%20r%20in%20_replica_range%5D%2C%20y%3D_latency_factor%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_colors_bar%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7Bl%3A.0f%7Dms%22%20for%20l%20in%20_latency_factor%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20textposition%3D%22auto%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D_slo_ms%2C%20line%3Ddict(color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20width%3D2%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22P99%20SLO%3A%20%7B_slo_ms%7Dms%22%2C%20annotation_position%3D%22top%20right%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D300%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Total%20Replicas%20(one%20fails)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Estimated%20P99%20Latency%20(ms)%22%2C%20range%3D%5B0%2C%20max(max(_latency_factor)%20*%201.2%2C%20_slo_ms%20*%202)%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D30%2C%20b%3D50%2C%20l%3D50%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20_status_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_slo_violation%20else%20COLORS%5B%22GreenLine%22%5D%0A%20%20%20%20%20%20%20%20_status_text%20%3D%20%22SLO%20VIOLATED%22%20if%20_slo_violation%20else%20%22SLO%20MAINTAINED%22%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A12px%3B%20padding%3A16px%2020px%3B%20margin%3A8px%200%3B%20font-family%3Amonospace%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A0.83rem%3B%20line-height%3A1.8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A8px%3B%20font-family%3Asans-serif%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Physics%20%26mdash%3B%20Serving%20Fault%20Tolerance%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EReplicas%3A%20%7B_replicas%7D%20%26mdash%3B%20QPS%2Freplica%3A%20%7B_qps_per_replica%3A.0f%7D%20%26mdash%3B%20Total%20QPS%3A%20%7B_qps%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EAfter%201%20failure%3A%20QPS%2Fsurvivor%20%3D%20%7B_qps_after_failure%3A.0f%7D%20(max%20safe%3A%20%7B_max_qps_per_replica%3A.0f%7D)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ERecovery%20time%3A%20%7B_recovery_s%7Ds%20%26mdash%3B%20Requests%20at%20risk%3A%20%3Cstrong%3E%7B_requests_at_risk%3A.0f%7D%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EStatus%3A%20%3Cstrong%20style%3D%22color%3A%7B_status_color%7D%3B%22%3E%7B_status_text%7D%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ESpare%20replicas%20needed%3A%20%3Cstrong%3E%7B_spare_needed%7D%3C%2Fstrong%3E%20(cost%3A%20%24%7B_spare_cost_day%3A%2C.0f%7D%2Fday)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20SLO%20violation%20banner%0A%20%20%20%20%20%20%20%20if%20_slo_violation%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'RedLL'%5D%7D%3B%20border%3A2px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A10px%3B%20padding%3A14px%2018px%3B%20margin%3A10px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.88rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%20margin-bottom%3A4px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20SLO%20VIOLATION%20%26mdash%3B%20Insufficient%20Replicas%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.85rem%3B%20color%3A%237f1d1d%3B%20line-height%3A1.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20After%201%20replica%20failure%2C%20remaining%20%7B_replicas%20-%201%7D%20replicas%20receive%20%7B_qps_after_failure%3A.0f%7D%20QPS%20each%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(max%20safe%3A%20%7B_max_qps_per_replica%3A.0f%7D).%20~%7B_requests_at_risk%3A.0f%7D%20requests%20will%20breach%20the%20%7B_slo_ms%7Dms%20SLO%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20during%20the%20%7B_recovery_s%7Ds%20recovery%20window.%20%3Cstrong%3EAdd%20%7B_spare_needed%7D%20spare%20replica(s).%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A16px%3B%20justify-content%3Acenter%3B%20margin%3A8px%200%3B%20flex-wrap%3Awrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EStatus%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.4rem%3B%20font-weight%3A800%3B%20color%3A%7B_status_color%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_status_text.split()%5B0%5D%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3ESpares%20Needed%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_spare_needed%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3ERecovery%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_recovery_s%7Ds%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.ui.plotly(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20reveal%0A%20%20%20%20%20%20%20%20if%20partD_prediction.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20The%20required%20spare%20count%20depends%20on%20the%20specific%20numbers.%20With%2010%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22replicas%20at%20100%20QPS%20each%2C%20losing%201%20pushes%20survivors%20to%20111%20QPS%20each.%20If%20max%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22safe%20capacity%20is%20~130%20QPS%2Freplica%2C%209%20survivors%20can%20absorb%20the%20load.%20But%20with%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fewer%20replicas%20or%20higher%20QPS%2C%20you%20need%20N%2B1%20or%20N%2B2%20provisioning.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partD_prediction.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Dangerous%20assumption.**%20During%20the%2090-second%20recovery%2C%20the%20remaining%209%20replicas%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22must%20handle%20111%25%20of%20their%20normal%20load.%20If%20they%20were%20already%20at%2080%25%20capacity%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20extra%2011%25%20pushes%20them%20past%20the%20SLO%20threshold.%20'Just%20restart'%20works%20only%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22if%20you%20have%20headroom.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partD_prediction.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Conservative%20but%20not%20always%20necessary.**%20N%2B1%20guarantees%20one%20failure%20tolerance%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22but%20costs%208%20extra%20GPUs%20(%24576%2Fday).%20If%20the%20existing%20replicas%20have%20%3E30%25%20headroom%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22they%20can%20absorb%20the%20load%20without%20a%20spare.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partD_prediction.value%20%3D%3D%20%22D%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Wasteful.**%202x%20replicas%20provides%20excellent%20fault%20tolerance%20but%20doubles%20GPU%20cost.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20right%20answer%20depends%20on%20the%20specific%20QPS%2C%20SLO%2C%20and%20recovery%20time.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Most%20production%20systems%20use%20N%2B1%20or%20N%2B2%2C%20not%20N*2.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20%23%20MathPeek%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Governing%20equations%20--%20serving%20fault%20tolerance%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20**Load%20After%20Failure**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20QPS_per_survivor%20%3D%20QPS_total%20%2F%20(N%20-%20k)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20-%20N%20%3D%20total%20replicas%2C%20k%20%3D%20failed%20replicas%0A%20%20%20%20%20%20%20%20-%20Each%20survivor%20must%20handle%20more%20traffic%0A%0A%20%20%20%20%20%20%20%20**SLO%20Violation%20Condition**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20QPS_per_survivor%20%3E%20max_capacity_per_replica%20%20%3D%3E%20%20SLO%20violated%0A%20%20%20%20%20%20%20%20requests_at_risk%20%3D%20(QPS_per_survivor%20-%20max_capacity)%20*%20recovery_time%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20**Serving%20vs%20Training%20Fault%20Tolerance**%0A%0A%20%20%20%20%20%20%20%20%7C%20Property%20%7C%20Training%20%7C%20Serving%20%7C%0A%20%20%20%20%20%20%20%20%7C----------%7C----------%7C---------%7C%0A%20%20%20%20%20%20%20%20%7C%20State%20%7C%20Checkpoint%20(GB-TB)%20%7C%20KV%20cache%20(GB%2C%20per-request)%20%7C%0A%20%20%20%20%20%20%20%20%7C%20Recovery%20%7C%20Restore%20from%20storage%20%7C%20Reload%20model%20weights%20%7C%0A%20%20%20%20%20%20%20%20%7C%20Cost%20of%20failure%20%7C%20Lost%20compute%20since%20checkpoint%20%7C%20Dropped%2Fdelayed%20requests%20%7C%0A%20%20%20%20%20%20%20%20%7C%20Mitigation%20%7C%20Checkpoint%20frequency%20%7C%20Spare%20replicas%20%7C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20%23%20Reflection%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Reflection%22))%0A%20%20%20%20%20%20%20%20items.append(partD_reflection)%0A%0A%20%20%20%20%20%20%20%20if%20partD_reflection.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20an%20answer%20to%20see%20the%20explanation.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partD_reflection.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20Training%20fault%20tolerance%20preserves%20long-lived%20state%20(checkpoint%2Frestore).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Serving%20fault%20tolerance%20maintains%20throughput.%20When%20a%20serving%20replica%20fails%2C%20its%20KV%20cache%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22(active%20request%20state)%20is%20lost%20entirely.%20Those%20requests%20must%20restart%20from%20scratch%20on%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22another%20replica%2C%20and%20the%20replica%20must%20reload%20~140%20GB%20of%20model%20weights%20before%20serving%20again.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Not%20quite.**%20Serving%20fault%20tolerance%20differs%20fundamentally%20because%20KV%20cache%20state%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22is%20per-request%20and%20ephemeral.%20When%20a%20replica%20fails%2C%20all%20in-flight%20request%20state%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22lost.%20Recovery%20requires%20reloading%20model%20weights%20(90%2B%20seconds%20for%2070B)%2C%20during%20which%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22remaining%20replicas%20must%20absorb%20the%20extra%20traffic.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20SYNTHESIS%20BUILDER%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2024px%2028px%3B%20margin%3A%2016px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%2012px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Key%20Takeaways%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.92rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20line-height%3A%201.75%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E1.%20System%20MTBF%20%3D%20Component_MTTF%20%2F%20N%20scales%20inversely%20with%20cluster%20size.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%2010%2C000-GPU%20cluster%20with%2050%2C000-hour%20component%20MTTF%20experiences%20failures%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20every%205%20hours.%20At%2025%2C000%20GPUs%20(GPT-4%20scale)%2C%20failures%20occur%20every%202%20hours.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Failure%20is%20the%20common%20case%2C%20not%20the%20exception.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E2.%20The%20Young-Daly%20sweet%20spot%20is%20tau%20%3D%20sqrt(2%20*%20T_write%20*%20MTBF).%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20For%20a%2016%2C000-GPU%20cluster%20(MTBF%20~3h)%20with%202-minute%20writes%2C%20the%20optimal%20interval%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20is%20~27%20minutes%20--%20not%2010%20minutes%20(too%20aggressive)%20or%2090%20minutes%20(too%20conservative).%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20U-shaped%20waste%20curve%20has%20a%20sharp%20minimum.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E3.%20Checkpoint%20storms%20occur%20when%20T_write%20%3E%20tau_opt.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%20175B%20model%20on%20NFS%20(1%20GB%2Fs)%20takes%20~41%20minutes%20to%20checkpoint.%20If%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Young-Daly%20optimal%20interval%20is%20shorter%20than%2041%20minutes%2C%20the%20system%20is%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pathological.%20Async%20checkpointing%20to%20local%20NVMe%20is%20the%20standard%20fix.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2016px%3B%20margin%3A%208px%200%2016px%200%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20What's%20Next%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ELab%20V2-07%3A%20The%20Scheduling%20Trap%3C%2Fstrong%3E%20%26mdash%3B%20You%20designed%20fault%20tolerance%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20a%20cluster.%20But%20scheduling%20GPU%20jobs%20across%20that%20cluster%20is%20harder%20than%20scheduling%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20CPU%20jobs%3A%20heavy-tailed%20durations%2C%20fragmentation%2C%20and%20the%20utilization%20paradox.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Textbook%20%26amp%3B%20TinyTorch%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ERead%3A%3C%2Fstrong%3E%20the%20Fault%20Tolerance%20chapter%20for%20the%20Young-Daly%20derivation%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20checkpoint%20storm%20analysis.%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3EBuild%3A%3C%2Fstrong%3E%20TinyTorch%20checkpoint%20module%20%26mdash%3B%20implement%20async%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20checkpoint%20write%20and%20restore%20in%20%3Ccode%3Etinytorch%2Fsrc%2Fcheckpoint%2F%3C%2Fcode%3E.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Self-Assessment%22%3A%20mo.md(%22%22%22%0A%20%20%20%201.%20What%20is%20the%20system%20MTBF%20for%20a%2010%2C000-GPU%20cluster%20with%2050%2C000-hour%20component%20MTTF%3F%0A%20%20%20%202.%20Using%20the%20Young-Daly%20formula%2C%20what%20is%20the%20optimal%20checkpoint%20interval%20for%20MTBF%3D3h%2C%20T_write%3D2min%3F%0A%20%20%20%203.%20At%20what%20storage%20bandwidth%20does%20a%20175B%20model%20checkpoint%20create%20a%20checkpoint%20storm%20on%20a%2010%2C000-GPU%20cluster%3F%0A%0A%20%20%20%20*If%20you%20cannot%20answer%20all%20three%20from%20memory%2C%20revisit%20Parts%20A%20and%20B.*%0A%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22---%22))%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Decision%20Log%22))%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22Record%20the%20single%20most%20important%20insight%20from%20this%20lab.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20entry%20carries%20forward%20to%20future%20labs%20via%20the%20Design%20Ledger.%22))%0A%20%20%20%20%20%20%20%20items.append(synth_decision_ui)%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20COMPOSE%20TABS%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20%23%20Save%20ledger%0A%20%20%20%20ledger.save(%0A%20%20%20%20%20%20%20%20chapter%3D6%2C%0A%20%20%20%20%20%20%20%20design%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partA_prediction%22%3A%20partA_prediction.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partA_correct%22%3A%20partA_prediction.value%20%3D%3D%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partA_reflection%22%3A%20partA_reflection.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partB_prediction%22%3A%20partB_prediction.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partB_correct%22%3A%20partB_prediction.value%20%3D%3D%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partB_reflection%22%3A%20partB_reflection.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partC_prediction%22%3A%20partC_prediction.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partC_correct%22%3A%20partC_prediction.value%20%3D%3D%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partC_reflection%22%3A%20partC_reflection.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partD_prediction%22%3A%20partD_prediction.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partD_correct%22%3A%20partD_prediction.value%20%3D%3D%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partD_reflection%22%3A%20partD_reflection.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22student_justification%22%3A%20str(synth_decision_input.value)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%20--%20The%20Young-Daly%20Sweet%20Spot%22%3A%20%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%20--%20The%20Checkpoint%20Storm%22%3A%20%20%20%20%20%20%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%20--%20Async%20Checkpointing%22%3A%20%20%20%20%20%20%20%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%20--%20Serving%20Fault%20Tolerance%22%3A%20%20%20%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo%2C%20partA_prediction%2C%20partB_prediction)%3A%0A%20%20%20%20_a1_ok%20%3D%20partA_prediction.value%20%3D%3D%20%22C%22%0A%20%20%20%20_a2_ok%20%3D%20partB_prediction.value%20%3D%3D%20%22C%22%0A%20%20%20%20_tier%20%3D%20%22Optimal%22%20if%20(_a1_ok%20and%20_a2_ok)%20else%20(%22Partial%22%20if%20(_a1_ok%20or%20_a2_ok)%20else%20%22Developing%22)%0A%20%20%20%20_tier_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_tier%20%3D%3D%20%22Optimal%22%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_tier%20%3D%3D%20%22Partial%22%20else%20COLORS%5B%22TextMuted%22%5D)%0A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%20%3Cspan%20class%3D%22hud-value%22%3EVol2%20%26middot%3B%20Lab%2007%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3ECHAPTER%3C%2Fspan%3E%20%3Cspan%20class%3D%22hud-value%22%3Ev2_06%20%26middot%3B%20Fault%20Tolerance%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3EPART%20A%3C%2Fspan%3E%20%3Cspan%20class%3D%22%7B'hud-active'%20if%20_a1_ok%20else%20'hud-none'%7D%22%3E%7B%22CORRECT%22%20if%20_a1_ok%20else%20%22REVIEW%22%7D%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3EPART%20B%3C%2Fspan%3E%20%3Cspan%20class%3D%22%7B'hud-active'%20if%20_a2_ok%20else%20'hud-none'%7D%22%3E%7B%22CORRECT%22%20if%20_a2_ok%20else%20%22REVIEW%22%7D%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3ETIER%3C%2Fspan%3E%20%3Cspan%20style%3D%22color%3A%7B_tier_color%7D%3B%20font-family%3Avar(--font-mono)%3B%22%3E%7B_tier.upper()%7D%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A