lab 01 introduction

import%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20%23%20WASM%20bootstrap%3A%20install%20mlsysim%20from%20hosted%20wheel%20when%20running%20in%20browser%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22..%2F..%2F..%2Fwheels%2Fmlsysim-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%22mlsysim%22%20not%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20_root%20%3D%20Path(__file__).resolve().parents%5B2%5D%0A%20%20%20%20%20%20%20%20if%20str(_root)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_root))%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20import%20mlsysim%0A%20%20%20%20from%20mlsysim.core.defaults%20import%20(%0A%20%20%20%20%20%20%20%20GPU_MTTF_HOURS%2C%0A%20%20%20%20%20%20%20%20INFINIBAND_NDR_BW_GBS%2C%0A%20%20%20%20%20%20%20%20IB_NDR_LATENCY_US%2C%0A%20%20%20%20%20%20%20%20CHINCHILLA_TOKENS_PER_PARAM%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysim.core.formulas%20import%20(%0A%20%20%20%20%20%20%20%20calc_ring_allreduce_time%2C%0A%20%20%20%20%20%20%20%20calc_mtbf_cluster%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysim.core.constants%20import%20ureg%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Hardware%20registry%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20H100%20%3D%20mlsysim.Hardware.Cloud.H100%0A%20%20%20%20EDGE%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX%0A%0A%20%20%20%20H100_TFLOPS_FP16%20%3D%20H100.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20H100_BW_GBS%20%3D%20H100.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20H100_RAM_GB%20%3D%20H100.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20H100_TDP_W%20%3D%20H100.tdp.m_as(%22W%22)%0A%0A%20%20%20%20EDGE_TFLOPS%20%3D%20EDGE.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20EDGE_RAM_GB%20%3D%20EDGE.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20EDGE_TDP_W%20%3D%20EDGE.tdp.m_as(%22W%22)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Model%20registry%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20GPT2%20%3D%20mlsysim.Models.GPT2%0A%20%20%20%20GPT2_PARAMS%20%3D%20GPT2.parameters.m_as(%22dimensionless%22)%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20CHINCHILLA_TOKENS_PER_PARAM%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20GPU_MTTF_HOURS%2C%0A%20%20%20%20%20%20%20%20H100_TFLOPS_FP16%2C%0A%20%20%20%20%20%20%20%20IB_NDR_LATENCY_US%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20calc_ring_allreduce_time%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20math%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20ureg%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20mo.Html(%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%230f172a%200%25%2C%20%231e293b%2060%25%2C%20%230c1a2e%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2036px%2044px%3B%20border-radius%3A%2016px%3B%20color%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2032px%20rgba(0%2C0%2C0%2C0.35)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20letter-spacing%3A%200.18em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23475569%3B%20text-transform%3A%20uppercase%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Machine%20Learning%20Systems%20%26middot%3B%20Volume%20II%20%26middot%3B%20Lab%2001%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch1%20style%3D%22margin%3A%200%200%2010px%200%3B%20font-size%3A%202.4rem%3B%20font-weight%3A%20900%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23f8fafc%3B%20line-height%3A%201.1%3B%20letter-spacing%3A%20-0.02em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Scale%20Illusion%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%206px%200%3B%20font-size%3A%201.15rem%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%2394a3b8%3B%20letter-spacing%3A%200.04em%3B%20font-family%3A%20'SF%20Mono'%2C%20monospace%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Reliability%20%26middot%3B%20Communication%20%26middot%3B%20Scaling%20Laws%20%26middot%3B%20Amdahl%20at%20Scale%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%2022px%200%3B%20font-size%3A%201.0rem%3B%20color%3A%20%2364748b%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max-width%3A%20680px%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Everything%20you%20learned%20about%20single-machine%20ML%20breaks%20in%20surprising%20ways%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20at%20fleet%20scale.%201%2C000%20GPUs%20do%20not%20deliver%201%2C000x%20speedup.%20A%20cluster%20with%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2099.9%25%20per-node%20reliability%20is%20healthy%20barely%20a%20third%20of%20the%20time.%20Scale%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20creates%20qualitative%20change%2C%20not%20just%20quantitative%20increase.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2012px%3B%20flex-wrap%3A%20wrap%3B%20margin-bottom%3A%2020px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(99%2C102%2C241%2C0.18)%3B%20color%3A%20%23a5b4fc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(99%2C102%2C241%2C0.3)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%205%20Parts%20%26middot%3B%20~55%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(203%2C32%2C45%2C0.15)%3B%20color%3A%20%23fca5a5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(203%2C32%2C45%2C0.25)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Vol%20II%20Ch%201%3A%20Introduction%20to%20Scale%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2010px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EP_fleet%20%3D%20P_node%5EN%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3EFleet%20Law%3A%20T%20%3D%20Compute%20%2B%20Comm%20%2B%20Coord%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-fail%22%3EAmdahl%20at%20Scale%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3EQuantify%20fleet%20reliability%20collapse%3C%2Fstrong%3E%20%26mdash%3B%20calculate%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20that%20a%201%2C000-GPU%20cluster%20with%2099.9%25%20per-node%20uptime%20is%20healthy%20only%2036.8%25%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20of%20the%20time%2C%20and%20predict%20failure%20frequency%20at%20GPT-4%20scale%20(25K%20GPUs).%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3EDecompose%20distributed%20step%20time%3C%2Fstrong%3E%20%26mdash%3B%20identify%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20that%20communication%20overhead%20consumes%2035%26ndash%3B45%25%20of%20training%20step%20time%20at%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20256%20GPUs%20on%20InfiniBand%20NDR%20for%20a%20175B%20model.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3EApply%20the%20extended%20Amdahl%26rsquo%3Bs%20Law%3C%2Fstrong%3E%20%26mdash%3B%20find%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20GPU%20count%20where%20scaling%20efficiency%20drops%20below%2050%25%2C%20and%20classify%20workloads%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20by%20dominant%20bottleneck%20(Computation%2C%20Communication%2C%20Coordination).%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Volume%20I%20complete%20%26middot%3B%20Iron%20Law%20equation%20%26middot%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Roofline%20model%20basics%20%26middot%3B%20Memory%20hierarchy%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E~55%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Parts%20A%26ndash%3BE%3A%20~10%26ndash%3B12%20min%20each%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%2012px%20-28px%200%20-28px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2016px%2028px%200%2028px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BIf%201%2C000%20GPUs%20each%20have%2099.9%25%20uptime%20and%20you%20connect%20them%20with%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fastest%20network%20available%2C%20why%20don%26rsquo%3Bt%20you%20get%201%2C000x%20speedup%20%26mdash%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20what%20actually%20limits%20distributed%20training%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20--%20Complete%20the%20following%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20**Vol%20II%20Ch%201%3A%20The%20Scale%20Illusion**%20--%20fleet%20reliability%20(exponential%20decay)%2C%0A%20%20%20%20%20%20the%20Fleet%20Law%20(T_step%20%3D%20T_compute%20%2B%20T_comm%20%2B%20T_coord)%2C%20and%20the%20Conservation%20of%20Overhead.%0A%20%20%20%20-%20**Vol%20II%20Ch%201%3A%20Scaling%20Laws**%20--%20Chinchilla%20compute-optimal%20allocation%20(D%20%3D%2020P).%0A%20%20%20%20-%20**Vol%20II%20Ch%201%3A%20Amdahl's%20Law%20at%20Scale**%20--%20communication%20fraction%20and%20scaling%20efficiency.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20WIDGET%20DEFINITIONS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20%23%20--%20Part%20A%20widgets%20--%0A%20%20%20%20partA_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~99%25%20--%20nearly%20always%20healthy%22%3A%20%2299%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~90%25%20--%20healthy%20most%20of%20the%20time%22%3A%20%2290%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~60%25%20--%20healthy%20more%20often%20than%20not%22%3A%20%2260%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~37%25%20--%20healthy%20barely%20a%20third%20of%20the%20time%22%3A%20%2237%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Your%20cluster%20has%201%2C000%20GPUs%2C%20each%20with%2099.9%25%20individual%20uptime.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22What%20fraction%20of%20the%20time%20is%20the%20entire%20cluster%20healthy%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(partA_prediction%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partA_prediction)%3A%0A%20%20%20%20mo.stop(partA_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partA_fleet_size%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D100%2C%20stop%3D25000%2C%20value%3D1000%2C%20step%3D100%2C%0A%20%20%20%20%20%20%20%20label%3D%22Fleet%20size%20(GPUs)%22%2C%0A%20%20%20%20)%0A%20%20%20%20partA_node_rel%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.990%2C%20stop%3D0.9999%2C%20value%3D0.999%2C%20step%3D0.0001%2C%0A%20%20%20%20%20%20%20%20label%3D%22Per-node%20reliability%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20--%20Part%20B%20widgets%20--%0A%20%20%20%20partB_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~95%25%20--%20InfiniBand%20is%20fast%20enough%22%3A%20%2295%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~80%25%20--%20some%20communication%20overhead%22%3A%20%2280%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~55-65%25%20--%20communication%20is%20substantial%22%3A%20%2260%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~30%25%20--%20communication%20dominates%22%3A%20%2230%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22You%20scale%20a%20175B%20model%20from%201%20GPU%20to%20256%20GPUs%20on%20InfiniBand%20NDR.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22What%20fleet%20efficiency%20do%20you%20expect%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partA_fleet_size%2C%20partA_node_rel%2C%20partB_prediction%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partB_prediction)%3A%0A%20%20%20%20mo.stop(partB_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partB_gpu_count%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D1024%2C%20value%3D256%2C%20step%3D1%2C%20label%3D%22Number%20of%20GPUs%22%2C%0A%20%20%20%20)%0A%20%20%20%20partB_model_size%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%221B%22%3A%201e9%2C%20%227B%22%3A%207e9%2C%20%2270B%22%3A%2070e9%2C%20%22175B%22%3A%20175e9%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22175B%22%2C%20label%3D%22Model%20parameters%22%2C%0A%20%20%20%20)%0A%20%20%20%20partB_network%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22IB%20NDR%20(50%20GB%2Fs)%22%3A%2050.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22IB%20HDR%20(25%20GB%2Fs)%22%3A%2025.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22100GbE%20(12.5%20GB%2Fs)%22%3A%2012.5%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22IB%20NDR%20(50%20GB%2Fs)%22%2C%20label%3D%22Interconnect%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20--%20Part%20C%20widgets%20--%0A%20%20%20%20partC_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%2010B%20on%20200B%20tokens%20--%20bigger%20models%20are%20always%20better%22%3A%20%2210B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%203B%20on%20600B%20tokens%20--%20balanced%20allocation%20wins%22%3A%20%223B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Both%20achieve%20the%20same%20loss%20--%20total%20FLOPs%20is%20what%20matters%22%3A%20%22same%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Neither%20--%20you%20need%20at%20least%2070B%20parameters%22%3A%20%2270B%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Fixed%20budget%20of%2010%5E23%20FLOPs.%20Which%20achieves%20lower%20loss%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22a%2010B%20model%20on%20200B%20tokens%2C%20or%20a%203B%20model%20on%20600B%20tokens%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partB_gpu_count%2C%20partB_model_size%2C%20partB_network%2C%20partC_prediction%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partC_prediction)%3A%0A%20%20%20%20mo.stop(partC_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partC_params%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D100%2C%20value%3D10%2C%20step%3D1%2C%20label%3D%22Model%20params%20(B)%22)%0A%20%20%20%20partC_tokens%20%3D%20mo.ui.slider(start%3D10%2C%20stop%3D10000%2C%20value%3D200%2C%20step%3D10%2C%20label%3D%22Training%20tokens%20(B)%22)%0A%0A%20%20%20%20%23%20--%20Part%20D%20widgets%20--%0A%20%20%20%20partD_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~512%20GPUs%20--%20efficiency%20holds%20a%20long%20time%22%3A%20%22512%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~128%20GPUs%20--%20moderate%20scale%22%3A%20%22128%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~32-64%20GPUs%20--%20surprisingly%20few%22%3A%20%2248%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~8%20GPUs%20--%20almost%20immediately%22%3A%20%228%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22For%20a%20workload%20with%2020%25%20communication%20overhead%20(r%20%3D%200.20)%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22how%20many%20GPUs%20before%20scaling%20efficiency%20drops%20below%2050%25%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partC_params%2C%20partC_tokens%2C%20partD_prediction%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partD_prediction)%3A%0A%20%20%20%20mo.stop(partD_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partD_comm_frac%20%3D%20mo.ui.slider(start%3D0.01%2C%20stop%3D0.50%2C%20value%3D0.20%2C%20step%3D0.01%2C%20label%3D%22Communication%20fraction%20(r)%22)%0A%20%20%20%20partD_n_gpus%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D512%2C%20value%3D64%2C%20step%3D1%2C%20label%3D%22Number%20of%20GPUs%22)%0A%20%20%20%20partD_overlap%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D80%2C%20value%3D0%2C%20step%3D10%2C%20label%3D%22Overlap%20(%25)%22)%0A%0A%20%20%20%20%23%20--%20Part%20E%20widgets%20--%0A%20%20%20%20partE_llm%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Computation%22%3A%20%22comp%22%2C%20%22Communication%22%3A%20%22comm%22%2C%20%22Coordination%22%3A%20%22coord%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22GPT-4%20LLM%20training%20(175B%2C%2025K%20GPUs)%20--%20dominant%20bottleneck%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20partE_dlrm%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Computation%22%3A%20%22comp%22%2C%20%22Communication%22%3A%20%22comm%22%2C%20%22Coordination%22%3A%20%22coord%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22DLRM%20recommendation%20(embedding-heavy)%20--%20dominant%20bottleneck%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20partE_fed%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Computation%22%3A%20%22comp%22%2C%20%22Communication%22%3A%20%22comm%22%2C%20%22Coordination%22%3A%20%22coord%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Federated%20MobileNet%20(edge%20devices)%20--%20dominant%20bottleneck%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20partD_comm_frac%2C%0A%20%20%20%20%20%20%20%20partD_n_gpus%2C%0A%20%20%20%20%20%20%20%20partD_overlap%2C%0A%20%20%20%20%20%20%20%20partE_dlrm%2C%0A%20%20%20%20%20%20%20%20partE_fed%2C%0A%20%20%20%20%20%20%20%20partE_llm%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20CHINCHILLA_TOKENS_PER_PARAM%2C%0A%20%20%20%20COLORS%2C%0A%20%20%20%20GPU_MTTF_HOURS%2C%0A%20%20%20%20H100_TFLOPS_FP16%2C%0A%20%20%20%20IB_NDR_LATENCY_US%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20calc_ring_allreduce_time%2C%0A%20%20%20%20go%2C%0A%20%20%20%20math%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20partA_fleet_size%2C%0A%20%20%20%20partA_node_rel%2C%0A%20%20%20%20partA_prediction%2C%0A%20%20%20%20partB_gpu_count%2C%0A%20%20%20%20partB_model_size%2C%0A%20%20%20%20partB_network%2C%0A%20%20%20%20partB_prediction%2C%0A%20%20%20%20partC_params%2C%0A%20%20%20%20partC_prediction%2C%0A%20%20%20%20partC_tokens%2C%0A%20%20%20%20partD_comm_frac%2C%0A%20%20%20%20partD_n_gpus%2C%0A%20%20%20%20partD_overlap%2C%0A%20%20%20%20partD_prediction%2C%0A%20%20%20%20partE_dlrm%2C%0A%20%20%20%20partE_fed%2C%0A%20%20%20%20partE_llm%2C%0A%20%20%20%20ureg%2C%0A)%3A%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20A%3A%20THE%20RELIABILITY%20COLLAPSE%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'BlueL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Director%20of%20Infrastructure%2C%20MegaScale%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20are%20deploying%20a%201%2C000-GPU%20cluster%20for%20frontier%20training.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Each%20node%20has%2099.9%25%20reliability.%20We%20expect%20near-continuous%20operation.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Should%20we%20budget%20for%20redundancy%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20James%20Chen%2C%20Director%20of%20Infrastructure%20%26middot%3B%20MegaScale%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Fleet%20Reliability%20Decays%20Exponentially%20with%20Fleet%20Size%0A%0A%20%20%20%20%20%20%20%20A%20single%20GPU%20with%2099.9%25%20uptime%20sounds%20reliable.%20But%20fleet-wide%20availability%0A%20%20%20%20%20%20%20%20requires%20**all**%20nodes%20healthy%20simultaneously%3A%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20P_fleet%20%3D%20P_node%20%5E%20N%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20At%20N%20%3D%201%2C000%20and%20P_node%20%3D%200.999%3A%20P_fleet%20%3D%200.999%5E1000%20%3D%200.368%20%3D%20**36.8%25**.%0A%20%20%20%20%20%20%20%20At%20GPT-4%20scale%20(25%2C000%20GPUs)%2C%20a%20hardware%20failure%20occurs%20roughly%20every%20**2%20hours**.%0A%20%20%20%20%20%20%20%20Failure%20is%20the%20common%20case%2C%20not%20the%20exception.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partA_prediction)%0A%20%20%20%20%20%20%20%20if%20partA_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Select%20your%20prediction%20above%20to%20unlock%20the%20reliability%20simulator.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartA_fleet_size%2C%20partA_node_rel%5D%2C%20justify%3D%22start%22%2C%20gap%3D%222rem%22))%0A%0A%20%20%20%20%20%20%20%20_N%20%3D%20partA_fleet_size.value%0A%20%20%20%20%20%20%20%20_P%20%3D%20partA_node_rel.value%0A%20%20%20%20%20%20%20%20_fleet_avail%20%3D%20_P%20**%20_N%0A%20%20%20%20%20%20%20%20_mtbf_hours%20%3D%20GPU_MTTF_HOURS%20%2F%20_N%0A%20%20%20%20%20%20%20%20_failures_per_day%20%3D%2024.0%20%2F%20_mtbf_hours%20if%20_mtbf_hours%20%3E%200%20else%200%0A%0A%20%20%20%20%20%20%20%20%23%20Chart%3A%20fleet%20availability%20vs%20size%0A%20%20%20%20%20%20%20%20_sizes%20%3D%20np.array(%5B1%2C%2010%2C%2050%2C%20100%2C%20500%2C%201000%2C%202000%2C%205000%2C%2010000%2C%2025000%5D)%0A%20%20%20%20%20%20%20%20_avail_curve%20%3D%20_P%20**%20_sizes%0A%20%20%20%20%20%20%20%20_avail_ref%20%3D%200.9999%20**%20_sizes%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_sizes%2C%20y%3D_avail_curve%20*%20100%2C%20mode%3D%22lines%2Bmarkers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22P_node%20%3D%20%7B_P%3A.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2.5)%2C%20marker%3Ddict(size%3D6)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_sizes%2C%20y%3D_avail_ref%20*%20100%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22P_node%20%3D%200.9999%20(reference)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22GreenLine%22%5D%2C%20width%3D1.5%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D50%2C%20line_dash%3D%22dot%22%2C%20line_color%3DCOLORS%5B%22OrangeLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%2250%25%20availability%22%2C%20annotation_position%3D%22top%20right%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_font_size%3D10)%0A%20%20%20%20%20%20%20%20_fig.add_vline(x%3D_N%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22TextMuted%22%5D)%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_N%5D%2C%20y%3D%5B_fleet_avail%20*%20100%5D%2C%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Your%20cluster%3A%20%7B_fleet_avail*100%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20size%3D14%2C%20symbol%3D%22star%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22white%22%2C%20width%3D2))%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D360%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Fleet%20Size%20(GPUs)%22%2C%20type%3D%22log%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Fleet%20Availability%20(%25)%22%2C%20range%3D%5B0%2C%20105%5D%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D40)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20Metric%20cards%0A%20%20%20%20%20%20%20%20_ac%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_fleet_avail%20%3E%200.8%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_fleet_avail%20%3E%200.5%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20_mc%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_mtbf_hours%20%3E%20100%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_mtbf_hours%20%3E%2010%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_ac%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EFleet%20Availability%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_ac%7D%3B%22%3E%7B_fleet_avail*100%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%20margin-top%3A4px%3B%22%3E%7B_P%3A.4f%7D%5E%7B_N%3A%2C%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_mc%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ECluster%20MTBF%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_mc%7D%3B%22%3E%7B_mtbf_hours%3A.1f%7D%20hrs%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%20margin-top%3A4px%3B%22%3E%7BGPU_MTTF_HOURS%3A%2C%7D%20%2F%20%7B_N%3A%2C%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EFailures%20%2F%20Day%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_failures_per_day%3A.1f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%20margin-top%3A4px%3B%22%3E24h%20%2F%20%7B_mtbf_hours%3A.1f%7Dh%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Reliability%20--%20Live%20Calculation**%20(%60N%20%3D%20%7B_N%3A%2C%7D%2C%20P_node%20%3D%20%7B_P%3A.4f%7D%60)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20P_fleet%20%20%20%20%20%20%3D%20P_node%5EN%20%3D%20%7B_P%3A.4f%7D%5E%7B_N%3A%2C%7D%20%3D%20%7B_fleet_avail%3A.6f%7D%20(%7B_fleet_avail*100%3A.1f%7D%25)%0A%20%20%20%20Cluster%20MTBF%20%3D%20GPU_MTTF%20%2F%20N%20%3D%20%7BGPU_MTTF_HOURS%3A%2C%7D%20%2F%20%7B_N%3A%2C%7D%20%3D%20%7B_mtbf_hours%3A.1f%7D%20hours%0A%20%20%20%20Failures%2Fday%20%3D%2024%20%2F%20MTBF%20%3D%2024%20%2F%20%7B_mtbf_hours%3A.1f%7D%20%3D%20%7B_failures_per_day%3A.1f%7D%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20Vol%20II%20Ch%201%20--%20Fleet%20Reliability*%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partA_prediction.value%0A%20%20%20%20%20%20%20%20_ref%20%3D%200.999%20**%201000%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%2237%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Correct.**%20(0.999)%5E1000%20%3D%20%7B_ref%3A.3f%7D%20%3D%20%7B_ref*100%3A.1f%7D%25.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20exponential%20makes%20even%20tiny%20per-node%20failure%20rates%20catastrophic%20at%20scale.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%2299%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Off%20by%2062%20pp.**%20Actual%20fleet%20availability%20is%20%7B_ref*100%3A.1f%7D%25%2C%20not%20~99%25.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Students%20anchor%20on%20per-node%2099.9%25%20and%20assume%20the%20fleet%20is%20similar.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%2290%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Off%20by%2053%20pp.**%20(0.999)%5E1000%20%3D%20%7B_ref*100%3A.1f%7D%25.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Each%20bad%20nine%20compounds%20catastrophically%20at%201%2C000%20nodes.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Close%20but%20lower.**%20(0.999)%5E1000%20%3D%20%7B_ref*100%3A.1f%7D%25%2C%20not%2060%25.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20compounding%20is%20more%20aggressive%20than%20linear%20extrapolation%20suggests.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%0A%20%20%20%20%20%20%20%20items.append(mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22**You%20predicted%3A**%20~%7B_pred%7D%25%20%20%7C%20%20**Actual%3A**%20%7B_ref*100%3A.1f%7D%25%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%2C%0A%20%20%20%20%20%20%20%20%5D))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20B%3A%20THE%20COORDINATION%20TAX%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'OrangeL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20VP%20Training%2C%20MegaScale%20AI%20(escalated)%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20scaled%20from%208%20to%20256%20GPUs%20expecting%2032x%20faster%20training.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Actual%20throughput%20improved%20only%2015x.%20Where%20is%20the%20missing%2017x%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20Sarah%20Kim%2C%20VP%20Training%20%26middot%3B%20MegaScale%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Fleet%20Law%3A%20T_step%20%3D%20T_compute%20%2B%20T_comm%20%2B%20T_coordination%0A%0A%20%20%20%20%20%20%20%20**Ring%20AllReduce**%20transfers%202(N-1)%2FN%20x%20M%20bytes%20of%20gradients%20each%20step.%0A%20%20%20%20%20%20%20%20For%20175B%20FP16%20parameters%20that%20is%20~700%20GB%20per%20step.%20Even%20at%2050%20GB%2Fs%20(IB%20NDR)%2C%0A%20%20%20%20%20%20%20%20this%20takes%20~14%20seconds%20--%20a%20large%20fraction%20of%20compute%20time.%0A%0A%20%20%20%20%20%20%20%20Fleet%20efficiency%20%3D%20T_compute%20%2F%20T_step.%20When%20communication%20grows%20with%20N%2C%0A%20%20%20%20%20%20%20%20efficiency%20drops%20far%20below%20the%20linear%20ideal.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partB_prediction)%0A%20%20%20%20%20%20%20%20if%20partB_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Select%20your%20prediction%20to%20unlock%20the%20fleet%20efficiency%20simulator.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartB_gpu_count%2C%20partB_model_size%5D%2C%20justify%3D%22start%22%2C%20gap%3D%222rem%22))%0A%20%20%20%20%20%20%20%20items.append(partB_network)%0A%0A%20%20%20%20%20%20%20%20_N%20%3D%20max(1%2C%20partB_gpu_count.value)%0A%20%20%20%20%20%20%20%20_params%20%3D%20partB_model_size.value%0A%20%20%20%20%20%20%20%20_bw_gbs%20%3D%20partB_network.value%0A%20%20%20%20%20%20%20%20_grad_bytes%20%3D%20_params%20*%202%20%20%23%20FP16%0A%20%20%20%20%20%20%20%20_grad_gb%20%3D%20_grad_bytes%20%2F%201e9%0A%0A%20%20%20%20%20%20%20%20%23%20Compute%20time%3A%20approximate%20one%20training%20step%0A%20%20%20%20%20%20%20%20_batch_tokens%20%3D%202048%0A%20%20%20%20%20%20%20%20_flops_step%20%3D%206%20*%20_params%20*%20_batch_tokens%0A%20%20%20%20%20%20%20%20_t_compute_ms%20%3D%20(_flops_step%20%2F%20(H100_TFLOPS_FP16%20*%201e12%20*%200.5)%20%2F%20_N)%20*%201000%0A%0A%20%20%20%20%20%20%20%20%23%20Communication%3A%20Ring%20AllReduce%0A%20%20%20%20%20%20%20%20if%20_N%20%3E%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ar%20%3D%20calc_ring_allreduce_time(_grad_bytes%2C%20_N%2C%20_bw_gbs%20*%201e9%2C%20IB_NDR_LATENCY_US%20*%201e-6)%0A%20%20%20%20%20%20%20%20%20%20%20%20_t_comm_ms%20%3D%20_ar.m_as(ureg.millisecond)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_t_comm_ms%20%3D%200.0%0A%0A%20%20%20%20%20%20%20%20_t_coord_ms%20%3D%205.0%20*%20math.log2(max(2%2C%20_N))%0A%20%20%20%20%20%20%20%20_t_step_ms%20%3D%20_t_compute_ms%20%2B%20_t_comm_ms%20%2B%20_t_coord_ms%0A%20%20%20%20%20%20%20%20_efficiency%20%3D%20(_t_compute_ms%20%2F%20_t_step_ms%20*%20100)%20if%20_t_step_ms%20%3E%200%20else%20100.0%0A%0A%20%20%20%20%20%20%20%20%23%20Stacked%20bar%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Compute%22%2C%20x%3D%5B%22Step%20Time%22%5D%2C%20y%3D%5B_t_compute_ms%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D0.4))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Communication%22%2C%20x%3D%5B%22Step%20Time%22%5D%2C%20y%3D%5B_t_comm_ms%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D0.4))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Coordination%22%2C%20x%3D%5B%22Step%20Time%22%5D%2C%20y%3D%5B_t_coord_ms%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20width%3D0.4))%0A%20%20%20%20%20%20%20%20_fig.update_layout(barmode%3D%22stack%22%2C%20height%3D300%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Time%20(ms)%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_ec%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_efficiency%20%3E%2080%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_efficiency%20%3E%2050%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_ec%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EFleet%20Efficiency%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_ec%7D%3B%22%3E%7B_efficiency%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ECompute%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_t_compute_ms%3A.0f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ECommunication%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%7B_t_comm_ms%3A.0f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EGradient%20Size%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_grad_gb%3A.0f%7D%20GB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Fleet%20Law%20--%20Live%20Calculation**%20(%60N%20%3D%20%7B_N%7D%2C%20model%20%3D%20%7B_params%2F1e9%3A.0f%7DB%2C%20BW%20%3D%20%7B_bw_gbs%7D%20GB%2Fs%60)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20T_compute%20%3D%20%7B_t_compute_ms%3A.0f%7D%20ms%20%20%20%20T_comm%20%3D%20%7B_t_comm_ms%3A.0f%7D%20ms%20%20%20%20T_coord%20%3D%20%7B_t_coord_ms%3A.0f%7D%20ms%0A%20%20%20%20T_step%20%20%20%20%3D%20%7B_t_step_ms%3A.0f%7D%20ms%20%20%20%20%20%20%20Efficiency%20%3D%20%7B_t_compute_ms%3A.0f%7D%2F%7B_t_step_ms%3A.0f%7D%20%3D%20%7B_efficiency%3A.1f%7D%25%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20Vol%20II%20Ch%201%20--%20The%20Fleet%20Law*%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partB_prediction.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%2260%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(%22**Correct.**%20At%20256%20GPUs%20with%20175B%20on%20IB%20NDR%2C%20communication%20takes%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22a%20substantial%20fraction%2C%20yielding%20~55-65%25%20efficiency.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(%22**Actual%20efficiency%20is%20~55-65%25.**%20350%20GB%20of%20FP16%20gradients%20across%20256%20GPUs%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22on%20IB%20NDR%20takes%20~14%20seconds%20per%20step.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22**You%20predicted%3A**%20~%7B_pred%7D%25%20%20%7C%20%20**Simulated%3A**%20%7B_efficiency%3A.1f%7D%25%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%2C%0A%20%20%20%20%20%20%20%20%5D))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20C%3A%20THE%20SCALING%20LAW%20BUDGET%20PLANNER%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'GreenL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Chief%20Scientist%2C%20MegaScale%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20have%2010%5E23%20FLOPs%20of%20compute%20budget.%20The%20team%20wants%20the%20biggest%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20model%20possible%20--%2010B%20parameters%20on%20200B%20tokens.%20I%20think%20we%20should%20train%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20smaller%20but%20longer.%20Who%20is%20right%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20Dr.%20Lena%20Petrova%2C%20Chief%20Scientist%20%26middot%3B%20MegaScale%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Chinchilla%20Scaling%3A%20Compute-Optimal%20Allocation%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20C%20%3D%206%20*%20P%20*%20D%20%20%20%20%20%20%20(total%20training%20FLOPs)%0A%20%20%20%20%20%20%20%20D%20%3D%20%7Bint(CHINCHILLA_TOKENS_PER_PARAM)%7D%20*%20P%20%20%20%20%20%20%20%20%20(Chinchilla%20optimal%20ratio)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20Over-allocating%20to%20model%20size%20under-trains%20the%20model.%20Over-allocating%20to%20data%0A%20%20%20%20%20%20%20%20under-parameterizes%20it.%20There%20is%20a%20unique%20optimum%20for%20each%20compute%20budget.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partC_prediction)%0A%20%20%20%20%20%20%20%20if%20partC_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Select%20your%20prediction%20to%20unlock%20the%20scaling%20law%20planner.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartC_params%2C%20partC_tokens%5D%2C%20justify%3D%22start%22%2C%20gap%3D%222rem%22))%0A%0A%20%20%20%20%20%20%20%20_P%20%3D%20partC_params.value%20*%201e9%0A%20%20%20%20%20%20%20%20_D%20%3D%20partC_tokens.value%20*%201e9%0A%20%20%20%20%20%20%20%20_C_actual%20%3D%206%20*%20_P%20*%20_D%0A%20%20%20%20%20%20%20%20_C_budget%20%3D%201e23%0A%20%20%20%20%20%20%20%20_C_ratio%20%3D%20_C_actual%20%2F%20_C_budget%0A%0A%20%20%20%20%20%20%20%20%23%20Chinchilla%20optimal%3A%20C%20%3D%20120%20P%5E2%20%3D%3E%20P%20%3D%20sqrt(C%2F120)%0A%20%20%20%20%20%20%20%20_P_opt%20%3D%20math.sqrt(_C_budget%20%2F%20120)%0A%20%20%20%20%20%20%20%20_D_opt%20%3D%2020%20*%20_P_opt%0A%20%20%20%20%20%20%20%20_P_opt_B%20%3D%20_P_opt%20%2F%201e9%0A%20%20%20%20%20%20%20%20_D_opt_B%20%3D%20_D_opt%20%2F%201e9%0A%0A%20%20%20%20%20%20%20%20%23%20Simplified%20loss%20model%3A%20L(P%2CD)%20~%20A%2FP%5Ealpha%20%2B%20B%2FD%5Ebeta%20%2B%20E%0A%20%20%20%20%20%20%20%20_A%2C%20_alpha%2C%20_B%2C%20_beta%2C%20_E%20%3D%20406.4%2C%200.34%2C%20410.7%2C%200.28%2C%201.69%0A%20%20%20%20%20%20%20%20_loss%20%3D%20_A%20%2F%20(partC_params.value)%20**%20_alpha%20%2B%20_B%20%2F%20max(partC_tokens.value%2C%200.1)%20**%20_beta%20%2B%20_E%0A%20%20%20%20%20%20%20%20_loss_opt%20%3D%20_A%20%2F%20_P_opt_B%20**%20_alpha%20%2B%20_B%20%2F%20_D_opt_B%20**%20_beta%20%2B%20_E%0A%0A%20%20%20%20%20%20%20%20%23%20IsoFLOP%20curves%0A%20%20%20%20%20%20%20%20_p_range%20%3D%20np.logspace(np.log10(0.5)%2C%20np.log10(200)%2C%20100)%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20for%20_c_exp%2C%20_c_label%2C%20_cc%20in%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(22%2C%20%2210%5E22%22%2C%20COLORS%5B%22GreenLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(23%2C%20%2210%5E23%20(budget)%22%2C%20COLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(24%2C%20%2210%5E24%22%2C%20COLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_cval%20%3D%2010.0%20**%20_c_exp%0A%20%20%20%20%20%20%20%20%20%20%20%20_d_r%20%3D%20_cval%20%2F%20(6%20*%20_p_range%20*%201e9)%20%2F%201e9%0A%20%20%20%20%20%20%20%20%20%20%20%20_ls%20%3D%20_A%20%2F%20_p_range%20**%20_alpha%20%2B%20_B%20%2F%20np.maximum(_d_r%2C%200.1)%20**%20_beta%20%2B%20_E%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D_p_range%2C%20y%3D_ls%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22C%20%3D%20%7B_c_label%7D%22%2C%20line%3Ddict(color%3D_cc%2C%20width%3D2)))%0A%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5BpartC_params.value%5D%2C%20y%3D%5B_loss%5D%2C%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Your%20choice%3A%20%7BpartC_params.value%7DB%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20size%3D14%2C%20symbol%3D%22star%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22white%22%2C%20width%3D2))%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_P_opt_B%5D%2C%20y%3D%5B_loss_opt%5D%2C%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Chinchilla%20optimal%3A%20%7B_P_opt_B%3A.1f%7DB%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3DCOLORS%5B%22GreenLine%22%5D%2C%20size%3D14%2C%20symbol%3D%22diamond%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22white%22%2C%20width%3D2))%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D380%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Model%20Parameters%20(B)%22%2C%20type%3D%22log%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Loss%20(lower%20is%20better)%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.15%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D40)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_bc%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%200.8%20%3C%3D%20_C_ratio%20%3C%3D%201.2%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_C_ratio%20%3C%3D%202.0%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20_ou%20%3D%20%22OVER%20BUDGET%22%20if%20_C_ratio%20%3E%201.2%20else%20%22UNDER%20BUDGET%22%20if%20_C_ratio%20%3C%200.8%20else%20%22ON%20BUDGET%22%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_bc%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ECompute%20Used%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.3rem%3B%20font-weight%3A800%3B%20color%3A%7B_bc%7D%3B%22%3E%7B_C_actual%3A.1e%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%20margin-top%3A4px%3B%22%3E%7B_ou%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EYour%20Loss%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.3rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_loss%3A.3f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EOptimal%20Loss%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.3rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_loss_opt%3A.3f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%20margin-top%3A4px%3B%22%3EP%3D%7B_P_opt_B%3A.1f%7DB%2C%20D%3D%7B_D_opt_B%3A.0f%7DB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ED%2FP%20Ratio%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.3rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_D%2F_P%3A.0f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%20margin-top%3A4px%3B%22%3EOptimal%3A%20%7Bint(CHINCHILLA_TOKENS_PER_PARAM)%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partC_prediction.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%223B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(%22**Correct.**%20Balanced%20allocation%20(more%20tokens%2C%20fewer%20parameters)%20achieves%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22lower%20loss.%20Chinchilla%20showed%20most%20pre-2022%20LLMs%20were%20under-trained.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(%22**Balanced%20allocation%20wins.**%20Model%20size%20alone%20does%20not%20determine%20capability.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20compute-optimal%20D%2FP%20ratio%20of%2020%20means%20smaller%20models%20trained%20on%20proportionally%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22more%20data%20achieve%20lower%20loss%20for%20the%20same%20compute%20budget.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22**You%20predicted%3A**%20%7B_pred%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%2C%0A%20%20%20%20%20%20%20%20%5D))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20D%3A%20THE%20IRON%20LAW%20OF%20SCALE%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'RedL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20CFO%2C%20MegaScale%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BEngineering%20wants%20512%20GPUs.%20At%20what%20point%20does%20each%20additional%20GPU%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cost%20more%20than%20the%20speedup%20it%20delivers%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20Michael%20Torres%2C%20CFO%20%26middot%3B%20MegaScale%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Extended%20Amdahl's%20Law%20with%20Communication%20Overhead%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20T_step(N)%20%3D%20T_compute%2FN%20%2B%20r%20*%20T_compute%20*%20(1%20-%20overlap)%20%2B%20T_coord%0A%20%20%20%20%20%20%20%20Efficiency(N)%20%3D%20Speedup(N)%20%2F%20N%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20Beyond%20a%20critical%20GPU%20count%2C%20adding%20hardware%20**reduces**%20cost-efficiency.%0A%20%20%20%20%20%20%20%20The%20communication%20fraction%20r%20and%20overlap%20percentage%20determine%20the%20ceiling.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partD_prediction)%0A%20%20%20%20%20%20%20%20if%20partD_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Select%20your%20prediction%20to%20unlock%20the%20scaling%20efficiency%20simulator.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartD_comm_frac%2C%20partD_n_gpus%5D%2C%20justify%3D%22start%22%2C%20gap%3D%222rem%22))%0A%20%20%20%20%20%20%20%20items.append(partD_overlap)%0A%0A%20%20%20%20%20%20%20%20_r%20%3D%20partD_comm_frac.value%0A%20%20%20%20%20%20%20%20_N%20%3D%20max(1%2C%20partD_n_gpus.value)%0A%20%20%20%20%20%20%20%20_ov%20%3D%20partD_overlap.value%20%2F%20100.0%0A%20%20%20%20%20%20%20%20_t_1%20%3D%201.0%20%2B%20_r%0A%0A%20%20%20%20%20%20%20%20_n_range%20%3D%20np.arange(1%2C%20513)%0A%20%20%20%20%20%20%20%20_speedups%20%3D%20np.zeros(len(_n_range))%0A%20%20%20%20%20%20%20%20_effs%20%3D%20np.zeros(len(_n_range))%0A%20%20%20%20%20%20%20%20_costs%20%3D%20np.zeros(len(_n_range))%0A%20%20%20%20%20%20%20%20for%20_i%2C%20_n%20in%20enumerate(_n_range)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_tc%20%3D%201.0%20%2F%20_n%0A%20%20%20%20%20%20%20%20%20%20%20%20_tm%20%3D%20_r%20*%20(1.0%20-%20_ov)%20if%20_n%20%3E%201%20else%200.0%0A%20%20%20%20%20%20%20%20%20%20%20%20_td%20%3D%200.01%20*%20math.log2(max(2%2C%20_n))%20if%20_n%20%3E%201%20else%200.0%0A%20%20%20%20%20%20%20%20%20%20%20%20_tn%20%3D%20_tc%20%2B%20_tm%20%2B%20_td%0A%20%20%20%20%20%20%20%20%20%20%20%20_speedups%5B_i%5D%20%3D%20_t_1%20%2F%20_tn%0A%20%20%20%20%20%20%20%20%20%20%20%20_effs%5B_i%5D%20%3D%20_speedups%5B_i%5D%20%2F%20_n%0A%20%20%20%20%20%20%20%20%20%20%20%20_costs%5B_i%5D%20%3D%20_n%20*%20_tn%0A%0A%20%20%20%20%20%20%20%20_eff_50_idx%20%3D%20np.argmax(_effs%20%3C%200.5)%0A%20%20%20%20%20%20%20%20_eff_50_n%20%3D%20int(_n_range%5B_eff_50_idx%5D)%20if%20_eff_50_idx%20%3E%200%20else%20512%0A%20%20%20%20%20%20%20%20_cost_opt_idx%20%3D%20int(np.argmin(_costs))%0A%20%20%20%20%20%20%20%20_cost_opt_n%20%3D%20int(_n_range%5B_cost_opt_idx%5D)%0A%0A%20%20%20%20%20%20%20%20%23%20Speedup%20chart%0A%20%20%20%20%20%20%20%20_fig1%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig1.add_trace(go.Scatter(x%3D_n_range%2C%20y%3D_n_range.astype(float)%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Ideal%20linear%22%2C%20line%3Ddict(color%3DCOLORS%5B%22GreenLine%22%5D%2C%20width%3D1.5%2C%20dash%3D%22dash%22)))%0A%20%20%20%20%20%20%20%20_fig1.add_trace(go.Scatter(x%3D_n_range%2C%20y%3D_speedups%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Actual%20(r%3D%7B_r%3A.2f%7D%2C%20overlap%3D%7B_ov*100%3A.0f%7D%25)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2.5)))%0A%20%20%20%20%20%20%20%20_fig1.add_vline(x%3D_N%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22TextMuted%22%5D)%0A%20%20%20%20%20%20%20%20_fig1.add_trace(go.Scatter(x%3D%5B_N%5D%2C%20y%3D%5B_speedups%5B_N-1%5D%5D%2C%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22N%3D%7B_N%7D%3A%20%7B_speedups%5B_N-1%5D%3A.1f%7Dx%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20size%3D12%2C%20symbol%3D%22star%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22white%22%2C%20width%3D2))))%0A%20%20%20%20%20%20%20%20_fig1.update_layout(height%3D320%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22GPUs%22%2C%20type%3D%22log%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Speedup%22%2C%20type%3D%22log%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig1)%0A%0A%20%20%20%20%20%20%20%20%23%20Cost%20chart%0A%20%20%20%20%20%20%20%20_fig2%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig2.add_trace(go.Scatter(x%3D_n_range%2C%20y%3D_costs%20%2F%20_costs%5B0%5D%20*%20100%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Relative%20cost%20per%20sample%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20width%3D2.5)))%0A%20%20%20%20%20%20%20%20_fig2.add_trace(go.Scatter(x%3D%5B_cost_opt_n%5D%2C%20y%3D%5B_costs%5B_cost_opt_idx%5D%20%2F%20_costs%5B0%5D%20*%20100%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%20name%3Df%22Cost%20optimum%3A%20N%3D%7B_cost_opt_n%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3DCOLORS%5B%22GreenLine%22%5D%2C%20size%3D14%2C%20symbol%3D%22diamond%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22white%22%2C%20width%3D2))))%0A%20%20%20%20%20%20%20%20_fig2.add_hline(y%3D100%2C%20line_dash%3D%22dot%22%2C%20line_color%3DCOLORS%5B%22TextMuted%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%22Single-GPU%20baseline%22)%0A%20%20%20%20%20%20%20%20_fig2.update_layout(height%3D280%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22GPUs%22%2C%20type%3D%22log%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Relative%20Cost%20(%25)%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig2)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig1))%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig2))%0A%0A%20%20%20%20%20%20%20%20_eff_cur%20%3D%20_effs%5B_N%20-%201%5D%20*%20100%0A%20%20%20%20%20%20%20%20_ecc%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_eff_cur%20%3E%2080%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_eff_cur%20%3E%2050%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_ecc%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EEfficiency%20(N%3D%7B_N%7D)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_ecc%7D%3B%22%3E%7B_eff_cur%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ESpeedup%20(N%3D%7B_N%7D)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_speedups%5B_N-1%5D%3A.1f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3E50%25%20Eff.%20at%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3EN%3D%7B_eff_50_n%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ECost%20Optimum%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3EN%3D%7B_cost_opt_n%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partD_prediction.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%2248%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Correct.**%20At%20r%20%3D%200.20%2C%20efficiency%20drops%20below%2050%25%20at%20~N%20%3D%20%7B_eff_50_n%7D%20GPUs.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**The%2050%25%20threshold%20is%20at%20N%20%3D%20%7B_eff_50_n%7D.**%20At%20r%20%3D%200.20%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22communication%20overhead%20dominates%20sooner%20than%20most%20expect.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22**You%20predicted%3A**%20~%7B_pred%7D%20GPUs%20%20%7C%20%20**Actual%3A**%20N%20%3D%20%7B_eff_50_n%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%2C%0A%20%20%20%20%20%20%20%20%5D))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20E%3A%20THE%20C-CUBED%20DIAGNOSTIC%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_e()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%236366f1%3B%20background%3A%23f0f4ff%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%236366f1%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20CTO%2C%20MegaScale%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20run%20three%20workloads.%20Each%20one%20is%20slow%20for%20different%20reasons.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20What%20is%20the%20dominant%20bottleneck%20for%20each%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20Raj%20Patel%2C%20CTO%20%26middot%3B%20MegaScale%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20C-Cubed%3A%20Computation%2C%20Communication%2C%20Coordination%0A%0A%20%20%20%20%20%20%20%20Every%20distributed%20bottleneck%20falls%20into%20one%20of%20three%20categories.%0A%20%20%20%20%20%20%20%20The%20**Conservation%20of%20Overhead**%20means%20reducing%20one%20C%20causes%20another%20to%20dominate.%0A%20%20%20%20%20%20%20%20Classify%20each%20workload%20below%3A%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.vstack(%5BpartE_llm%2C%20partE_dlrm%2C%20partE_fed%5D))%0A%0A%20%20%20%20%20%20%20%20_answered%20%3D%20(partE_llm.value%20is%20not%20None%20and%20partE_dlrm.value%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20partE_fed.value%20is%20not%20None)%0A%20%20%20%20%20%20%20%20if%20not%20_answered%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Classify%20all%20three%20to%20see%20the%20diagnostic.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20_wkloads%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22name%22%3A%20%22GPT-4%20LLM%20Training%20(175B%2C%2025K%20GPUs)%22%2C%20%22comp%22%3A%2035%2C%20%22comm%22%3A%2050%2C%20%22coord%22%3A%2015%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%22dom%22%3A%20%22comm%22%2C%20%22why%22%3A%20%22Gradient%20sync%20of%20175B%20params%20dominates%20at%2025K%20GPUs.%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22name%22%3A%20%22DLRM%20Recommendation%20(embedding)%22%2C%20%22comp%22%3A%2020%2C%20%22comm%22%3A%2030%2C%20%22coord%22%3A%2050%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%22dom%22%3A%20%22coord%22%2C%20%22why%22%3A%20%22All-to-All%20with%20irregular%20access%20patterns%3B%20coordination%20dominates.%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22name%22%3A%20%22Federated%20MobileNet%20(edge)%22%2C%20%22comp%22%3A%2015%2C%20%22comm%22%3A%2025%2C%20%22coord%22%3A%2060%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%22dom%22%3A%20%22coord%22%2C%20%22why%22%3A%20%22Straggler%20handling%20and%20privacy%20overhead%20dominate.%22%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_names%20%3D%20%5Bw%5B%22name%22%5D%20for%20w%20in%20_wkloads%5D%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Computation%22%2C%20y%3D_names%2C%20x%3D%5Bw%5B%22comp%22%5D%20for%20w%20in%20_wkloads%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22BlueLine%22%5D%2C%20orientation%3D%22h%22))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Communication%22%2C%20y%3D_names%2C%20x%3D%5Bw%5B%22comm%22%5D%20for%20w%20in%20_wkloads%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22RedLine%22%5D%2C%20orientation%3D%22h%22))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Coordination%22%2C%20y%3D_names%2C%20x%3D%5Bw%5B%22coord%22%5D%20for%20w%20in%20_wkloads%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20orientation%3D%22h%22))%0A%20%20%20%20%20%20%20%20_fig.update_layout(barmode%3D%22stack%22%2C%20height%3D250%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22%25%20of%20Step%20Time%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.15%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D250%2C%20r%3D20%2C%20t%3D40%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_answers%20%3D%20%5BpartE_llm.value%2C%20partE_dlrm.value%2C%20partE_fed.value%5D%0A%20%20%20%20%20%20%20%20_correct%20%3D%20%5B%22comm%22%2C%20%22coord%22%2C%20%22coord%22%5D%0A%20%20%20%20%20%20%20%20_label%20%3D%20%7B%22comp%22%3A%20%22Computation%22%2C%20%22comm%22%3A%20%22Communication%22%2C%20%22coord%22%3A%20%22Coordination%22%7D%0A%20%20%20%20%20%20%20%20_score%20%3D%200%0A%20%20%20%20%20%20%20%20for%20_w%2C%20_a%2C%20_c%20in%20zip(_wkloads%2C%20_answers%2C%20_correct)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ok%20%3D%20_a%20%3D%3D%20_c%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_ok%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score%20%2B%3D%201%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7B_w%5B'name'%5D%7D%3A**%20%7B'Correct'%20if%20_ok%20else%20'You%20selected%20'%20%2B%20_label.get(_a%2C%20'%3F')%20%2B%20'%2C%20but%20it%20is'%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7B_label%5B_c%5D%7D**.%20%7B_w%5B'why'%5D%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22%20if%20_ok%20else%20%22warn%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Score%3A%20%7B_score%7D%2F3.**%20The%20Conservation%20of%20Overhead%20means%20every%20workload%20has%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22a%20dominant%20bottleneck%20--%20often%20not%20the%20one%20you%20expect.%22%0A%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20SYNTHESIS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Key%20Takeaways%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**1.%20Fleet%20reliability%20decays%20exponentially%2C%20not%20linearly.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22A%201%2C000-GPU%20cluster%20with%2099.9%25%20per-node%20reliability%20is%20healthy%20only%2036.8%25%20of%20the%20time.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22At%2025%2C000%20GPUs%2C%20a%20failure%20occurs%20every%20~2%20hours.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Fault%20tolerance%20is%20a%20first-order%20design%20requirement.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**2.%20Communication%20overhead%20caps%20distributed%20speedup%20far%20below%20the%20linear%20ideal.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Ring%20AllReduce%20of%20175B%20FP16%20parameters%20across%20256%20GPUs%20on%20IB%20NDR%20takes%20~14%20seconds.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Fleet%20efficiency%20drops%20to%2055-65%25.%20The%20Fleet%20Law%20(T%20%3D%20Compute%20%2B%20Comm%20%2B%20Coord)%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22diagnoses%20any%20distributed%20bottleneck.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**3.%20Every%20optimization%20trades%20one%20bottleneck%20for%20another.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Chinchilla%20scaling%20requires%20balanced%20model%2Fdata%20allocation.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Extended%20Amdahl's%20Law%20reveals%20diminishing%20GPU%20returns.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20C-Cubed%20diagnostic%20classifies%20bottlenecks.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Scale%20creates%20qualitative%20change%2C%20not%20just%20quantitative%20increase.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Connections%0A%0A%20%20%20%20**Textbook%3A**%20Vol%20II%20Ch%201%20--%20Fleet%20Law%2C%20fleet%20reliability%2C%20Chinchilla%20scaling%2C%20extended%20Amdahl's%20Law.%0A%0A%20%20%20%20**Next%20Lab%3A**%20V2-02%20deepens%20the%20compute%20infrastructure%20story%3A%20the%20memory%20wall%2C%20the%20roofline%0A%20%20%20%20at%20fleet%20scale%2C%20the%20bandwidth%20staircase%2C%20and%20the%20hidden%20cost%20of%20ownership.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20COMPOSE%20TABS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%20--%20The%20Reliability%20Collapse%22%3A%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%20--%20The%20Coordination%20Tax%22%3A%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%20--%20The%20Scaling%20Law%20Budget%22%3A%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%20--%20The%20Iron%20Law%20of%20Scale%22%3A%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Part%20E%20--%20The%20C-Cubed%20Diagnostic%22%3A%20build_part_e()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20ledger%2C%20mo)%3A%0A%20%20%20%20_track%20%3D%20ledger._state.track%20or%20%22not%20set%22%0A%20%20%20%20ledger.save(chapter%3D1%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%22chapter%22%3A%20%22v2_01%22%2C%0A%20%20%20%20%20%20%20%20%22completed%22%3A%20True%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3EV2-01%20%26middot%3B%20The%20Scale%20Illusion%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ETRACK%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22%7B'hud-active'%20if%20_track%20!%3D%20'not%20set'%20else%20'hud-none'%7D%22%3E%7B_track%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3EVOL%26nbsp%3BII%26nbsp%3BCH%26nbsp%3B1%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3EIntroduction%20to%20Scale%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ESTATUS%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-active%22%3Eactive%3C%2Fspan%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A