lab 08 model train

import%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22..%2F..%2F..%2Fwheels%2Fmlsysim-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%22mlsysim%22%20not%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20_root%20%3D%20Path(__file__).resolve().parents%5B2%5D%0A%20%20%20%20%20%20%20%20if%20str(_root)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_root))%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20import%20mlsysim%0A%20%20%20%20from%20mlsysim.core.engine%20import%20Engine%0A%0A%20%20%20%20H100%20%3D%20mlsysim.Hardware.Cloud.H100%0A%20%20%20%20V100%20%3D%20mlsysim.Hardware.Cloud.V100%0A%20%20%20%20A100%20%3D%20mlsysim.Hardware.Cloud.A100%0A%20%20%20%20JETSON%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX%0A%0A%20%20%20%20H100_RAM_GB%20%3D%20H100.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20H100_BW_GBS%20%3D%20H100.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20V100_RAM_GB%20%3D%20V100.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20A100_RAM_GB%20%3D%20A100.memory.capacity.m_as(%22GB%22)%0A%0A%20%20%20%20%23%20Optimizer%20bytes%20per%20parameter%0A%20%20%20%20OPTIMIZER_BPP%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22SGD%22%3A%20%20%20%20%20%20%20%20%20%208%2C%20%20%20%23%20weights%20(4B)%20%2B%20gradients%20(4B)%0A%20%20%20%20%20%20%20%20%22SGD%2BMomentum%22%3A%2012%2C%20%20%23%20%2B%20momentum%20(4B)%0A%20%20%20%20%20%20%20%20%22Adam%22%3A%20%20%20%20%20%20%20%20%2016%2C%20%20%23%20%2B%20momentum%20(4B)%20%2B%20variance%20(4B)%0A%20%20%20%20%20%20%20%20%22Adafactor%22%3A%20%20%20%2010%2C%20%20%23%20approximate%20factored%20state%0A%20%20%20%20%7D%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20A100_RAM_GB%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20H100_RAM_GB%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20OPTIMIZER_BPP%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20mo.Html(%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%230f172a%200%25%2C%20%231e293b%2060%25%2C%20%230c1a2e%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2036px%2044px%3B%20border-radius%3A%2016px%3B%20color%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2032px%20rgba(0%2C0%2C0%2C0.35)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20letter-spacing%3A%200.18em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23475569%3B%20text-transform%3A%20uppercase%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Machine%20Learning%20Systems%20%26middot%3B%20Volume%20I%20%26middot%3B%20Lab%2008%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch1%20style%3D%22margin%3A%200%200%2010px%200%3B%20font-size%3A%202.4rem%3B%20font-weight%3A%20900%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23f8fafc%3B%20line-height%3A%201.1%3B%20letter-spacing%3A%20-0.02em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Training%20Gauntlet%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%206px%200%3B%20font-size%3A%201.15rem%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%2394a3b8%3B%20letter-spacing%3A%200.04em%3B%20font-family%3A%20'SF%20Mono'%2C%20monospace%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Memory%20Budget%20%26middot%3B%20Pipeline%20Bubbles%20%26middot%3B%20Mixed%20Precision%20%26middot%3B%20Communication%20Tax%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%2022px%200%3B%20font-size%3A%201.0rem%3B%20color%3A%20%2364748b%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max-width%3A%20680px%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Training%20is%20not%20%22forward%20pass%20but%20bigger%22%20--%20it%20is%20a%20four-stage%20pipeline%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20where%20memory%20budgets%2C%20pipeline%20bottlenecks%2C%20precision%20traps%2C%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20communication%20overhead%20each%20create%20surprising%20walls%2C%20and%20optimizing%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wrong%20stage%20wastes%20resources%20while%20the%20true%20bottleneck%20goes%20untouched.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2012px%3B%20flex-wrap%3A%20wrap%3B%20margin-bottom%3A%2020px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(99%2C102%2C241%2C0.18)%3B%20color%3A%20%23a5b4fc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(99%2C102%2C241%2C0.3)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%204%20Parts%20%2B%20Synthesis%20%26middot%3B%20~52%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(203%2C32%2C45%2C0.15)%3B%20color%3A%20%23fca5a5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(203%2C32%2C45%2C0.25)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Chapter%208%3A%20Model%20Training%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2010px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EAdam%3A%2016%20bytes%2Fparam%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3E7B%20model%3A%20112%20GB%20static%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-fail%22%3EMixed%20precision%3A%201.5x%2C%20not%202x%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3ECalculate%20the%20training%20memory%20budget%3C%2Fstrong%3E%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Adam%20on%20a%207B%20model%20requires%20112%20GB%20of%20parameter%20state%20alone%20(16%20bytes%2Fparam)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20exceeding%20an%20H100%20before%20storing%20any%20activations.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3EIdentify%20the%20pipeline%20bottleneck%3C%2Fstrong%3E%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20diagnose%20whether%20data%20loading%2C%20PCIe%20transfer%2C%20compute%2C%20or%20gradient%20sync%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20limits%20training%20throughput.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3EQuantify%20the%20mixed-precision%20trap%3C%2Fstrong%3E%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20FP32%20master%20weights%20%2B%20Adam%20state%20persist%20at%20full%20precision%2C%20yielding%20only%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%201.5-1.7x%20memory%20savings%2C%20not%20the%20expected%202x.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E4.%20%3Cstrong%3EModel%20the%20communication%20tax%3C%2Fstrong%3E%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20predict%20multi-GPU%20scaling%20efficiency%20using%20Speedup%20%3D%20N%20%2F%20(1%20%2B%20(N-1)*r).%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Forward%20vs.%20backward%20memory%20from%20%40sec-nn-computation-backprop-memory%20%26middot%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Iron%20Law%20from%20%40sec-introduction-iron-law%20%26middot%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Dispatch%20overhead%20from%20%40sec-frameworks-dispatch-overhead%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E~52%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Part%20A%3A%20~10%20min%20%26middot%3B%20Part%20B%3A%20~12%20min%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Part%20C%3A%20~10%20min%20%26middot%3B%20Part%20D%3A%20~10%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%2012px%20-28px%200%20-28px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2016px%2028px%200%2028px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BYour%207B%20model%20runs%20inference%20perfectly%20on%20an%20H100.%20You%20switch%20to%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20training%20and%20immediately%20hit%20OOM%20--%20before%20processing%20a%20single%20batch.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Where%20did%20112%20GB%20of%20memory%20come%20from%2C%20and%20why%20does%20%26lsquo%3Bhalf%20precision%26rsquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20only%20save%2035%25%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20--%20Complete%20the%20following%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20**Chapter%208%3A%20Training%20Memory**%20--%20the%2016-byte-per-parameter%20breakdown%0A%20%20%20%20%20%20for%20Adam%20(weights%20%2B%20gradients%20%2B%20momentum%20%2B%20variance).%0A%20%20%20%20-%20**Chapter%208%3A%20The%20Training%20Pipeline**%20--%20four-stage%20pipeline%20(data%20loading%2C%0A%20%20%20%20%20%20transfer%2C%20compute%2C%20gradient%20sync)%20and%20pipeline%20bubble%20analysis.%0A%20%20%20%20-%20**Chapter%208%3A%20Mixed%20Precision**%20--%20FP16%2FBF16%20forward%20%2B%20FP32%20master%20weights%2C%0A%20%20%20%20%20%20and%20why%20savings%20are%201.5-1.7x%20not%202x.%0A%20%20%20%20-%20**Chapter%208%3A%20Communication%20Tax**%20--%20AllReduce%20overhead%20and%20the%20scaling%0A%20%20%20%20%20%20formula%20Speedup%20%3D%20N%20%2F%20(1%20%2B%20(N-1)*r).%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20SHARED%20WIDGET%20STATE%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20%23%20Part%20A%20widgets%0A%20%20%20%20partA_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%2028%20GB%20(7B%20*%204%20bytes)%22%3A%20%2228gb%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%2056%20GB%20(weights%20%2B%20gradients)%22%3A%20%2256gb%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%2084%20GB%20(%2B%20one%20momentum%20buffer)%22%3A%20%2284gb%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20112%20GB%20(%2B%20two%20momentum%20buffers)%22%3A%20%22112gb%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22A%207B-parameter%20model%20trained%20with%20Adam%20in%20FP32.%20Minimum%20memory%20for%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22parameter%20state%20(weights%20%2B%20gradients%20%2B%20optimizer)%2C%20before%20any%20activations%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(partA_prediction%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partA_prediction)%3A%0A%20%20%20%20mo.stop(partA_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partA_model_size%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.1%2C%20stop%3D70%2C%20value%3D7%2C%20step%3D0.1%2C%20label%3D%22Model%20size%20(billions%20of%20params)%22%2C%0A%20%20%20%20)%0A%20%20%20%20partA_optimizer%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22SGD%20(8%20B%2Fparam)%22%3A%20%22SGD%22%2C%20%22SGD%2BMomentum%20(12%20B%2Fparam)%22%3A%20%22SGD%2BMomentum%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Adam%20(16%20B%2Fparam)%22%3A%20%22Adam%22%2C%20%22Adafactor%20(10%20B%2Fparam)%22%3A%20%22Adafactor%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Adam%20(16%20B%2Fparam)%22%2C%20label%3D%22Optimizer%22%2C%0A%20%20%20%20)%0A%20%20%20%20partA_precision_a%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%22FP32%22%3A%20%22fp32%22%2C%20%22BF16%22%3A%20%22bf16%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22FP32%22%2C%20label%3D%22Precision%3A%22%2C%20inline%3DTrue%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Part%20B%20widgets%0A%20%20%20%20partB_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Data%20loading%20(disk%20I%2FO)%22%3A%20%22data%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Host-to-device%20transfer%20(PCIe)%22%3A%20%22pcie%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Forward%20%2B%20backward%20pass%20(compute)%22%3A%20%22compute%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Gradient%20synchronization%20(inter-GPU)%22%3A%20%22sync%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22GPT-2%20training%20on%20V100%20with%20SSD%20storage%20and%204%20GPUs%20over%20PCIe.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Which%20stage%20is%20the%20bottleneck%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20partA_model_size%2C%0A%20%20%20%20%20%20%20%20partA_optimizer%2C%0A%20%20%20%20%20%20%20%20partA_precision_a%2C%0A%20%20%20%20%20%20%20%20partB_prediction%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partB_prediction)%3A%0A%20%20%20%20mo.stop(partB_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partB_data_ms%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D100%2C%20value%3D50%2C%20step%3D1%2C%20label%3D%22Data%20loading%20(ms)%22%2C%0A%20%20%20%20)%0A%20%20%20%20partB_pcie_ms%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.1%2C%20stop%3D10%2C%20value%3D2%2C%20step%3D0.1%2C%20label%3D%22PCIe%20transfer%20(ms)%22%2C%0A%20%20%20%20)%0A%20%20%20%20partB_compute_ms%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D5%2C%20stop%3D200%2C%20value%3D30%2C%20step%3D1%2C%20label%3D%22Forward%2BBackward%20(ms)%22%2C%0A%20%20%20%20)%0A%20%20%20%20partB_sync_ms%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0%2C%20stop%3D50%2C%20value%3D15%2C%20step%3D1%2C%20label%3D%22Gradient%20sync%20(ms)%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Part%20C%20widgets%0A%20%20%20%20partC_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~38%20GB%20(exactly%20half)%22%3A%20%2238gb%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~45%20GB%20(~1.7x%20savings)%22%3A%20%2245gb%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~55%20GB%20(~1.4x%20savings)%22%3A%20%2255gb%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~70%20GB%20(almost%20no%20savings)%22%3A%20%2270gb%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22GPT-2%20(1.5B)%20requires%20~77%20GB%20in%20full%20FP32%20(with%20activations).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Mixed%20precision%20(FP16%20forward%20%2B%20FP32%20master%20%2B%20FP32%20Adam)%20requires%20how%20much%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20partB_compute_ms%2C%0A%20%20%20%20%20%20%20%20partB_data_ms%2C%0A%20%20%20%20%20%20%20%20partB_pcie_ms%2C%0A%20%20%20%20%20%20%20%20partB_sync_ms%2C%0A%20%20%20%20%20%20%20%20partC_prediction%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partC_prediction)%3A%0A%20%20%20%20mo.stop(partC_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partC_model_c%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.1%2C%20stop%3D13%2C%20value%3D1.5%2C%20step%3D0.1%2C%20label%3D%22Model%20size%20(billions)%22%2C%0A%20%20%20%20)%0A%20%20%20%20partC_precision_c%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Full%20FP32%22%3A%20%22fp32%22%2C%20%22Mixed%20BF16%2BFP32%20master%22%3A%20%22mixed%22%2C%20%22Pure%20BF16%22%3A%20%22bf16%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Full%20FP32%22%2C%20label%3D%22Precision%20mode%3A%22%2C%20inline%3DTrue%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Part%20D%20widgets%0A%20%20%20%20partD_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~8x%20(linear%20scaling)%22%3A%20%228x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~6.5x%20(slight%20overhead)%22%3A%20%226.5x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~3.9x%20(significant%20overhead)%22%3A%20%223.9x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~2x%20(communication%20dominates)%22%3A%20%222x%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Training%20on%208%20GPUs%20with%20r%3D0.15%20(gradient%20sync%20%3D%2015%25%20of%20step%20time).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22What%20speedup%20over%201%20GPU%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partC_model_c%2C%20partC_precision_c%2C%20partD_prediction%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20A100_RAM_GB%2C%0A%20%20%20%20COLORS%2C%0A%20%20%20%20H100_RAM_GB%2C%0A%20%20%20%20OPTIMIZER_BPP%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20go%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20partA_model_size%2C%0A%20%20%20%20partA_optimizer%2C%0A%20%20%20%20partA_precision_a%2C%0A%20%20%20%20partA_prediction%2C%0A%20%20%20%20partB_compute_ms%2C%0A%20%20%20%20partB_data_ms%2C%0A%20%20%20%20partB_pcie_ms%2C%0A%20%20%20%20partB_prediction%2C%0A%20%20%20%20partB_sync_ms%2C%0A%20%20%20%20partC_model_c%2C%0A%20%20%20%20partC_precision_c%2C%0A%20%20%20%20partC_prediction%2C%0A%20%20%20%20partD_prediction%2C%0A)%3A%0A%20%20%20%20mo.stop(partD_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partD_gpus%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D256%2C%20value%3D8%2C%20step%3D1%2C%20label%3D%22Number%20of%20GPUs%22%2C%0A%20%20%20%20)%0A%20%20%20%20partD_r%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.01%2C%20stop%3D0.50%2C%20value%3D0.15%2C%20step%3D0.01%2C%20label%3D%22Communication%20fraction%20(r)%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20A%20BUILDER%3A%20The%20Memory%20Budget%20Shock%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'BlueL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Training%20Engineer%2C%20FoundationAI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20just%20got%20an%20H100%20with%2080%20GB%20of%20memory.%20Our%207B%20model%20runs%20inference%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20perfectly.%20But%20the%20moment%20we%20switch%20to%20training%20with%20Adam%2C%20we%20get%20OOM%20--%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20before%20processing%20a%20single%20batch.%20The%20model%20is%20only%2028%20GB%20in%20FP32.%20Where%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20did%20the%20other%2084%20GB%20come%20from%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20Jordan%20Kim%2C%20Training%20Engineer%20%26middot%3B%20FoundationAI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Training%20Memory%20%3D%20Weights%20%2B%20Gradients%20%2B%20Optimizer%20State%20%2B%20Activations%0A%0A%20%20%20%20For%20Adam%20in%20FP32%2C%20each%20parameter%20requires%20**16%20bytes**%20of%20static%20state%3A%0A%0A%20%20%20%20%7C%20Component%20%7C%20Size%20per%20Parameter%20%7C%20Purpose%20%7C%0A%20%20%20%20%7C-----------%7C-------------------%7C---------%7C%0A%20%20%20%20%7C%20Weights%20%7C%204%20bytes%20(FP32)%20%7C%20Current%20parameter%20values%20%7C%0A%20%20%20%20%7C%20Gradients%20%7C%204%20bytes%20(FP32)%20%7C%20Computed%20during%20backward%20pass%20%7C%0A%20%20%20%20%7C%20Momentum%20(m)%20%7C%204%20bytes%20(FP32)%20%7C%20First%20moment%20estimate%20%7C%0A%20%20%20%20%7C%20Variance%20(v)%20%7C%204%20bytes%20(FP32)%20%7C%20Second%20moment%20estimate%20%7C%0A%20%20%20%20%7C%20**Total**%20%7C%20**16%20bytes**%20%7C%20**Before%20any%20activations**%20%7C%0A%0A%20%20%20%20For%20a%207B%20model%3A%207B%20*%2016%20%3D%20**112%20GB**%20--%20exceeding%20an%20H100's%2080%20GB.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partA_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partA_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20memory%20budget%20calculator.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartA_model_size%2C%20partA_optimizer%2C%20partA_precision_a%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_params_b%20%3D%20partA_model_size.value%0A%20%20%20%20%20%20%20%20_opt%20%3D%20partA_optimizer.value%0A%20%20%20%20%20%20%20%20_prec%20%3D%20partA_precision_a.value%0A%20%20%20%20%20%20%20%20_bpp%20%3D%20OPTIMIZER_BPP%5B_opt%5D%0A%0A%20%20%20%20%20%20%20%20if%20_prec%20%3D%3D%20%22bf16%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20BF16%20training%3A%20weights%20in%20BF16%2C%20gradients%20in%20BF16%2C%20but%20Adam%20states%20still%20FP32%0A%20%20%20%20%20%20%20%20%20%20%20%20_weight_bytes%20%3D%20_params_b%20*%201e9%20*%202%20%20%23%20BF16%0A%20%20%20%20%20%20%20%20%20%20%20%20_grad_bytes%20%3D%20_params_b%20*%201e9%20*%202%20%20%20%23%20BF16%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_opt%20%3D%3D%20%22Adam%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_opt_bytes%20%3D%20_params_b%20*%201e9%20*%208%20%20%23%20momentum%20%2B%20variance%20in%20FP32%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20_opt%20%3D%3D%20%22SGD%2BMomentum%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_opt_bytes%20%3D%20_params_b%20*%201e9%20*%204%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_opt_bytes%20%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20_total_bytes%20%3D%20_weight_bytes%20%2B%20_grad_bytes%20%2B%20_opt_bytes%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_total_bytes%20%3D%20_params_b%20*%201e9%20*%20_bpp%0A%0A%20%20%20%20%20%20%20%20_total_gb%20%3D%20_total_bytes%20%2F%20(1024**3)%0A%0A%20%20%20%20%20%20%20%20%23%20Component%20breakdown%0A%20%20%20%20%20%20%20%20if%20_prec%20%3D%3D%20%22fp32%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_w_gb%20%3D%20_params_b%20*%201e9%20*%204%20%2F%20(1024**3)%0A%20%20%20%20%20%20%20%20%20%20%20%20_g_gb%20%3D%20_params_b%20*%201e9%20*%204%20%2F%20(1024**3)%0A%20%20%20%20%20%20%20%20%20%20%20%20_o_gb%20%3D%20_total_gb%20-%20_w_gb%20-%20_g_gb%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_w_gb%20%3D%20_weight_bytes%20%2F%20(1024**3)%0A%20%20%20%20%20%20%20%20%20%20%20%20_g_gb%20%3D%20_grad_bytes%20%2F%20(1024**3)%0A%20%20%20%20%20%20%20%20%20%20%20%20_o_gb%20%3D%20_opt_bytes%20%2F%20(1024**3)%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_components%20%3D%20%5B%22Weights%22%2C%20%22Gradients%22%2C%20%22Optimizer%20State%22%5D%0A%20%20%20%20%20%20%20%20_vals%20%3D%20%5B_w_gb%2C%20_g_gb%2C%20_o_gb%5D%0A%20%20%20%20%20%20%20%20_cols%20%3D%20%5BCOLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22GreenLine%22%5D%2C%20COLORS%5B%22OrangeLine%22%5D%5D%0A%20%20%20%20%20%20%20%20for%20_name%2C%20_val%2C%20_col%20in%20zip(_components%2C%20_vals%2C%20_cols)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D_name%2C%20x%3D%5B%22Training%20Memory%22%5D%2C%20y%3D%5B_val%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_col%2C%20opacity%3D0.88))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3DH100_RAM_GB%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22BlueLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22H100%20(%7BH100_RAM_GB%3A.0f%7D%20GB)%22)%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3DA100_RAM_GB%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22OrangeLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22A100%20(%7BA100_RAM_GB%3A.0f%7D%20GB)%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(barmode%3D%22stack%22%2C%20height%3D380%2C%20yaxis_title%3D%22Memory%20(GB)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Training%20Memory%3A%20%7B_params_b%3A.1f%7DB%20params%2C%20%7B_opt%7D%2C%20%7B_prec.upper()%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_oom_h100%20%3D%20_total_gb%20%3E%20H100_RAM_GB%0A%20%20%20%20%20%20%20%20_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_oom_h100%20else%20COLORS%5B%22GreenLine%22%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ETotal%20Static%20Memory%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_color%7D%3B%22%3E%7B_total_gb%3A%2C.1f%7D%20GB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EBytes%20per%20Parameter%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_bpp%7D%20B%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EOptimizer%20Overhead%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_o_gb%3A%2C.1f%7D%20GB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20_oom_h100%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**OOM%20on%20H100%20--%20static%20state%20alone%20exceeds%20device%20memory.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Training%20requires%20%7B_total_gb%3A%2C.1f%7D%20GB%20for%20parameter%20state%2C%20but%20the%20H100%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22has%20only%20%7BH100_RAM_GB%3A.0f%7D%20GB.%20This%20is%20before%20storing%20a%20single%20activation.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Model%20parallelism%2C%20ZeRO%2C%20or%20a%20larger%20device%20is%20required.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22danger%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partA_prediction.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%22112gb%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%207B%20*%2016%20bytes%2Fparam%20%3D%20112%20GB.%20Adam's%20two%20additional%20state%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22tensors%20(momentum%20and%20variance)%20each%20add%204%20bytes%2Fparam%2C%20tripling%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22memory%20beyond%20what%20naive%20'weights%20%2B%20gradients'%20would%20suggest.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%2256gb%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**You%20forgot%20the%20optimizer%20state.**%20Weights%20(28%20GB)%20%2B%20Gradients%20(28%20GB)%20%3D%2056%20GB.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22But%20Adam%20adds%20momentum%20(28%20GB)%20%2B%20variance%20(28%20GB)%20%3D%20112%20GB%20total.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%2228gb%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**That%20is%20only%20the%20weights.**%20Training%20requires%20gradients%20(same%20size)%20plus%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22optimizer%20state.%20Adam%20adds%20two%20more%20buffers%3A%207B%20*%2016%20%3D%20112%20GB%20total.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Close%20--%20but%20Adam%20has%20two%20state%20tensors%2C%20not%20one.**%20Both%20momentum%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22variance%20require%204%20bytes%2Fparam%20each.%20Total%3A%207B%20*%2016%20%3D%20112%20GB.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MathPeek%3A%20Training%20Memory%20Budget%22%3A%20mo.md(f%22%22%22%0A%20%20%20%20%60%60%60%0A%20%20%20%20Adam%20FP32%3A%20%7B_bpp%7D%20bytes%2Fparam%0A%20%20%20%20%20%20%3D%204%20(weights)%20%2B%204%20(gradients)%20%2B%204%20(momentum)%20%2B%204%20(variance)%0A%0A%20%20%20%20For%20%7B_params_b%3A.1f%7DB%20parameters%3A%0A%20%20%20%20%20%20%3D%20%7B_params_b%3A.1f%7DB%20*%20%7B_bpp%7D%20%3D%20%7B_total_gb%3A%2C.1f%7D%20GB%0A%20%20%20%20%60%60%60%0A%20%20%20%20Note%3A%20This%20excludes%20activations%20(Lab%2005)%20which%20add%20batch*depth*width%20per%20layer.%0A%0A%20%20%20%20Source%3A%20%40sec-training-memory-budget%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20B%20BUILDER%3A%20The%20Training%20Pipeline%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'OrangeL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Training%20Lead%2C%20FoundationAI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BOur%20GPU%20utilization%20during%20training%20is%20only%2040%25.%20We%20assumed%20the%20GPU%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20would%20be%20busy%2090%25%2B%20of%20the%20time%20since%20training%20is%20compute-heavy.%20Where%20is%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20other%2060%25%20going%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20Sarah%20Zhang%2C%20Training%20Lead%20%26middot%3B%20FoundationAI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Training%20Is%20a%20Four-Stage%20Pipeline%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Data%20Loading%20-%3E%20PCIe%20Transfer%20-%3E%20Forward%2BBackward%20-%3E%20Gradient%20Sync%0A%20%20%20%20(disk)%20%20%20%20%20%20%20(host-%3EGPU)%20%20%20%20%20%20(GPU%20compute)%20%20%20%20%20(GPU%3C-%3EGPU)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20Total%20throughput%20is%20limited%20by%20the%20**slowest%20stage**.%20The%20GPU%20sits%20idle%0A%20%20%20%20(%22accelerator%20bubble%22)%20whenever%20it%20waits%20for%20data%20or%20communication.%0A%20%20%20%20Most%20training%20runs%20are%20**not**%20compute-bound.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partB_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partB_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20pipeline%20simulator.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartB_data_ms%2C%20partB_pcie_ms%2C%20partB_compute_ms%2C%20partB_sync_ms%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_data%20%3D%20partB_data_ms.value%0A%20%20%20%20%20%20%20%20_pcie%20%3D%20partB_pcie_ms.value%0A%20%20%20%20%20%20%20%20_compute%20%3D%20partB_compute_ms.value%0A%20%20%20%20%20%20%20%20_sync%20%3D%20partB_sync_ms.value%0A%20%20%20%20%20%20%20%20_stages%20%3D%20%7B%22Data%20Loading%22%3A%20_data%2C%20%22PCIe%20Transfer%22%3A%20_pcie%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Forward%2BBackward%22%3A%20_compute%2C%20%22Gradient%20Sync%22%3A%20_sync%7D%0A%20%20%20%20%20%20%20%20_total_sequential%20%3D%20sum(_stages.values())%0A%20%20%20%20%20%20%20%20_bottleneck_stage%20%3D%20max(_stages%2C%20key%3D_stages.get)%0A%20%20%20%20%20%20%20%20_bottleneck_time%20%3D%20_stages%5B_bottleneck_stage%5D%0A%0A%20%20%20%20%20%20%20%20%23%20With%20prefetching%2C%20total%20%3D%20max(stages)%20%2B%20small%20overlap%20overhead%0A%20%20%20%20%20%20%20%20_total_overlapped%20%3D%20max(_stages.values())%20*%201.1%20%20%23%2010%25%20overlap%20overhead%0A%20%20%20%20%20%20%20%20_gpu_util%20%3D%20(_compute%20%2F%20_total_sequential)%20*%20100%0A%20%20%20%20%20%20%20%20_bubble_pct%20%3D%20100%20-%20_gpu_util%0A%0A%20%20%20%20%20%20%20%20_stage_colors%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Data%20Loading%22%3A%20COLORS%5B%22OrangeLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22PCIe%20Transfer%22%3A%20COLORS%5B%22BlueLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Forward%2BBackward%22%3A%20COLORS%5B%22GreenLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Gradient%20Sync%22%3A%20COLORS%5B%22RedLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20%23%20Gantt-style%20waterfall%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_x_pos%20%3D%200%0A%20%20%20%20%20%20%20%20for%20_stage%2C%20_time%20in%20_stages.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_is_bottleneck%20%3D%20_stage%20%3D%3D%20_bottleneck_stage%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D_stage%2C%20x%3D%5B_time%5D%2C%20y%3D%5B%22Sequential%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20orientation%3D%22h%22%2C%20marker_color%3D_stage_colors%5B_stage%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D1.0%20if%20_is_bottleneck%20else%200.6%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20base%3D_x_pos%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20_x_pos%20%2B%3D%20_time%0A%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20barmode%3D%22stack%22%2C%20height%3D200%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D%22Time%20(ms)%22%2C%20showlegend%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Training%20Step%20Pipeline%20(bottleneck%3A%20%7B_bottleneck_stage%7D)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.2%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_util_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_gpu_util%20%3E%2070%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_gpu_util%20%3E%2040%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EBottleneck%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%7B_bottleneck_stage%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7B_util_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EGPU%20Utilization%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_util_color%7D%3B%22%3E%7B_gpu_util%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EBubble%20(idle)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_bubble_pct%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EStep%20Time%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_total_sequential%3A.0f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partB_prediction.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%22data%22%20and%20_bottleneck_stage%20%3D%3D%20%22Data%20Loading%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Correct%20for%20these%20settings.**%20Data%20loading%20(%7B_data%7D%20ms)%20dominates%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22pipeline.%20The%20GPU%20is%20idle%20%7B_bubble_pct%3A.0f%7D%25%20of%20the%20time%20waiting%20for%20data.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Faster%20storage%20or%20more%20DataLoader%20workers%20would%20help%3B%20more%20GPUs%20would%20not.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%22compute%22%20and%20_bottleneck_stage%20%3D%3D%20%22Forward%2BBackward%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Correct%20for%20these%20settings.**%20Compute%20(%7B_compute%7D%20ms)%20is%20the%20bottleneck.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22This%20is%20the%20rare%20case%20where%20a%20GPU%20upgrade%20would%20actually%20help.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**At%20current%20settings%2C%20the%20bottleneck%20is%20%7B_bottleneck_stage%7D%20(%7B_bottleneck_time%7D%20ms).**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Try%20the%20preset%20configurations%3A%20with%20SSD%20and%201%20GPU%2C%20data%20loading%20often%20dominates.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22With%204%2B%20GPUs%20on%20PCIe%2C%20gradient%20sync%20can%20dominate.%20The%20compute%20stage%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22rarely%20the%20actual%20bottleneck.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Presets%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**Try%20these%20presets**%20(adjust%20sliders%20manually)%3A%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22-%20**V100%20%2B%20SSD%20%2B%201%20GPU**%3A%20Data%3D50ms%2C%20PCIe%3D2ms%2C%20Compute%3D30ms%2C%20Sync%3D0ms%20(data-bound)%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22-%20**V100%20%2B%20NVMe%20%2B%204%20GPU%20PCIe**%3A%20Data%3D10ms%2C%20PCIe%3D2ms%2C%20Compute%3D30ms%2C%20Sync%3D25ms%20(sync-bound)%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22-%20**H100%20%2B%20NVMe%20%2B%201%20GPU**%3A%20Data%3D5ms%2C%20PCIe%3D1ms%2C%20Compute%3D50ms%2C%20Sync%3D0ms%20(compute-bound)%22%0A%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MathPeek%3A%20Pipeline%20Bottleneck%22%3A%20mo.md(f%22%22%22%0A%20%20%20%20%60%60%60%0A%20%20%20%20Sequential%3A%20T_total%20%3D%20T_data%20%2B%20T_pcie%20%2B%20T_compute%20%2B%20T_sync%0A%20%20%20%20%20%20%20%20%20%20%3D%20%7B_data%7D%20%2B%20%7B_pcie%7D%20%2B%20%7B_compute%7D%20%2B%20%7B_sync%7D%20%3D%20%7B_total_sequential%3A.0f%7D%20ms%0A%0A%20%20%20%20GPU%20utilization%20%3D%20T_compute%20%2F%20T_total%20%3D%20%7B_compute%7D%2F%7B_total_sequential%3A.0f%7D%20%3D%20%7B_gpu_util%3A.0f%7D%25%0A%0A%20%20%20%20Bottleneck%3A%20%7B_bottleneck_stage%7D%20(%7B_bottleneck_time%7D%20ms)%0A%20%20%20%20%60%60%60%0A%20%20%20%20Source%3A%20%40sec-training-pipeline%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20C%20BUILDER%3A%20Mixed%20Precision%20Trap%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'GreenL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20ML%20Researcher%2C%20FoundationAI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20switched%20to%20mixed%20precision%20to%20halve%20our%20memory%20usage.%20But%20nvidia-smi%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20shows%20only%20a%2035%25%20reduction.%20Is%20the%20driver%20reporting%20wrong%3F%20Half%20precision%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20should%20mean%20half%20memory%2C%20right%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20Dr.%20Elena%20Volkov%2C%20ML%20Researcher%20%26middot%3B%20FoundationAI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20The%20FP32%20Master%20Copy%20Trap%0A%0A%20%20%20%20Mixed%20precision%20uses%20FP16%2FBF16%20for%20forward%20and%20backward%20passes%20but%20**retains%0A%20%20%20%20FP32%20master%20copies**%20of%20weights%20and%20Adam%20state%20for%20numerical%20stability.%0A%0A%20%20%20%20%7C%20Component%20%7C%20Full%20FP32%20%7C%20Mixed%20(BF16%20%2B%20FP32%20master)%20%7C%0A%20%20%20%20%7C-----------%7C-----------%7C---------------------------%7C%0A%20%20%20%20%7C%20Weights%20%7C%204B%20(FP32)%20%7C%202B%20(BF16)%20%2B%204B%20(FP32%20master)%20%3D%206B%20%7C%0A%20%20%20%20%7C%20Gradients%20%7C%204B%20%7C%202B%20(BF16)%20%7C%0A%20%20%20%20%7C%20Adam%20momentum%20%7C%204B%20%7C%204B%20(FP32)%20%7C%0A%20%20%20%20%7C%20Adam%20variance%20%7C%204B%20%7C%204B%20(FP32)%20%7C%0A%20%20%20%20%7C%20**Total**%20%7C%20**16B**%20%7C%20**16B**%20(no%20saving%20on%20state!)%20%7C%0A%0A%20%20%20%20Savings%20come%20only%20from%20**activations**%20being%20stored%20in%20BF16%20(half%20size).%0A%20%20%20%20The%20FP32%20%22tail%22%20is%20identical%20in%20both%20modes.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partC_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partC_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20precision%20comparison.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartC_model_c%2C%20partC_precision_c%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_params_b%20%3D%20partC_model_c.value%0A%20%20%20%20%20%20%20%20_prec%20%3D%20partC_precision_c.value%0A%0A%20%20%20%20%20%20%20%20%23%20Memory%20model%20with%20activations%20(estimated%20as%20fraction%20of%20base)%0A%20%20%20%20%20%20%20%20%23%20Simplified%3A%20activation%20memory%20~%202x%20weight%20memory%20for%20typical%20batch%0A%20%20%20%20%20%20%20%20_act_multiplier%20%3D%202.0%0A%0A%20%20%20%20%20%20%20%20if%20_prec%20%3D%3D%20%22fp32%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_w_gb%20%3D%20_params_b%20*%204%20%2F%201.074%20%20%23%20GB%0A%20%20%20%20%20%20%20%20%20%20%20%20_g_gb%20%3D%20_params_b%20*%204%20%2F%201.074%0A%20%20%20%20%20%20%20%20%20%20%20%20_m_gb%20%3D%20_params_b%20*%204%20%2F%201.074%0A%20%20%20%20%20%20%20%20%20%20%20%20_v_gb%20%3D%20_params_b%20*%204%20%2F%201.074%0A%20%20%20%20%20%20%20%20%20%20%20%20_act_gb%20%3D%20_w_gb%20*%20_act_multiplier%0A%20%20%20%20%20%20%20%20elif%20_prec%20%3D%3D%20%22mixed%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_w_gb%20%3D%20_params_b%20*%206%20%2F%201.074%20%20%23%20BF16%20(2B)%20%2B%20FP32%20master%20(4B)%0A%20%20%20%20%20%20%20%20%20%20%20%20_g_gb%20%3D%20_params_b%20*%202%20%2F%201.074%20%20%23%20BF16%0A%20%20%20%20%20%20%20%20%20%20%20%20_m_gb%20%3D%20_params_b%20*%204%20%2F%201.074%20%20%23%20FP32%0A%20%20%20%20%20%20%20%20%20%20%20%20_v_gb%20%3D%20_params_b%20*%204%20%2F%201.074%20%20%23%20FP32%0A%20%20%20%20%20%20%20%20%20%20%20%20_act_gb%20%3D%20(_params_b%20*%204%20%2F%201.074)%20*%20_act_multiplier%20*%200.5%20%20%23%20BF16%20activations%0A%20%20%20%20%20%20%20%20else%3A%20%20%23%20pure%20bf16%0A%20%20%20%20%20%20%20%20%20%20%20%20_w_gb%20%3D%20_params_b%20*%202%20%2F%201.074%0A%20%20%20%20%20%20%20%20%20%20%20%20_g_gb%20%3D%20_params_b%20*%202%20%2F%201.074%0A%20%20%20%20%20%20%20%20%20%20%20%20_m_gb%20%3D%20_params_b%20*%202%20%2F%201.074%0A%20%20%20%20%20%20%20%20%20%20%20%20_v_gb%20%3D%20_params_b%20*%202%20%2F%201.074%0A%20%20%20%20%20%20%20%20%20%20%20%20_act_gb%20%3D%20_w_gb%20*%20_act_multiplier%0A%0A%20%20%20%20%20%20%20%20_total_gb%20%3D%20_w_gb%20%2B%20_g_gb%20%2B%20_m_gb%20%2B%20_v_gb%20%2B%20_act_gb%0A%20%20%20%20%20%20%20%20_fp32_total%20%3D%20_params_b%20*%2016%20%2F%201.074%20%2B%20(_params_b%20*%204%20%2F%201.074)%20*%20_act_multiplier%0A%20%20%20%20%20%20%20%20_savings%20%3D%20_fp32_total%20%2F%20_total_gb%20if%20_total_gb%20%3E%200%20else%201%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_components%20%3D%20%5B%22Weights%22%2C%20%22Gradients%22%2C%20%22Momentum%22%2C%20%22Variance%22%2C%20%22Activations%22%5D%0A%20%20%20%20%20%20%20%20_vals%20%3D%20%5B_w_gb%2C%20_g_gb%2C%20_m_gb%2C%20_v_gb%2C%20_act_gb%5D%0A%20%20%20%20%20%20%20%20_cols%20%3D%20%5BCOLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22GreenLine%22%5D%2C%20COLORS%5B%22OrangeLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%23CC5500%22%2C%20COLORS%5B%22RedLine%22%5D%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Show%20FP32%20baseline%20for%20comparison%0A%20%20%20%20%20%20%20%20_fp32_vals%20%3D%20%5B_params_b%20*%204%20%2F%201.074%5D%20*%204%20%2B%20%5B(_params_b%20*%204%20%2F%201.074)%20*%20_act_multiplier%5D%0A%0A%20%20%20%20%20%20%20%20for%20i%2C%20(_name%2C%20_val%2C%20_col)%20in%20enumerate(zip(_components%2C%20_vals%2C%20_cols))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D_name%2C%20x%3D%5B_prec.upper()%5D%2C%20y%3D%5B_val%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_col%2C%20opacity%3D0.88))%0A%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3DH100_RAM_GB%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22BlueLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22H100%20(%7BH100_RAM_GB%3A.0f%7D%20GB)%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(barmode%3D%22stack%22%2C%20height%3D380%2C%20yaxis_title%3D%22Memory%20(GB)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Training%20Memory%3A%20%7B_params_b%3A.1f%7DB%20params%2C%20%7B_prec.upper()%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.15%2C%20x%3D0))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ETotal%20Memory%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_total_gb%3A%2C.1f%7D%20GB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3Evs%20FP32%20Baseline%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_savings%3A.2f%7Dx%20savings%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EFP32%20State%20Persists%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_m_gb%20%2B%20_v_gb%3A%2C.1f%7D%20GB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partC_prediction.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%2245gb%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20Mixed%20precision%20yields%20~1.5-1.7x%20savings%2C%20not%202x.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20FP32%20master%20weights%20and%20Adam%20state%20persist%20unchanged.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Only%20activations%20and%20gradient%20buffers%20shrink%20to%20BF16.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%2238gb%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Half%20precision%20does%20not%20mean%20half%20memory.**%20The%20FP32%20master%20weights%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22and%20Adam%20momentum%2Fvariance%20persist%20at%20full%20precision%20in%20mixed%20mode.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Actual%20savings%20are%20~1.5-1.7x%2C%20not%202x.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**The%20actual%20savings%20are%20~%7B_savings%3A.1f%7Dx.**%20FP32%20master%20weights%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Adam%20state%20(%7B_m_gb%20%2B%20_v_gb%3A%2C.1f%7D%20GB)%20persist%20unchanged.%20Only%20activations%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22and%20gradient%20accumulation%20buffers%20benefit%20from%20BF16.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MathPeek%3A%20Mixed%20Precision%20Memory%22%3A%20mo.md(f%22%22%22%0A%20%20%20%20%60%60%60%0A%20%20%20%20FP32%20total%3A%20%20%7B_fp32_total%3A%2C.1f%7D%20GB%20(W%3D4B%20%2B%20G%3D4B%20%2B%20m%3D4B%20%2B%20v%3D4B%20%2B%20Act)%0A%20%20%20%20Mixed%20total%3A%20%7B_total_gb%3A%2C.1f%7D%20GB%20%20(W%3D2B%2B4B_master%20%2B%20G%3D2B%20%2B%20m%3D4B%20%2B%20v%3D4B%20%2B%20Act_BF16)%0A%20%20%20%20Savings%3A%20%20%20%20%20%7B_savings%3A.2f%7Dx%20%20(not%202x!)%0A%20%20%20%20%60%60%60%0A%20%20%20%20What%20shrank%3A%20activations%20(BF16)%20and%20gradient%20buffers%20(BF16).%0A%20%20%20%20What%20did%20NOT%20shrink%3A%20FP32%20master%20weights%2C%20Adam%20momentum%2C%20Adam%20variance.%0A%0A%20%20%20%20Source%3A%20%40sec-training-mixed-precision%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20D%20BUILDER%3A%20The%20Communication%20Tax%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'RedL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Infrastructure%20Director%2C%20FoundationAI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20went%20from%204%20GPUs%20to%208%20GPUs%20expecting%202x%20speedup.%20We%20got%201.5x.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20We%20went%20to%2016%20GPUs%20expecting%20another%202x.%20We%20got%201.3x.%20Management%20is%20asking%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20why%20we%20are%20buying%20GPUs%20that%20do%20not%20deliver%20proportional%20speedup.%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20David%20Kim%2C%20Infrastructure%20Director%20%26middot%3B%20FoundationAI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20The%20Communication%20Tax%3A%20Diminishing%20Returns%20from%20Multi-GPU%0A%0A%20%20%20%20Multi-GPU%20data-parallel%20training%20follows%3A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Speedup(N%2C%20r)%20%3D%20N%20%2F%20(1%20%2B%20(N-1)%20*%20r)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20Where%20r%20%3D%20fraction%20of%20step%20time%20spent%20on%20gradient%20synchronization%20(AllReduce).%0A%0A%20%20%20%20%7C%20Scenario%20%7C%20r%20%7C%208-GPU%20Speedup%20%7C%0A%20%20%20%20%7C----------%7C---%7C---------------%7C%0A%20%20%20%20%7C%20ResNet%20%2B%20NVLink%20%7C%200.05%20%7C%205.7x%20%7C%0A%20%20%20%20%7C%20LLM%20%2B%20NVLink%20%7C%200.10%20%7C%204.7x%20%7C%0A%20%20%20%20%7C%20LLM%20%2B%20PCIe%20%7C%200.25%20%7C%202.9x%20%7C%0A%20%20%20%20%7C%20Slow%20network%20%7C%200.40%20%7C%202.1x%20%7C%0A%0A%20%20%20%20The%20%22communication%20tax%22%20is%20the%20gap%20between%20ideal%20linear%20scaling%20and%20actual%20throughput.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partD_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partD_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20scaling%20simulator.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartD_gpus%2C%20partD_r%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_n%20%3D%20partD_gpus.value%0A%20%20%20%20%20%20%20%20_r%20%3D%20partD_r.value%0A%0A%20%20%20%20%20%20%20%20def%20_scaling(n%2C%20r)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20n%20%2F%20(1%20%2B%20(n%20-%201)%20*%20r)%20if%20n%20%3E%200%20else%200%0A%0A%20%20%20%20%20%20%20%20_speedup%20%3D%20_scaling(_n%2C%20_r)%0A%20%20%20%20%20%20%20%20_ideal%20%3D%20float(_n)%0A%20%20%20%20%20%20%20%20_efficiency%20%3D%20_speedup%20%2F%20_ideal%20*%20100%20if%20_ideal%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20_wasted_gpus%20%3D%20_ideal%20-%20_speedup%0A%0A%20%20%20%20%20%20%20%20%23%20Scaling%20curve%0A%20%20%20%20%20%20%20%20_gpu_range%20%3D%20np.arange(1%2C%20257)%0A%20%20%20%20%20%20%20%20_actual_curve%20%3D%20np.array(%5B_scaling(n%2C%20_r)%20for%20n%20in%20_gpu_range%5D)%0A%20%20%20%20%20%20%20%20_ideal_curve%20%3D%20_gpu_range.astype(float)%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_gpu_range.tolist()%2C%20y%3D_ideal_curve.tolist()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%20name%3D%22Ideal%20(linear)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22Grey%22%5D%2C%20width%3D2%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_gpu_range.tolist()%2C%20y%3D_actual_curve.tolist()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%20name%3Df%22Actual%20(r%3D%7B_r%3A.2f%7D)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fill%3D%22tonexty%22%2C%20fillcolor%3D%22rgba(203%2C32%2C45%2C0.08)%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_n%5D%2C%20y%3D%5B_speedup%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%20name%3D%22Current%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D14%2C%20color%3DCOLORS%5B%22RedLine%22%5D%2C%20symbol%3D%22diamond%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(width%3D2%2C%20color%3D%22white%22))%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D380%2C%20xaxis_title%3D%22Number%20of%20GPUs%22%2C%20yaxis_title%3D%22Effective%20Speedup%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Multi-GPU%20Scaling%20(r%3D%7B_r%3A.2f%7D)%20--%20shaded%20%3D%20communication%20tax%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis_type%3D%22log%22%2C%20yaxis_type%3D%22log%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_eff_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_efficiency%20%3E%2070%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_efficiency%20%3E%2040%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ESpeedup%20(%7B_n%7D%20GPUs)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_speedup%3A.1f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_eff_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EScaling%20Efficiency%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_eff_color%7D%3B%22%3E%7B_efficiency%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EWasted%20GPU-equivalents%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%7B_wasted_gpus%3A.1f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partD_prediction.value%0A%20%20%20%20%20%20%20%20_actual_8_015%20%3D%20_scaling(8%2C%200.15)%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%223.9x%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Correct.**%208%20%2F%20(1%20%2B%207%20*%200.15)%20%3D%208%20%2F%202.05%20%3D%20%7B_actual_8_015%3A.1f%7Dx.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22At%20r%3D0.15%2C%20gradient%20sync%20consumes%20enough%20of%20each%20step%20to%20cut%20efficiency%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22to%20%7B_actual_8_015%2F8*100%3A.0f%7D%25.%20Scaling%20further%20to%2016%20GPUs%20yields%20only%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_scaling(16%2C%200.15)%3A.1f%7Dx%2C%20not%2016x.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%228x%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Linear%20scaling%20assumes%20zero%20communication%20cost.**%20At%20r%3D0.15%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22actual%20speedup%20is%20%7B_actual_8_015%3A.1f%7Dx%2C%20not%208x.%20The%20formula%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Speedup%20%3D%20N%20%2F%20(1%20%2B%20(N-1)*r)%20%3D%208%20%2F%20(1%20%2B%207*0.15)%20%3D%20%7B_actual_8_015%3A.1f%7Dx.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**At%20r%3D0.15%20with%208%20GPUs%2C%20speedup%20is%20%7B_actual_8_015%3A.1f%7Dx.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20communication%20fraction%20r%20determines%20how%20quickly%20returns%20diminish.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Try%20different%20presets%3A%20NVLink%20(r%3D0.05)%20vs%20PCIe%20(r%3D0.25).%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MathPeek%3A%20Communication%20Tax%22%3A%20mo.md(f%22%22%22%0A%20%20%20%20%60%60%60%0A%20%20%20%20Speedup(N%2C%20r)%20%3D%20N%20%2F%20(1%20%2B%20(N-1)%20*%20r)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%20%7B_n%7D%20%2F%20(1%20%2B%20%7B_n-1%7D%20*%20%7B_r%3A.2f%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%20%7B_n%7D%20%2F%20%7B1%20%2B%20(_n-1)*_r%3A.2f%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%20%7B_speedup%3A.2f%7Dx%0A%0A%20%20%20%20Efficiency%20%3D%20%7B_speedup%3A.1f%7D%20%2F%20%7B_n%7D%20%3D%20%7B_efficiency%3A.0f%7D%25%0A%20%20%20%20Wasted%20GPU-equiv%20%3D%20%7B_n%7D%20-%20%7B_speedup%3A.1f%7D%20%3D%20%7B_wasted_gpus%3A.1f%7D%0A%20%20%20%20%60%60%60%0A%20%20%20%20Source%3A%20%40sec-training-communication-tax%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20SYNTHESIS%20BUILDER%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Synthesis%3A%20Train%20a%207B%20Model%0A%0A%20%20%20%20You%20must%20train%20a%207B%20parameter%20model%20on%20H100%20GPUs.%20Using%20numbers%20from%20this%20lab%3A%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22%22%22%0A%20%20%20%201.%20**Precision%20mode**%3A%20Full%20FP32%20or%20mixed%20BF16%3F%20Justify%20whether%20the%20model's%0A%20%20%20%20%20%20%20parameter%20state%20fits%20in%2080%20GB%20with%20your%20chosen%20optimizer.%0A%0A%20%20%20%202.%20**Pipeline%20bottleneck**%3A%20Which%20stage%20would%20you%20optimize%20first%3F%20With%20NVMe%0A%20%20%20%20%20%20%20storage%20and%20NVLink%20interconnect%2C%20which%20stage%20dominates%3F%0A%0A%20%20%20%203.%20**GPU%20count**%3A%20How%20many%20GPUs%20do%20you%20need%2C%20and%20what%20scaling%20efficiency%0A%20%20%20%20%20%20%20do%20you%20expect%3F%20Show%20the%20formula%20with%20your%20r%20estimate.%0A%0A%20%20%20%204.%20**Communication%20fraction**%3A%20For%20your%20setup%2C%20estimate%20r%20and%20compute%20the%0A%20%20%20%20%20%20%20expected%20speedup.%20Is%20it%20worth%20going%20from%208%20to%2016%20GPUs%3F%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2024px%2028px%3B%20margin%3A%2016px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%2012px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Key%20Takeaways%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.92rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20line-height%3A%201.75%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E1.%20Adam%20requires%2016%20bytes%20per%20parameter.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%207B%20model%20needs%20112%20GB%20of%20static%20state%20before%20any%20activations.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Optimizer%20choice%20is%20a%20first-order%20memory%20constraint.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E2.%20Training%20is%20rarely%20compute-bound.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Data%20loading%20(slow%20storage)%20and%20gradient%20sync%20(slow%20interconnect)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20are%20the%20typical%20bottlenecks.%20Faster%20GPUs%20help%20only%20when%20compute%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20is%20actually%20the%20binding%20constraint.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E3.%20Mixed%20precision%20saves%201.5x%2C%20not%202x.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20FP32%20master%20weights%20and%20Adam%20state%20persist%20unchanged.%20Only%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20activations%20and%20gradient%20buffers%20benefit%20from%20half%20precision.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E4.%20Multi-GPU%20scaling%20follows%20diminishing%20returns.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20At%20r%3D0.15%2C%208%20GPUs%20yield%20only%203.9x%20speedup.%20The%20communication%20tax%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20is%20the%20gap%20between%20ideal%20and%20actual%20--%20and%20it%20grows%20with%20GPU%20count.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2016px%3B%20margin%3A%208px%200%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20What's%20Next%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ELab%2009%3A%20Data%20Selection%3C%2Fstrong%3E%20--%20Training%20is%20expensive.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Lab%2009%20shows%20how%20selecting%20the%20right%20training%20data%20can%20achieve%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20same%20accuracy%20with%2010x%20less%20compute%20--%20making%20the%20training%20budget%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20from%20this%20lab%20go%20much%20further.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Textbook%20%26amp%3B%20TinyTorch%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ERead%3A%3C%2Fstrong%3E%20%40sec-training%20for%20the%20full%20training%20memory%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20model%2C%20pipeline%20analysis%2C%20and%20scaling%20formulas.%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3EBuild%3A%3C%2Fstrong%3E%20TinyTorch%20Module%2008%20--%20implement%20a%20training%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20loop%20with%20gradient%20accumulation%20and%20mixed%20precision.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20COMPOSE%20TABS%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%20%5Cu2014%20The%20Memory%20Budget%20Shock%22%3A%20%20%20%20%20%20%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%20%5Cu2014%20The%20Pipeline%20Bottleneck%22%3A%20%20%20%20%20%20%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%20%5Cu2014%20Mixed%20Precision%20Trap%22%3A%20%20%20%20%20%20%20%20%20%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%20%5Cu2014%20The%20Communication%20Tax%22%3A%20%20%20%20%20%20%20%20%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20ledger%2C%20mo)%3A%0A%20%20%20%20_track%20%3D%20ledger._state.track%20or%20%22not%20set%22%0A%20%20%20%20ledger.save(chapter%3D8%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%22chapter%22%3A%20%22v1_08%22%2C%0A%20%20%20%20%20%20%20%20%22completed%22%3A%20True%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3E08%20%26middot%3B%20The%20Training%20Gauntlet%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ETRACK%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22%7B'hud-active'%20if%20_track%20!%3D%20'not%20set'%20else%20'hud-none'%7D%22%3E%7B_track%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ECHAPTER%26nbsp%3B8%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3EModel%20Training%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ESTATUS%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-active%22%3Eactive%3C%2Fspan%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A