lab 05 dist train

import%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20from%20plotly.subplots%20import%20make_subplots%0A%0A%20%20%20%20%23%20WASM%20bootstrap%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22..%2F..%2F..%2Fwheels%2Fmlsysim-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%22mlsysim%22%20not%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20_root%20%3D%20Path(__file__).resolve().parents%5B2%5D%0A%20%20%20%20%20%20%20%20if%20str(_root)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_root))%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20from%20mlsysim.labs.components%20import%20DecisionLog%0A%20%20%20%20import%20mlsysim%0A%20%20%20%20from%20mlsysim%20import%20Hardware%0A%20%20%20%20from%20mlsysim.core.defaults%20import%20(%0A%20%20%20%20%20%20%20%20GPU_MTTF_HOURS%2C%20INFINIBAND_NDR_BW_GBS%2C%20IB_NDR_LATENCY_US%2C%0A%20%20%20%20%20%20%20%20SCALING_EFF_256GPU%2C%20OVERHEAD_PIPELINE_BUBBLE%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Hardware%20registry%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20H100%20%3D%20Hardware.Cloud.H100%0A%20%20%20%20A100%20%3D%20Hardware.Cloud.A100%0A%20%20%20%20EDGE%20%3D%20Hardware.Edge.JetsonOrinNX%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Hardware%20constants%20(from%20registry%20%2B%20specs)%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20H100_TFLOPS_FP16%20%20%3D%20989.0%20%20%20%20%20%23%20NVIDIA%20H100%20SXM5%20spec%0A%20%20%20%20H100_BW_GBS%20%20%20%20%20%20%20%3D%203350.0%20%20%20%20%23%20GB%2Fs%20HBM3e%0A%20%20%20%20H100_RAM_GB%20%20%20%20%20%20%20%3D%2080.0%20%20%20%20%20%20%23%20GB%20HBM3e%0A%20%20%20%20A100_RAM_GB%20%20%20%20%20%20%20%3D%2080.0%20%20%20%20%20%20%23%20GB%20HBM2e%0A%20%20%20%20NVLINK4_BW_GBS%20%20%20%20%3D%20900.0%20%20%20%20%20%23%20GB%2Fs%20NVLink%204%20(DGX%20H100)%0A%20%20%20%20IB_NDR_BW_GBS%20%20%20%20%20%3D%2050.0%20%20%20%20%20%20%23%20GB%2Fs%20InfiniBand%20NDR%20per%20port%0A%20%20%20%20IB_HDR_BW_GBS%20%20%20%20%20%3D%2025.0%20%20%20%20%20%20%23%20GB%2Fs%20InfiniBand%20HDR%20per%20port%0A%20%20%20%20ETH_100G_BW_GBS%20%20%20%3D%2012.5%20%20%20%20%20%20%23%20GB%2Fs%20100GbE%0A%20%20%20%20GPUS_PER_NODE%20%20%20%20%20%3D%208%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20DecisionLog%2C%0A%20%20%20%20%20%20%20%20GPUS_PER_NODE%2C%0A%20%20%20%20%20%20%20%20H100_RAM_GB%2C%0A%20%20%20%20%20%20%20%20H100_TFLOPS_FP16%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20NVLINK4_BW_GBS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20math%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_c_dp%20%20%20%3D%20COLORS%5B%22BlueLine%22%5D%0A%20%20%20%20_c_3d%20%20%20%3D%20COLORS%5B%22Cloud%22%5D%0A%20%20%20%20_c_s0%20%20%20%3D%20COLORS%5B%22Surface0%22%5D%0A%20%20%20%20_c_s1%20%20%20%3D%20COLORS%5B%22Surface1%22%5D%0A%20%20%20%20_header%20%3D%20mo.Html(f%22%22%22%0A%20%20%20%20%7BLAB_CSS%7D%0A%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%7B_c_s0%7D%200%25%2C%20%7B_c_s1%7D%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2016px%3B%20padding%3A%2032px%2040px%3B%20margin-bottom%3A%208px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%232d3748%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20justify-content%3A%20space-between%3B%20align-items%3A%20flex-start%3B%20flex-wrap%3A%20wrap%3B%20gap%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%2394a3b8%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.14em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Vol%202%20%26middot%3B%20Lab%2005%20%26middot%3B%20Distributed%20Training%20Systems%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%202.0rem%3B%20font-weight%3A%20800%3B%20color%3A%20%23f1f5f9%3B%20line-height%3A%201.15%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Parallelism%20Puzzle%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.95rem%3B%20color%3A%20%2394a3b8%3B%20max-width%3A%20600px%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Each%20parallelism%20strategy%20solves%20one%20constraint%20while%20creating%20another.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Data%20parallelism%20hits%20a%20communication%20wall.%20ZeRO%20trades%20memory%20for%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20communication.%20Pipeline%20parallelism%20creates%20bubbles.%20Only%203D%20parallelism%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mapped%20to%20the%20bandwidth%20hierarchy%2C%20can%20train%20frontier%20models.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20flex-direction%3A%20column%3B%20gap%3A%208px%3B%20flex-shrink%3A%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3ECommunication%20Wall%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EZeRO%20Memory%20Sharding%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EPipeline%20Bubbles%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3E3D%20Parallel%3A%20TP%20%26times%3B%20PP%20%26times%3B%20DP%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3E35%26ndash%3B40%20minutes%20%26middot%3B%203%20Parts%20%2B%20Synthesis%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2016px%3B%20margin-top%3A%2020px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20rgba(99%2C102%2C241%2C0.12)%3B%20border%3A%201px%20solid%20rgba(99%2C102%2C241%2C0.35)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%208px%3B%20padding%3A%2010px%2016px%3B%20font-size%3A%200.82rem%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%20%7B_c_dp%7D%3B%20font-weight%3A%20700%3B%22%3EContext%20A%20%26mdash%3B%20Data%20Parallel%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%20%2394a3b8%3B%22%3E%20%26mdash%3B%20175B%20model%20%26middot%3B%201%26ndash%3B512%20GPUs%20%26middot%3B%20AllReduce%20via%20IB%20NDR%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20rgba(99%2C102%2C241%2C0.12)%3B%20border%3A%201px%20solid%20rgba(99%2C102%2C241%2C0.35)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%208px%3B%20padding%3A%2010px%2016px%3B%20font-size%3A%200.82rem%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%20%7B_c_3d%7D%3B%20font-weight%3A%20700%3B%22%3EContext%20B%20%26mdash%3B%203D%20Parallel%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%20%2394a3b8%3B%22%3E%20%26mdash%3B%20175B%20model%20%26middot%3B%20256%20H100s%20%26middot%3B%20TP%26times%3BPP%26times%3BDP%20design%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20_header%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3EQuantify%20the%20communication%20wall%3A%3C%2Fstrong%3E%20calculate%20Ring-AllReduce%20time%20for%20a%20175B%20model%20and%20explain%20why%20DP%20efficiency%20collapses%20to%20~50%25%20at%20256%20GPUs%20on%20IB%20NDR.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3EDiagnose%20why%20ZeRO-3%20alone%20cannot%20train%20175B%3A%3C%2Fstrong%3E%20compute%20per-GPU%20memory%20with%20and%20without%20activation%20sharding%20to%20identify%20the%20OOM%20boundary.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3EDesign%20a%203D%20parallelism%20configuration%3A%3C%2Fstrong%3E%20select%20TP%2C%20PP%2C%20and%20DP%20degrees%20that%20satisfy%20memory%2C%20bubble%2C%20and%20bandwidth%20constraints%20simultaneously.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20margin-bottom%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Ring-AllReduce%20bandwidth%20model%20from%20%40sec-collective-communication%20%26middot%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Data%20parallelism%20and%20scaling%20efficiency%20from%20%40sec-distributed-training-systems%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E35-40%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Part%20A%3A%20~12%20min%20%26middot%3B%20Part%20B%3A%20~10%20min%20%26middot%3B%20Part%20C%3A%20~15%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-top%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22If%20data%20parallelism%2C%20ZeRO%2C%20and%20pipeline%20parallelism%20each%20solve%20part%20of%20the%20scaling%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20puzzle%2C%20why%20does%20every%20frontier%20model%20require%20all%20three%20simultaneously%20%26mdash%3B%20and%20what%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20determines%20the%20correct%20ratio%3F%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20--%20Complete%20the%20following%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20**%40sec-distributed-training-systems**%20--%20Data%20parallelism%2C%20the%20Communication-Computation%20Ratio%2C%0A%20%20%20%20%20%20and%20the%20Iron%20Law%20of%20Scale%3A%20%60T_step(N)%20%3D%20T_compute%2FN%20%2B%20T_comm(N)%20-%20T_overlap%60%0A%20%20%20%20-%20**%40sec-collective-communication**%20--%20Ring-AllReduce%20bandwidth%20formula%2C%20gradient%20bucketing%0A%20%20%20%20-%20The%20ZeRO%20section%20--%20Memory%20sharding%20stages%20(ZeRO-1%2F2%2F3)%2C%20activation%20memory%0A%20%20%20%20-%20The%20Pipeline%20Parallelism%20section%20--%20Microbatching%2C%20bubble%20fraction%20%60B%20%3D%20(PP-1)%2F(PP*m)%60%0A%20%20%20%20-%20The%203D%20Parallelism%20section%20--%20TP%20within%20NVLink%2C%20PP%20across%20IB%2C%20DP%20for%20throughput%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20partA_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~90%25%20--%20InfiniBand%20is%20fast%20enough%20to%20handle%20the%20gradients%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~70%25%20--%20moderate%20communication%20overhead%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~50-55%25%20--%20communication%20is%20nearly%20half%20of%20step%20time%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~25%25%20--%20communication%20dominates%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22You%20train%20a%20175B%20model%20with%20pure%20data%20parallelism%20on%20256%20GPUs%20with%20InfiniBand%20NDR.%20What%20scaling%20efficiency%20do%20you%20achieve%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20a1_model_select%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%221B%22%3A%201.0%2C%20%227B%22%3A%207.0%2C%20%2270B%22%3A%2070.0%2C%20%22175B%22%3A%20175.0%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22175B%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Model%20size%20(parameters)%22%2C%0A%20%20%20%20)%0A%20%20%20%20a1_gpu_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D512%2C%20value%3D256%2C%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Number%20of%20GPUs%20(DP%20degree)%22%2C%0A%20%20%20%20)%0A%20%20%20%20a1_interconnect%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22IB%20NDR%20(50%20GB%2Fs)%22%3A%2050.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22IB%20HDR%20(25%20GB%2Fs)%22%3A%2025.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22100GbE%20(12.5%20GB%2Fs)%22%3A%2012.5%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22IB%20NDR%20(50%20GB%2Fs)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Interconnect%22%2C%0A%20%20%20%20)%0A%20%20%20%20partA_reflection%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Use%20faster%20GPUs%20--%20reduce%20compute%20time%20so%20communication%20is%20a%20smaller%20fraction%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Shard%20the%20model%20across%20GPUs%20so%20each%20holds%20only%20a%20fraction%20--%20this%20is%20ZeRO%20or%20model%20parallelism%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Use%20gradient%20compression%20to%20reduce%20AllReduce%20volume%20by%204-8x%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Accept%20the%20wall%20--%2055%25%20efficiency%20is%20good%20enough%20for%20production%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20is%20the%20most%20effective%20strategy%20to%20overcome%20the%20DP%20communication%20wall%20for%20frontier%20models%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a1_gpu_slider%2C%0A%20%20%20%20%20%20%20%20a1_interconnect%2C%0A%20%20%20%20%20%20%20%20a1_model_select%2C%0A%20%20%20%20%20%20%20%20partA_prediction%2C%0A%20%20%20%20%20%20%20%20partA_reflection%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20partB_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20TP%3D1%2C%20PP%3D1%2C%20DP%3D256%20--%20Pure%20DP%3A%20maximize%20data%20parallelism%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20TP%3D8%2C%20PP%3D4%2C%20DP%3D8%20--%20Full%203D%20parallelism%20mapped%20to%20bandwidth%20hierarchy%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20TP%3D8%2C%20PP%3D1%2C%20DP%3D32%20--%20TP%20within%20node%20%2B%20DP%20only%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20TP%3D8%2C%20PP%3D32%2C%20DP%3D1%20--%20Aggressive%20pipeline%2C%20no%20DP%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%203D%20configuration%20(TP%20x%20PP%20x%20DP%20%3D%20256)%20best%20trains%20a%20175B%20model%20on%20256%20H100s%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(partB_prediction%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20a2_tp%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D16%2C%20value%3D8%2C%20step%3D1%2C%20label%3D%22Tensor%20Parallelism%20(TP)%22)%0A%20%20%20%20a2_pp%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D32%2C%20value%3D4%2C%20step%3D1%2C%20label%3D%22Pipeline%20Parallelism%20(PP)%22)%0A%20%20%20%20a2_microbatches%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D64%2C%20value%3D16%2C%20step%3D1%2C%20label%3D%22Microbatches%20per%20flush%20(m)%22)%0A%20%20%20%20a2_zero_stage%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22ZeRO-0%20(no%20sharding)%22%3A%200%2C%20%22ZeRO-1%20(optimizer)%22%3A%201%2C%20%22ZeRO-2%20(%2Bgradients)%22%3A%202%2C%20%22ZeRO-3%20(%2Bparameters)%22%3A%203%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22ZeRO-3%20(%2Bparameters)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22ZeRO%20Stage%22%2C%0A%20%20%20%20)%0A%20%20%20%20partC_reflection%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20TP%20handles%20inter-layer%20communication%2C%20PP%20handles%20intra-layer%2C%20DP%20handles%20gradient%20sync%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20TP%20maps%20to%20NVLink%20(highest%20BW)%2C%20PP%20maps%20to%20IB%20(moderate%20BW)%2C%20DP%20AllReduce%20uses%20remaining%20BW%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20The%20mapping%20is%20arbitrary%20--%20any%20assignment%20of%20TP%2FPP%2FDP%20to%20the%20hierarchy%20works%20equally%20well%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20TP%20and%20PP%20should%20both%20use%20NVLink%3B%20DP%20should%20use%20Ethernet%20for%20cost%20savings%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Why%20must%20TP%20map%20to%20NVLink%2C%20PP%20to%20InfiniBand%2C%20and%20DP%20to%20the%20remaining%20bandwidth%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20a2_microbatches%2C%20a2_pp%2C%20a2_tp%2C%20a2_zero_stage%2C%20partC_reflection%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20partD_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20A100%2080GB%20--%20same%20HBM%20so%20same%20result%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20A100%20achieves%20~35%25%20efficiency%20--%20slower%20interconnect%20(IB%20HDR%2025%20GB%2Fs)%20doubles%20the%20communication%20wall%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20A100%20achieves%20~70%25%20--%20slower%20compute%20means%20comm%2Fcompute%20ratio%20improves%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20A100%20cannot%20train%20175B%20at%20all%20--%20insufficient%20memory%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22You%20switch%20from%20H100%20%2B%20IB%20NDR%20(50%20GB%2Fs)%20to%20A100%20%2B%20IB%20HDR%20(25%20GB%2Fs)%20for%20175B%20DP%20training%20on%20256%20GPUs.%20What%20happens%20to%20scaling%20efficiency%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20d1_hw_tier%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22H100%20%2B%20IB%20NDR%20(50%20GB%2Fs%2C%20989%20TFLOPS)%22%3A%20(%22H100%22%2C%20989.0%2C%2050.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A100%20%2B%20IB%20HDR%20(25%20GB%2Fs%2C%20312%20TFLOPS)%22%3A%20(%22A100%22%2C%20312.0%2C%2025.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22T4%20%2B%20100GbE%20(12.5%20GB%2Fs%2C%2065%20TFLOPS)%22%3A%20(%22T4%22%2C%2065.0%2C%2012.5)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22H100%20%2B%20IB%20NDR%20(50%20GB%2Fs%2C%20989%20TFLOPS)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Hardware%20tier%22%2C%0A%20%20%20%20)%0A%20%20%20%20d1_model_size%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%227B%22%3A%207.0%2C%20%2270B%22%3A%2070.0%2C%20%22175B%22%3A%20175.0%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22175B%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Model%20size%22%2C%0A%20%20%20%20)%0A%20%20%20%20d1_gpu_count%20%3D%20mo.ui.slider(start%3D8%2C%20stop%3D512%2C%20value%3D256%2C%20step%3D8%2C%20label%3D%22GPU%20count%22)%0A%20%20%20%20partD_reflection%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Always%20use%20the%20fastest%20GPUs%20regardless%20of%20model%20size%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Match%20hardware%20tier%20to%20model%20scale%20--%20small%20models%20on%20T4%2C%20large%20models%20require%20H100%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Use%20A100%20for%20everything%20--%20best%20price%2Fperformance%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Interconnect%20does%20not%20matter%20--%20only%20GPU%20compute%20speed%20determines%20efficiency%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20principle%20governs%20hardware%20tier%20selection%20for%20distributed%20training%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20d1_gpu_count%2C%0A%20%20%20%20%20%20%20%20d1_hw_tier%2C%0A%20%20%20%20%20%20%20%20d1_model_size%2C%0A%20%20%20%20%20%20%20%20partD_prediction%2C%0A%20%20%20%20%20%20%20%20partD_reflection%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(DecisionLog)%3A%0A%20%20%20%20synth_decision_input%2C%20synth_decision_ui%20%3D%20DecisionLog(%0A%20%20%20%20%20%20%20%20placeholder%3D%22Based%20on%20what%20I%20learned%20in%20this%20lab%2C%20the%20most%20important%20insight%20about%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22distributed%20training%20parallelism%20is...%22%0A%20%20%20%20)%0A%20%20%20%20return%20synth_decision_input%2C%20synth_decision_ui%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20GPUS_PER_NODE%2C%0A%20%20%20%20H100_RAM_GB%2C%0A%20%20%20%20H100_TFLOPS_FP16%2C%0A%20%20%20%20NVLINK4_BW_GBS%2C%0A%20%20%20%20a1_gpu_slider%2C%0A%20%20%20%20a1_interconnect%2C%0A%20%20%20%20a1_model_select%2C%0A%20%20%20%20a2_microbatches%2C%0A%20%20%20%20a2_pp%2C%0A%20%20%20%20a2_tp%2C%0A%20%20%20%20a2_zero_stage%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20d1_gpu_count%2C%0A%20%20%20%20d1_hw_tier%2C%0A%20%20%20%20d1_model_size%2C%0A%20%20%20%20go%2C%0A%20%20%20%20math%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20partA_prediction%2C%0A%20%20%20%20partA_reflection%2C%0A%20%20%20%20partB_prediction%2C%0A%20%20%20%20partC_reflection%2C%0A%20%20%20%20partD_prediction%2C%0A%20%20%20%20partD_reflection%2C%0A%20%20%20%20synth_decision_ui%2C%0A)%3A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20A%20BUILDER%20--%20The%20Communication%20Wall%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Stakeholder%20message%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'BlueLL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Training%20Infrastructure%20Lead%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22We%20are%20scaling%20a%20175B%20parameter%20model%20with%20pure%20data%20parallelism%20on%20256%20H100s%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20connected%20via%20InfiniBand%20NDR%20(50%20GB%2Fs%20per%20port).%20InfiniBand%20is%20the%20fastest%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20interconnect%20money%20can%20buy.%20I%20expect%20scaling%20efficiency%20above%2090%25.%20Am%20I%20wrong%3F%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Concept%20framing%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20The%20stakeholder's%20expectation%20sounds%20reasonable%3A%20InfiniBand%20NDR%20is%20the%20fastest%0A%20%20%20%20datacenter%20interconnect.%20But%20the%20critical%20variable%20is%20not%20the%20absolute%20bandwidth%0A%20%20%20%20--%20it%20is%20the%20**ratio**%20of%20communication%20time%20to%20compute%20time.%0A%0A%20%20%20%20For%20a%20175B%20model%20in%20FP16%2C%20the%20gradient%20tensor%20is%20~350%20GB.%20Ring-AllReduce%20transfers%0A%20%20%20%20approximately%20%602%20x%20(N-1)%2FN%20x%20gradient_bytes%60%20per%20step.%20At%20N%3D256%2C%20this%20saturates%0A%20%20%20%20at%20~700%20GB%20of%20data%20traversing%2050%20GB%2Fs%20InfiniBand%20--%20a%20transfer%20that%20takes%20~14%20seconds.%0A%0A%20%20%20%20If%20the%20compute%20step%20(forward%20%2B%20backward)%20on%20each%20GPU%20takes%20~10%20seconds%2C%20the%0A%20%20%20%20communication%2Fcompute%20ratio%20is%201.4.%20Efficiency%20%3D%201%20%2F%20(1%20%2B%20ratio)%20%3D%20~42%25.%0A%20%20%20%20Even%20with%2050%25%20overlap%20via%20gradient%20bucketing%2C%20efficiency%20reaches%20only%20~55%25.%0A%0A%20%20%20%20Before%20seeing%20the%20numbers%2C%20commit%20to%20your%20prediction.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20lock%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Your%20Prediction%22))%0A%20%20%20%20%20%20%20%20items.append(partA_prediction)%0A%20%20%20%20%20%20%20%20items.append(mo.stop(%0A%20%20%20%20%20%20%20%20%20%20%20%20partA_prediction.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20Part%20A%20instruments.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20%20%20%20%20%23%20Instruments%20header%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%23%20Data%20Parallel%20Scaling%20Explorer%0A%0A%20%20%20%20Adjust%20GPU%20count%20and%20model%20size%20to%20see%20how%20AllReduce%20communication%20time%0A%20%20%20%20compares%20to%20compute%20time%20--%20and%20how%20the%20ratio%20determines%20efficiency.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Controls%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5Ba1_model_select%2C%20a1_gpu_slider%2C%20a1_interconnect%5D%2C%20justify%3D%22center%22%2C%20gap%3D2))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Physics%3A%20Ring-AllReduce%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_params_b%20%20%20%3D%20a1_model_select.value%0A%20%20%20%20%20%20%20%20_n_gpus%20%20%20%20%20%3D%20a1_gpu_slider.value%0A%20%20%20%20%20%20%20%20_bw_gbs%20%20%20%20%20%3D%20a1_interconnect.value%0A%0A%20%20%20%20%20%20%20%20_grad_bytes%20%20%20%20%20%3D%20_params_b%20*%201e9%20*%202%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20FP16%20gradients%0A%20%20%20%20%20%20%20%20_grad_gb%20%20%20%20%20%20%20%20%3D%20_grad_bytes%20%2F%201e9%0A%20%20%20%20%20%20%20%20_ring_factor%20%20%20%20%3D%202.0%20*%20(_n_gpus%20-%201)%20%2F%20max(_n_gpus%2C%201)%20%20%23%20saturates%20at%20~2%0A%20%20%20%20%20%20%20%20_allreduce_gb%20%20%20%3D%20_ring_factor%20*%20_grad_gb%0A%20%20%20%20%20%20%20%20_allreduce_s%20%20%20%20%3D%20_allreduce_gb%20%2F%20_bw_gbs%20if%20_bw_gbs%20%3E%200%20else%20999%0A%0A%20%20%20%20%20%20%20%20%23%20Compute%20time%3A%206%20*%20params%20*%20tokens_per_batch%20%2F%20(peak_flops%20*%20MFU_ref)%0A%20%20%20%20%20%20%20%20_flops_per_step%20%3D%206.0%20*%20_params_b%20*%201e9%20*%202048%20%20%20%20%20%20%20%20%20%23%206PD%20with%20seq_len%3D2048%2C%20micro_batch%3D1%0A%20%20%20%20%20%20%20%20_compute_s%20%20%20%20%20%20%3D%20_flops_per_step%20%2F%20(_n_gpus%20*%20H100_TFLOPS_FP16%20*%201e12%20*%200.50)%0A%0A%20%20%20%20%20%20%20%20%23%20Overlap%3A%20gradient%20bucketing%20hides%20~50%25%20of%20AllReduce%0A%20%20%20%20%20%20%20%20_overlap_frac%20%20%20%3D%200.50%0A%20%20%20%20%20%20%20%20_effective_comm%20%3D%20_allreduce_s%20*%20(1%20-%20_overlap_frac)%0A%20%20%20%20%20%20%20%20_step_time_s%20%20%20%20%3D%20_compute_s%20%2B%20_effective_comm%0A%20%20%20%20%20%20%20%20_efficiency%20%20%20%20%20%3D%20_compute_s%20%2F%20_step_time_s%20if%20_step_time_s%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20_efficiency_pct%20%3D%20_efficiency%20*%20100%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Sweep%3A%20efficiency%20vs%20GPU%20count%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_gpu_range%20%3D%20%5B1%2C%202%2C%204%2C%208%2C%2016%2C%2032%2C%2064%2C%20128%2C%20256%2C%20512%5D%0A%20%20%20%20%20%20%20%20_eff_curve%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_g%20in%20_gpu_range%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_c_s%20%3D%20_flops_per_step%20%2F%20(_g%20*%20H100_TFLOPS_FP16%20*%201e12%20*%200.50)%0A%20%20%20%20%20%20%20%20%20%20%20%20_ar_s%20%3D%20(2.0%20*%20(_g%20-%201)%20%2F%20max(_g%2C%201)%20*%20_grad_gb)%20%2F%20_bw_gbs%0A%20%20%20%20%20%20%20%20%20%20%20%20_st%20%3D%20_c_s%20%2B%20_ar_s%20*%20(1%20-%20_overlap_frac)%0A%20%20%20%20%20%20%20%20%20%20%20%20_eff_curve.append((_c_s%20%2F%20_st%20*%20100)%20if%20_st%20%3E%200%20else%20100)%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_gpu_range%2C%20y%3D_eff_curve%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%2Bmarkers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D7)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Scaling%20efficiency%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D%22%3Cb%3E%25%7Bx%7D%20GPUs%3C%2Fb%3E%3Cbr%3EEfficiency%3A%20%25%7By%3A.1f%7D%25%3Cextra%3E%3C%2Fextra%3E%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_n_gpus%5D%2C%20y%3D%5B_efficiency_pct%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D14%2C%20color%3DCOLORS%5B%22RedLine%22%5D%2C%20symbol%3D%22diamond%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22white%22%2C%20width%3D2))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Current%20config%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D50%2C%20line%3Ddict(color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20width%3D1.5%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%2250%25%20efficiency%22%2C%20annotation_position%3D%22bottom%20right%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D320%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22GPU%20Count%20(DP%20degree)%22%2C%20type%3D%22log%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tickvals%3D%5B1%2C%202%2C%204%2C%208%2C%2016%2C%2032%2C%2064%2C%20128%2C%20256%2C%20512%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Scaling%20Efficiency%20(%25)%22%2C%20range%3D%5B0%2C%20105%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20yanchor%3D%22bottom%22%2C%20y%3D1.02%2C%20xanchor%3D%22right%22%2C%20x%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D40%2C%20b%3D50%2C%20l%3D50%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20%23%20Color%20coding%0A%20%20%20%20%20%20%20%20_eff_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_efficiency_pct%20%3E%3D%2070%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_efficiency_pct%20%3E%3D%2040%20else%20COLORS%5B%22RedLine%22%5D)%0A%20%20%20%20%20%20%20%20_comm_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_effective_comm%20%3C%20_compute_s%20*%200.3%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_effective_comm%20%3C%20_compute_s%20else%20COLORS%5B%22RedLine%22%5D)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A12px%3B%20padding%3A16px%2020px%3B%20margin%3A8px%200%3B%20font-family%3Amonospace%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A0.83rem%3B%20line-height%3A1.8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A8px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-family%3Asans-serif%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Physics%20%26mdash%3B%20Ring-AllReduce%20Communication%20Model%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EGradient%20size%20%3D%20%7B_params_b%7DB%20%26times%3B%202%20bytes%20(FP16)%20%3D%20%3Cstrong%3E%7B_grad_gb%3A.1f%7D%20GB%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ERing-AllReduce%20volume%20%3D%202%20%26times%3B%20(%7B_n_gpus%7D-1)%2F%7B_n_gpus%7D%20%26times%3B%20%7B_grad_gb%3A.1f%7D%20GB%20%3D%20%3Cstrong%3E%7B_allreduce_gb%3A.1f%7D%20GB%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EAllReduce%20time%20%3D%20%7B_allreduce_gb%3A.1f%7D%20GB%20%2F%20%7B_bw_gbs%7D%20GB%2Fs%20%3D%20%3Cstrong%3E%7B_allreduce_s%3A.2f%7Ds%3C%2Fstrong%3E%20(raw)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ECompute%20time%20per%20step%20%3D%20%3Cstrong%3E%7B_compute_s%3A.2f%7Ds%3C%2Fstrong%3E%20(at%2050%25%20MFU%20reference)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EEffective%20comm%20(50%25%20overlap)%20%3D%20%3Cstrong%3E%7B_effective_comm%3A.2f%7Ds%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EEfficiency%20%3D%20T_compute%20%2F%20(T_compute%20%2B%20T_comm_eff)%20%3D%20%7B_compute_s%3A.2f%7D%20%2F%20%7B_step_time_s%3A.2f%7D%20%3D%20%3Cstrong%20style%3D%22color%3A%7B_eff_color%7D%3B%22%3E%7B_efficiency_pct%3A.1f%7D%25%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A16px%3B%20justify-content%3Acenter%3B%20margin%3A8px%200%3B%20flex-wrap%3Awrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.06em%3B%22%3EEfficiency%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2.2rem%3B%20font-weight%3A800%3B%20color%3A%7B_eff_color%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-family%3Amonospace%3B%22%3E%7B_efficiency_pct%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20margin-top%3A2px%3B%22%3Escaling%20efficiency%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.06em%3B%22%3EAllReduce%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2.2rem%3B%20font-weight%3A800%3B%20color%3A%7B_comm_color%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-family%3Amonospace%3B%22%3E%7B_allreduce_s%3A.1f%7Ds%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20margin-top%3A2px%3B%22%3Eper%20step%20(raw)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.06em%3B%22%3ECompute%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2.2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-family%3Amonospace%3B%22%3E%7B_compute_s%3A.1f%7Ds%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20margin-top%3A2px%3B%22%3Eper%20step%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.06em%3B%22%3EComm%2FCompute%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2.2rem%3B%20font-weight%3A800%3B%20color%3A%7B_comm_color%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-family%3Amonospace%3B%22%3E%7B_effective_comm%20%2F%20_compute_s%3A.2f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20margin-top%3A2px%3B%22%3Eratio%20(lower%20%3D%20better)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.ui.plotly(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20reveal%0A%20%20%20%20%20%20%20%20_correct%20%3D%20partA_prediction.value%20%3D%3D%20%22C%22%0A%20%20%20%20%20%20%20%20if%20_correct%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20At%20256%20GPUs%20on%20IB%20NDR%2C%20the%20175B%20model's%20gradient%20AllReduce%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22transfers%20~700%20GB%20per%20step.%20Even%20at%2050%20GB%2Fs%2C%20this%20takes%20~14%20seconds%20raw.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Compute%20per%20GPU%20(~10s%20at%20this%20scale)%20cannot%20hide%20such%20a%20large%20transfer.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22With%2050%25%20overlap%2C%20efficiency%20reaches%20~55%25.%20The%20communication%20wall%20is%20real%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22even%20on%20the%20fastest%20interconnect.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partA_prediction.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Too%20optimistic.**%20InfiniBand%20NDR%20is%20fast%20(50%20GB%2Fs)%2C%20but%20175B%20parameters%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22produce%20350%20GB%20of%20FP16%20gradients.%20Ring-AllReduce%20transfers%20~700%20GB%20per%20step.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22At%2050%20GB%2Fs%2C%20that%20is%20~14%20seconds%20--%20comparable%20to%20the%20compute%20time%20itself.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2290%25%20efficiency%20would%20require%20communication%20to%20be%20%3C11%25%20of%20compute%20time.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partA_prediction.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Close%2C%20but%20still%20optimistic.**%2070%25%20efficiency%20requires%20comm%2Fcompute%20ratio%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22below%200.43.%20With%20700%20GB%20of%20AllReduce%20traffic%20and%20only%2050%25%20overlap%2C%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22effective%20communication%20is%20~7%20seconds%20against%20~10%20seconds%20of%20compute.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20actual%20ratio%20is%20~0.7%2C%20yielding%20~55%25%20efficiency.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partA_prediction.value%20%3D%3D%20%22D%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Too%20pessimistic.**%2025%25%20would%20mean%20communication%20is%203x%20compute%20time.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22InfiniBand%20NDR%20is%20genuinely%20fast%20--%20the%20issue%20is%20that%20gradient%20size%20for%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22175B%20models%20is%20so%20large%20that%20even%20fast%20interconnects%20are%20overwhelmed%2C%20but%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22not%20to%20the%20point%20of%203x%20domination.%20With%20overlap%2C%20efficiency%20stabilizes%20~55%25.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20%23%20MathPeek%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20governing%20equations%20--%20Ring-AllReduce%20and%20DP%20efficiency%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20**Ring-AllReduce%20Transfer%20Volume**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20V_allreduce%20%3D%202%20*%20(N-1)%2FN%20*%20gradient_bytes%0A%20%20%20%20%20%20%20%20T_allreduce%20%3D%20V_allreduce%20%2F%20BW_interconnect%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20-%20For%20large%20N%2C%20the%20factor%202*(N-1)%2FN%20approaches%202%0A%20%20%20%20%20%20%20%20-%20175B%20FP16%20gradients%20%3D%20350%20GB%3B%20AllReduce%20volume%20%3D%20~700%20GB%0A%20%20%20%20%20%20%20%20-%20At%20IB%20NDR%20(50%20GB%2Fs)%3A%20T_allreduce%20%3D%2014.0%20seconds%0A%0A%20%20%20%20%20%20%20%20**DP%20Scaling%20Efficiency**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20eta%20%3D%20T_compute%20%2F%20(T_compute%20%2B%20T_comm_effective)%0A%20%20%20%20%20%20%20%20T_comm_effective%20%3D%20T_allreduce%20*%20(1%20-%20overlap_fraction)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20-%20Gradient%20bucketing%20achieves%20~50%25%20overlap%20for%20large%20models%0A%20%20%20%20%20%20%20%20-%20At%20256%20GPUs%3A%20eta%20%3D%2010s%20%2F%20(10s%20%2B%207s)%20%3D%2058.8%25%0A%20%20%20%20%20%20%20%20-%20The%20communication%20wall%20appears%20when%20T_comm%20approaches%20T_compute%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20%23%20Reflection%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Reflection%22))%0A%20%20%20%20%20%20%20%20items.append(partA_reflection)%0A%20%20%20%20%20%20%20%20if%20partA_reflection.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20partA_reflection.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20Model%20parallelism%20(TP%2C%20PP)%20and%20ZeRO%20sharding%20reduce%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gradient%20AllReduce%20volume%20by%20distributing%20the%20model%20itself.%20With%20TP%3D8%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22within%20a%20node%2C%20each%20TP%20group%20handles%20175B%2F8%20parameters%2C%20and%20the%20DP%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22AllReduce%20is%20over%20a%20smaller%20DP%20degree%2C%20dramatically%20reducing%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22communication%20wall.%20This%20is%20why%203D%20parallelism%20exists.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20partA_reflection.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Counterproductive.**%20Faster%20GPUs%20reduce%20T_compute%2C%20but%20the%20comm%2Fcompute%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ratio%20actually%20*worsens*%20because%20T_allreduce%20stays%20the%20same.%20Each%20GPU%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22generation%20doubles%20compute%20TFLOPS%20but%20interconnect%20bandwidth%20grows%20slower.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20communication%20wall%20gets%20*worse*%20with%20faster%20GPUs%2C%20not%20better.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20partA_reflection.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Partially%20effective%20but%20not%20the%20primary%20solution.**%20INT8%20gradient%20compression%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22can%20halve%20AllReduce%20volume%2C%20but%20it%20introduces%20convergence%20risk%20for%20sensitive%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22training%20runs.%20The%20standard%20approach%20is%20to%20restructure%20the%20parallelism%20itself%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22(TP%2FPP)%20rather%20than%20compromise%20gradient%20fidelity.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20partA_reflection.value%20%3D%3D%20%22D%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Not%20viable%20at%20frontier%20scale.**%20At%2055%25%20efficiency%2C%20you%20are%20paying%20for%20256%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22H100s%20but%20getting%20the%20throughput%20of%20~140.%20At%20%243%2FGPU-hour%2C%20the%20wasted%20compute%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22costs%20~%24350%2Fhour.%20Over%20a%2090-day%20training%20run%2C%20that%20is%20%24756%2C000%20in%20idle%20GPUs.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20B%20BUILDER%20--%20The%20ZeRO%20Memory%20Trap%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Stakeholder%20message%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'Cloud'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'BlueLL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'Cloud'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20MLOps%20Architect%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22My%20team%20says%20ZeRO-3%20can%20shard%20everything%20across%2064%20A100%20GPUs%20(80%20GB%20each).%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20static%20memory%20math%20works%3A%20175B%20x%2014%20bytes%20%2F%2064%20%3D%2038%20GB%20per%20GPU.%20That%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fits%20in%2080%20GB%20HBM.%20So%20ZeRO-3%20alone%20should%20handle%20this%20model.%20Right%3F%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Concept%20framing%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20The%20stakeholder%20computed%20only%20**static%20memory**%3A%20parameters%20%2B%20gradients%20%2B%20optimizer%20states.%0A%20%20%20%20ZeRO-3%20shards%20all%20three%20across%20workers%2C%20reducing%20per-GPU%20static%20memory%20to%20~38%20GB.%0A%0A%20%20%20%20But%20**activation%20memory%20is%20NOT%20sharded**%20by%20ZeRO.%20Each%20GPU%20stores%20activations%20for%20its%0A%20%20%20%20own%20micro-batch%20during%20the%20forward%20pass%2C%20needed%20for%20the%20backward%20pass.%20For%20a%20175B%0A%20%20%20%20Transformer%20at%20seq_len%3D2048%20and%20batch_size%3D1%2C%20activations%20consume%20~50%20GB%20per%20GPU.%0A%0A%20%20%20%20Total%20per-GPU%20memory%3A%2038%20GB%20(ZeRO-3%20static)%20%2B%2050%20GB%20(activations)%20%3D%20**88%20GB%20%3E%2080%20GB%20HBM**.%0A%0A%20%20%20%20This%20is%20the%20OOM%20trap%3A%20ZeRO-3%20is%20necessary%20but%20not%20sufficient%20for%20frontier%20models.%0A%20%20%20%20Pipeline%20parallelism%20(PP)%20reduces%20per-GPU%20layers%2C%20reducing%20activation%20memory.%0A%20%20%20%20Tensor%20parallelism%20(TP)%20shards%20each%20layer's%20activations%20across%20the%20TP%20group.%0A%20%20%20%20Only%20the%20combination%20(3D%20parallelism)%20makes%20training%20feasible.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20lock%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Your%20Prediction%22))%0A%20%20%20%20%20%20%20%20items.append(partB_prediction)%0A%20%20%20%20%20%20%20%20items.append(mo.stop(%0A%20%20%20%20%20%20%20%20%20%20%20%20partB_prediction.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20configuration%20prediction%20above%20to%20unlock%20the%20Part%20B%20instruments.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20reveal%0A%20%20%20%20%20%20%20%20_correct%20%3D%20partB_prediction.value%20%3D%3D%20%22B%22%0A%20%20%20%20%20%20%20%20if%20_correct%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20TP%3D8%20maps%20to%20one%20DGX%20node%20(8%20GPUs%20on%20NVLink%20at%20900%20GB%2Fs)%2C%20keeping%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20per-layer%20AllReduce%20fast.%20PP%3D4%20assigns%2096%2F4%3D24%20layers%20per%20stage%2C%20cutting%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22activation%20memory%20by%204x.%20With%20m%3D16%20microbatches%2C%20bubble%20%3D%203%2F64%20%3D%204.7%25.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22DP%3D8%20replicates%20across%208%20groups%20for%20throughput.%20This%20matches%20Megatron-LM%20practice.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partB_prediction.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Pure%20DP%20cannot%20train%20175B.**%20Each%20of%20256%20GPUs%20must%20hold%20the%20full%20model%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22(175B%20x%202%20bytes%20%3D%20350%20GB%20in%20FP16%20weights%20alone)%2C%20which%20exceeds%2080%20GB%20HBM%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22by%204.4x.%20Even%20ZeRO-3%20sharding%20across%20256%20GPUs%20leaves%2038%20GB%20static%20%2B%2050%20GB%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22activations%20%3D%2088%20GB%20%3E%2080%20GB.%20TP%20or%20PP%20must%20reduce%20per-GPU%20model%20size.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partB_prediction.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Memory%20infeasible.**%20Without%20PP%2C%20each%20GPU%20holds%20all%2096%20layers'%20activations.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22TP%3D8%20reduces%20weights%20to%20175B%2F8%20%3D%2021.9B%20per%20GPU%2C%20but%20activation%20memory%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22remains%20~50%2F8%20%3D%206.25%20GB%20(TP%20partitions%20activations).%20Static%20memory%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2221.9B%20x%2014%20bytes%20%2F%2032%20(ZeRO-3)%20%3D%209.6%20GB.%20Total%20~16%20GB%20--%20feasible%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22but%20DP%3D32%20means%20AllReduce%20of%2021.9B%20x%202%20bytes%20across%2032%20nodes%2C%20still%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22significant%20communication%20wall.%20PP%20would%20reduce%20this%20further.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partB_prediction.value%20%3D%3D%20%22D%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**DP%3D1%20wastes%20the%20cluster.**%20With%20DP%3D1%2C%20there%20is%20no%20data%20parallelism%20for%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22throughput%20scaling.%20PP%3D32%20requires%20m%20%3E%3E%2032%20microbatches%20to%20keep%20bubble%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fraction%20below%2010%25%2C%20implying%20an%20enormous%20global%20batch%20size.%20This%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22an%20over-pipelined%20design%20that%20wastes%20most%20of%20the%20cluster%20on%20bubbles.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20%23%20MathPeek%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Governing%20equations%20--%20ZeRO%20memory%20and%20the%20OOM%20boundary%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20**ZeRO-3%20Per-GPU%20Memory**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20Static%20memory%20%3D%20(P%20%2F%20(TP%20*%20PP))%20*%20(2%20%2B%202%2FDP%20%2B%2012%2FDP)%20bytes%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%20params_per_gpu%20*%20(2%20%2B%2014%2FDP)%20bytes%0A%20%20%20%20%20%20%20%20Activation%20memory%20%3D%20base_activation%20%2F%20(TP%20*%20PP)%0A%20%20%20%20%20%20%20%20Total%20%3D%20static%20%2B%20activation%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20For%20175B%2C%20TP%3D1%2C%20PP%3D1%2C%20DP%3D64%2C%20ZeRO-3%3A%0A%20%20%20%20%20%20%20%20-%20params_per_gpu%20%3D%20175B%0A%20%20%20%20%20%20%20%20-%20Static%20%3D%20175B%20*%20(2%20%2B%2014%2F64)%20%3D%20175B%20*%202.22%20%3D%2038.3%20GB%0A%20%20%20%20%20%20%20%20-%20Activations%20%3D%2050%20GB%20(NOT%20sharded%20by%20ZeRO)%0A%20%20%20%20%20%20%20%20-%20Total%20%3D%2088.3%20GB%20%3E%2080%20GB%20HBM%20--%20**OOM**%0A%0A%20%20%20%20%20%20%20%20The%20fix%3A%20TP%20and%20PP%20reduce%20activations%20per%20GPU.%20With%20TP%3D8%2C%20PP%3D4%3A%0A%20%20%20%20%20%20%20%20-%20Activations%20%3D%2050%20%2F%20(8*4)%20%3D%201.56%20GB%0A%20%20%20%20%20%20%20%20-%20Static%20%3D%205.47B%20*%20(2%20%2B%2014%2F8)%20%3D%2020.5%20GB%0A%20%20%20%20%20%20%20%20-%20Total%20%3D%20~22%20GB%20--%20fits%20comfortably%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20C%20BUILDER%20--%203D%20Parallelism%20Design%20Challenge%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%23%203D%20Parallelism%20Configurator%0A%0A%20%20%20%20Adjust%20TP%20and%20PP%20degrees%20below.%20DP%20is%20computed%20automatically%20from%20%60TP%20x%20PP%20x%20DP%20%3D%20256%60.%0A%20%20%20%20The%20configurator%20enforces%20per-GPU%20memory%20and%20pipeline%20bubble%20constraints.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Controls%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Ba2_tp%2C%20a2_pp%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Ba2_microbatches%2C%20a2_zero_stage%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22center%22%2C%20gap%3D2))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Model%20constants%3A%20175B%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_PARAMS_B%20%20%20%20%20%20%20%20%3D%20175.0%0A%20%20%20%20%20%20%20%20_LAYERS%20%20%20%20%20%20%20%20%20%20%3D%2096%0A%20%20%20%20%20%20%20%20_TOTAL_GPUS%20%20%20%20%20%20%3D%20256%0A%20%20%20%20%20%20%20%20_BYTES_WEIGHT%20%20%20%20%3D%202%20%20%20%20%20%20%20%20%20%20%23%20FP16%0A%20%20%20%20%20%20%20%20_BYTES_OPTIMIZER%20%3D%2012%20%20%20%20%20%20%20%20%20%23%20FP32%20m1%2Bm2%2Bmaster%20%3D%204%2B4%2B4%20%3D%2012%20bytes%2Fparam%0A%20%20%20%20%20%20%20%20_BYTES_GRADIENT%20%20%3D%202%20%20%20%20%20%20%20%20%20%20%23%20FP16%0A%20%20%20%20%20%20%20%20_ACTIVATION_BASE%20%3D%2050.0%20%20%20%20%20%20%20%23%20GB%20base%20activation%20for%20175B%20at%20seq%3D2048%2C%20batch%3D1%0A%0A%20%20%20%20%20%20%20%20_tp%20%3D%20a2_tp.value%0A%20%20%20%20%20%20%20%20_pp%20%3D%20a2_pp.value%0A%20%20%20%20%20%20%20%20_m%20%20%3D%20a2_microbatches.value%0A%20%20%20%20%20%20%20%20_zero%20%3D%20a2_zero_stage.value%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20DP%20degree%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_tp_pp%20%3D%20_tp%20*%20_pp%0A%20%20%20%20%20%20%20%20_dp%20%3D%20_TOTAL_GPUS%20%2F%2F%20_tp_pp%20if%20_tp_pp%20%3C%3D%20_TOTAL_GPUS%20and%20_TOTAL_GPUS%20%25%20_tp_pp%20%3D%3D%200%20else%200%0A%20%20%20%20%20%20%20%20_config_valid%20%3D%20_dp%20%3E%200%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Memory%20analysis%20per%20GPU%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_params_per_gpu_b%20%3D%20_PARAMS_B%20%2F%20(_tp%20*%20_pp)%0A%0A%20%20%20%20%20%20%20%20%23%20ZeRO%20sharding%20of%20static%20memory%20across%20DP%20workers%0A%20%20%20%20%20%20%20%20_dp_shard%20%3D%20max(_dp%2C%201)%0A%20%20%20%20%20%20%20%20if%20_zero%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_weight_gb%20%3D%20_params_per_gpu_b%20*%20_BYTES_WEIGHT%0A%20%20%20%20%20%20%20%20%20%20%20%20_grad_gb%20%3D%20_params_per_gpu_b%20*%20_BYTES_GRADIENT%0A%20%20%20%20%20%20%20%20%20%20%20%20_optim_gb%20%3D%20_params_per_gpu_b%20*%20_BYTES_OPTIMIZER%0A%20%20%20%20%20%20%20%20elif%20_zero%20%3D%3D%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_weight_gb%20%3D%20_params_per_gpu_b%20*%20_BYTES_WEIGHT%0A%20%20%20%20%20%20%20%20%20%20%20%20_grad_gb%20%3D%20_params_per_gpu_b%20*%20_BYTES_GRADIENT%0A%20%20%20%20%20%20%20%20%20%20%20%20_optim_gb%20%3D%20_params_per_gpu_b%20*%20_BYTES_OPTIMIZER%20%2F%20_dp_shard%0A%20%20%20%20%20%20%20%20elif%20_zero%20%3D%3D%202%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_weight_gb%20%3D%20_params_per_gpu_b%20*%20_BYTES_WEIGHT%0A%20%20%20%20%20%20%20%20%20%20%20%20_grad_gb%20%3D%20_params_per_gpu_b%20*%20_BYTES_GRADIENT%20%2F%20_dp_shard%0A%20%20%20%20%20%20%20%20%20%20%20%20_optim_gb%20%3D%20_params_per_gpu_b%20*%20_BYTES_OPTIMIZER%20%2F%20_dp_shard%0A%20%20%20%20%20%20%20%20else%3A%20%20%23%20ZeRO-3%0A%20%20%20%20%20%20%20%20%20%20%20%20_weight_gb%20%3D%20_params_per_gpu_b%20*%20_BYTES_WEIGHT%20%2F%20_dp_shard%0A%20%20%20%20%20%20%20%20%20%20%20%20_grad_gb%20%3D%20_params_per_gpu_b%20*%20_BYTES_GRADIENT%20%2F%20_dp_shard%0A%20%20%20%20%20%20%20%20%20%20%20%20_optim_gb%20%3D%20_params_per_gpu_b%20*%20_BYTES_OPTIMIZER%20%2F%20_dp_shard%0A%0A%20%20%20%20%20%20%20%20%23%20Activations%3A%20reduced%20by%20TP%20(partitioned%20across%20TP%20group)%20and%20PP%20(fewer%20layers)%0A%20%20%20%20%20%20%20%20_act_gb%20%3D%20_ACTIVATION_BASE%20%2F%20(_tp%20*%20(_pp%20if%20_pp%20%3E%201%20else%201))%0A%20%20%20%20%20%20%20%20_total_mem_gb%20%3D%20_weight_gb%20%2B%20_grad_gb%20%2B%20_optim_gb%20%2B%20_act_gb%0A%20%20%20%20%20%20%20%20_oom%20%3D%20_total_mem_gb%20%3E%20H100_RAM_GB%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Pipeline%20bubble%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_bubble_frac%20%3D%20(_pp%20-%201)%20%2F%20(_pp%20*%20_m)%20if%20_pp%20%3E%201%20else%200.0%0A%20%20%20%20%20%20%20%20_bubble_pct%20%3D%20_bubble_frac%20*%20100%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20TP%20bandwidth%20penalty%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_tp_crosses_node%20%3D%20_tp%20%3E%20GPUS_PER_NODE%0A%20%20%20%20%20%20%20%20_tp_penalty_x%20%3D%201.0%20if%20not%20_tp_crosses_node%20else%20(NVLINK4_BW_GBS%20%2F%2050.0)%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Effective%20MFU%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_mfu_base%20%3D%200.52%0A%20%20%20%20%20%20%20%20_tp_eff%20%3D%201.0%20-%20(0.04%20*%20math.log2(max(_tp%2C%201))%20*%20(1%20if%20not%20_tp_crosses_node%20else%202.25))%0A%20%20%20%20%20%20%20%20_pp_eff%20%3D%201.0%20-%20_bubble_frac%0A%20%20%20%20%20%20%20%20_dp_eff%20%3D%201.0%20-%20(0.02%20*%20math.log2(max(_dp%2C%201)))%0A%20%20%20%20%20%20%20%20_mfu_eff%20%3D%20max(0.0%2C%20min(_mfu_base%20*%20_tp_eff%20*%20_pp_eff%20*%20_dp_eff%2C%20_mfu_base))%0A%20%20%20%20%20%20%20%20_mfu_pct%20%3D%20_mfu_eff%20*%20100%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Colors%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_mem_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_oom%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_total_mem_gb%20%3E%2060%20else%20COLORS%5B%22GreenLine%22%5D)%0A%20%20%20%20%20%20%20%20_bubble_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_bubble_pct%20%3E%2010%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_bubble_pct%20%3E%205%20else%20COLORS%5B%22GreenLine%22%5D)%0A%20%20%20%20%20%20%20%20_mfu_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_mfu_pct%20%3C%2025%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_mfu_pct%20%3C%2040%20else%20COLORS%5B%22GreenLine%22%5D)%0A%20%20%20%20%20%20%20%20_cfg_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_config_valid%20else%20COLORS%5B%22RedLine%22%5D%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Failure%20banners%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_oom_banner%20%3D%20%22%22%0A%20%20%20%20%20%20%20%20if%20_oom%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_oom_banner%20%3D%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'RedLL'%5D%7D%3B%20border%3A2px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A10px%3B%20padding%3A14px%2018px%3B%20margin%3A10px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.88rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%20margin-bottom%3A4px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20OOM%20%26mdash%3B%20Configuration%20Infeasible%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.85rem%3B%20color%3A%237f1d1d%3B%20line-height%3A1.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ERequired%20per%20GPU%3A%20%7B_total_mem_gb%3A.1f%7D%20GB%3C%2Fstrong%3E%20%26mdash%3B%20exceeds%20H100%20limit%3A%20%7BH100_RAM_GB%3A.0f%7D%20GB.%3Cbr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Weights%3A%20%7B_weight_gb%3A.1f%7D%20GB%20%7C%20Gradients%3A%20%7B_grad_gb%3A.1f%7D%20GB%20%7C%20Optimizer%3A%20%7B_optim_gb%3A.1f%7D%20GB%20%7C%20Activations%3A%20%7B_act_gb%3A.1f%7D%20GB%3Cbr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Increase%20TP%20or%20PP%20to%20reduce%20per-GPU%20memory%2C%20or%20enable%20a%20higher%20ZeRO%20stage.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%0A%20%20%20%20%20%20%20%20_tp_banner%20%3D%20%22%22%0A%20%20%20%20%20%20%20%20if%20_tp_crosses_node%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_tp_banner%20%3D%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'OrangeLL'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A8px%3B%20padding%3A12px%2016px%3B%20margin%3A8px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.85rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20TP%20Crosses%20Node%20Boundary%20%26mdash%3B%20%7B_tp_penalty_x%3A.1f%7Dx%20bandwidth%20penalty%20on%20every%20layer's%20AllReduce%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%0A%20%20%20%20%20%20%20%20_cfg_banner%20%3D%20%22%22%0A%20%20%20%20%20%20%20%20if%20not%20_config_valid%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_cfg_banner%20%3D%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'RedLL'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A8px%3B%20padding%3A12px%2016px%3B%20margin%3A8px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.85rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Invalid%3A%20TP(%7B_tp%7D)%20%26times%3B%20PP(%7B_pp%7D)%20%3D%20%7B_tp_pp%7D%20does%20not%20divide%20256%20evenly.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Stacked%20memory%20bar%20chart%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_fig_mem%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_categories%20%3D%20%5B%22Weights%22%2C%20%22Gradients%22%2C%20%22Optimizer%22%2C%20%22Activations%22%5D%0A%20%20%20%20%20%20%20%20_values%20%3D%20%5B_weight_gb%2C%20_grad_gb%2C%20_optim_gb%2C%20_act_gb%5D%0A%20%20%20%20%20%20%20%20_bar_colors%20%3D%20%5BCOLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22GreenLine%22%5D%2C%20COLORS%5B%22OrangeLine%22%5D%2C%20COLORS%5B%22Cloud%22%5D%5D%0A%20%20%20%20%20%20%20%20if%20_oom%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_bar_colors%20%3D%20%5BCOLORS%5B%22RedLine%22%5D%5D%20*%204%0A%0A%20%20%20%20%20%20%20%20for%20_cat%2C%20_val%2C%20_clr%20in%20zip(_categories%2C%20_values%2C%20_bar_colors)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig_mem.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_cat%5D%2C%20y%3D%5B_val%5D%2C%20name%3D_cat%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_clr%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3Df%22%7B_cat%7D%3A%20%25%7B%7By%3A.1f%7D%7D%20GB%3Cextra%3E%3C%2Fextra%3E%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig_mem.add_hline(y%3DH100_RAM_GB%2C%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D2%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22H100%20HBM%3A%20%7BH100_RAM_GB%3A.0f%7D%20GB%22%2C%20annotation_position%3D%22top%20right%22)%0A%20%20%20%20%20%20%20%20_fig_mem.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D280%2C%20barmode%3D%22stack%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22%22)%2C%20yaxis%3Ddict(title%3D%22Per-GPU%20Memory%20(GB)%22%2C%20range%3D%5B0%2C%20max(_total_mem_gb%20*%201.2%2C%2090)%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%20margin%3Ddict(t%3D30%2C%20b%3D40%2C%20l%3D50%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig_mem)%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Bubble%20chart%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_pp_range%20%3D%20list(range(1%2C%2033))%0A%20%20%20%20%20%20%20%20_fig_bubble%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20for%20_mval%2C%20_label%2C%20_clr%20in%20%5B(4%2C%20%22m%3D4%22%2C%20COLORS%5B%22OrangeLine%22%5D)%2C%20(8%2C%20%22m%3D8%22%2C%20COLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(16%2C%20%22m%3D16%22%2C%20COLORS%5B%22GreenLine%22%5D)%2C%20(32%2C%20%22m%3D32%22%2C%20%22%238b5cf6%22)%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_bvals%20%3D%20%5B(_p%20-%201)%20%2F%20(_p%20*%20_mval)%20*%20100%20for%20_p%20in%20_pp_range%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig_bubble.add_trace(go.Scatter(x%3D_pp_range%2C%20y%3D_bvals%2C%20mode%3D%22lines%22%2C%20name%3D_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D_clr%2C%20width%3D2)))%0A%20%20%20%20%20%20%20%20_fig_bubble.add_trace(go.Scatter(x%3D%5B_pp%5D%2C%20y%3D%5B_bubble_pct%5D%2C%20mode%3D%22markers%22%2C%20name%3D%22Current%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D14%2C%20color%3DCOLORS%5B%22RedLine%22%5D%2C%20symbol%3D%22diamond%22)))%0A%20%20%20%20%20%20%20%20_fig_bubble.add_hline(y%3D10%2C%20line%3Ddict(color%3D%22%231e293b%22%2C%20width%3D1.5%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%2210%25%20ceiling%22%2C%20annotation_position%3D%22top%20right%22)%0A%20%20%20%20%20%20%20%20_fig_bubble.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D260%2C%20xaxis%3Ddict(title%3D%22Pipeline%20Stages%20(PP)%22)%2C%20yaxis%3Ddict(title%3D%22Bubble%20%25%22%2C%20range%3D%5B0%2C%2055%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20yanchor%3D%22bottom%22%2C%20y%3D1.02%2C%20xanchor%3D%22right%22%2C%20x%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D40%2C%20b%3D50%2C%20l%3D50%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig_bubble)%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Render%20instruments%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%7B_oom_banner%7D%7B_tp_banner%7D%7B_cfg_banner%7D%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A12px%3B%20padding%3A16px%2020px%3B%20margin%3A8px%200%3B%20font-family%3Amonospace%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A0.83rem%3B%20line-height%3A1.8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A8px%3B%20font-family%3Asans-serif%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Physics%20%26mdash%3B%203D%20Parallel%20Memory%20%2B%20Bubble%20Analysis%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EConfig%3A%20TP%3D%7B_tp%7D%20%26times%3B%20PP%3D%7B_pp%7D%20%26times%3B%20DP%3D%7B_dp%20if%20_config_valid%20else%20'N%2FA'%7D%20%7B'%3D%20256'%20if%20_config_valid%20else%20''%7D%20%7C%20ZeRO%20Stage%20%7B_zero%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EParams%2FGPU%20%3D%20175B%20%2F%20(TP%3D%7B_tp%7D%20%26times%3B%20PP%3D%7B_pp%7D)%20%3D%20%3Cstrong%3E%7B_params_per_gpu_b%3A.2f%7DB%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EPer-GPU%20memory%20%3D%20%3Cstrong%20style%3D%22color%3A%7B_mem_color%7D%3B%22%3E%7B_total_mem_gb%3A.1f%7D%20GB%3C%2Fstrong%3E%20%2F%20%7BH100_RAM_GB%3A.0f%7D%20GB%20limit%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EBubble%20%3D%20(PP-1)%2F(PP%26times%3Bm)%20%3D%20(%7B_pp%7D-1)%2F(%7B_pp%7D%26times%3B%7B_m%7D)%20%3D%20%3Cstrong%20style%3D%22color%3A%7B_bubble_color%7D%3B%22%3E%7B_bubble_pct%3A.1f%7D%25%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EEffective%20MFU%20%3D%20%3Cstrong%20style%3D%22color%3A%7B_mfu_color%7D%3B%22%3E%7B_mfu_pct%3A.1f%7D%25%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A16px%3B%20justify-content%3Acenter%3B%20margin%3A8px%200%3B%20flex-wrap%3Awrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EPer-GPU%20Mem%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_mem_color%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_total_mem_gb%3A.0f%7DGB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3E%2F%20%7BH100_RAM_GB%3A.0f%7D%20GB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EBubble%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_bubble_color%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_bubble_pct%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Eceiling%3A%2010%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EMFU%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_mfu_color%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_mfu_pct%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3E3D%20parallel%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EDP%20degree%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_cfg_color%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_dp%20if%20_config_valid%20else%20'N%2FA'%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3E%3D%20256%2F(TP%26times%3BPP)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.ui.plotly(_fig_mem))%0A%20%20%20%20%20%20%20%20items.append(mo.ui.plotly(_fig_bubble))%0A%0A%20%20%20%20%20%20%20%20%23%20MathPeek%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Governing%20equations%20--%20ZeRO%20memory%2C%20bubble%20fraction%2C%203D%20parallelism%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20**ZeRO-3%20Per-GPU%20Memory**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20Static%20memory%20%3D%20(P%20%2F%20(TP%20*%20PP))%20*%20(2%20%2B%202%2FDP%20%2B%2012%2FDP)%20bytes%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%20params_per_gpu%20*%20(2%20%2B%2014%2FDP)%20bytes%0A%20%20%20%20%20%20%20%20Activation%20memory%20%3D%20base_activation%20%2F%20(TP%20*%20PP)%0A%20%20%20%20%20%20%20%20Total%20%3D%20static%20%2B%20activation%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20For%20175B%2C%20TP%3D8%2C%20PP%3D4%2C%20DP%3D8%2C%20ZeRO-3%3A%0A%20%20%20%20%20%20%20%20-%20params_per_gpu%20%3D%20175B%2F(8*4)%20%3D%205.47B%0A%20%20%20%20%20%20%20%20-%20Static%20%3D%205.47B%20*%20(2%20%2B%2014%2F8)%20%3D%205.47B%20*%203.75%20%3D%2020.5%20GB%0A%20%20%20%20%20%20%20%20-%20Activations%20%3D%2050%20GB%20%2F%20(8*4)%20%3D%201.56%20GB%0A%20%20%20%20%20%20%20%20-%20Total%20%3D%20~22%20GB%20--%20fits%20in%2080%20GB%20HBM%0A%0A%20%20%20%20%20%20%20%20**Pipeline%20Bubble%20Fraction**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20B%20%3D%20(PP%20-%201)%20%2F%20(PP%20*%20m)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20At%20PP%3D4%2C%20m%3D16%3A%20B%20%3D%203%2F64%20%3D%204.7%25%20(under%2010%25%20ceiling)%0A%0A%20%20%20%20%20%20%20%20**Conservation%20of%20Overhead**%3A%20Each%20parallelism%20dimension%20eliminates%20one%0A%20%20%20%20%20%20%20%20bottleneck%20while%20introducing%20another.%203D%20parallelism%20is%20not%20overhead-free%3B%0A%20%20%20%20%20%20%20%20it%20distributes%20overhead%20across%20the%20bandwidth%20hierarchy%20where%20each%20type%0A%20%20%20%20%20%20%20%20can%20be%20absorbed%20most%20efficiently.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20%23%20Reflection%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Reflection%22))%0A%20%20%20%20%20%20%20%20items.append(partC_reflection)%0A%20%20%20%20%20%20%20%20if%20partC_reflection.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20partC_reflection.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20TP%20performs%20AllReduce%20after%20every%20layer%20(96%20times%20per%20forward%20pass).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20requires%20the%20highest%20bandwidth%20--%20NVLink%20at%20900%20GB%2Fs.%20PP%20transfers%20only%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22small%20activation%20tensors%20(~200%20MB)%20between%20pipeline%20stages%20--%20IB's%2050%20GB%2Fs%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22handles%20this%20in%20milliseconds.%20DP%20AllReduce%20is%20performed%20once%20per%20step%20on%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reduced%20model%20shard%20(after%20TP%2BPP%20partitioning)%2C%20so%20the%20smaller%20DP%20degree%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reduced%20gradient%20volume%20can%20tolerate%20the%20remaining%20bandwidth.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Not%20quite.**%20The%20key%20insight%20is%20that%20TP%20has%20the%20highest%20communication%20frequency%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22(once%20per%20layer)%2C%20PP%20has%20moderate%20frequency%20(once%20per%20pipeline%20stage)%2C%20and%20DP%20has%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20lowest%20frequency%20(once%20per%20step).%20The%20bandwidth%20hierarchy%20must%20match%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22highest%20frequency%20-%3E%20highest%20bandwidth.%20TP%20-%3E%20NVLink%2C%20PP%20-%3E%20IB%2C%20DP%20-%3E%20remaining.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20D%20BUILDER%20--%20Hardware%20Tier%20Comparison%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Stakeholder%20message%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'OrangeLL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20VP%20of%20Infrastructure%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Our%20budget%20team%20says%20we%20can%20save%2040%25%20by%20using%20A100s%20instead%20of%20H100s%20for%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20distributed%20training.%20The%20A100%20has%20the%20same%2080%20GB%20HBM.%20Since%20the%20model%20fits%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20on%20both%2C%20switching%20should%20be%20straightforward.%20Can%20you%20verify%20the%20efficiency%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20impact%20before%20we%20commit%3F%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Concept%20framing%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20The%20VP%20is%20right%20that%20both%20GPUs%20have%2080%20GB%20HBM%20--%20but%20memory%20capacity%20is%20only%0A%20%20%20%20one%20constraint.%20Distributed%20training%20efficiency%20depends%20on%20the%20**ratio**%20of%0A%20%20%20%20communication%20time%20to%20compute%20time.%20Switching%20hardware%20changes%20both%3A%0A%0A%20%20%20%20-%20**A100**%3A%20312%20TFLOPS%20FP16%20(vs%20H100's%20989)%20--%203.2x%20slower%20compute%0A%20%20%20%20-%20**IB%20HDR**%3A%2025%20GB%2Fs%20(vs%20NDR's%2050%20GB%2Fs)%20--%202x%20slower%20interconnect%0A%0A%20%20%20%20Slower%20compute%20*helps*%20the%20comm%2Fcompute%20ratio%20(more%20time%20to%20hide%20AllReduce).%0A%20%20%20%20Slower%20interconnect%20*hurts*%20it.%20The%20net%20effect%20depends%20on%20the%20model%20size.%0A%0A%20%20%20%20For%20small%20models%20(7B)%2C%20the%20gradient%20is%20only%2014%20GB%20--%20even%2025%20GB%2Fs%20handles%20it.%0A%20%20%20%20For%20175B%2C%20the%20gradient%20is%20350%20GB%20--%20halving%20bandwidth%20is%20devastating.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20lock%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Your%20Prediction%22))%0A%20%20%20%20%20%20%20%20items.append(partD_prediction)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.stop(partD_prediction.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20Part%20D%20instruments.%22)%2C%20kind%3D%22warn%22)))%0A%0A%20%20%20%20%20%20%20%20%23%20Controls%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Hardware%20Tier%20Comparison%22))%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5Bd1_hw_tier%2C%20d1_model_size%2C%20d1_gpu_count%5D%2C%20justify%3D%22center%22%2C%20gap%3D2))%0A%0A%20%20%20%20%20%20%20%20%23%20Physics%0A%20%20%20%20%20%20%20%20_hw_name%2C%20_hw_tflops%2C%20_hw_bw%20%3D%20d1_hw_tier.value%0A%20%20%20%20%20%20%20%20_params_b%20%3D%20d1_model_size.value%0A%20%20%20%20%20%20%20%20_n_gpus%20%3D%20d1_gpu_count.value%0A%0A%20%20%20%20%20%20%20%20_grad_gb%20%3D%20_params_b%20*%201e9%20*%202%20%2F%201e9%0A%20%20%20%20%20%20%20%20_ring_factor%20%3D%202.0%20*%20(_n_gpus%20-%201)%20%2F%20max(_n_gpus%2C%201)%0A%20%20%20%20%20%20%20%20_allreduce_gb%20%3D%20_ring_factor%20*%20_grad_gb%0A%20%20%20%20%20%20%20%20_allreduce_s%20%3D%20_allreduce_gb%20%2F%20_hw_bw%20if%20_hw_bw%20%3E%200%20else%20999%0A%0A%20%20%20%20%20%20%20%20_flops_per_step%20%3D%206.0%20*%20_params_b%20*%201e9%20*%202048%0A%20%20%20%20%20%20%20%20_compute_s%20%3D%20_flops_per_step%20%2F%20(_n_gpus%20*%20_hw_tflops%20*%201e12%20*%200.50)%0A%0A%20%20%20%20%20%20%20%20_overlap_frac%20%3D%200.50%0A%20%20%20%20%20%20%20%20_effective_comm%20%3D%20_allreduce_s%20*%20(1%20-%20_overlap_frac)%0A%20%20%20%20%20%20%20%20_step_time_s%20%3D%20_compute_s%20%2B%20_effective_comm%0A%20%20%20%20%20%20%20%20_efficiency%20%3D%20_compute_s%20%2F%20_step_time_s%20if%20_step_time_s%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20_efficiency_pct%20%3D%20_efficiency%20*%20100%0A%0A%20%20%20%20%20%20%20%20%23%20Compare%20all%20three%20tiers%0A%20%20%20%20%20%20%20%20_tiers%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22H100%20%2B%20IB%20NDR%22%2C%20989.0%2C%2050.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22A100%20%2B%20IB%20HDR%22%2C%20312.0%2C%2025.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22T4%20%2B%20100GbE%22%2C%2065.0%2C%2012.5)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20_tier_effs%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_tname%2C%20_tflops%2C%20_tbw%20in%20_tiers%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ar%20%3D%20_ring_factor%20*%20_grad_gb%20%2F%20_tbw%0A%20%20%20%20%20%20%20%20%20%20%20%20_cs%20%3D%20_flops_per_step%20%2F%20(_n_gpus%20*%20_tflops%20*%201e12%20*%200.50)%0A%20%20%20%20%20%20%20%20%20%20%20%20_ec%20%3D%20_ar%20*%20(1%20-%20_overlap_frac)%0A%20%20%20%20%20%20%20%20%20%20%20%20_st%20%3D%20_cs%20%2B%20_ec%0A%20%20%20%20%20%20%20%20%20%20%20%20_eff%20%3D%20(_cs%20%2F%20_st%20*%20100)%20if%20_st%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20%20%20%20%20_tier_effs.append((_tname%2C%20_eff%2C%20_tflops%2C%20_tbw))%0A%0A%20%20%20%20%20%20%20%20%23%20Bar%20chart%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_colors_bar%20%3D%20%5BCOLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22OrangeLine%22%5D%2C%20COLORS%5B%22RedLine%22%5D%5D%0A%20%20%20%20%20%20%20%20for%20_i%2C%20(_tname%2C%20_eff%2C%20_%2C%20_)%20in%20enumerate(_tier_effs)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_tname%5D%2C%20y%3D%5B_eff%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_colors_bar%5B_i%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7B_eff%3A.1f%7D%25%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20textposition%3D%22auto%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3Df%22%7B_tname%7D%3Cbr%3EEfficiency%3A%20%25%7B%7By%3A.1f%7D%7D%25%3Cextra%3E%3C%2Fextra%3E%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D50%2C%20line%3Ddict(color%3DCOLORS%5B%22TextMuted%22%5D%2C%20width%3D1%2C%20dash%3D%22dot%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%2250%25%20threshold%22%2C%20annotation_position%3D%22top%20right%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D300%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Hardware%20Tier%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22DP%20Scaling%20Efficiency%20(%25)%22%2C%20range%3D%5B0%2C%20105%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D30%2C%20b%3D50%2C%20l%3D50%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20_eff_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_efficiency_pct%20%3E%3D%2070%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_efficiency_pct%20%3E%3D%2040%20else%20COLORS%5B%22RedLine%22%5D)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A12px%3B%20padding%3A16px%2020px%3B%20margin%3A8px%200%3B%20font-family%3Amonospace%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A0.83rem%3B%20line-height%3A1.8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A8px%3B%20font-family%3Asans-serif%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Physics%20%26mdash%3B%20Hardware%20Tier%20Scaling%20Comparison%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EHardware%3A%20%3Cstrong%3E%7B_hw_name%7D%3C%2Fstrong%3E%20%26mdash%3B%20%7B_hw_tflops%7D%20TFLOPS%20%26middot%3B%20%7B_hw_bw%7D%20GB%2Fs%20interconnect%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EModel%3A%20%7B_params_b%7DB%20params%20%26times%3B%20%7B_n_gpus%7D%20GPUs%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ECompute%20time%3A%20%3Cstrong%3E%7B_compute_s%3A.2f%7Ds%3C%2Fstrong%3E%20%26mdash%3B%20AllReduce%3A%20%3Cstrong%3E%7B_allreduce_s%3A.2f%7Ds%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EEffective%20comm%20(50%25%20overlap)%3A%20%3Cstrong%3E%7B_effective_comm%3A.2f%7Ds%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EEfficiency%3A%20%3Cstrong%20style%3D%22color%3A%7B_eff_color%7D%3B%22%3E%7B_efficiency_pct%3A.1f%7D%25%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A16px%3B%20justify-content%3Acenter%3B%20margin%3A8px%200%3B%20flex-wrap%3Awrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EEfficiency%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_eff_color%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_efficiency_pct%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3E%7B_hw_name%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3ECompute%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_hw_tflops%3A.0f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3ETFLOPS%20FP16%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3ENetwork%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_hw_bw%3A.0f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3EGB%2Fs%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.ui.plotly(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20reveal%0A%20%20%20%20%20%20%20%20if%20partD_prediction.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20A100%20compute%20is%203.2x%20slower%20(312%20vs%20989%20TFLOPS)%2C%20which%20increases%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22compute%20time%20from%20~10s%20to%20~32s%20per%20step.%20But%20IB%20HDR%20is%202x%20slower%20(25%20vs%2050%20GB%2Fs)%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22doubling%20AllReduce%20time%20from%20~14s%20to%20~28s.%20With%20overlap%2C%20effective%20comm%20is%20~14s.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Efficiency%20%3D%2032%20%2F%20(32%20%2B%2014)%20%3D%20~69%25.%20Wait%20--%20that%20is%20*higher*%20than%20H100's%2055%25!%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20slower%20GPU%20gives%20more%20time%20to%20hide%20communication.%20But%20throughput%20(steps%2Fsecond)%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22drops%203x%2C%20so%20training%20takes%203x%20longer.%20Efficiency%20!%3D%20throughput.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partD_prediction.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Wrong%20metric.**%20Same%20HBM%20capacity%20means%20the%20model%20fits%2C%20but%20efficiency%20depends%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22on%20the%20comm%2Fcompute%20ratio%2C%20not%20memory%20capacity.%20The%20A100's%20slower%20compute%20actually%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22improves%20the%20ratio%2C%20but%20the%20slower%20interconnect%20partially%20offsets%20this%20gain.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partD_prediction.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Directionally%20correct!**%20Slower%20compute%20does%20improve%20the%20comm%2Fcompute%20ratio.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22But%2070%25%20may%20overestimate%20--%20the%20halved%20interconnect%20bandwidth%20(25%20vs%2050%20GB%2Fs)%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22partially%20offsets%20the%20benefit.%20The%20actual%20efficiency%20depends%20on%20the%20exact%20model%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22size%20and%20GPU%20count.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partD_prediction.value%20%3D%3D%20%22D%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Incorrect.**%20A100%20has%2080%20GB%20HBM%2C%20same%20as%20H100.%20With%20ZeRO-3%20or%203D%20parallelism%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22175B%20trains%20on%20either%20GPU.%20The%20question%20is%20about%20efficiency%2C%20not%20feasibility.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20%23%20MathPeek%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Governing%20equations%20--%20hardware%20tier%20scaling%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20**Comm%2FCompute%20Ratio%20Across%20Tiers**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20R%20%3D%20T_comm_effective%20%2F%20T_compute%0A%20%20%20%20%20%20%20%20eta%20%3D%201%20%2F%20(1%20%2B%20R)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20When%20you%20switch%20hardware%2C%20both%20numerator%20and%20denominator%20change%3A%0A%20%20%20%20%20%20%20%20-%20Slower%20GPU%3A%20T_compute%20increases%20(R%20decreases%20-%3E%20higher%20eta)%0A%20%20%20%20%20%20%20%20-%20Slower%20network%3A%20T_comm%20increases%20(R%20increases%20-%3E%20lower%20eta)%0A%0A%20%20%20%20%20%20%20%20**Key%20insight**%3A%20Efficiency%20is%20scale-dependent.%20A%20T4%20training%20a%207B%20model%0A%20%20%20%20%20%20%20%20may%20achieve%20higher%20*efficiency*%20than%20an%20H100%2C%20but%20H100%20has%2015x%20higher%0A%20%20%20%20%20%20%20%20*throughput*.%20The%20cost-optimal%20choice%20depends%20on%20total%20training%20time%0A%20%20%20%20%20%20%20%20x%20cost-per-GPU-hour%2C%20not%20efficiency%20alone.%0A%0A%20%20%20%20%20%20%20%20**Hardware-Bandwidth%20Matching%20Rule**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20Optimal%20tier%3A%20min(cost_per_hour%20*%20T_step(N)%20*%20total_steps)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20Large%20models%20on%20slow%20interconnects%20have%20low%20efficiency%20AND%20low%20throughput.%0A%20%20%20%20%20%20%20%20Small%20models%20on%20fast%20GPUs%20have%20high%20efficiency%20but%20waste%20expensive%20hardware.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20%23%20Reflection%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Reflection%22))%0A%20%20%20%20%20%20%20%20items.append(partD_reflection)%0A%20%20%20%20%20%20%20%20if%20partD_reflection.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20partD_reflection.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20Hardware%20tier%20selection%20is%20a%20matching%20problem%3A%20the%20comm%2Fcompute%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ratio%20depends%20on%20both%20model%20size%20(gradient%20volume)%20and%20hardware%20capabilities%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22(compute%20TFLOPS%20and%20network%20bandwidth).%20Small%20models%20(7B)%20have%20small%20gradients%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22that%20even%20100GbE%20handles%3B%20large%20models%20(175B)%20need%20IB%20NDR%20%2B%20NVLink.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Over-provisioning%20wastes%20budget%3B%20under-provisioning%20wastes%20GPU%20cycles%20on%20communication.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Not%20quite.**%20The%20correct%20principle%20is%20matching%20hardware%20tier%20to%20model%20scale.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Both%20compute%20speed%20and%20interconnect%20bandwidth%20must%20be%20considered%20together.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22A%207B%20model%20does%20not%20need%20H100%20%2B%20IB%20NDR%3B%20a%20175B%20model%20cannot%20efficiently%20use%20T4%20%2B%20100GbE.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20SYNTHESIS%20BUILDER%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2024px%2028px%3B%20margin%3A%2016px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%2012px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Key%20Takeaways%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.92rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20line-height%3A%201.75%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E1.%20The%20communication%20wall%20caps%20pure%20DP%20at%20~55%25%20efficiency%20for%20175B%20models%20on%20IB%20NDR.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Ring-AllReduce%20transfers%20~700%20GB%20per%20step.%20Even%20at%2050%20GB%2Fs%20with%2050%25%20overlap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20communication%20consumes%20nearly%20half%20the%20step%20time.%20No%20interconnect%20upgrade%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20eliminates%20this%20wall%20for%20frontier%20model%20sizes.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E2.%20ZeRO-3%20is%20necessary%20but%20not%20sufficient%3A%20activation%20memory%20pushes%20OOM.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ZeRO-3%20shards%20static%20memory%20to%20~38%20GB%20per%20GPU%2C%20but%20activations%20(~50%20GB)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20are%20not%20sharded.%20Total%20%3D%2088%20GB%20%3E%2080%20GB%20HBM.%20Pipeline%20or%20tensor%20parallelism%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20must%20reduce%20per-GPU%20activation%20memory.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E3.%203D%20parallelism%20maps%20each%20strategy%20to%20its%20natural%20bandwidth%20tier.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20TP%20(per-layer%20AllReduce)%20-%3E%20NVLink%20(900%20GB%2Fs).%20PP%20(inter-stage%20activation%20transfer)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20-%3E%20IB%20(50%20GB%2Fs).%20DP%20(per-step%20gradient%20AllReduce)%20-%3E%20remaining%20bandwidth.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20This%20mapping%20is%20physics%2C%20not%20convention.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2016px%3B%20margin%3A%208px%200%2016px%200%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20What's%20Next%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ELab%20V2-06%3A%20When%20Failure%20is%20Routine%3C%2Fstrong%3E%20%26mdash%3B%20You%20designed%20a%20256-GPU%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20training%20configuration.%20But%20at%20this%20scale%2C%20hardware%20fails%20every%20few%20hours.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20next%20lab%20asks%3A%20how%20often%20should%20you%20checkpoint%2C%20and%20what%20happens%20when%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20checkpoint%20storm%20itself%20becomes%20the%20bottleneck%3F%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Textbook%20%26amp%3B%20TinyTorch%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ERead%3A%3C%2Fstrong%3E%20%40sec-distributed-training-systems%20for%20the%20full%203D%20parallelism%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20derivation%20and%20the%20Conservation%20of%20Overhead%20principle.%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3EBuild%3A%3C%2Fstrong%3E%20TinyTorch%20distributed%20module%20%26mdash%3B%20implement%20data%20parallelism%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20with%20gradient%20accumulation%20in%20%3Ccode%3Etinytorch%2Fsrc%2Fdistributed%2F%3C%2Fcode%3E.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Self-Assessment%22%3A%20mo.md(%22%22%22%0A%20%20%20%201.%20Why%20does%20pure%20DP%20efficiency%20collapse%20for%20175B%20models%20even%20on%20InfiniBand%20NDR%3F%0A%20%20%20%202.%20Why%20can%20ZeRO-3%20on%2064%20A100s%20not%20train%20a%20175B%20model%20despite%20static%20memory%20fitting%3F%0A%20%20%20%203.%20For%20TP%3D8%2C%20PP%3D4%2C%20DP%3D8%20on%20256%20H100s%2C%20what%20is%20the%20pipeline%20bubble%20fraction%20at%20m%3D16%3F%0A%20%20%20%204.%20Why%20must%20TP%20be%20confined%20within%20a%20single%20DGX%20node%3F%0A%0A%20%20%20%20*If%20you%20cannot%20answer%20all%20four%20from%20memory%2C%20revisit%20Parts%20A%2C%20B%2C%20and%20C.*%0A%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22---%22))%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Decision%20Log%22))%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22Record%20the%20single%20most%20important%20insight%20from%20this%20lab.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20entry%20carries%20forward%20to%20Lab%2006%20and%20beyond%20via%20the%20Design%20Ledger.%22))%0A%20%20%20%20%20%20%20%20items.append(synth_decision_ui)%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20COMPOSE%20TABS%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%20--%20The%20Communication%20Wall%22%3A%20%20%20%20%20%20%20%20%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%20--%20The%20ZeRO%20Memory%20Trap%22%3A%20%20%20%20%20%20%20%20%20%20%20%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%20--%203D%20Parallelism%20Design%20Challenge%22%3A%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%20--%20Hardware%20Tier%20Comparison%22%3A%20%20%20%20%20%20%20%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20a2_microbatches%2C%0A%20%20%20%20a2_pp%2C%0A%20%20%20%20a2_tp%2C%0A%20%20%20%20ledger%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20partA_prediction%2C%0A%20%20%20%20partA_reflection%2C%0A%20%20%20%20partB_prediction%2C%0A%20%20%20%20partC_reflection%2C%0A%20%20%20%20partD_prediction%2C%0A%20%20%20%20partD_reflection%2C%0A%20%20%20%20synth_decision_input%2C%0A)%3A%0A%20%20%20%20_tp%20%3D%20a2_tp.value%0A%20%20%20%20_pp%20%3D%20a2_pp.value%0A%20%20%20%20_m%20%3D%20a2_microbatches.value%0A%20%20%20%20_tp_pp%20%3D%20_tp%20*%20_pp%0A%20%20%20%20_dp%20%3D%20256%20%2F%2F%20_tp_pp%20if%20_tp_pp%20%3C%3D%20256%20and%20256%20%25%20_tp_pp%20%3D%3D%200%20else%200%0A%20%20%20%20_config_valid%20%3D%20_dp%20%3E%200%0A%20%20%20%20_bubble_pct%20%3D%20((_pp%20-%201)%20%2F%20(_pp%20*%20_m)%20*%20100)%20if%20_pp%20%3E%201%20else%200.0%0A%0A%20%20%20%20%23%20Effective%20MFU%20(simplified%20recalc%20for%20HUD)%0A%20%20%20%20import%20math%20as%20_math%0A%20%20%20%20_mfu_base%20%3D%200.52%0A%20%20%20%20_tp_crosses_node%20%3D%20_tp%20%3E%208%0A%20%20%20%20_tp_eff%20%3D%201.0%20-%20(0.04%20*%20_math.log2(max(_tp%2C%201))%20*%20(1%20if%20not%20_tp_crosses_node%20else%202.25))%0A%20%20%20%20_pp_eff%20%3D%201.0%20-%20((_pp%20-%201)%20%2F%20(_pp%20*%20_m)%20if%20_pp%20%3E%201%20else%200.0)%0A%20%20%20%20_dp_eff%20%3D%201.0%20-%20(0.02%20*%20_math.log2(max(_dp%2C%201)))%20if%20_dp%20%3E%200%20else%200%0A%20%20%20%20_mfu_eff%20%3D%20max(0.0%2C%20min(_mfu_base%20*%20_tp_eff%20*%20_pp_eff%20*%20_dp_eff%2C%20_mfu_base))%0A%20%20%20%20_mfu_pct%20%3D%20_mfu_eff%20*%20100%0A%0A%20%20%20%20_context%20%3D%20%223d_parallel%22%20if%20_tp%20%3E%201%20or%20_pp%20%3E%201%20else%20%22data_parallel%22%0A%0A%20%20%20%20ledger.save(%0A%20%20%20%20%20%20%20%20chapter%3D%22v2_05%22%2C%0A%20%20%20%20%20%20%20%20design%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22context%22%3A%20_context%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22tp_degree%22%3A%20_tp%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22pp_degree%22%3A%20_pp%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22dp_degree%22%3A%20_dp%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22total_gpus%22%3A%20256%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22mfu_percent%22%3A%20round(_mfu_pct%2C%202)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partA_prediction%22%3A%20partA_prediction.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partA_correct%22%3A%20partA_prediction.value%20%3D%3D%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partA_reflection%22%3A%20partA_reflection.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partB_prediction%22%3A%20partB_prediction.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partB_correct%22%3A%20partB_prediction.value%20%3D%3D%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partC_reflection%22%3A%20partC_reflection.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partD_prediction%22%3A%20partD_prediction.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partD_correct%22%3A%20partD_prediction.value%20%3D%3D%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partD_reflection%22%3A%20partD_reflection.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22student_justification%22%3A%20str(synth_decision_input.value)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_a1_ok%20%3D%20partA_prediction.value%20%3D%3D%20%22C%22%0A%20%20%20%20_a2_ok%20%3D%20partB_prediction.value%20%3D%3D%20%22B%22%0A%20%20%20%20_tier%20%3D%20%22Optimal%22%20if%20(_a1_ok%20and%20_a2_ok)%20else%20(%22Partial%22%20if%20(_a1_ok%20or%20_a2_ok)%20else%20%22Developing%22)%0A%20%20%20%20_tier_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_tier%20%3D%3D%20%22Optimal%22%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_tier%20%3D%3D%20%22Partial%22%20else%20COLORS%5B%22TextMuted%22%5D)%0A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%20%3Cspan%20class%3D%22hud-value%22%3EVol2%20%26middot%3B%20Lab%2005%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3ECHAPTER%3C%2Fspan%3E%20%3Cspan%20class%3D%22hud-value%22%3Ev2_05%20%26middot%3B%20Distributed%20Training%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3ECONFIG%3C%2Fspan%3E%20%3Cspan%20class%3D%22hud-value%22%3ETP%3D%7B_tp%7D%26times%3BPP%3D%7B_pp%7D%26times%3BDP%3D%7B_dp%7D%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3EMFU%3C%2Fspan%3E%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'GreenLine'%5D%20if%20_mfu_pct%20%3E%3D%2040%20else%20COLORS%5B'OrangeLine'%5D%7D%3B%20font-family%3Avar(--font-mono)%3B%22%3E%7B_mfu_pct%3A.1f%7D%25%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3EPART%20A%3C%2Fspan%3E%20%3Cspan%20class%3D%22%7B'hud-active'%20if%20_a1_ok%20else%20'hud-none'%7D%22%3E%7B%22CORRECT%22%20if%20_a1_ok%20else%20%22REVIEW%22%7D%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3EPART%20B%3C%2Fspan%3E%20%3Cspan%20class%3D%22%7B'hud-active'%20if%20_a2_ok%20else%20'hud-none'%7D%22%3E%7B%22CORRECT%22%20if%20_a2_ok%20else%20%22REVIEW%22%7D%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3ETIER%3C%2Fspan%3E%20%3Cspan%20style%3D%22color%3A%7B_tier_color%7D%3B%20font-family%3Avar(--font-mono)%3B%22%3E%7B_tier.upper()%7D%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A