lab 02 compute infra

import%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22..%2F..%2F..%2Fwheels%2Fmlsysim-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%22mlsysim%22%20not%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20_root%20%3D%20Path(__file__).resolve().parents%5B2%5D%0A%20%20%20%20%20%20%20%20if%20str(_root)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_root))%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20import%20mlsysim%0A%20%20%20%20from%20mlsysim.core.defaults%20import%20(%0A%20%20%20%20%20%20%20%20GPU_MTTF_HOURS%2C%0A%20%20%20%20%20%20%20%20INFINIBAND_NDR_BW_GBS%2C%0A%20%20%20%20%20%20%20%20PUE_BEST_AIR%2C%0A%20%20%20%20%20%20%20%20DEFAULT_KWH_PRICE%2C%0A%20%20%20%20%20%20%20%20ANNUAL_MAINTENANCE_RATIO%2C%0A%20%20%20%20%20%20%20%20MFU_INFERENCE_BATCH1%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysim.core.constants%20import%20(%0A%20%20%20%20%20%20%20%20ureg%2C%0A%20%20%20%20%20%20%20%20H100_FLOPS_FP16_TENSOR%2C%0A%20%20%20%20%20%20%20%20H100_MEM_BW%2C%0A%20%20%20%20%20%20%20%20H100_MEM_CAPACITY%2C%0A%20%20%20%20%20%20%20%20H100_TDP%2C%0A%20%20%20%20%20%20%20%20A100_FLOPS_FP16_TENSOR%2C%0A%20%20%20%20%20%20%20%20A100_MEM_BW%2C%0A%20%20%20%20%20%20%20%20A100_MEM_CAPACITY%2C%0A%20%20%20%20%20%20%20%20B200_FLOPS_FP16_TENSOR%2C%0A%20%20%20%20%20%20%20%20B200_MEM_BW%2C%0A%20%20%20%20%20%20%20%20B200_MEM_CAPACITY%2C%0A%20%20%20%20%20%20%20%20V100_FLOPS_FP16_TENSOR%2C%0A%20%20%20%20%20%20%20%20V100_MEM_BW%2C%0A%20%20%20%20%20%20%20%20NVLINK_H100_BW%2C%0A%20%20%20%20%20%20%20%20PCIE_GEN5_BW%2C%0A%20%20%20%20%20%20%20%20NVME_SEQUENTIAL_BW%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Hardware%20registry%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_H100_REG%20%3D%20mlsysim.Hardware.Cloud.H100%0A%20%20%20%20_EDGE_REG%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX%0A%0A%20%20%20%20%23%20Extract%20scalar%20values%20for%20chart%20use%0A%20%20%20%20H100_TFLOPS%20%3D%20H100_FLOPS_FP16_TENSOR.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20H100_BW_GBS%20%3D%20H100_MEM_BW.m_as(%22GB%2Fs%22)%0A%20%20%20%20H100_RAM_GB%20%3D%20H100_MEM_CAPACITY.m_as(%22GB%22)%0A%20%20%20%20H100_TDP_W%20%3D%20H100_TDP.m_as(%22W%22)%0A%20%20%20%20H100_RIDGE%20%3D%20H100_TFLOPS%20*%201000%20%2F%20H100_BW_GBS%20%20%23%20FLOPs%2FByte%0A%0A%20%20%20%20A100_TFLOPS%20%3D%20A100_FLOPS_FP16_TENSOR.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20A100_BW_GBS%20%3D%20A100_MEM_BW.m_as(%22GB%2Fs%22)%0A%20%20%20%20B200_TFLOPS%20%3D%20B200_FLOPS_FP16_TENSOR.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20B200_BW_GBS%20%3D%20B200_MEM_BW.m_as(%22GB%2Fs%22)%0A%20%20%20%20V100_TFLOPS%20%3D%20V100_FLOPS_FP16_TENSOR.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20V100_BW_GBS%20%3D%20V100_MEM_BW.m_as(%22GB%2Fs%22)%0A%0A%20%20%20%20EDGE_TFLOPS%20%3D%20_EDGE_REG.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20EDGE_BW_GBS%20%3D%20_EDGE_REG.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20EDGE_RAM_GB%20%3D%20_EDGE_REG.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20EDGE_TDP_W%20%3D%20_EDGE_REG.tdp.m_as(%22W%22)%0A%0A%20%20%20%20NVLINK_GBS%20%3D%20NVLINK_H100_BW.m_as(%22GB%2Fs%22)%0A%20%20%20%20PCIE_GBS%20%3D%20PCIE_GEN5_BW.m_as(%22GB%2Fs%22)%0A%20%20%20%20IB_NDR_GBS%20%3D%20INFINIBAND_NDR_BW_GBS%0A%20%20%20%20NVME_GBS%20%3D%20NVME_SEQUENTIAL_BW.m_as(%22GB%2Fs%22)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Model%20registry%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20GPT2%20%3D%20mlsysim.Models.GPT2%0A%20%20%20%20GPT2_PARAMS_B%20%3D%20GPT2.parameters.m_as(%22dimensionless%22)%20%2F%201e9%20%20%23%20billions%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20A100_BW_GBS%2C%0A%20%20%20%20%20%20%20%20A100_TFLOPS%2C%0A%20%20%20%20%20%20%20%20ANNUAL_MAINTENANCE_RATIO%2C%0A%20%20%20%20%20%20%20%20B200_BW_GBS%2C%0A%20%20%20%20%20%20%20%20B200_TFLOPS%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20DEFAULT_KWH_PRICE%2C%0A%20%20%20%20%20%20%20%20H100_BW_GBS%2C%0A%20%20%20%20%20%20%20%20H100_RAM_GB%2C%0A%20%20%20%20%20%20%20%20H100_RIDGE%2C%0A%20%20%20%20%20%20%20%20H100_TDP_W%2C%0A%20%20%20%20%20%20%20%20H100_TFLOPS%2C%0A%20%20%20%20%20%20%20%20IB_NDR_GBS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20NVLINK_GBS%2C%0A%20%20%20%20%20%20%20%20PCIE_GBS%2C%0A%20%20%20%20%20%20%20%20V100_BW_GBS%2C%0A%20%20%20%20%20%20%20%20V100_TFLOPS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20mo.Html(%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%230f172a%200%25%2C%20%231e293b%2060%25%2C%20%230c1a2e%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2036px%2044px%3B%20border-radius%3A%2016px%3B%20color%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2032px%20rgba(0%2C0%2C0%2C0.35)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20letter-spacing%3A%200.18em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23475569%3B%20text-transform%3A%20uppercase%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Machine%20Learning%20Systems%20%26middot%3B%20Volume%20II%20%26middot%3B%20Lab%2002%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch1%20style%3D%22margin%3A%200%200%2010px%200%3B%20font-size%3A%202.4rem%3B%20font-weight%3A%20900%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23f8fafc%3B%20line-height%3A%201.1%3B%20letter-spacing%3A%20-0.02em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Compute%20Infrastructure%20Wall%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%206px%200%3B%20font-size%3A%201.15rem%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%2394a3b8%3B%20letter-spacing%3A%200.04em%3B%20font-family%3A%20'SF%20Mono'%2C%20monospace%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Memory%20Wall%20%26middot%3B%20Roofline%20%26middot%3B%20Bandwidth%20Staircase%20%26middot%3B%20TCO%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%2022px%200%3B%20font-size%3A%201.0rem%3B%20color%3A%20%2364748b%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max-width%3A%20680px%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Even%20the%20fastest%20accelerator%20spends%20most%20of%20its%20time%20waiting%20for%20data.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20roofline%20reveals%20why%2C%20the%20bandwidth%20staircase%20dictates%20parallelism%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20strategy%20placement%2C%20and%20TCO%20shows%20the%20real%20cost%20of%20scale.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2012px%3B%20flex-wrap%3A%20wrap%3B%20margin-bottom%3A%2020px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(99%2C102%2C241%2C0.18)%3B%20color%3A%20%23a5b4fc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(99%2C102%2C241%2C0.3)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%205%20Parts%20%26middot%3B%20~57%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(203%2C32%2C45%2C0.15)%3B%20color%3A%20%23fca5a5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(203%2C32%2C45%2C0.25)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Vol%20II%20Ch%202%3A%20Compute%20Infrastructure%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2010px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EMFU%20%26lt%3B%201%25%20at%20batch%3D1%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3ENVLink%2FIB%20%3D%2018x%20cliff%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-fail%22%3ETCO%3A%20GPU%20price%20is%20only%20the%20start%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3EDiagnose%20the%20memory%20wall%3C%2Fstrong%3E%20%26mdash%3B%20show%20that%20at%20batch%3D1%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20an%20H100%20is%20~99%25%20idle%20during%20LLM%20token%20generation%20because%20HBM%20bandwidth%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20not%20compute%2C%20is%20the%20binding%20constraint.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3EMap%20the%20bandwidth%20staircase%3C%2Fstrong%3E%20%26mdash%3B%20quantify%20the%2018x%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20NVLink-to-InfiniBand%20cliff%20and%20explain%20why%20tensor%20parallelism%20cannot%20cross%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20the%20node%20boundary.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3ECalculate%20Total%20Cost%20of%20Ownership%3C%2Fstrong%3E%20%26mdash%3B%20show%20that%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20electricity%20reaches%20~30%25%20of%203-year%20TCO%20for%20a%201%2C000-GPU%20cluster%20and%20that%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20utilization%20rate%20matters%20more%20than%20hardware%20generation.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20V2-01%20(Scale%20Illusion)%20%26middot%3B%20Iron%20Law%20equation%20%26middot%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Roofline%20model%20from%20Vol%20I%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E~57%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Parts%20A%26ndash%3BE%3A%20~9%26ndash%3B12%20min%20each%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%2012px%20-28px%200%20-28px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2016px%2028px%200%2028px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BIf%20the%20H100%20delivers%20989%20TFLOPS%2C%20why%20does%20single-token%20LLM%20generation%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20use%20less%20than%201%25%20of%20that%20compute%20%26mdash%3B%20and%20what%20does%20it%20actually%20cost%20to%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20run%20a%201%2C000-GPU%20cluster%20for%20three%20years%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20--%20Complete%20the%20following%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20**Vol%20II%20Ch%202%3A%20The%20Memory%20Wall**%20--%20why%20token%20generation%20is%20bandwidth-bound.%0A%20%20%20%20-%20**Vol%20II%20Ch%202%3A%20The%20Roofline%20at%20Fleet%20Scale**%20--%20ridge%20point%20and%20arithmetic%20intensity.%0A%20%20%20%20-%20**Vol%20II%20Ch%202%3A%20The%20Bandwidth%20Hierarchy**%20--%20NVLink%2C%20PCIe%2C%20InfiniBand%20staircase.%0A%20%20%20%20-%20**Vol%20II%20Ch%202%3A%20Total%20Cost%20of%20Ownership**%20--%20CapEx%20vs%20OpEx%20breakdown.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20WIDGETS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20pA_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~10%25%20idle%20--%20GPUs%20are%20mostly%20computing%22%3A%20%2210%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~50%25%20idle%20--%20memory%20and%20compute%20are%20balanced%22%3A%20%2250%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~80%25%20idle%20--%20memory%20is%20a%20drag%22%3A%20%2280%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~99%25%20idle%20--%20almost%20entirely%20waiting%20for%20data%22%3A%20%2299%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22During%20single-token%20generation%20of%20a%2070B%20model%20on%20H100%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22what%20fraction%20of%20the%20time%20are%20the%20arithmetic%20units%20idle%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(pA_pred%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pA_pred)%3A%0A%20%20%20%20mo.stop(pA_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pA_model%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%227B%22%3A%207%2C%20%2270B%22%3A%2070%2C%20%22175B%22%3A%20175%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%2270B%22%2C%20label%3D%22Model%20size%20(B%20params)%22%2C%0A%20%20%20%20)%0A%20%20%20%20pA_batch%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D128%2C%20value%3D1%2C%20step%3D1%2C%20label%3D%22Batch%20size%22)%0A%0A%20%20%20%20pB_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20All%20are%20compute-bound%20--%20H100%20is%20always%20compute-bound%20for%20large%20models%22%3A%20%22all%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20LLM%20training%20and%20prefill%20--%20they%20have%20large%20batch%20sizes%22%3A%20%22train_prefill%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Only%20prefill%20and%20training%20at%20large%20batch%20--%20decode%20is%20always%20below%22%3A%20%22prefill_only%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20None%20--%20all%20LLM%20workloads%20are%20memory-bound%22%3A%20%22none%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20fleet-scale%20workloads%20fall%20above%20the%20H100%20ridge%20point%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pA_batch%2C%20pA_model%2C%20pB_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pB_pred)%3A%0A%20%20%20%20mo.stop(pB_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pB_hw%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22V100%22%3A%20%22v100%22%2C%20%22A100%22%3A%20%22a100%22%2C%20%22H100%22%3A%20%22h100%22%2C%20%22B200%22%3A%20%22b200%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22H100%22%2C%20label%3D%22Accelerator%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20pC_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~2x%20slower%20--%20InfiniBand%20is%20fast%22%3A%20%222%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~5x%20slower%20--%20significant%20but%20manageable%22%3A%20%225%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~18x%20slower%20--%20an%20order%20of%20magnitude%20gap%22%3A%20%2218%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~100x%20slower%20--%20completely%20different%20regime%22%3A%20%22100%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20much%20slower%20is%20a%2010%20GB%20AllReduce%20over%20IB%20NDR%20vs%20NVLink%204.0%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pB_hw%2C%20pC_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pC_pred)%3A%0A%20%20%20%20mo.stop(pC_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pC_size%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D10000%2C%20value%3D10000%2C%20step%3D100%2C%20label%3D%22Transfer%20size%20(MB)%22)%0A%0A%20%20%20%20pD_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Yes%20--%20640%20GB%20is%20plenty%20for%20175B%22%3A%20%22yes%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Barely%20--%20fits%20with%20~50%20GB%20headroom%22%3A%20%22barely%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20No%20--%20static%20memory%20alone%20exceeds%20640%20GB%22%3A%20%22no_static%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20No%2C%20but%20ZeRO-1%20fixes%20it%22%3A%20%22zero1%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Can%20a%20single%208-GPU%20DGX%20H100%20node%20(640%20GB%20HBM)%20train%20a%20175B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model%20with%20Adam%20in%20FP16%20without%20ZeRO%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pC_size%2C%20pD_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pD_pred)%3A%0A%20%20%20%20mo.stop(pD_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pD_model_b%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D175%2C%20value%3D175%2C%20step%3D1%2C%20label%3D%22Model%20params%20(B)%22)%0A%20%20%20%20pD_gpus%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D8%2C%20value%3D8%2C%20step%3D1%2C%20label%3D%22GPUs%20per%20node%22)%0A%20%20%20%20pD_zero%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22No%20ZeRO%20(Stage%200)%22%3A%200%2C%20%22ZeRO-1%22%3A%201%2C%20%22ZeRO-2%22%3A%202%2C%20%22ZeRO-3%22%3A%203%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22No%20ZeRO%20(Stage%200)%22%2C%20label%3D%22ZeRO%20Stage%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20pE_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20GPUs%20by%20far%20--%20%2430M%20vs%20~%243M%20electricity%22%3A%20%22gpus%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20GPUs%20cost%20more%2C%20but%20electricity%20is%20~30%25%20of%20TCO%22%3A%20%22close%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Electricity%20is%20more%20expensive%22%3A%20%22elec%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Roughly%20equal%22%3A%20%22equal%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22For%20a%201%2C000-GPU%20H100%20cluster%20over%203%20years%3A%20GPUs%20or%20electricity%20costs%20more%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pD_gpus%2C%20pD_model_b%2C%20pD_zero%2C%20pE_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20A100_BW_GBS%2C%0A%20%20%20%20A100_TFLOPS%2C%0A%20%20%20%20ANNUAL_MAINTENANCE_RATIO%2C%0A%20%20%20%20B200_BW_GBS%2C%0A%20%20%20%20B200_TFLOPS%2C%0A%20%20%20%20COLORS%2C%0A%20%20%20%20DEFAULT_KWH_PRICE%2C%0A%20%20%20%20H100_BW_GBS%2C%0A%20%20%20%20H100_RAM_GB%2C%0A%20%20%20%20H100_RIDGE%2C%0A%20%20%20%20H100_TDP_W%2C%0A%20%20%20%20H100_TFLOPS%2C%0A%20%20%20%20IB_NDR_GBS%2C%0A%20%20%20%20NVLINK_GBS%2C%0A%20%20%20%20PCIE_GBS%2C%0A%20%20%20%20V100_BW_GBS%2C%0A%20%20%20%20V100_TFLOPS%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20go%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pA_batch%2C%0A%20%20%20%20pA_model%2C%0A%20%20%20%20pA_pred%2C%0A%20%20%20%20pB_hw%2C%0A%20%20%20%20pB_pred%2C%0A%20%20%20%20pC_pred%2C%0A%20%20%20%20pC_size%2C%0A%20%20%20%20pD_gpus%2C%0A%20%20%20%20pD_model_b%2C%0A%20%20%20%20pD_pred%2C%0A%20%20%20%20pD_zero%2C%0A%20%20%20%20pE_pred%2C%0A)%3A%0A%20%20%20%20mo.stop(pE_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pE_n_gpus%20%3D%20mo.ui.slider(start%3D100%2C%20stop%3D5000%2C%20value%3D1000%2C%20step%3D100%2C%20label%3D%22GPU%20count%22)%0A%20%20%20%20pE_util%20%3D%20mo.ui.slider(start%3D30%2C%20stop%3D90%2C%20value%3D70%2C%20step%3D5%2C%20label%3D%22Utilization%20(%25)%22)%0A%20%20%20%20pE_pue%20%3D%20mo.ui.slider(start%3D1.06%2C%20stop%3D1.60%2C%20value%3D1.12%2C%20step%3D0.02%2C%20label%3D%22PUE%22)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20A%3A%20THE%20MEMORY%20WALL%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'BlueL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20VP%20Inference%2C%20CloudScale%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20bought%20H100s%20for%20LLM%20serving%20but%20our%20token%20generation%20is%20slow.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20H100%20has%20989%20TFLOPS.%20Surely%20we%20are%20compute-limited%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Memory%20Wall%3A%20Token%20Generation%20is%20Bandwidth-Bound%0A%0A%20%20%20%20%20%20%20%20At%20batch%3D1%2C%20every%20model%20weight%20must%20be%20loaded%20from%20HBM%20for%20each%20token.%0A%20%20%20%20%20%20%20%20The%20H100%20delivers%20%7BH100_BW_GBS%3A%2C.0f%7D%20GB%2Fs%20HBM%20bandwidth%20vs%20%7BH100_TFLOPS%3A.0f%7D%20TFLOPS.%0A%20%20%20%20%20%20%20%20The%20**ridge%20point**%20%3D%20%7BH100_RIDGE%3A.0f%7D%20FLOPs%2FByte.%20LLM%20decode%20at%20batch%3D1%20has%0A%20%20%20%20%20%20%20%20arithmetic%20intensity%20~1%20FLOP%2FByte%20--%20far%20below%20the%20ridge%20point.%0A%0A%20%20%20%20%20%20%20%20The%20GPU%20is%20not%20compute-limited.%20It%20is%20waiting%20for%20data.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(pA_pred)%0A%20%20%20%20%20%20%20%20if%20pA_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpA_model%2C%20pA_batch%5D%2C%20justify%3D%22start%22%2C%20gap%3D%222rem%22))%0A%0A%20%20%20%20%20%20%20%20_params_b%20%3D%20pA_model.value%0A%20%20%20%20%20%20%20%20_batch%20%3D%20pA_batch.value%0A%20%20%20%20%20%20%20%20_params%20%3D%20_params_b%20*%201e9%0A%20%20%20%20%20%20%20%20_weight_bytes%20%3D%20_params%20*%202%20%20%23%20FP16%0A%20%20%20%20%20%20%20%20_weight_gb%20%3D%20_weight_bytes%20%2F%201e9%0A%0A%20%20%20%20%20%20%20%20%23%20Memory%20time%3A%20load%20all%20weights%20once%20per%20token%20(decode)%0A%20%20%20%20%20%20%20%20_t_mem_ms%20%3D%20(_weight_gb%20%2F%20H100_BW_GBS)%20*%201000%0A%20%20%20%20%20%20%20%20%23%20Compute%20time%3A%202%20FLOPs%20per%20param%20per%20token%2C%20times%20batch%0A%20%20%20%20%20%20%20%20_flops%20%3D%202%20*%20_params%20*%20_batch%0A%20%20%20%20%20%20%20%20_t_comp_ms%20%3D%20(_flops%20%2F%20(H100_TFLOPS%20*%201e12))%20*%201000%0A%20%20%20%20%20%20%20%20_t_total%20%3D%20_t_mem_ms%20%2B%20_t_comp_ms%0A%20%20%20%20%20%20%20%20_idle_pct%20%3D%20(_t_mem_ms%20%2F%20_t_total)%20*%20100%20if%20_t_total%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20_mfu%20%3D%20(_t_comp_ms%20%2F%20_t_total)%20*%20100%20if%20_t_total%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20_ai%20%3D%20(2%20*%20_batch)%20%20%23%20FLOPs%20per%20byte%20%3D%202*batch%20%2F%202%20bytes%20%3D%20batch%0A%0A%20%20%20%20%20%20%20%20%23%20Waterfall%20chart%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Memory%20(HBM%20load)%22%2C%20x%3D%5B%22Latency%22%5D%2C%20y%3D%5B_t_mem_ms%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D0.4))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Compute%20(arithmetic)%22%2C%20x%3D%5B%22Latency%22%5D%2C%20y%3D%5B_t_comp_ms%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D0.4))%0A%20%20%20%20%20%20%20%20_fig.update_layout(barmode%3D%22stack%22%2C%20height%3D280%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Time%20(ms)%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_mc%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_mfu%20%3E%2050%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_mfu%20%3E%2010%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EMemory%20Time%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%7B_t_mem_ms%3A.2f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ECompute%20Time%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_t_comp_ms%3A.4f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_mc%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EMFU%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_mc%7D%3B%22%3E%7B_mfu%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EArith.%20Intensity%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_ai%3A.0f%7D%20FLOPs%2FB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3ERidge%3A%20%7BH100_RIDGE%3A.0f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Memory%20Wall%20--%20Live%20Calculation**%20(%60%7B_params_b%7DB%2C%20batch%3D%7B_batch%7D%60)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Weight%20load%20%20%3D%20%7B_weight_gb%3A.0f%7D%20GB%20%2F%20%7BH100_BW_GBS%3A%2C.0f%7D%20GB%2Fs%20%3D%20%7B_t_mem_ms%3A.2f%7D%20ms%0A%20%20%20%20Compute%20%20%20%20%20%20%3D%202%20*%20%7B_params%3A.0e%7D%20*%20%7B_batch%7D%20%2F%20%7BH100_TFLOPS%3A.0f%7D%20TFLOPS%20%3D%20%7B_t_comp_ms%3A.4f%7D%20ms%0A%20%20%20%20GPU%20idle%20%20%20%20%20%3D%20%7B_t_mem_ms%3A.2f%7D%20%2F%20%7B_t_total%3A.2f%7D%20%3D%20%7B_idle_pct%3A.1f%7D%25%0A%20%20%20%20AI%20%20%20%20%20%20%20%20%20%20%20%3D%20%7B_ai%3A.0f%7D%20FLOPs%2FByte%20%20(ridge%20%3D%20%7BH100_RIDGE%3A.0f%7D)%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20Vol%20II%20Ch%202%20--%20The%20Memory%20Wall*%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20pA_pred.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%2299%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Correct.**%20At%20batch%3D1%20the%20GPU%20is%20%7B_idle_pct%3A.1f%7D%25%20idle.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20%7B_params_b%7DB%20model%20loads%20%7B_weight_gb%3A.0f%7D%20GB%20from%20HBM%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22in%20%7B_t_mem_ms%3A.2f%7D%20ms%3B%20compute%20takes%20just%20%7B_t_comp_ms%3A.4f%7D%20ms.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**The%20GPU%20is%20%7B_idle_pct%3A.1f%7D%25%20idle%20at%20batch%3D1.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22LLM%20decode%20has%20arithmetic%20intensity%20~1%2C%20far%20below%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22ridge%20point%20of%20%7BH100_RIDGE%3A.0f%7D.%20The%20H100%20is%20a%20%2430%2C000%20space%20heater%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22at%20batch%3D1.%20Increase%20batch%20size%20to%20improve%20MFU.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22**You%20predicted%3A**%20~%7B_pred%7D%25%20idle%20%20%7C%20%20**Actual%3A**%20%7B_idle_pct%3A.1f%7D%25%20idle%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%2C%0A%20%20%20%20%20%20%20%20%5D))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20B%3A%20THE%20ROOFLINE%20DIAGNOSTIC%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'OrangeL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Performance%20Engineer%2C%20CloudScale%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20have%20four%20LLM%20workloads.%20The%20team%20says%20they%20are%20all%20compute-bound%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20because%20the%20models%20are%20huge.%20Can%20you%20verify%20with%20the%20roofline%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Roofline%20Model%20at%20Fleet%20Scale%0A%0A%20%20%20%20%20%20%20%20The%20ridge%20point%20separates%20memory-bound%20(left)%20from%20compute-bound%20(right)%3A%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20Ridge%20Point%20%3D%20Peak%20FLOPS%20%2F%20Memory%20Bandwidth%0A%20%20%20%20%20%20%20%20H100%3A%20%20%7BH100_TFLOPS%3A.0f%7D%20TFLOPS%20%2F%20%7BH100_BW_GBS%3A%2C.0f%7D%20GB%2Fs%20%3D%20%7BH100_RIDGE%3A.0f%7D%20FLOPs%2FByte%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20LLM%20decode%20at%20batch%3D1%20has%20AI%20~%201%20FLOP%2FByte.%20LLM%20training%20at%20large%20batch%0A%20%20%20%20%20%20%20%20can%20reach%20AI%20%3E%20100.%20The%20model%20size%20is%20not%20what%20determines%20the%20regime%20--%0A%20%20%20%20%20%20%20%20the%20arithmetic%20intensity%20is.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(pB_pred)%0A%20%20%20%20%20%20%20%20if%20pB_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(pB_hw)%0A%0A%20%20%20%20%20%20%20%20_hw_map%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22v100%22%3A%20(%22V100%22%2C%20V100_TFLOPS%2C%20V100_BW_GBS)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22a100%22%3A%20(%22A100%22%2C%20A100_TFLOPS%2C%20A100_BW_GBS)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22h100%22%3A%20(%22H100%22%2C%20H100_TFLOPS%2C%20H100_BW_GBS)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22b200%22%3A%20(%22B200%22%2C%20B200_TFLOPS%2C%20B200_BW_GBS)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_hw_name%2C%20_hw_tflops%2C%20_hw_bw%20%3D%20_hw_map%5BpB_hw.value%5D%0A%20%20%20%20%20%20%20%20_ridge%20%3D%20_hw_tflops%20*%201000%20%2F%20_hw_bw%0A%0A%20%20%20%20%20%20%20%20%23%20Roofline%20curve%0A%20%20%20%20%20%20%20%20_ai_range%20%3D%20np.logspace(-1%2C%204%2C%20200)%0A%20%20%20%20%20%20%20%20_perf%20%3D%20np.minimum(_ai_range%20*%20_hw_bw%20%2F%201000%2C%20_hw_tflops)%0A%0A%20%20%20%20%20%20%20%20%23%20Workloads%3A%20(name%2C%20AI%20FLOPs%2FByte%2C%20color)%0A%20%20%20%20%20%20%20%20_workloads%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22LLM%20decode%20B%3D1%22%2C%201%2C%20COLORS%5B%22RedLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22LLM%20decode%20B%3D32%22%2C%2032%2C%20COLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22175B%20training%22%2C%20150%2C%20COLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22175B%20prefill%22%2C%20200%2C%20COLORS%5B%22GreenLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22DLRM%20embedding%22%2C%200.5%2C%20%22%236366f1%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D_ai_range%2C%20y%3D_perf%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22%7B_hw_name%7D%20Roofline%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2.5)))%0A%20%20%20%20%20%20%20%20_fig.add_vline(x%3D_ridge%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22OrangeLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22Ridge%3A%20%7B_ridge%3A.0f%7D%22%2C%20annotation_position%3D%22top%20right%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_font_size%3D10)%0A%0A%20%20%20%20%20%20%20%20for%20_wname%2C%20_wai%2C%20_wcolor%20in%20_workloads%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_wperf%20%3D%20min(_wai%20*%20_hw_bw%20%2F%201000%2C%20_hw_tflops)%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_wai%5D%2C%20y%3D%5B_wperf%5D%2C%20mode%3D%22markers%2Btext%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D_wname%2C%20text%3D%5B_wname%5D%2C%20textposition%3D%22top%20center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3D_wcolor%2C%20size%3D12%2C%20line%3Ddict(color%3D%22white%22%2C%20width%3D2))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20textfont%3Ddict(size%3D9)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20%20%20%20%20_fig.update_layout(height%3D400%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Arithmetic%20Intensity%20(FLOPs%2FByte)%22%2C%20type%3D%22log%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Throughput%20(TFLOPS)%22%2C%20type%3D%22log%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.15%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20pB_pred.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%22prefill_only%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(%22**Correct.**%20Only%20prefill%20and%20training%20at%20large%20batch%20sizes%20exceed%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20ridge%20point.%20LLM%20decode%20is%20always%20deeply%20memory-bound%20regardless%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22of%20model%20size%20--%20AI%20depends%20on%20batch%2C%20not%20parameters.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Only%20prefill%20and%20large-batch%20training%20exceed%20the%20ridge%20point%20(%7B_ridge%3A.0f%7D).**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22LLM%20decode%20at%20batch%3D1%20has%20AI%20~%201%2C%20far%20below%20the%20ridge.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22'Large%20model'%20does%20not%20mean%20'compute-bound.'%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_msg)%2C%20kind%3D_kind))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20C%3A%20THE%20BANDWIDTH%20STAIRCASE%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'GreenL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Network%20Architect%2C%20CloudScale%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BThe%20team%20wants%20to%20run%20tensor%20parallelism%20across%20nodes.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20NVLink%20inside%20a%20node%20is%20fast.%20How%20much%20slower%20is%20InfiniBand%20between%20nodes%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Bandwidth%20Staircase%0A%0A%20%20%20%20%20%20%20%20Data%20transfer%20speed%20drops%20by%20orders%20of%20magnitude%20at%20each%20boundary%3A%0A%0A%20%20%20%20%20%20%20%20%7C%20Interconnect%20%7C%20Bandwidth%20%7C%0A%20%20%20%20%20%20%20%20%7C---%7C---%7C%0A%20%20%20%20%20%20%20%20%7C%20HBM3%20%7C%20%7BH100_BW_GBS%3A%2C.0f%7D%20GB%2Fs%20%7C%0A%20%20%20%20%20%20%20%20%7C%20NVLink%204.0%20%7C%20%7BNVLINK_GBS%3A.0f%7D%20GB%2Fs%20%7C%0A%20%20%20%20%20%20%20%20%7C%20PCIe%20Gen5%20%7C%20%7BPCIE_GBS%3A.0f%7D%20GB%2Fs%20%7C%0A%20%20%20%20%20%20%20%20%7C%20IB%20NDR%20%7C%20%7BIB_NDR_GBS%3A.0f%7D%20GB%2Fs%20%7C%0A%0A%20%20%20%20%20%20%20%20NVLink-to-IB%20%3D%20%7BNVLINK_GBS%2FIB_NDR_GBS%3A.0f%7Dx%20cliff.%20This%20is%20why%20tensor%20parallelism%0A%20%20%20%20%20%20%20%20stays%20within%20a%20node%20and%20data%20parallelism%20crosses%20nodes.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(pC_pred)%0A%20%20%20%20%20%20%20%20if%20pC_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(pC_size)%0A%0A%20%20%20%20%20%20%20%20_size_mb%20%3D%20pC_size.value%0A%20%20%20%20%20%20%20%20_size_gb%20%3D%20_size_mb%20%2F%201000%0A%20%20%20%20%20%20%20%20_tiers%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22HBM3%22%2C%20H100_BW_GBS%2C%20COLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22NVLink%204.0%22%2C%20NVLINK_GBS%2C%20COLORS%5B%22GreenLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22PCIe%20Gen5%22%2C%20PCIE_GBS%2C%20COLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22IB%20NDR%22%2C%20IB_NDR_GBS%2C%20COLORS%5B%22RedLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20_times_ms%20%3D%20%5B(_size_gb%20%2F%20bw)%20*%201000%20for%20_%2C%20bw%2C%20_%20in%20_tiers%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Bn%20for%20n%2C%20_%2C%20_%20in%20_tiers%5D%2C%20y%3D_times_ms%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D%5Bc%20for%20_%2C%20_%2C%20c%20in%20_tiers%5D%2C%20width%3D0.5%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(height%3D320%2C%20yaxis%3Ddict(title%3D%22Transfer%20Time%20(ms)%22%2C%20type%3D%22log%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D30%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_nvlink_ms%20%3D%20(_size_gb%20%2F%20NVLINK_GBS)%20*%201000%0A%20%20%20%20%20%20%20%20_ib_ms%20%3D%20(_size_gb%20%2F%20IB_NDR_GBS)%20*%201000%0A%20%20%20%20%20%20%20%20_ratio%20%3D%20_ib_ms%20%2F%20_nvlink_ms%20if%20_nvlink_ms%20%3E%200%20else%200%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ENVLink%20Time%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_nvlink_ms%3A.1f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EIB%20NDR%20Time%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%7B_ib_ms%3A.1f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EIB%2FNVLink%20Ratio%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_ratio%3A.0f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20pC_pred.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%2218%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20f%22**Correct.**%20NVLink%20%3D%20%7BNVLINK_GBS%3A.0f%7D%20GB%2Fs%2C%20IB%20NDR%20%3D%20%7BIB_NDR_GBS%3A.0f%7D%20GB%2Fs.%20Ratio%20%3D%20%7BNVLINK_GBS%2FIB_NDR_GBS%3A.0f%7Dx.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20f%22**The%20ratio%20is%20%7BNVLINK_GBS%2FIB_NDR_GBS%3A.0f%7Dx.**%20This%20cliff%20dictates%20that%20TP%20stays%20within%20a%20node.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_msg)%2C%20kind%3D_kind))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20D%3A%20THE%20NODE%20MEMORY%20BUDGET%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'RedL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Training%20Lead%2C%20CloudScale%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BOur%20DGX%20H100%20has%20640%20GB%20total%20HBM.%20Can%20it%20train%20a%20175B%20model%3F%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20175B%20x%202%20bytes%20%3D%20350%20GB%20for%20weights%20--%20should%20fit%2C%20right%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Training%20Memory%20Budget%0A%0A%20%20%20%20%20%20%20%20Training%20memory%20is%20far%20more%20than%20just%20weights%3A%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20Total%20%3D%20Weights%20%2B%20Gradients%20%2B%20Optimizer%20States%20%2B%20Activations%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20Adam%20optimizer%20stores%20FP32%20master%20weights%20%2B%20momentum%20%2B%20variance%20%3D%2012%20bytes%2Fparam.%0A%20%20%20%20%20%20%20%20With%20FP16%20weights%20(2B%2Fparam)%20%2B%20FP16%20grads%20(2B%2Fparam)%3A%20**16%20bytes%20per%20parameter**.%0A%20%20%20%20%20%20%20%20For%20175B%20params%3A%20175B%20x%2016%20%3D%20**2%2C800%20GB%20static%20memory**%20(no%20ZeRO).%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(pD_pred)%0A%20%20%20%20%20%20%20%20if%20pD_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpD_model_b%2C%20pD_gpus%5D%2C%20justify%3D%22start%22%2C%20gap%3D%222rem%22))%0A%20%20%20%20%20%20%20%20items.append(pD_zero)%0A%0A%20%20%20%20%20%20%20%20_P%20%3D%20pD_model_b.value%20*%201e9%0A%20%20%20%20%20%20%20%20_N%20%3D%20pD_gpus.value%0A%20%20%20%20%20%20%20%20_zero%20%3D%20pD_zero.value%0A%20%20%20%20%20%20%20%20_hbm_per_gpu%20%3D%20H100_RAM_GB%0A%0A%20%20%20%20%20%20%20%20%23%20Memory%20components%20(bytes%20per%20parameter)%0A%20%20%20%20%20%20%20%20_w_bytes%20%3D%202%20%20%23%20FP16%20weights%0A%20%20%20%20%20%20%20%20_g_bytes%20%3D%202%20%20%23%20FP16%20gradients%0A%20%20%20%20%20%20%20%20_o_bytes%20%3D%2012%20%20%23%20Adam%3A%204%20(FP32%20master)%20%2B%204%20(momentum)%20%2B%204%20(variance)%0A%0A%20%20%20%20%20%20%20%20%23%20ZeRO%20sharding%0A%20%20%20%20%20%20%20%20if%20_zero%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_w_gb%20%3D%20_P%20*%20_w_bytes%20%2F%201e9%0A%20%20%20%20%20%20%20%20%20%20%20%20_g_gb%20%3D%20_P%20*%20_g_bytes%20%2F%201e9%0A%20%20%20%20%20%20%20%20%20%20%20%20_o_gb%20%3D%20_P%20*%20_o_bytes%20%2F%201e9%0A%20%20%20%20%20%20%20%20elif%20_zero%20%3D%3D%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_w_gb%20%3D%20_P%20*%20_w_bytes%20%2F%201e9%0A%20%20%20%20%20%20%20%20%20%20%20%20_g_gb%20%3D%20_P%20*%20_g_bytes%20%2F%201e9%0A%20%20%20%20%20%20%20%20%20%20%20%20_o_gb%20%3D%20_P%20*%20_o_bytes%20%2F%201e9%20%2F%20_N%0A%20%20%20%20%20%20%20%20elif%20_zero%20%3D%3D%202%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_w_gb%20%3D%20_P%20*%20_w_bytes%20%2F%201e9%0A%20%20%20%20%20%20%20%20%20%20%20%20_g_gb%20%3D%20_P%20*%20_g_bytes%20%2F%201e9%20%2F%20_N%0A%20%20%20%20%20%20%20%20%20%20%20%20_o_gb%20%3D%20_P%20*%20_o_bytes%20%2F%201e9%20%2F%20_N%0A%20%20%20%20%20%20%20%20else%3A%20%20%23%20ZeRO-3%0A%20%20%20%20%20%20%20%20%20%20%20%20_w_gb%20%3D%20_P%20*%20_w_bytes%20%2F%201e9%20%2F%20_N%0A%20%20%20%20%20%20%20%20%20%20%20%20_g_gb%20%3D%20_P%20*%20_g_bytes%20%2F%201e9%20%2F%20_N%0A%20%20%20%20%20%20%20%20%20%20%20%20_o_gb%20%3D%20_P%20*%20_o_bytes%20%2F%201e9%20%2F%20_N%0A%0A%20%20%20%20%20%20%20%20%23%20Activations%20(not%20sharded%20by%20ZeRO)%3A%20approximate%0A%20%20%20%20%20%20%20%20_act_gb%20%3D%20min(50%2C%20pD_model_b.value%20*%200.3)%20%20%23%20rough%20estimate%0A%20%20%20%20%20%20%20%20_total_gb%20%3D%20_w_gb%20%2B%20_g_gb%20%2B%20_o_gb%20%2B%20_act_gb%0A%20%20%20%20%20%20%20%20_oom%20%3D%20_total_gb%20%3E%20_hbm_per_gpu%0A%0A%20%20%20%20%20%20%20%20%23%20Stacked%20bar%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_components%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Weights%22%2C%20_w_gb%2C%20COLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Gradients%22%2C%20_g_gb%2C%20COLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Optimizer%22%2C%20_o_gb%2C%20COLORS%5B%22RedLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Activations%22%2C%20_act_gb%2C%20%22%236366f1%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20for%20_name%2C%20_val%2C%20_col%20in%20_components%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D_name%2C%20x%3D%5B%22Per-GPU%20Memory%22%5D%2C%20y%3D%5B_val%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_col%2C%20width%3D0.4))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D_hbm_per_gpu%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22RedLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22HBM%20Capacity%3A%20%7B_hbm_per_gpu%3A.0f%7D%20GB%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_position%3D%22top%20right%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(barmode%3D%22stack%22%2C%20height%3D300%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Memory%20(GB)%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.15%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20if%20_oom%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**OOM%20--%20Training%20infeasible.**%20Required%3A%20%7B_total_gb%3A.0f%7D%20GB%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Available%3A%20%7B_hbm_per_gpu%3A.0f%7D%20GB%20per%20GPU.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Overflow%3A%20%7B_total_gb%20-%20_hbm_per_gpu%3A.0f%7D%20GB.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22danger%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Fits.**%20Required%3A%20%7B_total_gb%3A.0f%7D%20GB%20%7C%20Available%3A%20%7B_hbm_per_gpu%3A.0f%7D%20GB.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Headroom%3A%20%7B_hbm_per_gpu%20-%20_total_gb%3A.0f%7D%20GB.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20pD_pred.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%22no_static%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(%22**Correct.**%20Static%20memory%20(weights%20%2B%20gradients%20%2B%20optimizer)%20%3D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22175B%20x%2016%20bytes%20%3D%202%2C800%20GB.%20That%20is%204.4x%20the%20total%20640%20GB%20HBM%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22of%20an%208-GPU%20DGX%20H100%20node.%20ZeRO-3%20is%20required%20at%20minimum.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(%22**Static%20memory%20alone%20is%202%2C800%20GB%20--%204.4x%20more%20than%20640%20GB.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Students%20compute%20only%20weight%20memory%20(350%20GB)%20and%20forget%20gradients%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22(350%20GB)%20and%20Adam%20states%20(2%2C100%20GB%20at%20FP32).%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_msg)%2C%20kind%3D_kind))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20E%3A%20TCO%20--%20THE%20HIDDEN%20COST%20OF%20SCALE%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_e()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%236366f1%3B%20background%3A%23f0f4ff%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%236366f1%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20CFO%2C%20CloudScale%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BThe%20GPUs%20cost%20%2430M.%20How%20much%20will%20electricity%20add%20over%20three%20years%3F%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20I%20need%20TCO%20for%20the%20board.%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Total%20Cost%20of%20Ownership%20Goes%20Far%20Beyond%20GPUs%0A%0A%20%20%20%20%20%20%20%20TCO%20%3D%20CapEx%20(GPUs%20%2B%20networking%20%2B%20storage)%20%2B%20OpEx%20(power%20%2B%20cooling%20%2B%20staff).%0A%20%20%20%20%20%20%20%20A%201%2C000-GPU%20H100%20cluster%20at%20700W%20each%20%3D%20700%20kW.%20With%20PUE%201.12%2C%20facility%0A%20%20%20%20%20%20%20%20power%20%3D%20784%20kW.%20At%20%240.12%2FkWh%2C%20annual%20electricity%20alone%20is%20~%24824K.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(pE_pred)%0A%20%20%20%20%20%20%20%20if%20pE_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpE_n_gpus%2C%20pE_util%5D%2C%20justify%3D%22start%22%2C%20gap%3D%222rem%22))%0A%20%20%20%20%20%20%20%20items.append(pE_pue)%0A%0A%20%20%20%20%20%20%20%20_n%20%3D%20pE_n_gpus.value%0A%20%20%20%20%20%20%20%20_util%20%3D%20pE_util.value%20%2F%20100%0A%20%20%20%20%20%20%20%20_pue%20%3D%20pE_pue.value%0A%20%20%20%20%20%20%20%20_years%20%3D%203%0A%20%20%20%20%20%20%20%20_gpu_cost%20%3D%2030_000%0A%20%20%20%20%20%20%20%20_tdp%20%3D%20H100_TDP_W%0A%0A%20%20%20%20%20%20%20%20%23%20CapEx%0A%20%20%20%20%20%20%20%20_capex_gpus%20%3D%20_n%20*%20_gpu_cost%0A%20%20%20%20%20%20%20%20_capex_network%20%3D%20_n%20*%202000%20%20%23%20~%242K%20networking%20per%20GPU%0A%20%20%20%20%20%20%20%20_capex_storage%20%3D%20_n%20*%20500%0A%20%20%20%20%20%20%20%20_capex_total%20%3D%20_capex_gpus%20%2B%20_capex_network%20%2B%20_capex_storage%0A%0A%20%20%20%20%20%20%20%20%23%20OpEx%20(annual)%0A%20%20%20%20%20%20%20%20_power_kw%20%3D%20_n%20*%20_tdp%20%2F%201000%20*%20_util%20*%20_pue%0A%20%20%20%20%20%20%20%20_annual_elec%20%3D%20_power_kw%20*%208760%20*%20DEFAULT_KWH_PRICE%0A%20%20%20%20%20%20%20%20_annual_maint%20%3D%20_capex_total%20*%20ANNUAL_MAINTENANCE_RATIO%0A%20%20%20%20%20%20%20%20_annual_staff%20%3D%20_n%20*%20200%20%20%23%20rough%20staff%20allocation%20per%20GPU%0A%20%20%20%20%20%20%20%20_opex_total%20%3D%20(_annual_elec%20%2B%20_annual_maint%20%2B%20_annual_staff)%20*%20_years%0A%0A%20%20%20%20%20%20%20%20_tco%20%3D%20_capex_total%20%2B%20_opex_total%0A%20%20%20%20%20%20%20%20_elec_pct%20%3D%20(_annual_elec%20*%20_years)%20%2F%20_tco%20*%20100%20if%20_tco%20%3E%200%20else%200%0A%0A%20%20%20%20%20%20%20%20%23%20TCO%20breakdown%20chart%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_labels%20%3D%20%5B%22GPUs%22%2C%20%22Networking%22%2C%20%22Storage%22%2C%20%22Electricity%5Cn(3yr)%22%2C%20%22Maintenance%5Cn(3yr)%22%2C%20%22Staff%5Cn(3yr)%22%5D%0A%20%20%20%20%20%20%20%20_vals%20%3D%20%5B_capex_gpus%2C%20_capex_network%2C%20_capex_storage%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_annual_elec%20*%20_years%2C%20_annual_maint%20*%20_years%2C%20_annual_staff%20*%20_years%5D%0A%20%20%20%20%20%20%20%20_cols%20%3D%20%5BCOLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22BlueLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22OrangeLine%22%5D%2C%20COLORS%5B%22OrangeLine%22%5D%2C%20COLORS%5B%22OrangeLine%22%5D%5D%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(x%3D_labels%2C%20y%3D%5Bv%20%2F%201e6%20for%20v%20in%20_vals%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_cols%2C%20width%3D0.5))%0A%20%20%20%20%20%20%20%20_fig.update_layout(height%3D320%2C%20yaxis%3Ddict(title%3D%22Cost%20(%24M)%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D30%2C%20b%3D60))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ECapEx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%24%7B_capex_total%2F1e6%3A.1f%7DM%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EOpEx%20(3yr)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%24%7B_opex_total%2F1e6%3A.1f%7DM%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ETotal%20TCO%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%24%7B_tco%2F1e6%3A.1f%7DM%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EElectricity%20%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_elec_pct%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20pE_pred.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%22close%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Correct.**%20Over%203%20years%2C%20electricity%20is%20%7B_elec_pct%3A.0f%7D%25%20of%20TCO.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22GPUs%20cost%20more%20in%20absolute%20terms%2C%20but%20operational%20costs%20are%20a%20much%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22larger%20fraction%20than%20most%20engineers%20expect.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Electricity%20is%20%7B_elec_pct%3A.0f%7D%25%20of%203-year%20TCO.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22GPUs%20dominate%20CapEx%20but%20operational%20costs%20compound%20over%20years.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Utilization%20rate%20matters%20enormously%20--%20a%20cluster%20at%2030%25%20utilization%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22wastes%2070%25%20of%20its%20power%20budget%20on%20idle%20GPUs.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_msg)%2C%20kind%3D_kind))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20SYNTHESIS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Key%20Takeaways%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**1.%20The%20Memory%20Wall%20dominates%20LLM%20inference.**%20At%20batch%3D1%2C%20an%20H100%20is%20~99%25%20idle.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22AI%20~%201%20FLOPs%2FByte%20vs%20ridge%20point%20%7BH100_RIDGE%3A.0f%7D.%20The%20GPU%20is%20waiting%20for%20HBM%2C%20not%20computing.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**2.%20The%20Bandwidth%20Staircase%20dictates%20parallelism%20placement.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22NVLink%20(%7BNVLINK_GBS%3A.0f%7D%20GB%2Fs)%20to%20IB%20NDR%20(%7BIB_NDR_GBS%3A.0f%7D%20GB%2Fs)%20%3D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7BNVLINK_GBS%2FIB_NDR_GBS%3A.0f%7Dx%20cliff.%20TP%20stays%20within%20a%20node%3B%20DP%20crosses%20nodes.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**3.%20TCO%20goes%20far%20beyond%20GPU%20purchase%20price.**%20Electricity%20reaches%20~25-35%25%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22of%203-year%20TCO.%20Utilization%20rate%20matters%20more%20than%20hardware%20generation%20--%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22a%20well-utilized%20A100%20cluster%20outperforms%20an%20idle%20H100%20cluster%20on%20cost-per-FLOP.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Connections%0A%0A%20%20%20%20**Textbook%3A**%20Vol%20II%20Ch%202%20--%20memory%20wall%2C%20roofline%20at%20fleet%20scale%2C%20bandwidth%20hierarchy%2C%20TCO.%0A%0A%20%20%20%20**Next%20Lab%3A**%20V2-03%20explores%20communication%20at%20scale%3A%20the%20alpha-beta%20model%2C%20Ring%20vs%20Tree%0A%20%20%20%20AllReduce%2C%20hierarchical%20communication%2C%20and%20gradient%20compression.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20COMPOSE%20TABS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%20--%20The%20Memory%20Wall%22%3A%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%20--%20The%20Roofline%20Diagnostic%22%3A%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%20--%20The%20Bandwidth%20Staircase%22%3A%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%20--%20Node%20Memory%20Budget%22%3A%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Part%20E%20--%20TCO%3A%20Hidden%20Cost%20of%20Scale%22%3A%20build_part_e()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20ledger%2C%20mo)%3A%0A%20%20%20%20_track%20%3D%20ledger._state.track%20or%20%22not%20set%22%0A%20%20%20%20ledger.save(chapter%3D2%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%22chapter%22%3A%20%22v2_02%22%2C%0A%20%20%20%20%20%20%20%20%22completed%22%3A%20True%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3EV2-02%20%26middot%3B%20The%20Compute%20Infrastructure%20Wall%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ETRACK%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22%7B'hud-active'%20if%20_track%20!%3D%20'not%20set'%20else%20'hud-none'%7D%22%3E%7B_track%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3EVOL%26nbsp%3BII%26nbsp%3BCH%26nbsp%3B2%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3ECompute%20Infrastructure%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ESTATUS%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-active%22%3Eactive%3C%2Fspan%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A