lab 03 communication

import%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22..%2F..%2F..%2Fwheels%2Fmlsysim-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%22mlsysim%22%20not%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20_root%20%3D%20Path(__file__).resolve().parents%5B2%5D%0A%20%20%20%20%20%20%20%20if%20str(_root)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_root))%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20import%20mlsysim%0A%20%20%20%20from%20mlsysim.core.defaults%20import%20(%0A%20%20%20%20%20%20%20%20INFINIBAND_NDR_BW_GBS%2C%0A%20%20%20%20%20%20%20%20INFINIBAND_HDR_BW_GBS%2C%0A%20%20%20%20%20%20%20%20IB_NDR_LATENCY_US%2C%0A%20%20%20%20%20%20%20%20IB_HDR_LATENCY_US%2C%0A%20%20%20%20%20%20%20%20DEFAULT_OVERLAP_EFFICIENCY%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysim.core.formulas%20import%20(%0A%20%20%20%20%20%20%20%20calc_ring_allreduce_time%2C%0A%20%20%20%20%20%20%20%20calc_tree_allreduce_time%2C%0A%20%20%20%20%20%20%20%20calc_hierarchical_allreduce_time%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysim.core.constants%20import%20ureg%2C%20NVLINK_H100_BW%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Hardware%20registry%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_H100_REG%20%3D%20mlsysim.Hardware.Cloud.H100%0A%20%20%20%20_EDGE_REG%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX%0A%0A%20%20%20%20H100_TFLOPS%20%3D%20_H100_REG.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20H100_BW_GBS%20%3D%20_H100_REG.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20EDGE_TFLOPS%20%3D%20_EDGE_REG.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20EDGE_BW_GBS%20%3D%20_EDGE_REG.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%0A%20%20%20%20NVLINK_GBS%20%3D%20NVLINK_H100_BW.m_as(%22GB%2Fs%22)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Model%20registry%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20GPT2%20%3D%20mlsysim.Models.GPT2%0A%20%20%20%20GPT2_PARAMS%20%3D%20GPT2.parameters.m_as(%22dimensionless%22)%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20DEFAULT_OVERLAP_EFFICIENCY%2C%0A%20%20%20%20%20%20%20%20IB_NDR_LATENCY_US%2C%0A%20%20%20%20%20%20%20%20INFINIBAND_NDR_BW_GBS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20NVLINK_GBS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20calc_hierarchical_allreduce_time%2C%0A%20%20%20%20%20%20%20%20calc_ring_allreduce_time%2C%0A%20%20%20%20%20%20%20%20calc_tree_allreduce_time%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20ureg%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20mo.Html(%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%230f172a%200%25%2C%20%231e293b%2060%25%2C%20%230c1a2e%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2036px%2044px%3B%20border-radius%3A%2016px%3B%20color%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2032px%20rgba(0%2C0%2C0%2C0.35)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20letter-spacing%3A%200.18em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23475569%3B%20text-transform%3A%20uppercase%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Machine%20Learning%20Systems%20%26middot%3B%20Volume%20II%20%26middot%3B%20Lab%2003%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch1%20style%3D%22margin%3A%200%200%2010px%200%3B%20font-size%3A%202.4rem%3B%20font-weight%3A%20900%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23f8fafc%3B%20line-height%3A%201.1%3B%20letter-spacing%3A%20-0.02em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Communication%20at%20Scale%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%206px%200%3B%20font-size%3A%201.15rem%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%2394a3b8%3B%20letter-spacing%3A%200.04em%3B%20font-family%3A%20'SF%20Mono'%2C%20monospace%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Alpha-Beta%20Model%20%26middot%3B%20Ring%20vs%20Tree%20%26middot%3B%20Hierarchy%20%26middot%3B%20Compression%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%2022px%200%3B%20font-size%3A%201.0rem%3B%20color%3A%20%2364748b%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max-width%3A%20680px%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Gradient%20synchronization%20can%20consume%20half%20of%20training%20step%20time.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20alpha-beta%20model%20reveals%20why%2C%20algorithm%20choice%20depends%20on%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20crossover%20formula%2C%20and%20hierarchical%20strategies%20exploit%20the%20NVLink%2FIB%20cliff.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2012px%3B%20flex-wrap%3A%20wrap%3B%20margin-bottom%3A%2020px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(99%2C102%2C241%2C0.18)%3B%20color%3A%20%23a5b4fc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(99%2C102%2C241%2C0.3)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%205%20Parts%20%26middot%3B%20~58%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(203%2C32%2C45%2C0.15)%3B%20color%3A%20%23fca5a5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(203%2C32%2C45%2C0.25)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Vol%20II%20Ch%203%2B6%3A%20Network%20Fabrics%20%2B%20Collective%20Comms%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2010px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3ET(n)%20%3D%20alpha%20%2B%20n%2Fbeta%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3ERing%20vs%20Tree%20crossover%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-fail%22%3E11-second%20AllReduce%20for%2070B%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3ECalculate%20AllReduce%20time%3C%2Fstrong%3E%20%26mdash%3B%20use%20the%20alpha-beta%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20model%20to%20show%20that%2070B%20FP32%20gradients%20on%2064%20GPUs%20take%20~11%20seconds%20via%20Ring%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20AllReduce%20on%20IB%20NDR%2C%20with%20bandwidth%20comprising%2099.99%25%20of%20total.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3EIdentify%20the%20Ring%2FTree%20crossover%3C%2Fstrong%3E%20%26mdash%3B%20find%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20message%20size%20where%20Tree%20AllReduce%20beats%20Ring%20at%20256%20GPUs%20and%20explain%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20O(N)%20vs%20O(log%20N)%20latency%20trade-off.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3EBuild%20a%20communication%20budget%3C%2Fstrong%3E%20%26mdash%3B%20stack%20hierarchical%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20AllReduce%2C%20FP16%20gradients%2C%20overlap%2C%20and%20bucket%20fusion%20to%20reduce%20communication%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20below%2020%25%20of%20step%20time%20for%20a%2070B%20model.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20V2-01%20(Fleet%20Law)%20%26middot%3B%20V2-02%20(bandwidth%20staircase)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E~58%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Parts%20A%26ndash%3BE%3A%20~10%26ndash%3B12%20min%20each%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%2012px%20-28px%200%20-28px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2016px%2028px%200%2028px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BA%20single%20Ring%20AllReduce%20for%20a%2070B%20model%20takes%2011%20seconds.%20How%20many%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20optimizations%20must%20you%20stack%20to%20get%20communication%20under%2020%25%20of%20step%20time%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20and%20when%20does%20each%20optimization%20actually%20help%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20--%20Complete%20the%20following%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20**Vol%20II%20Ch%203%3A%20Network%20Fabrics**%20--%20alpha-beta%20model%2C%20fat-tree%20topology%2C%20oversubscription.%0A%20%20%20%20-%20**Vol%20II%20Ch%206%3A%20Collective%20Communication**%20--%20Ring%20vs%20Tree%20AllReduce%2C%20hierarchical%20algorithms%2C%0A%20%20%20%20%20%20gradient%20compression%20trade-offs%2C%20communication-computation%20overlap.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20WIDGETS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20pA_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~0.5%20ms%20--%20network%20latency%20dominates%22%3A%20%220.5%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~50%20ms%20--%20bandwidth%20matters%2C%20but%20IB%20is%20fast%22%3A%20%2250%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~1%2C100%20ms%20(~1%20second)%22%3A%20%221100%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~11%2C000%20ms%20(~11%20seconds)%20--%20bandwidth%20completely%20dominates%22%3A%20%2211000%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%2270B%20FP32%20gradients%2C%2064%20GPUs%2C%20IB%20NDR.%20How%20long%20does%20one%20Ring%20AllReduce%20take%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(pA_pred%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pA_pred)%3A%0A%20%20%20%20mo.stop(pA_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pA_model%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%221B%22%3A%201%2C%20%227B%22%3A%207%2C%20%2213B%22%3A%2013%2C%20%2270B%22%3A%2070%2C%20%22175B%22%3A%20175%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%2270B%22%2C%20label%3D%22Model%20params%20(B)%22%2C%0A%20%20%20%20)%0A%20%20%20%20pA_prec%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22FP32%20(4B)%22%3A%204%2C%20%22BF16%20(2B)%22%3A%202%2C%20%22FP8%20(1B)%22%3A%201%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22FP32%20(4B)%22%2C%20label%3D%22Gradient%20precision%22%2C%0A%20%20%20%20)%0A%20%20%20%20pA_gpus%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%228%22%3A%208%2C%20%2216%22%3A%2016%2C%20%2232%22%3A%2032%2C%20%2264%22%3A%2064%2C%20%22128%22%3A%20128%2C%20%22256%22%3A%20256%2C%20%22512%22%3A%20512%2C%20%221024%22%3A%201024%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%2264%22%2C%20label%3D%22GPU%20count%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20pB_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Ring%20--%20it%20is%20always%20bandwidth-optimal%22%3A%20%22ring%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Tree%20--%20at%201%20MB%20and%20256%20GPUs%2C%20Tree's%20O(log%20N)%20wins%22%3A%20%22tree%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20They%20are%20identical%20for%20this%20message%20size%22%3A%20%22same%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Neither%20--%20you%20need%20hierarchical%20AllReduce%22%3A%20%22hier%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22256%20GPUs%20on%20IB%20NDR.%20Which%20AllReduce%20is%20faster%20for%20a%201%20MB%20message%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pA_gpus%2C%20pA_model%2C%20pA_prec%2C%20pB_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pB_pred)%3A%0A%20%20%20%20mo.stop(pB_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pB_msg_exp%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D10%2C%20value%3D0%2C%20step%3D1%2C%20label%3D%22Message%20size%20(10%5Ex%20KB)%22)%0A%20%20%20%20pB_n_gpus%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%2264%22%3A%2064%2C%20%22256%22%3A%20256%2C%20%221024%22%3A%201024%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22256%22%2C%20label%3D%22GPU%20count%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20pC_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~1.5x%20--%20marginal%20improvement%22%3A%20%221.5%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~2x%20--%20moderate%20improvement%22%3A%20%222%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~5-6x%20--%20dramatic%20improvement%22%3A%20%225%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~18x%20--%20full%20NVLink%2FIB%20ratio%22%3A%20%2218%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Hierarchical%20AllReduce%20vs%20flat%20ring%20for%2064%20GPUs%20(8%20nodes%20x%208).%20Speedup%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pB_msg_exp%2C%20pB_n_gpus%2C%20pC_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pC_pred)%3A%0A%20%20%20%20mo.stop(pC_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pC_topo%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Flat%20Ring%22%3A%20%22flat%22%2C%20%22Hierarchical%202-level%22%3A%20%22hier2%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Flat%20Ring%22%2C%20label%3D%22Topology%22%2C%0A%20%20%20%20)%0A%20%20%20%20pC_gpus_per_node%20%3D%20mo.ui.slider(start%3D2%2C%20stop%3D8%2C%20value%3D8%2C%20step%3D2%2C%20label%3D%22GPUs%20per%20node%22)%0A%20%20%20%20pC_oversub%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%221%3A1%20(full%20bisection)%22%3A%201%2C%20%222%3A1%22%3A%202%2C%20%224%3A1%22%3A%204%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%221%3A1%20(full%20bisection)%22%2C%20label%3D%22Oversubscription%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20pD_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Yes%2C%20by%20~4x%20--%2075%25%20bandwidth%20saved%22%3A%20%224x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Yes%2C%20by%20~2x%22%3A%20%222x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20It%20depends%20--%20on%20IB%20NDR%2C%20compression%20barely%20helps%22%3A%20%22depends%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20No%20--%20compression%20always%20hurts%22%3A%20%22no%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22INT8%20gradient%20compression%20(4x%20BW%20reduction)%20for%2070B%20on%2064%20GPUs%20with%20IB%20NDR.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Does%20total%20training%20time%20decrease%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pC_gpus_per_node%2C%20pC_oversub%2C%20pC_topo%2C%20pD_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pD_pred)%3A%0A%20%20%20%20mo.stop(pD_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pD_comp%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22None%22%3A%201.0%2C%20%22FP16%20(2x)%22%3A%200.5%2C%20%22INT8%20(4x)%22%3A%200.25%2C%20%22Top-K%201%25%22%3A%200.01%2C%20%221-bit%22%3A%200.03125%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22None%22%2C%20label%3D%22Compression%20method%22%2C%0A%20%20%20%20)%0A%20%20%20%20pD_bw%20%3D%20mo.ui.slider(start%3D10%2C%20stop%3D100%2C%20value%3D50%2C%20step%3D5%2C%20label%3D%22Network%20BW%20(GB%2Fs)%22)%0A%0A%20%20%20%20pE_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Just%20one%20--%20hierarchical%20AllReduce%20is%20enough%22%3A%20%221%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Two%20--%20hierarchical%20%2B%20FP16%22%3A%20%222%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Three%20or%20four%20--%20hier%20%2B%20FP16%20%2B%20overlap%20%2B%20fusion%22%3A%20%223%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Impossible%20on%20IB%20NDR%22%3A%20%22impossible%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Starting%20from%2011s%20AllReduce%20for%2070B%3A%20how%20many%20optimizations%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22to%20get%20under%2020%25%20of%20step%20time%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pD_bw%2C%20pD_comp%2C%20pE_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20DEFAULT_OVERLAP_EFFICIENCY%2C%0A%20%20%20%20IB_NDR_LATENCY_US%2C%0A%20%20%20%20INFINIBAND_NDR_BW_GBS%2C%0A%20%20%20%20NVLINK_GBS%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20calc_hierarchical_allreduce_time%2C%0A%20%20%20%20calc_ring_allreduce_time%2C%0A%20%20%20%20calc_tree_allreduce_time%2C%0A%20%20%20%20go%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pA_gpus%2C%0A%20%20%20%20pA_model%2C%0A%20%20%20%20pA_prec%2C%0A%20%20%20%20pA_pred%2C%0A%20%20%20%20pB_msg_exp%2C%0A%20%20%20%20pB_n_gpus%2C%0A%20%20%20%20pB_pred%2C%0A%20%20%20%20pC_gpus_per_node%2C%0A%20%20%20%20pC_oversub%2C%0A%20%20%20%20pC_pred%2C%0A%20%20%20%20pC_topo%2C%0A%20%20%20%20pD_bw%2C%0A%20%20%20%20pD_comp%2C%0A%20%20%20%20pD_pred%2C%0A%20%20%20%20pE_pred%2C%0A%20%20%20%20ureg%2C%0A)%3A%0A%20%20%20%20mo.stop(pE_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pE_hier%20%3D%20mo.ui.checkbox(label%3D%22Hierarchical%20AllReduce%22)%0A%20%20%20%20pE_fp16%20%3D%20mo.ui.checkbox(label%3D%22FP16%20gradients%22)%0A%20%20%20%20pE_bucket%20%3D%20mo.ui.checkbox(label%3D%22Bucket%20fusion%22)%0A%20%20%20%20pE_overlap%20%3D%20mo.ui.checkbox(label%3D%22Backward%20overlap%22)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20A%3A%20THE%20NETWORK%20TIME%20BUDGET%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'BlueL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Systems%20Engineer%2C%20DistributedAI%20Corp%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20need%20a%20time%20budget%20for%20gradient%20AllReduce%20in%20our%2070B%20model%20training.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20InfiniBand%20latency%20is%20measured%20in%20microseconds.%20How%20long%20can%20it%20possibly%20take%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Alpha-Beta%20Model%3A%20T(n)%20%3D%20alpha%20%2B%20n%2Fbeta%0A%0A%20%20%20%20%20%20%20%20For%20LLM-scale%20gradients%20(hundreds%20of%20GB)%2C%20the%20bandwidth%20term%20dominates%20by%20four%0A%20%20%20%20%20%20%20%20to%20five%20orders%20of%20magnitude.%20InfiniBand%20latency%20(5%20us)%20is%20irrelevant%20compared%20to%0A%20%20%20%20%20%20%20%20the%20time%20to%20push%20280%20GB%20through%20a%2050%20GB%2Fs%20pipe.%0A%0A%20%20%20%20%20%20%20%20Ring%20AllReduce%20transfers%20**2(N-1)%2FN%20x%20M**%20bytes%20total.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(pA_pred)%0A%20%20%20%20%20%20%20%20if%20pA_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpA_model%2C%20pA_prec%2C%20pA_gpus%5D%2C%20justify%3D%22start%22%2C%20gap%3D%221rem%22))%0A%0A%20%20%20%20%20%20%20%20_params%20%3D%20pA_model.value%20*%201e9%0A%20%20%20%20%20%20%20%20_bpp%20%3D%20pA_prec.value%0A%20%20%20%20%20%20%20%20_n%20%3D%20pA_gpus.value%0A%20%20%20%20%20%20%20%20_msg_bytes%20%3D%20_params%20*%20_bpp%0A%20%20%20%20%20%20%20%20_msg_gb%20%3D%20_msg_bytes%20%2F%201e9%0A%0A%20%20%20%20%20%20%20%20_ar%20%3D%20calc_ring_allreduce_time(_msg_bytes%2C%20_n%2C%20INFINIBAND_NDR_BW_GBS%20*%201e9%2C%20IB_NDR_LATENCY_US%20*%201e-6)%0A%20%20%20%20%20%20%20%20_t_total_ms%20%3D%20_ar.m_as(ureg.millisecond)%0A%0A%20%20%20%20%20%20%20%20%23%20Bandwidth%20vs%20latency%20breakdown%0A%20%20%20%20%20%20%20%20_bw_coeff%20%3D%202%20*%20(_n%20-%201)%20%2F%20_n%0A%20%20%20%20%20%20%20%20_t_bw_ms%20%3D%20(_bw_coeff%20*%20_msg_gb%20%2F%20INFINIBAND_NDR_BW_GBS)%20*%201000%0A%20%20%20%20%20%20%20%20_t_lat_ms%20%3D%20(2%20*%20(_n%20-%201)%20*%20IB_NDR_LATENCY_US%20*%201e-6)%20*%201000%0A%20%20%20%20%20%20%20%20_bw_pct%20%3D%20_t_bw_ms%20%2F%20_t_total_ms%20*%20100%20if%20_t_total_ms%20%3E%200%20else%200%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Bandwidth%20term%22%2C%20x%3D%5B%22AllReduce%22%5D%2C%20y%3D%5B_t_bw_ms%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D0.4))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Latency%20term%22%2C%20x%3D%5B%22AllReduce%22%5D%2C%20y%3D%5B_t_lat_ms%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D0.4))%0A%20%20%20%20%20%20%20%20_fig.update_layout(barmode%3D%22stack%22%2C%20height%3D280%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Time%20(ms)%22%2C%20type%3D%22log%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ETotal%20AllReduce%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%7B_t_total_ms%3A%2C.0f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_t_total_ms%2F1000%3A.1f%7D%20seconds%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EBandwidth%20%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_bw_pct%3A.2f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EMessage%20Size%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_msg_gb%3A.0f%7D%20GB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Alpha-Beta%20--%20Live%20Calculation**%20(%60%7BpA_model.value%7DB%2C%20%7B_bpp%7DB%2Fparam%2C%20%7B_n%7D%20GPUs%60)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20M%20%20%20%20%20%20%20%20%20%20%20%20%3D%20%7B_params%3A.0e%7D%20params%20x%20%7B_bpp%7D%20bytes%20%3D%20%7B_msg_gb%3A.0f%7D%20GB%0A%20%20%20%20T_bandwidth%20%20%3D%202(%7B_n%7D-1)%2F%7B_n%7D%20x%20%7B_msg_gb%3A.0f%7D%20GB%20%2F%20%7BINFINIBAND_NDR_BW_GBS%7D%20GB%2Fs%20%3D%20%7B_t_bw_ms%3A%2C.0f%7D%20ms%0A%20%20%20%20T_latency%20%20%20%20%3D%202(%7B_n%7D-1)%20x%20%7BIB_NDR_LATENCY_US%7D%20us%20%3D%20%7B_t_lat_ms%3A.2f%7D%20ms%0A%20%20%20%20Total%20%20%20%20%20%20%20%20%3D%20%7B_t_total_ms%3A%2C.0f%7D%20ms%20(%7B_t_total_ms%2F1000%3A.1f%7D%20s)%0A%20%20%20%20BW%20fraction%20%20%3D%20%7B_bw_pct%3A.4f%7D%25%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20Vol%20II%20Ch%203%2F6%20--%20Alpha-Beta%20Model*%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20pA_pred.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%2211000%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20%22**Correct.**%20Bandwidth%20completely%20dominates.%20The%20latency%20term%20is%20negligible.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**AllReduce%20takes%20%7B_t_total_ms%2F1000%3A.1f%7D%20seconds.**%20Students%20anchor%20on%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22InfiniBand's%20microsecond%20latency%20and%20underestimate%20by%20100-1000x.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_msg)%2C%20kind%3D_kind))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20B%3A%20RING%20VS%20TREE%20CROSSOVER%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'OrangeL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20NCCL%20Engineer%2C%20DistributedAI%20Corp%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20default%20to%20Ring%20AllReduce%20everywhere.%20Someone%20suggested%20Tree%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20might%20be%20faster%20for%20small%20messages.%20When%20does%20each%20win%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Ring%20vs%20Tree%3A%20Bandwidth-Optimal%20vs%20Latency-Optimal%0A%0A%20%20%20%20%20%20%20%20-%20**Ring**%3A%20BW-optimal%20(2(N-1)%2FN%20x%20M%2Fbeta)%20but%20O(N)%20latency%20steps%0A%20%20%20%20%20%20%20%20-%20**Tree**%3A%20O(log%20N)%20latency%20steps%20but%20O(log%20N)%20bandwidth%20overhead%0A%0A%20%20%20%20%20%20%20%20The%20crossover%20depends%20on%20message%20size%2C%20GPU%20count%2C%20and%20network%20parameters.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(pB_pred)%0A%20%20%20%20%20%20%20%20if%20pB_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpB_msg_exp%2C%20pB_n_gpus%5D%2C%20justify%3D%22start%22%2C%20gap%3D%222rem%22))%0A%0A%20%20%20%20%20%20%20%20_n%20%3D%20pB_n_gpus.value%0A%20%20%20%20%20%20%20%20_msg_kb%20%3D%2010%20**%20pB_msg_exp.value%0A%20%20%20%20%20%20%20%20_msg_bytes%20%3D%20_msg_kb%20*%201024%0A%0A%20%20%20%20%20%20%20%20%23%20Sweep%20message%20sizes%20for%20both%20algorithms%0A%20%20%20%20%20%20%20%20_sizes_kb%20%3D%20np.logspace(0%2C%2010%2C%20200)%20%20%23%201%20KB%20to%2010%20GB%0A%20%20%20%20%20%20%20%20_ring_ms%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20_tree_ms%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_s%20in%20_sizes_kb%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_sb%20%3D%20_s%20*%201024%0A%20%20%20%20%20%20%20%20%20%20%20%20_r%20%3D%20calc_ring_allreduce_time(_sb%2C%20_n%2C%20INFINIBAND_NDR_BW_GBS%20*%201e9%2C%20IB_NDR_LATENCY_US%20*%201e-6)%0A%20%20%20%20%20%20%20%20%20%20%20%20_t%20%3D%20calc_tree_allreduce_time(_sb%2C%20_n%2C%20INFINIBAND_NDR_BW_GBS%20*%201e9%2C%20IB_NDR_LATENCY_US%20*%201e-6)%0A%20%20%20%20%20%20%20%20%20%20%20%20_ring_ms.append(_r.m_as(ureg.millisecond))%0A%20%20%20%20%20%20%20%20%20%20%20%20_tree_ms.append(_t.m_as(ureg.millisecond))%0A%0A%20%20%20%20%20%20%20%20_ring_ms%20%3D%20np.array(_ring_ms)%0A%20%20%20%20%20%20%20%20_tree_ms%20%3D%20np.array(_tree_ms)%0A%0A%20%20%20%20%20%20%20%20%23%20Find%20crossover%0A%20%20%20%20%20%20%20%20_diff%20%3D%20_ring_ms%20-%20_tree_ms%0A%20%20%20%20%20%20%20%20_cross_idx%20%3D%20np.argmax(_diff%20%3C%200)%20%20%23%20Ring%20becomes%20faster%0A%20%20%20%20%20%20%20%20_cross_kb%20%3D%20_sizes_kb%5B_cross_idx%5D%20if%20_cross_idx%20%3E%200%20else%20_sizes_kb%5B-1%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Current%20point%0A%20%20%20%20%20%20%20%20_r_cur%20%3D%20calc_ring_allreduce_time(_msg_bytes%2C%20_n%2C%20INFINIBAND_NDR_BW_GBS%20*%201e9%2C%20IB_NDR_LATENCY_US%20*%201e-6)%0A%20%20%20%20%20%20%20%20_t_cur%20%3D%20calc_tree_allreduce_time(_msg_bytes%2C%20_n%2C%20INFINIBAND_NDR_BW_GBS%20*%201e9%2C%20IB_NDR_LATENCY_US%20*%201e-6)%0A%20%20%20%20%20%20%20%20_ring_cur_ms%20%3D%20_r_cur.m_as(ureg.millisecond)%0A%20%20%20%20%20%20%20%20_tree_cur_ms%20%3D%20_t_cur.m_as(ureg.millisecond)%0A%20%20%20%20%20%20%20%20_winner%20%3D%20%22Ring%22%20if%20_ring_cur_ms%20%3C%20_tree_cur_ms%20else%20%22Tree%22%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D_sizes_kb%2C%20y%3D_ring_ms%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Ring%20AllReduce%22%2C%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2.5)))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D_sizes_kb%2C%20y%3D_tree_ms%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Tree%20AllReduce%22%2C%20line%3Ddict(color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20width%3D2.5)))%0A%20%20%20%20%20%20%20%20_fig.add_vline(x%3D_cross_kb%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22GreenLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22Crossover%3A%20%7B_cross_kb%3A.0f%7D%20KB%22%2C%20annotation_position%3D%22top%20right%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_font_size%3D10)%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D%5B_msg_kb%5D%2C%20y%3D%5Bmin(_ring_cur_ms%2C%20_tree_cur_ms)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%20name%3Df%22Your%20msg%3A%20%7B_msg_kb%3A.0f%7D%20KB%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20size%3D14%2C%20symbol%3D%22star%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22white%22%2C%20width%3D2))))%0A%20%20%20%20%20%20%20%20_fig.update_layout(height%3D380%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Message%20Size%20(KB)%22%2C%20type%3D%22log%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Time%20(ms)%22%2C%20type%3D%22log%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ERing%20Time%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_ring_cur_ms%3A.2f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ETree%20Time%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_tree_cur_ms%3A.2f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EWinner%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_winner%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ECrossover%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3E%7B_cross_kb%3A.0f%7D%20KB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20pB_pred.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%22tree%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(%22**Correct.**%20At%201%20MB%20with%20256%20GPUs%2C%20Tree's%20O(log%20N)%20latency%20advantage%20wins.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Ring%20incurs%20510%20latency%20steps%20vs%20Tree's%2016.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Tree%20wins%20at%201%20MB%20%2F%20256%20GPUs.**%20Ring%20is%20BW-optimal%20but%20its%20O(N)%20latency%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22penalty%20is%20catastrophic%20at%20large%20GPU%20counts%20for%20small%20messages.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_msg)%2C%20kind%3D_kind))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20C%3A%20TOPOLOGY%20AND%20HIERARCHY%20EFFECTS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'GreenL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Performance%20Lead%2C%20DistributedAI%20Corp%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BOur%20flat%20Ring%20AllReduce%20across%2064%20GPUs%20mixes%20NVLink%20and%20IB%20links.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%20hierarchical%20approach%20does%20local%20reduce%20first%2C%20then%20inter-node.%20How%20much%20faster%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Hierarchical%20AllReduce%20Exploits%20the%20Bandwidth%20Cliff%0A%0A%20%20%20%20%20%20%20%20NVLink%20(%7BNVLINK_GBS%3A.0f%7D%20GB%2Fs)%20vs%20IB%20NDR%20(%7BINFINIBAND_NDR_BW_GBS%7D%20GB%2Fs)%20%3D%20%7BNVLINK_GBS%2FINFINIBAND_NDR_BW_GBS%3A.0f%7Dx%20gap.%0A%0A%20%20%20%20%20%20%20%20Hierarchical%20AllReduce%3A%20local%20reduce%20within%20NVLink%2C%20then%20global%20AllReduce%20over%20IB.%0A%20%20%20%20%20%20%20%20Reduces%20inter-node%20traffic%20by%20a%20factor%20of%20GPUs-per-node.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(pC_pred)%0A%20%20%20%20%20%20%20%20if%20pC_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpC_topo%2C%20pC_gpus_per_node%5D%2C%20justify%3D%22start%22%2C%20gap%3D%222rem%22))%0A%20%20%20%20%20%20%20%20items.append(pC_oversub)%0A%0A%20%20%20%20%20%20%20%20_gpn%20%3D%20pC_gpus_per_node.value%0A%20%20%20%20%20%20%20%20_total%20%3D%2064%0A%20%20%20%20%20%20%20%20_n_nodes%20%3D%20_total%20%2F%2F%20_gpn%0A%20%20%20%20%20%20%20%20_oversub%20%3D%20pC_oversub.value%0A%20%20%20%20%20%20%20%20_msg_bytes%20%3D%2070e9%20*%202%20%20%23%2070B%20FP16%0A%20%20%20%20%20%20%20%20_ib_bw_effective%20%3D%20INFINIBAND_NDR_BW_GBS%20%2F%20_oversub%20%20%23%20oversubscription%20effect%0A%0A%20%20%20%20%20%20%20%20%23%20Flat%20ring%0A%20%20%20%20%20%20%20%20_flat%20%3D%20calc_ring_allreduce_time(%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg_bytes%2C%20_total%2C%20INFINIBAND_NDR_BW_GBS%20*%201e9%2C%20IB_NDR_LATENCY_US%20*%201e-6%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_flat_ms%20%3D%20_flat.m_as(ureg.millisecond)%0A%0A%20%20%20%20%20%20%20%20%23%20Hierarchical%0A%20%20%20%20%20%20%20%20_hier%20%3D%20calc_hierarchical_allreduce_time(%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg_bytes%2C%20_n_nodes%2C%20_gpn%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20NVLINK_GBS%20*%201e9%20*%20ureg.byte%20%2F%20ureg.second%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_ib_bw_effective%20*%201e9%20*%20ureg.byte%20%2F%20ureg.second%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_hier_ms%20%3D%20_hier.m_as(ureg.millisecond)%0A%20%20%20%20%20%20%20%20_speedup%20%3D%20_flat_ms%20%2F%20_hier_ms%20if%20_hier_ms%20%3E%200%20else%200%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EFlat%20Ring%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%7B_flat_ms%3A%2C.0f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EHierarchical%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_hier_ms%3A%2C.0f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ESpeedup%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_speedup%3A.1f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20_oversub%20%3E%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Oversubscription%20%7B_oversub%7D%3A1**%20reduces%20effective%20inter-node%20bandwidth%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22from%20%7BINFINIBAND_NDR_BW_GBS%7D%20to%20%7B_ib_bw_effective%3A.1f%7D%20GB%2Fs%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22proportionally%20slowing%20the%20inter-node%20component.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20pC_pred.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%225%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20f%22**Correct.**%20Hierarchical%20achieves%20%7B_speedup%3A.1f%7Dx%20speedup%20by%20confining%20most%20traffic%20to%20NVLink.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20f%22**Hierarchical%20achieves%20%7B_speedup%3A.1f%7Dx%20speedup.**%20Reducing%20inter-node%20traffic%20by%20%7B_gpn%7Dx%20is%20the%20key.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_msg)%2C%20kind%3D_kind))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20D%3A%20GRADIENT%20COMPRESSION%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'RedL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20ML%20Researcher%2C%20DistributedAI%20Corp%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20applied%20INT8%20gradient%20compression.%20Per-step%20communication%20dropped%204x.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20But%20total%20training%20time%20barely%20changed.%20What%20happened%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Gradient%20Compression%3A%20When%20Does%20It%20Pay%20Off%3F%0A%0A%20%20%20%20%20%20%20%20Compression%20trades%20bandwidth%20savings%20for%20convergence%20slowdown.%0A%20%20%20%20%20%20%20%20It%20only%20helps%20when%20the%20**communication-to-computation%20ratio%20is%20high**.%0A%20%20%20%20%20%20%20%20On%20fast%20networks%2C%20the%20extra%20convergence%20steps%20nearly%20cancel%20per-step%20savings.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(pD_pred)%0A%20%20%20%20%20%20%20%20if%20pD_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpD_comp%2C%20pD_bw%5D%2C%20justify%3D%22start%22%2C%20gap%3D%222rem%22))%0A%0A%20%20%20%20%20%20%20%20_comp_ratio%20%3D%20pD_comp.value%0A%20%20%20%20%20%20%20%20_bw%20%3D%20pD_bw.value%0A%20%20%20%20%20%20%20%20_msg_gb%20%3D%2070%20*%202%20%20%23%2070B%20FP16%20baseline%20%3D%20140%20GB%0A%20%20%20%20%20%20%20%20_n%20%3D%2064%0A%0A%20%20%20%20%20%20%20%20%23%20Convergence%20penalty%0A%20%20%20%20%20%20%20%20_penalties%20%3D%20%7B1.0%3A%201.0%2C%200.5%3A%201.05%2C%200.25%3A%201.15%2C%200.01%3A%201.3%2C%200.03125%3A%201.5%7D%0A%20%20%20%20%20%20%20%20_conv_penalty%20%3D%20_penalties.get(_comp_ratio%2C%201.0)%0A%0A%20%20%20%20%20%20%20%20_compressed_gb%20%3D%20_msg_gb%20*%20_comp_ratio%0A%20%20%20%20%20%20%20%20_t_comp_ms%20%3D%205000%20%20%23%205%20seconds%20compute%20per%20step%20(approximate%20for%2070B)%0A%20%20%20%20%20%20%20%20_t_comm_ms%20%3D%20(2%20*%20(_n%20-%201)%20%2F%20_n%20*%20_compressed_gb%20%2F%20_bw)%20*%201000%0A%20%20%20%20%20%20%20%20_t_step_ms%20%3D%20_t_comp_ms%20%2B%20_t_comm_ms%0A%20%20%20%20%20%20%20%20_comm_pct%20%3D%20_t_comm_ms%20%2F%20_t_step_ms%20*%20100%0A%0A%20%20%20%20%20%20%20%20%23%20Total%20training%20time%20(relative)%0A%20%20%20%20%20%20%20%20_base_comm_ms%20%3D%20(2%20*%20(_n%20-%201)%20%2F%20_n%20*%20_msg_gb%20%2F%20_bw)%20*%201000%0A%20%20%20%20%20%20%20%20_base_step_ms%20%3D%20_t_comp_ms%20%2B%20_base_comm_ms%0A%20%20%20%20%20%20%20%20_base_total%20%3D%20_base_step_ms%20*%201000%20%20%23%201000%20steps%20baseline%0A%20%20%20%20%20%20%20%20_new_total%20%3D%20_t_step_ms%20*%201000%20*%20_conv_penalty%0A%20%20%20%20%20%20%20%20_time_ratio%20%3D%20_new_total%20%2F%20_base_total%0A%0A%20%20%20%20%20%20%20%20_net_benefit%20%3D%20_time_ratio%20%3C%201.0%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EComm%20Time%2FStep%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_t_comm_ms%3A%2C.0f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EConv.%20Penalty%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_conv_penalty%3A.2f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%20if%20_net_benefit%20else%20COLORS%5B'RedLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ENet%20Time%20Change%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%20if%20_net_benefit%20else%20COLORS%5B'RedLine'%5D%7D%3B%22%3E%7B(_time_ratio-1)*100%3A%2B.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20not%20_net_benefit%20and%20_comp_ratio%20%3C%201.0%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Compression%20hurts%20here.**%20The%20convergence%20penalty%20outweighs%20per-step%20savings.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Try%20a%20slower%20network%20(lower%20BW%20slider)%20where%20communication%20is%20the%20dominant%20term.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22danger%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20pD_pred.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%22depends%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(%22**Correct.**%20On%20fast%20networks%20(IB%20NDR)%2C%20communication%20is%20only%2030-40%25%20of%20step%20time.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20convergence%20penalty%20nearly%20cancels%20per-step%20savings.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22On%20slow%20networks%20(100GbE)%2C%20compression%20provides%20substantial%20benefit.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(%22**It%20depends%20on%20the%20network.**%20Compression%20trades%20per-step%20savings%20for%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22extra%20steps.%20On%20IB%20NDR%2C%20the%20trade-off%20is%20marginal.%20On%20slow%20networks%2C%20it%20wins.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_msg)%2C%20kind%3D_kind))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20E%3A%20COMMUNICATION%20BUDGET%20OPTIMIZATION%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_e()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%236366f1%3B%20background%3A%23f0f4ff%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%236366f1%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20CTO%2C%20DistributedAI%20Corp%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BRaw%20AllReduce%20for%20our%2070B%20model%20takes%2011%20seconds.%20Our%20training%20step%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20is%2030%20seconds.%20Communication%20is%2037%25%20of%20step%20time.%20Get%20it%20under%2020%25.%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Stack%20Optimizations%20to%20Hit%20the%2020%25%20Target%0A%0A%20%20%20%20%20%20%20%20Starting%20point%3A%2011-second%20raw%20Ring%20AllReduce%20for%2070B%20FP32%20on%2064%20GPUs.%0A%20%20%20%20%20%20%20%20Toggle%20optimizations%20one%20at%20a%20time%20and%20watch%20each%20chip%20away%20at%20the%20budget.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(pE_pred)%0A%20%20%20%20%20%20%20%20if%20pE_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpE_hier%2C%20pE_fp16%2C%20pE_bucket%2C%20pE_overlap%5D%2C%20justify%3D%22start%22%2C%20gap%3D%221rem%22))%0A%0A%20%20%20%20%20%20%20%20_base_ms%20%3D%2011000%20%20%23%2011%20seconds%20raw%20AllReduce%0A%20%20%20%20%20%20%20%20_compute_ms%20%3D%2019000%20%20%23%20~19%20seconds%20compute%0A%20%20%20%20%20%20%20%20_comm_ms%20%3D%20_base_ms%0A%0A%20%20%20%20%20%20%20%20%23%20Apply%20optimizations%0A%20%20%20%20%20%20%20%20if%20pE_hier.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_comm_ms%20*%3D%200.18%20%20%23%20~5-6x%20reduction%0A%20%20%20%20%20%20%20%20if%20pE_fp16.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_comm_ms%20*%3D%200.5%0A%20%20%20%20%20%20%20%20if%20pE_bucket.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_comm_ms%20*%3D%200.9%20%20%23%2010%25%20latency%20reduction%20from%20fusion%0A%20%20%20%20%20%20%20%20_visible_comm_ms%20%3D%20_comm_ms%0A%20%20%20%20%20%20%20%20if%20pE_overlap.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_visible_comm_ms%20%3D%20_comm_ms%20*%20(1%20-%20float(DEFAULT_OVERLAP_EFFICIENCY))%0A%0A%20%20%20%20%20%20%20%20_step_ms%20%3D%20_compute_ms%20%2B%20_visible_comm_ms%0A%20%20%20%20%20%20%20%20_comm_pct%20%3D%20_visible_comm_ms%20%2F%20_step_ms%20*%20100%20if%20_step_ms%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20_target_met%20%3D%20_comm_pct%20%3C%2020%0A%0A%20%20%20%20%20%20%20%20%23%20Progress%20chart%0A%20%20%20%20%20%20%20%20_stages%20%3D%20%5B%22Raw%22%5D%0A%20%20%20%20%20%20%20%20_times%20%3D%20%5B_base_ms%5D%0A%20%20%20%20%20%20%20%20_cur%20%3D%20_base_ms%0A%20%20%20%20%20%20%20%20if%20pE_hier.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_cur%20*%3D%200.18%0A%20%20%20%20%20%20%20%20%20%20%20%20_stages.append(%22%2BHierarchical%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_times.append(_cur)%0A%20%20%20%20%20%20%20%20if%20pE_fp16.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_cur%20*%3D%200.5%0A%20%20%20%20%20%20%20%20%20%20%20%20_stages.append(%22%2BFP16%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_times.append(_cur)%0A%20%20%20%20%20%20%20%20if%20pE_bucket.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_cur%20*%3D%200.9%0A%20%20%20%20%20%20%20%20%20%20%20%20_stages.append(%22%2BBucket%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_times.append(_cur)%0A%20%20%20%20%20%20%20%20if%20pE_overlap.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_cur%20*%3D%20(1%20-%20float(DEFAULT_OVERLAP_EFFICIENCY))%0A%20%20%20%20%20%20%20%20%20%20%20%20_stages.append(%22%2BOverlap%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_times.append(_cur)%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_bar_cols%20%3D%20%5BCOLORS%5B%22RedLine%22%5D%20if%20t%20%2F%20(_compute_ms%20%2B%20t)%20%3E%200.2%20else%20COLORS%5B%22GreenLine%22%5D%20for%20t%20in%20_times%5D%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(x%3D_stages%2C%20y%3D%5Bt%20%2F%201000%20for%20t%20in%20_times%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_bar_cols%2C%20width%3D0.5))%0A%20%20%20%20%20%20%20%20_target_time_s%20%3D%200.2%20*%20_compute_ms%20%2F%20(1%20-%200.2)%20%2F%201000%20%20%23%2020%25%20threshold%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D_target_time_s%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22GreenLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%2220%25%20target%22%2C%20annotation_font_size%3D10)%0A%20%20%20%20%20%20%20%20_fig.update_layout(height%3D300%2C%20yaxis%3Ddict(title%3D%22Communication%20(seconds)%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D30%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_tc%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_target_met%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_tc%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EComm%20%25%20of%20Step%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_tc%7D%3B%22%3E%7B_comm_pct%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3ETarget%3A%20%26lt%3B%2020%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EEffective%20Comm%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_visible_comm_ms%2F1000%3A.1f%7D%20s%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EReduction%20from%20Raw%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_base_ms%2F_visible_comm_ms%3A.0f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20_target_met%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Target%20met.**%20Communication%20is%20%7B_comm_pct%3A.1f%7D%25%20of%20step%20time.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22You%20stacked%20%7Bsum(%5BpE_hier.value%2C%20pE_fp16.value%2C%20pE_bucket.value%2C%20pE_overlap.value%5D)%7D%20optimizations.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Not%20yet.**%20Communication%20is%20still%20%7B_comm_pct%3A.1f%7D%25%20of%20step%20time.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Toggle%20more%20optimizations%20to%20reach%20the%2020%25%20target.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20pE_pred.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%223%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(%22**Correct.**%20You%20typically%20need%203-4%20optimizations%20stacked%3A%20hierarchical%20%2B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22FP16%20%2B%20overlap%20%2B%20bucket%20fusion.%20No%20single%20optimization%20is%20sufficient.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(%22**You%20need%203-4%20stacked%20optimizations.**%20Hierarchical%20gives%20~5-6x.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22FP16%20halves%20it.%20Overlap%20hides%2085%25.%20Bucket%20fusion%20reduces%20latency.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22All%20are%20required%20to%20reach%20%3C20%25.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_msg)%2C%20kind%3D_kind))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20SYNTHESIS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Key%20Takeaways%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**1.%20AllReduce%20is%20a%20bandwidth%20problem.**%20For%2070B%20FP32%20gradients%20on%2064%20GPUs%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Ring%20AllReduce%20takes%20~11%20seconds.%20The%20bandwidth%20term%20is%2099.99%25%20of%20total.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22InfiniBand%20latency%20(5%20us)%20is%20irrelevant%20at%20LLM%20scale.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**2.%20Algorithm%20choice%20depends%20on%20message%20size%20and%20GPU%20count.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Ring%20is%20bandwidth-optimal%20but%20latency-poor%20(O(N)%20steps).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Tree%20has%20logarithmic%20latency%20but%20bandwidth%20overhead.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20crossover%20formula%20determines%20which%20wins.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**3.%20No%20single%20optimization%20is%20sufficient.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Reaching%20%3C20%25%20communication%20requires%20stacking%3A%20hierarchical%20AllReduce%20(~5-6x)%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22FP16%20gradients%20(2x)%2C%20backward%20overlap%20(85%25)%2C%20and%20bucket%20fusion.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20is%20the%20Megatron-LM%20recipe.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Connections%0A%0A%20%20%20%20**Textbook%3A**%20Vol%20II%20Ch%203%20(Network%20Fabrics)%20%2B%20Ch%206%20(Collective%20Communication).%0A%0A%20%20%20%20**Next%20Lab%3A**%20V2-04%20explores%20the%20data%20pipeline%20wall%3A%20the%20storage-compute%20chasm%2C%0A%20%20%20%20shard%20contention%2C%20prefetching%20limits%2C%20and%20checkpoint%20economics.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20COMPOSE%20TABS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%20--%20The%20Network%20Time%20Budget%22%3A%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%20--%20Ring%20vs%20Tree%20Crossover%22%3A%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%20--%20Topology%20and%20Hierarchy%22%3A%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%20--%20Gradient%20Compression%22%3A%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Part%20E%20--%20Communication%20Budget%22%3A%20build_part_e()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20ledger%2C%20mo)%3A%0A%20%20%20%20_track%20%3D%20ledger._state.track%20or%20%22not%20set%22%0A%20%20%20%20ledger.save(chapter%3D3%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%22chapter%22%3A%20%22v2_03%22%2C%0A%20%20%20%20%20%20%20%20%22completed%22%3A%20True%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3EV2-03%20%26middot%3B%20Communication%20at%20Scale%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ETRACK%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22%7B'hud-active'%20if%20_track%20!%3D%20'not%20set'%20else%20'hud-none'%7D%22%3E%7B_track%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3EVOL%26nbsp%3BII%26nbsp%3BCH%26nbsp%3B3%2B6%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3ECommunication%20at%20Scale%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ESTATUS%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-active%22%3Eactive%3C%2Fspan%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A