lab 06 collective communication

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.8%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20html%20as%20html_lib%0A%20%20%20%20import%20sys%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysim-0.1.2-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysbook_labs-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_labs_dir%20%3D%20Path(__file__).resolve().parents%5B1%5D%0A%20%20%20%20%20%20%20%20if%20str(_labs_dir)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_labs_dir))%0A%20%20%20%20%20%20%20%20from%20bootstrap%20import%20native_bootstrap%0A%0A%20%20%20%20%20%20%20%20native_bootstrap(__file__)%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim%20import%20Hardware%2C%20Systems%2C%20ureg%0A%20%20%20%20from%20mlsysim.physics%20import%20(%0A%20%20%20%20%20%20%20%20calc_hierarchical_allreduce_time%2C%0A%20%20%20%20%20%20%20%20calc_ring_allreduce_time%2C%0A%20%20%20%20%20%20%20%20calc_tree_allreduce_time%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysbook_labs%20import%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%20as%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20ChapterRecap%2C%0A%20%20%20%20%20%20%20%20DesignLedger%2C%0A%20%20%20%20%20%20%20%20InstructorMetadata%2C%0A%20%20%20%20%20%20%20%20LabMetadata%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20build_lab_report%2C%0A%20%20%20%20%20%20%20%20chapter_recap%2C%0A%20%20%20%20%20%20%20%20instructor_adoption_card%2C%0A%20%20%20%20%20%20%20%20lab_header%2C%0A%20%20%20%20%20%20%20%20report_export%2C%0A%20%20%20%20%20%20%20%20scenario_brief%2C%0A%20%20%20%20)%0A%0A%20%20%20%20H100%20%3D%20Hardware.Cloud.H100%0A%20%20%20%20JETSON%20%3D%20Hardware.Edge.JetsonOrinNX%0A%20%20%20%20IB_NDR%20%3D%20Systems.Fabrics.InfiniBand_NDR%0A%20%20%20%20NVLINK%20%3D%20H100.nvlink%0A%20%20%20%20ETHERNET%20%3D%20Systems.Fabrics.Ethernet_100G%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20_%20%3D%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20ChapterRecap%2C%0A%20%20%20%20%20%20%20%20ETHERNET%2C%0A%20%20%20%20%20%20%20%20IB_NDR%2C%0A%20%20%20%20%20%20%20%20InstructorMetadata%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20LabMetadata%2C%0A%20%20%20%20%20%20%20%20NVLINK%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20build_lab_report%2C%0A%20%20%20%20%20%20%20%20calc_hierarchical_allreduce_time%2C%0A%20%20%20%20%20%20%20%20calc_ring_allreduce_time%2C%0A%20%20%20%20%20%20%20%20calc_tree_allreduce_time%2C%0A%20%20%20%20%20%20%20%20chapter_recap%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20html_lib%2C%0A%20%20%20%20%20%20%20%20instructor_adoption_card%2C%0A%20%20%20%20%20%20%20%20lab_header%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20report_export%2C%0A%20%20%20%20%20%20%20%20scenario_brief%2C%0A%20%20%20%20%20%20%20%20ureg%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(ChapterRecap%2C%20InstructorMetadata%2C%20LabMetadata)%3A%0A%20%20%20%20metadata%20%3D%20LabMetadata(%0A%20%20%20%20%20%20%20%20lab_id%3D%22v2_06_collective_communication%22%2C%0A%20%20%20%20%20%20%20%20title%3D%22Collective%20Communication%22%2C%0A%20%20%20%20%20%20%20%20volume%3D%22Volume%20II%22%2C%0A%20%20%20%20%20%20%20%20chapter%3D%22Chapter%206%22%2C%0A%20%20%20%20%20%20%20%20book_anchor%3D%22Volume%20II%2C%20Chapter%206%3A%20Collective%20Communication%22%2C%0A%20%20%20%20%20%20%20%20lab_version%3D%221.0.0%22%2C%0A%20%20%20%20%20%20%20%20updated_at%3D%222026-06-02%22%2C%0A%20%20%20%20%20%20%20%20release_channel%3D%22preview%22%2C%0A%20%20%20%20%20%20%20%20mlsysim_version%3D%220.1.2%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20recap%20%3D%20ChapterRecap(%0A%20%20%20%20%20%20%20%20emphasis%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Collective%20communication%20is%20an%20algorithmic%20systems%20layer%2C%20not%20a%20single%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22opaque%20communication%20overhead%20term.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20key_terms%3D(%22AllReduce%22%2C%20%22AllGather%22%2C%20%22ReduceScatter%22%2C%20%22alpha-beta%20model%22%2C%20%22hierarchy%22)%2C%0A%20%20%20%20%20%20%20%20ml_concept%3D%22Distributed%20training%20synchronizes%20gradients%2C%20activations%2C%20or%20expert%20tokens.%22%2C%0A%20%20%20%20%20%20%20%20systems_translation%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20ML%20operation%20becomes%20a%20topology-aware%20communication%20schedule%20whose%20cost%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22depends%20on%20message%20size%2C%20participant%20count%2C%20bandwidth%2C%20latency%2C%20and%20overlap.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20what_to_watch%3D%22Watch%20when%20the%20binding%20term%20moves%20from%20bandwidth%20to%20latency%20or%20hierarchy.%22%2C%0A%20%20%20%20%20%20%20%20common_trap%3D%22Assuming%20more%20bandwidth%20always%20fixes%20collective%20communication.%22%2C%0A%20%20%20%20%20%20%20%20suggested_reading%3D%22Volume%20II%2C%20Chapter%206%3A%20Collective%20Communication.%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20instructor%20%3D%20InstructorMetadata(%0A%20%20%20%20%20%20%20%20why_assign%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Students%20learn%20that%20communication%20algorithms%20and%20topology%20determine%20whether%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22distributed%20training%20speedups%20are%20real.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20where_it_fits%3D%22After%20Distributed%20Training%20and%20before%20Fault%20Tolerance.%22%2C%0A%20%20%20%20%20%20%20%20assignment_prompt%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Complete%20the%20Collective%20Communication%20lab%2C%20choose%20a%20communication%20strategy%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22and%20submit%20the%20downloaded%20report.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20expected_report%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Track%2C%20collective%20operation%2C%20algorithm%20choice%2C%20binding%20term%2C%20optimization%20choice%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22residual%20risk%2C%20and%20MLSysIM%20result%20snapshot.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20rubric%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Identifies%20the%20active%20alpha%20or%20beta%20term.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Compares%20ring%2C%20tree%2C%20and%20hierarchical%20collectives%20with%20evidence.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Explains%20residual%20risk%20such%20as%20topology%20mismatch%2C%20overlap%20assumption%2C%20or%20compression%20error.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20misconceptions%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22All%20communication%20is%20the%20same%20overhead.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Ring%20AllReduce%20is%20always%20best.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Compression%20is%20free%20if%20it%20reduces%20bytes.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20discussion_prompts%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22When%20does%20hierarchy%20dominate%20a%20flat%20collective%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Which%20assumption%20would%20make%20the%20selected%20strategy%20fail%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22How%20does%20this%20lab%20explain%20non-linear%20distributed%20training%20scaling%3F%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20extensions%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Add%20topology%20oversubscription.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Add%20gradient%20compression%20error.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Compare%20Ethernet%20and%20InfiniBand%20placement.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20setup_notes%3D(%22Runs%20in%20browser%2FWASM%20with%20MLSysIM%20and%20mlsysbook_labs%20wheels.%22%2C)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20instructor%2C%20metadata%2C%20recap%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20chapter_recap%2C%20lab_header%2C%20metadata%2C%20mo%2C%20recap%2C%20scenario_brief)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20lab_header(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20metadata%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Explore%20how%20collective%20algorithms%2C%20fabric%20bandwidth%2C%20latency%2C%20and%20hierarchy%20change%20distributed%20training%20decisions.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20chips%3D(%22Report-ready%22%2C%20%22Track-aware%22%2C%20%22MLSysIM-backed%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20chapter_recap(recap)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20scenario_brief(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Training%20Cluster%20Communication%20Decision%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Platform%20team%20preparing%20a%20model-parallel%20training%20run%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Choose%20a%20collective%20strategy%20that%20minimizes%20exposed%20communication%20without%20hiding%20residual%20risk.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Workload%22%3A%20%22Gradient%20synchronization%20for%20a%20large%20transformer%20training%20step%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Default%20fabric%22%3A%20%228%20GPUs%20per%20node%20with%20NVLink%2C%20nodes%20connected%20by%20InfiniBand%20NDR%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Decision%22%3A%20%22Ring%2C%20tree%2C%20hierarchical%2C%20overlap%2C%20or%20compression%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20partA_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20The%20number%20of%20GPU%20operations%22%3A%20%22ops%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20The%20bytes%20each%20participant%20must%20exchange%22%3A%20%22bytes%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20The%20optimizer%20choice%20only%22%3A%20%22optimizer%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20The%20dataset%20size%20only%22%3A%20%22dataset%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22For%20an%20AllReduce%2C%20what%20primarily%20determines%20communication%20time%20once%20the%20topology%20is%20fixed%3F%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20partB_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Ring%20is%20always%20best%22%3A%20%22ring%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Tree%20is%20always%20best%22%3A%20%22tree%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20The%20answer%20depends%20on%20message%20size%20and%20participant%20count%22%3A%20%22depends%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Algorithm%20choice%20only%20matters%20for%20Ethernet%22%3A%20%22ethernet%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20collective%20algorithm%20should%20win%20across%20all%20message%20sizes%3F%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20partC_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Hierarchy%20helps%20when%20inter-node%20bandwidth%2Flatency%20is%20the%20scarce%20resource%22%3A%20%22hierarchy%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Hierarchy%20only%20helps%20for%20one%20GPU%22%3A%20%22single%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Hierarchy%20removes%20communication%20entirely%22%3A%20%22free%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Hierarchy%20is%20unrelated%20to%20topology%22%3A%20%22unrelated%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22When%20should%20a%20hierarchical%20collective%20help%3F%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20partD_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Compression%20reduces%20bytes%20but%20may%20add%20quality%20or%20compute%20risk%22%3A%20%22risk%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Compression%20is%20always%20free%22%3A%20%22free%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Overlap%20changes%20math%20accuracy%22%3A%20%22accuracy%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Overlap%20makes%20bandwidth%20irrelevant%22%3A%20%22irrelevant%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20is%20the%20main%20systems%20risk%20when%20using%20compression%20or%20overlap%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20partA_prediction%2C%0A%20%20%20%20%20%20%20%20partB_prediction%2C%0A%20%20%20%20%20%20%20%20partC_prediction%2C%0A%20%20%20%20%20%20%20%20partD_prediction%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20n_gpus%20%3D%20mo.ui.slider(start%3D2%2C%20stop%3D1024%2C%20value%3D64%2C%20step%3D2%2C%20label%3D%22Participants%22)%0A%20%20%20%20message_gb%20%3D%20mo.ui.slider(start%3D0.1%2C%20stop%3D80.0%2C%20value%3D16.0%2C%20step%3D0.1%2C%20label%3D%22Message%20size%20per%20participant%20(GB)%22)%0A%20%20%20%20fabric%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22InfiniBand%20NDR%22%3A%20%22ib%22%2C%20%22100G%20Ethernet%22%3A%20%22eth%22%2C%20%22NVLink-only%22%3A%20%22nvlink%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22InfiniBand%20NDR%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Fabric%20to%20compare%22%2C%0A%20%20%20%20)%0A%20%20%20%20gpus_per_node%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D8%2C%20value%3D8%2C%20step%3D1%2C%20label%3D%22GPUs%20per%20node%22)%0A%20%20%20%20overlap_pct%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D80%2C%20value%3D30%2C%20step%3D5%2C%20label%3D%22Communication%20hidden%20by%20overlap%20(%25)%22)%0A%20%20%20%20compression_ratio%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D8%2C%20value%3D1%2C%20step%3D1%2C%20label%3D%22Compression%20ratio%22)%0A%20%20%20%20partA_reflection%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20label%3D%22Part%20A%20reflection%22%2C%0A%20%20%20%20%20%20%20%20placeholder%3D%22Name%20the%20binding%20term%20at%20this%20point%3A%20bytes%2C%20latency%20rounds%2C%20or%20topology.%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20partB_reflection%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20label%3D%22Part%20B%20reflection%22%2C%0A%20%20%20%20%20%20%20%20placeholder%3D%22Where%20does%20the%20preferred%20collective%20change%2C%20and%20why%3F%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20partC_reflection%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20label%3D%22Part%20C%20reflection%22%2C%0A%20%20%20%20%20%20%20%20placeholder%3D%22When%20does%20hierarchy%20help%2C%20and%20what%20topology%20assumption%20makes%20that%20true%3F%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20partD_reflection%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20label%3D%22Part%20D%20reflection%22%2C%0A%20%20%20%20%20%20%20%20placeholder%3D%22What%20residual%20risk%20remains%20after%20compression%20or%20overlap%3F%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20student_id%20%3D%20mo.ui.text(label%3D%22Student%20identifier%22%2C%20placeholder%3D%22Optional%22)%0A%20%20%20%20decision_text%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20label%3D%22Final%20communication%20decision%22%2C%0A%20%20%20%20%20%20%20%20placeholder%3D%22Choose%20a%20strategy%20and%20explain%20the%20residual%20risk.%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20compression_ratio%2C%0A%20%20%20%20%20%20%20%20decision_text%2C%0A%20%20%20%20%20%20%20%20fabric%2C%0A%20%20%20%20%20%20%20%20gpus_per_node%2C%0A%20%20%20%20%20%20%20%20message_gb%2C%0A%20%20%20%20%20%20%20%20n_gpus%2C%0A%20%20%20%20%20%20%20%20overlap_pct%2C%0A%20%20%20%20%20%20%20%20partA_reflection%2C%0A%20%20%20%20%20%20%20%20partB_reflection%2C%0A%20%20%20%20%20%20%20%20partC_reflection%2C%0A%20%20%20%20%20%20%20%20partD_reflection%2C%0A%20%20%20%20%20%20%20%20student_id%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20ETHERNET%2C%0A%20%20%20%20IB_NDR%2C%0A%20%20%20%20NVLINK%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20build_lab_report%2C%0A%20%20%20%20calc_hierarchical_allreduce_time%2C%0A%20%20%20%20calc_ring_allreduce_time%2C%0A%20%20%20%20calc_tree_allreduce_time%2C%0A%20%20%20%20compression_ratio%2C%0A%20%20%20%20decision_text%2C%0A%20%20%20%20fabric%2C%0A%20%20%20%20go%2C%0A%20%20%20%20gpus_per_node%2C%0A%20%20%20%20html_lib%2C%0A%20%20%20%20instructor%2C%0A%20%20%20%20instructor_adoption_card%2C%0A%20%20%20%20ledger%2C%0A%20%20%20%20message_gb%2C%0A%20%20%20%20metadata%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20n_gpus%2C%0A%20%20%20%20np%2C%0A%20%20%20%20overlap_pct%2C%0A%20%20%20%20partA_prediction%2C%0A%20%20%20%20partA_reflection%2C%0A%20%20%20%20partB_prediction%2C%0A%20%20%20%20partB_reflection%2C%0A%20%20%20%20partC_prediction%2C%0A%20%20%20%20partC_reflection%2C%0A%20%20%20%20partD_prediction%2C%0A%20%20%20%20partD_reflection%2C%0A%20%20%20%20recap%2C%0A%20%20%20%20report_export%2C%0A%20%20%20%20student_id%2C%0A%20%20%20%20ureg%2C%0A)%3A%0A%20%20%20%20fabric_map%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22ib%22%3A%20IB_NDR%2C%0A%20%20%20%20%20%20%20%20%22InfiniBand%20NDR%22%3A%20IB_NDR%2C%0A%20%20%20%20%20%20%20%20%22eth%22%3A%20ETHERNET%2C%0A%20%20%20%20%20%20%20%20%22100G%20Ethernet%22%3A%20ETHERNET%2C%0A%20%20%20%20%20%20%20%20%22nvlink%22%3A%20NVLINK%2C%0A%20%20%20%20%20%20%20%20%22NVLink-only%22%3A%20NVLINK%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20fabric_labels%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22ib%22%3A%20%22InfiniBand%20NDR%22%2C%0A%20%20%20%20%20%20%20%20%22InfiniBand%20NDR%22%3A%20%22InfiniBand%20NDR%22%2C%0A%20%20%20%20%20%20%20%20%22eth%22%3A%20%22100G%20Ethernet%22%2C%0A%20%20%20%20%20%20%20%20%22100G%20Ethernet%22%3A%20%22100G%20Ethernet%22%2C%0A%20%20%20%20%20%20%20%20%22nvlink%22%3A%20%22NVLink-only%22%2C%0A%20%20%20%20%20%20%20%20%22NVLink-only%22%3A%20%22NVLink-only%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20def%20_fabric_values()%3A%0A%20%20%20%20%20%20%20%20active%20%3D%20fabric_map%5Bfabric.value%5D%0A%20%20%20%20%20%20%20%20return%20active.bandwidth%2C%20active.latency%0A%0A%20%20%20%20def%20_fabric_label()%3A%0A%20%20%20%20%20%20%20%20return%20fabric_labels.get(fabric.value%2C%20str(fabric.value))%0A%0A%20%20%20%20def%20_times(gpus%3DNone%2C%20size_gb%3DNone%2C%20compression%3DNone)%3A%0A%20%20%20%20%20%20%20%20gpus%20%3D%20int(gpus%20or%20n_gpus.value)%0A%20%20%20%20%20%20%20%20size_gb%20%3D%20float(size_gb%20or%20message_gb.value)%0A%20%20%20%20%20%20%20%20compression%20%3D%20max(1%2C%20int(compression%20or%20compression_ratio.value))%0A%20%20%20%20%20%20%20%20msg%20%3D%20(size_gb%20%2F%20compression)%20*%20ureg.GB%0A%20%20%20%20%20%20%20%20bw%2C%20lat%20%3D%20_fabric_values()%0A%20%20%20%20%20%20%20%20ring%20%3D%20calc_ring_allreduce_time(msg%2C%20gpus%2C%20bw%2C%20lat).m_as(%22ms%22)%0A%20%20%20%20%20%20%20%20tree%20%3D%20calc_tree_allreduce_time(msg%2C%20gpus%2C%20bw%2C%20lat).m_as(%22ms%22)%0A%20%20%20%20%20%20%20%20nodes%20%3D%20max(1%2C%20int(np.ceil(gpus%20%2F%20max(1%2C%20int(gpus_per_node.value)))))%0A%20%20%20%20%20%20%20%20hierarchy%20%3D%20calc_hierarchical_allreduce_time(%0A%20%20%20%20%20%20%20%20%20%20%20%20msg%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20nodes%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20max(1%2C%20int(gpus_per_node.value))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20NVLINK.bandwidth%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bw%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20NVLINK.latency%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20lat%2C%0A%20%20%20%20%20%20%20%20).m_as(%22ms%22)%0A%20%20%20%20%20%20%20%20exposed%20%3D%20min(ring%2C%20tree%2C%20hierarchy)%20*%20(1%20-%20overlap_pct.value%20%2F%20100.0)%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ring_ms%22%3A%20ring%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22tree_ms%22%3A%20tree%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22hierarchical_ms%22%3A%20hierarchy%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22exposed_best_ms%22%3A%20exposed%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22message_gb_after_compression%22%3A%20size_gb%20%2F%20compression%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20def%20_bar_chart(values)%3A%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B%22Ring%22%2C%20%22Tree%22%2C%20%22Hierarchical%22%2C%20%22Exposed%20best%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20values%5B%22ring_ms%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20values%5B%22tree_ms%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20values%5B%22hierarchical_ms%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20values%5B%22exposed_best_ms%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D%5B%22%23A51C30%22%2C%20%22%231F407A%22%2C%20%22%23247A4D%22%2C%20%22%239A5B00%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig.update_layout(height%3D320%2C%20yaxis_title%3D%22Collective%20time%20(ms)%22%2C%20showlegend%3DFalse)%0A%20%20%20%20%20%20%20%20return%20apply_plotly_theme(fig)%0A%0A%20%20%20%20def%20_frontier_chart()%3A%0A%20%20%20%20%20%20%20%20sizes%20%3D%20np.geomspace(0.1%2C%2080%2C%2028)%0A%20%20%20%20%20%20%20%20ring%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20tree%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20hierarchy%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20size%20in%20sizes%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20vals%20%3D%20_times(size_gb%3Dfloat(size)%2C%20compression%3D1)%0A%20%20%20%20%20%20%20%20%20%20%20%20ring.append(vals%5B%22ring_ms%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20tree.append(vals%5B%22tree_ms%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20hierarchy.append(vals%5B%22hierarchical_ms%22%5D)%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20fig.add_trace(go.Scatter(x%3Dsizes%2C%20y%3Dring%2C%20mode%3D%22lines%22%2C%20name%3D%22Ring%22))%0A%20%20%20%20%20%20%20%20fig.add_trace(go.Scatter(x%3Dsizes%2C%20y%3Dtree%2C%20mode%3D%22lines%22%2C%20name%3D%22Tree%22))%0A%20%20%20%20%20%20%20%20fig.add_trace(go.Scatter(x%3Dsizes%2C%20y%3Dhierarchy%2C%20mode%3D%22lines%22%2C%20name%3D%22Hierarchical%22))%0A%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D330%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D%22Message%20size%20per%20participant%20(GB)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D%22Collective%20time%20(ms)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis_type%3D%22log%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20apply_plotly_theme(fig)%0A%0A%20%20%20%20def%20_current_values()%3A%0A%20%20%20%20%20%20%20%20vals%20%3D%20_times()%0A%20%20%20%20%20%20%20%20best%20%3D%20min((%22Ring%22%2C%20vals%5B%22ring_ms%22%5D)%2C%20(%22Tree%22%2C%20vals%5B%22tree_ms%22%5D)%2C%20(%22Hierarchical%22%2C%20vals%5B%22hierarchical_ms%22%5D)%2C%20key%3Dlambda%20x%3A%20x%5B1%5D)%0A%20%20%20%20%20%20%20%20vals%5B%22best_algorithm%22%5D%20%3D%20best%5B0%5D%0A%20%20%20%20%20%20%20%20vals%5B%22best_ms%22%5D%20%3D%20best%5B1%5D%0A%20%20%20%20%20%20%20%20vals%5B%22failure_state%22%5D%20%3D%20%22SLA%20violation%22%20if%20vals%5B%22exposed_best_ms%22%5D%20%3E%201000%20else%20%22feasible%22%0A%20%20%20%20%20%20%20%20return%20vals%0A%0A%20%20%20%20def%20_reading_guide(title%2C%20steps%2C%20interpretation)%3A%0A%20%20%20%20%20%20%20%20def%20_inline_markup(text)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20parts%20%3D%20html_lib.escape(text).split(%22**%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22%22.join(f%22%3Cstrong%3E%7Bpart%7D%3C%2Fstrong%3E%22%20if%20idx%20%25%202%20else%20part%20for%20idx%2C%20part%20in%20enumerate(parts))%0A%0A%20%20%20%20%20%20%20%20step_items%20%3D%20%22%22.join(f%22%3Cli%3E%7B_inline_markup(step)%7D%3C%2Fli%3E%22%20for%20step%20in%20steps)%0A%20%20%20%20%20%20%20%20return%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22mlsysbook-callout%22%3E%0A%20%20%20%20%20%20%3Cstrong%3E%7Bhtml_lib.escape(title)%7D%3C%2Fstrong%3E%0A%20%20%20%20%20%20%3Col%20style%3D%22margin%3A%208px%200%208px%2020px%3B%20padding%3A%200%3B%20line-height%3A%201.55%3B%22%3E%0A%20%20%20%20%7Bstep_items%7D%0A%20%20%20%20%20%20%3C%2Fol%3E%0A%20%20%20%20%20%20%3Cdiv%3E%3Cstrong%3EHow%20to%20read%20the%20result%3A%3C%2Fstrong%3E%20%7B_inline_markup(interpretation)%7D%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20vals%20%3D%20_current_values()%0A%20%20%20%20%20%20%20%20if%20partA_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Part%20A%20-%20Collective%20Operation%20Anatomy%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20part%20starts%20from%20a%20concrete%20training-step%20baseline%3A%20**64%20participants**%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**16%20GB**%20per%20participant%2C%20and%20**InfiniBand%20NDR**.%20First%20predict%20what%20controls%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20communication%20time%2C%20then%20the%20controls%20and%20bar%20chart%20will%20unlock.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20partA_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Select%20a%20prediction%20to%20unlock%20the%20collective%20communication%20instruments.%22)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Part%20A%20-%20Collective%20Operation%20Anatomy%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20partA_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22You%20predicted%20**%7BpartA_prediction.value%7D**.%20The%20actual%20binding%20quantity%20is%20usually%20bytes%20moved%20through%20the%20fabric%2C%20plus%20latency%20rounds.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%20if%20partA_prediction.value%20%3D%3D%20%22bytes%22%20else%20%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22AllReduce%20is%20a%20data%20movement%20operation%3A%20every%20participant%20contributes%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22a%20tensor%20and%20receives%20the%20reduced%20result.%20The%20active%20systems%20question%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22how%20many%20bytes%20move%20over%20which%20fabric%2C%20and%20how%20many%20latency%20rounds%20are%20required.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_reading_guide(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Start%20with%20one%20concrete%20communication%20point%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Use%20the%20default%20**64%20participants**%2C%20**16%20GB**%20per%20participant%2C%20and%20**InfiniBand%20NDR**%20as%20the%20baseline%20training%20step.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Change%20only%20the%20fabric%20dropdown%20first.%20That%20isolates%20the%20interconnect%20decision.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Then%20double%20or%20halve%20the%20message%20size.%20That%20shows%20when%20bytes%20dominate%20the%20answer.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22each%20bar%20is%20MLSysIM's%20modeled%20collective%20time%20in%20milliseconds.%20The%20shortest%20bar%20is%20the%20fastest%20schedule%20for%20the%20current%20point%3B%20the%20gap%20between%20bars%20is%20the%20penalty%20for%20choosing%20the%20wrong%20schedule.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Math%20Peek%3A%20Ring%20AllReduce%20Alpha-Beta%20Model%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Ring%20AllReduce%20time%20is%20%602%20*%20(N%20-%201)%20%2F%20N%20*%20M%20%2F%20bandwidth%20%2B%202%20*%20(N%20-%201)%20*%20latency%60.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20lab%20uses%20MLSysIM's%20%60calc_ring_allreduce_time%60%2C%20%60calc_tree_allreduce_time%60%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22and%20%60calc_hierarchical_allreduce_time%60%20functions.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bn_gpus%2C%20message_gb%2C%20fabric%5D%2C%20justify%3D%22start%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.as_html(_bar_chart(vals))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22At%20**%7Bn_gpus.value%7D%20participants**%2C%20**%7Bmessage_gb.value%3A.1f%7D%20GB**%2C%20and%20**%7B_fabric_label()%7D**%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22the%20current%20best%20is%20**%7Bvals%5B'best_algorithm'%5D%7D**%20at%20**%7Bvals%5B'best_ms'%5D%3A.1f%7D%20ms**%20before%20overlap.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Failure%20state%3A%20**%7Bvals%5B'failure_state'%5D%7D**.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Reflection%20checkpoint%3A**%20Explain%20whether%20this%20point%20is%20bandwidth-bound%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22latency-bound%2C%20or%20topology-bound%2C%20and%20name%20the%20evidence%20you%20used.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20partA_reflection%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20if%20partB_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Part%20B%20-%20Algorithm%20And%20Topology%20Frontier%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20part%20asks%20whether%20one%20collective%20algorithm%20dominates%2C%20or%20whether%20the%20right%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22algorithm%20changes%20as%20message%20size%2C%20participant%20count%2C%20and%20topology%20change.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20partB_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Select%20a%20prediction%20before%20comparing%20collective%20algorithms.%22)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Part%20B%20-%20Algorithm%20And%20Topology%20Frontier%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20partB_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Ring%2C%20tree%2C%20and%20hierarchical%20collectives%20expose%20different%20alpha-beta%20trade-offs.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Ring%20often%20uses%20bandwidth%20efficiently%20for%20large%20messages%3B%20tree%20can%20help%20when%20latency%20rounds%20dominate%3B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22hierarchy%20exploits%20fast%20intra-node%20links%20before%20paying%20inter-node%20cost.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_reading_guide(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Read%20the%20frontier%20as%20a%20decision%20boundary%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Keep%20participant%20count%20fixed%20and%20choose%20the%20fabric%20you%20want%20to%20study.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Scan%20left%20to%20right%20across%20message%20sizes%20instead%20of%20focusing%20on%20one%20point.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Look%20for%20curve%20crossings.%20A%20crossing%20means%20the%20preferred%20algorithm%20changes.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20x-axis%20is%20message%20size%20on%20a%20log%20scale%2C%20and%20the%20y-axis%20is%20modeled%20collective%20time.%20Lower%20curves%20are%20better%3B%20a%20flat-looking%20region%20usually%20means%20latency%20rounds%20are%20more%20visible%20than%20bandwidth.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bn_gpus%2C%20fabric%2C%20gpus_per_node%5D%2C%20justify%3D%22start%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.as_html(_frontier_chart())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Reflection%20checkpoint%3A**%20Pick%20one%20crossover%20or%20non-crossover%20and%20explain%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20system%20reason.%20Do%20not%20just%20name%20the%20winning%20line.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20partB_reflection%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20vals%20%3D%20_current_values()%0A%20%20%20%20%20%20%20%20if%20partC_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Part%20C%20-%20Hierarchy%20As%20A%20Systems%20Decision%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20part%20treats%20a%20cluster%20as%20two%20networks%3A%20fast%20links%20inside%20a%20node%20and%20slower%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22links%20across%20nodes.%20The%20question%20is%20whether%20hierarchy%20matches%20the%20hardware.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20partC_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Select%20a%20prediction%20before%20inspecting%20the%20hierarchy%20result.%22)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20hierarchy_gain%20%3D%20vals%5B%22ring_ms%22%5D%20%2F%20vals%5B%22hierarchical_ms%22%5D%20if%20vals%5B%22hierarchical_ms%22%5D%20else%200%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Part%20C%20-%20Hierarchy%20As%20A%20Systems%20Decision%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20partC_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_reading_guide(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Separate%20intra-node%20and%20inter-node%20communication%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Start%20at%20**8%20GPUs%20per%20node**%20so%20hierarchy%20can%20use%20fast%20NVLink%20within%20each%20node.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Reduce%20GPUs%20per%20node%20toward%201%20and%20watch%20hierarchy%20lose%20structure.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Switch%20the%20fabric%20dropdown%20to%20see%20how%20much%20the%20inter-node%20link%20controls%20the%20result.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22hierarchical%20collectives%20are%20useful%20when%20the%20system%20has%20two%20communication%20regimes.%20If%20the%20fast%20local%20link%20is%20not%20actually%20available%2C%20the%20hierarchy%20assumption%20is%20weak.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bn_gpus%2C%20gpus_per_node%2C%20fabric%5D%2C%20justify%3D%22start%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22With%20**%7Bgpus_per_node.value%7D%20GPUs%20per%20node**%2C%20hierarchy%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bhierarchy_gain%3A.2f%7Dx**%20faster%20than%20flat%20ring%20for%20this%20scenario.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%20if%20hierarchy_gain%20%3E%201%20else%20%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.as_html(_bar_chart(vals))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Reflection%20checkpoint%3A**%20State%20the%20hardware%20assumption%20that%20makes%20hierarchy%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22a%20good%20or%20bad%20decision%20here.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20partC_reflection%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20vals%20%3D%20_current_values()%0A%20%20%20%20%20%20%20%20if%20partD_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Part%20D%20-%20Overlap%2C%20Compression%2C%20And%20Residual%20Risk%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20part%20separates%20reducing%20exposed%20time%20from%20eliminating%20risk.%20Compression%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22shrinks%20bytes%3B%20overlap%20hides%20time%3B%20both%20require%20validation.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20partD_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Select%20a%20prediction%20before%20using%20overlap%20and%20compression%20controls.%22)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Part%20D%20-%20Overlap%2C%20Compression%2C%20And%20Residual%20Risk%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20partD_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_reading_guide(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Treat%20optimization%20knobs%20as%20claims%20that%20need%20evidence%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Move%20compression%20first.%20That%20changes%20the%20modeled%20bytes%20but%20introduces%20possible%20accuracy%20or%20convergence%20risk.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Move%20overlap%20second.%20That%20hides%20communication%20only%20if%20the%20schedule%20has%20useful%20work%20to%20run%20at%20the%20same%20time.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Compare%20the%20exposed%20best%20bar%20against%20the%20raw%20collective%20bars.%20That%20separates%20real%20communication%20cost%20from%20hidden%20cost.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22compression%20and%20overlap%20can%20improve%20the%20exposed%20time%20without%20removing%20the%20systems%20risk.%20A%20release%20decision%20must%20say%20which%20assumption%20you%20still%20need%20to%20validate.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Boverlap_pct%2C%20compression_ratio%5D%2C%20justify%3D%22start%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Compression%20reduces%20the%20modeled%20message%20to%20**%7Bvals%5B'message_gb_after_compression'%5D%3A.2f%7D%20GB**%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22and%20overlap%20hides%20**%7Boverlap_pct.value%7D%25**%20of%20the%20best%20collective.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20residual%20risk%20is%20that%20overlap%20may%20not%20be%20schedulable%20and%20compression%20may%20harm%20convergence.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%20if%20compression_ratio.value%20%3E%201%20or%20overlap_pct.value%20%3E%2050%20else%20%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.as_html(_bar_chart(vals))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Reflection%20checkpoint%3A**%20Write%20the%20risk%20you%20would%20put%20in%20a%20design%20review%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22before%20shipping%20this%20optimization.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20partD_reflection%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20vals%20%3D%20_current_values()%0A%20%20%20%20%20%20%20%20decision%20%3D%20decision_text.value%20or%20f%22Use%20%7Bvals%5B'best_algorithm'%5D%7D%20and%20validate%20overlap%20on%20the%20real%20topology.%22%0A%20%20%20%20%20%20%20%20result_snapshot%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22participants%22%3A%20n_gpus.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22message_gb%22%3A%20message_gb.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22fabric%22%3A%20fabric.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22fabric_label%22%3A%20_fabric_label()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22gpus_per_node%22%3A%20gpus_per_node.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22overlap_pct%22%3A%20overlap_pct.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22compression_ratio%22%3A%20compression_ratio.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20**vals%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20ledger.save(%0A%20%20%20%20%20%20%20%20%20%20%20%20chapter%3D6%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20design%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22lab_id%22%3A%20metadata.lab_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22decision%22%3A%20decision%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22binding_constraint%22%3A%20%22communication%20latency%2Fbandwidth%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22result_snapshot%22%3A%20result_snapshot%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20report%20%3D%20build_lab_report(%0A%20%20%20%20%20%20%20%20%20%20%20%20metadata%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20student_id%3Dstudent_id.value%20or%20%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3D%22cloud%2Ffleet%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20scenario%3D%22collective%20communication%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20recap%3Drecap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20predictions%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22operation_anatomy%22%3A%20partA_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22algorithm_frontier%22%3A%20partB_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22hierarchy%22%3A%20partC_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22overlap_compression%22%3A%20partD_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20knob_settings%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22participants%22%3A%20n_gpus.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22message_gb%22%3A%20message_gb.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fabric%22%3A%20_fabric_label()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gpus_per_node%22%3A%20gpus_per_node.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22overlap_pct%22%3A%20overlap_pct.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22compression_ratio%22%3A%20compression_ratio.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20binding_constraints%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22best_algorithm%22%3A%20vals%5B%22best_algorithm%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22best_ms%22%3A%20round(vals%5B%22best_ms%22%5D%2C%203)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22failure_state%22%3A%20vals%5B%22failure_state%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20decisions%3D%7B%22communication_strategy%22%3A%20decision%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20reflections%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22part_a_operation_anatomy%22%3A%20partA_reflection.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20or%20%22The%20fastest%20collective%20depends%20on%20message%20size%2C%20participant%20count%2C%20fabric%2C%20and%20hierarchy.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22part_b_algorithm_frontier%22%3A%20partB_reflection.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22part_c_hierarchy%22%3A%20partC_reflection.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22part_d_overlap_compression%22%3A%20partD_reflection.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20residual_risk%3D%22Topology%20mismatch%2C%20unschedulable%20overlap%2C%20or%20compression-induced%20convergence%20loss.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result_snapshot%3Dresult_snapshot%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Synthesis%20-%20Communication%20Design%20Review%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20student_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20decision_text%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Recommended%20strategy%3A%20**%7Bvals%5B'best_algorithm'%5D%7D**.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Submit%20the%20report%20after%20writing%20a%20short%20decision%20rationale.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20report_export(report)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20instructor_adoption_card(instructor)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Part%20A%20-%20Operation%20Anatomy%22%3A%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Part%20B%20-%20Algorithm%20Frontier%22%3A%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Part%20C%20-%20Hierarchy%22%3A%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Part%20D%20-%20Overlap%20And%20Compression%22%3A%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20build_synthesis()%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(metadata%2C%20mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%20style%3D%22display%3Aflex%3B%20gap%3A18px%3B%20align-items%3Acenter%3B%20padding%3A12px%2018px%3B%20border%3A1px%20solid%20%23D9DEE8%3B%20border-radius%3A8px%3B%20background%3A%23F6F8FB%3B%20margin-top%3A20px%3B%22%3E%0A%20%20%20%20%20%20%3Cspan%3E%3Cstrong%3ELEDGER%3C%2Fstrong%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%3Cspan%3E%7Bmetadata.lab_id%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%3Cspan%3ELab%20v%7Bmetadata.lab_version%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%3Cspan%3EReport%20schema%20%7Bmetadata.report_schema_version%7D%3C%2Fspan%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A