Lab 06: Scaling Without Illusions

Lab 06: Scaling Without Illusions · MLSysBook

import%20marimo%0A%0A__generated_with%20%3D%20%220.25.2%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22full%22%2C%0A%20%20%20%20app_title%3D%22Lab%2006%3A%20Scaling%20Without%20Illusions%20%C2%B7%20MLSysBook%22%2C%0A)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysim-0.1.2-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysbook_labs-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20labs_dir%20%3D%20Path(__file__).resolve().parents%5B1%5D%0A%20%20%20%20%20%20%20%20if%20str(labs_dir)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(labs_dir))%0A%20%20%20%20%20%20%20%20from%20bootstrap%20import%20native_bootstrap%0A%20%20%20%20%20%20%20%20native_bootstrap(__file__)%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim%20import%20Models%2C%20Systems%0A%20%20%20%20from%20mlsysim.labs.experiments.v2_05_experiments%20import%20(%0A%20%20%20%20%20%20%20%20compare_straggler_policy%2C%0A%20%20%20%20%20%20%20%20get_capacity_dimensions%2C%0A%20%20%20%20%20%20%20%20get_parallel_layout_specs%2C%0A%20%20%20%20%20%20%20%20get_pipeline_dimensions%2C%0A%20%20%20%20%20%20%20%20get_quality_fixtures%2C%0A%20%20%20%20%20%20%20%20get_track_scenario%2C%0A%20%20%20%20%20%20%20%20memory_plan_record%2C%0A%20%20%20%20%20%20%20%20parallel_layout%2C%0A%20%20%20%20%20%20%20%20parallel_layout_record%2C%0A%20%20%20%20%20%20%20%20pipeline_schedule%2C%0A%20%20%20%20%20%20%20%20pipeline_schedule_record%2C%0A%20%20%20%20%20%20%20%20quality_policy_record%2C%0A%20%20%20%20%20%20%20%20scaling_point_record%2C%0A%20%20%20%20%20%20%20%20scaling_sweep%2C%0A%20%20%20%20%20%20%20%20training_memory_plan%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20from%20mlsysbook_labs%20import%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%0A%20%20%20%20%20%20%20%20build_lab_report%2C%0A%20%20%20%20%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20%20%20%20%20report_export_panel%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysbook_labs.experiment_evidence%20import%20audit_evidence%2C%20capture_evidence%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger(volume%3D%22vol2%22)%0A%20%20%20%20if%20ledger.is_wasm%3A%0A%20%20%20%20%20%20%20%20_loaded%20%3D%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20Models%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20audit_evidence%2C%0A%20%20%20%20%20%20%20%20build_lab_report%2C%0A%20%20%20%20%20%20%20%20capture_evidence%2C%0A%20%20%20%20%20%20%20%20compare_straggler_policy%2C%0A%20%20%20%20%20%20%20%20get_capacity_dimensions%2C%0A%20%20%20%20%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20%20%20%20%20get_parallel_layout_specs%2C%0A%20%20%20%20%20%20%20%20get_pipeline_dimensions%2C%0A%20%20%20%20%20%20%20%20get_quality_fixtures%2C%0A%20%20%20%20%20%20%20%20get_track_scenario%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20memory_plan_record%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20parallel_layout%2C%0A%20%20%20%20%20%20%20%20parallel_layout_record%2C%0A%20%20%20%20%20%20%20%20pipeline_schedule%2C%0A%20%20%20%20%20%20%20%20pipeline_schedule_record%2C%0A%20%20%20%20%20%20%20%20quality_policy_record%2C%0A%20%20%20%20%20%20%20%20report_export_panel%2C%0A%20%20%20%20%20%20%20%20scaling_point_record%2C%0A%20%20%20%20%20%20%20%20scaling_sweep%2C%0A%20%20%20%20%20%20%20%20training_memory_plan%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20get_evidence%2C%20set_evidence%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20return%20get_evidence%2C%20set_evidence%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20set_evidence)%3A%0A%20%20%20%20track%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22TinyML%22%3A%20%22tinyml%22%2C%20%22Mobile%22%3A%20%22mobile%22%2C%20%22Edge%22%3A%20%22edge%22%2C%20%22Cloud%22%3A%20%22cloud%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22TinyML%22%2C%20label%3D%22Training%20context%22%2C%0A%20%20%20%20%20%20%20%20on_change%3Dlambda%20_value%3A%20set_evidence(%7B%7D)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(track%2C)%0A%0A%0A%40app.cell%0Adef%20_(get_track_scenario%2C%20track)%3A%0A%20%20%20%20track_id%20%3D%20track.value%0A%20%20%20%20scenario%20%3D%20get_track_scenario(track_id)%0A%20%20%20%20return%20scenario%2C%20track_id%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20scenario%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20_worker_options%20%3D%20%7Bf%22%7Bcount%7D%20workers%22%3A%20count%20for%20count%20in%20scenario.worker_counts%5B1%3A%5D%7D%0A%20%20%20%20a_mode%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22Fixed%20global%20batch%22%3A%20%22strong%22%2C%20%22Fixed%20local%20batch%22%3A%20%22weak%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Fixed%20global%20batch%22%2C%20label%3D%22Scaling%20experiment%22%2C%0A%20%20%20%20)%0A%20%20%20%20a_workers%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20_worker_options%2C%20value%3Dnext(iter(_worker_options))%2C%20label%3D%22Larger%20worker%20pool%22%2C%0A%20%20%20%20)%0A%20%20%20%20a_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Below%20half%20of%20ideal%22%3A%20%22below-half%22%2C%20%22Half%20to%20three%20quarters%22%3A%20%22middle%22%2C%20%22Above%20three%20quarters%22%3A%20%22above-three-quarters%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20close%20will%20the%20larger%20pool%20come%20to%20ideal%20scaling%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20A%20prediction%22)%0A%20%20%20%20b_zero_stage%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22ZeRO-1%22%3A%201%2C%20%22ZeRO-2%22%3A%202%2C%20%22ZeRO-3%22%3A%203%7D%2C%20value%3D%22ZeRO-1%22%2C%20label%3D%22State-sharding%20stage%22%2C%0A%20%20%20%20)%0A%20%20%20%20b_checkpointing%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22Selective%20recomputation%22%3A%20%22selective%22%2C%20%22Full%20recomputation%22%3A%20%22full%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Full%20recomputation%22%2C%20label%3D%22Activation%20policy%22%2C%0A%20%20%20%20)%0A%20%20%20%20b_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Still%20out%20of%20memory%22%3A%20%22oom%22%2C%20%22Fits%3B%20optimizer%20state%20falls%20most%22%3A%20%22optimizer%22%2C%20%22Fits%3B%20weights%20fall%20most%22%3A%20%22weights%22%2C%20%22Fits%3B%20activations%20fall%20most%22%3A%20%22activations%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20will%20the%20selected%20intervention%20change%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20B%20prediction%22)%0A%20%20%20%20b_decision%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Carry%20the%20sharded%20plan%22%3A%20%22shard%22%2C%20%22No%20feasible%20plan%22%3A%20%22none%22%7D%2C%20label%3D%22Capacity%20decision%22%2C%0A%20%20%20%20)%0A%20%20%20%20c_alternative%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22TP%3D16%20across%20nodes%22%3A%20%22cross%22%2C%20%22TP%3D8%20with%20two%20pipeline%20stages%22%3A%20%22pipeline%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22TP%3D16%20across%20nodes%22%2C%20label%3D%22Alternative%20layout%22%2C%0A%20%20%20%20)%0A%20%20%20%20c_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Within-node%20TP%20is%20fastest%22%3A%20%22within%22%2C%20%22Cross-node%20TP%20is%20fastest%22%3A%20%22cross%22%2C%20%22Pipeline%20layout%20is%20fastest%22%3A%20%22pipeline%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20equal-device%20layout%20will%20have%20the%20shortest%20step%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20C%20prediction%22)%0A%20%20%20%20c_decision%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Keep%20TP%20within%20each%20node%22%3A%20%22within%22%2C%20%22Use%20selected%20alternative%22%3A%20%22alternative%22%7D%2C%20label%3D%22Placement%20decision%22%2C%0A%20%20%20%20)%0A%20%20%20%20d_microbatches%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%224%20microbatches%22%3A%204%2C%20%228%20microbatches%22%3A%208%2C%20%2216%20microbatches%22%3A%2016%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%228%20microbatches%22%2C%20label%3D%22Pipeline%20microbatch%20count%22%2C%0A%20%20%20%20)%0A%20%20%20%20d_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Bubble%20falls%20and%20memory%20fits%22%3A%20%22faster-fits%22%2C%20%22Bubble%20falls%20but%20activations%20exceed%20HBM%22%3A%20%22faster-oom%22%2C%20%22Bubble%20and%20memory%20both%20fall%22%3A%20%22both-fall%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20happens%20with%20more%20fixed-size%20microbatches%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20D%20prediction%22)%0A%20%20%20%20d_decision%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Keep%202%20microbatches%22%3A%20%22baseline%22%2C%20%22Use%20selected%20count%22%3A%20%22selected%22%7D%2C%20label%3D%22Pipeline%20decision%22%2C%0A%20%20%20%20)%0A%20%20%20%20e_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Strict%20synchronization%22%3A%20%22strict%22%2C%20%22Drop%20slow%20workers%22%3A%20%22drop%22%2C%20%22They%20tie%22%3A%20%22tie%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20policy%20reaches%20the%20same%20target%20first%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20E%20prediction%22)%0A%20%20%20%20e_decision%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Strict%20synchronization%22%3A%20%22strict%22%2C%20%22Drop%20slow%20workers%22%3A%20%22drop%22%7D%2C%20label%3D%22Straggler%20policy%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_mode%2C%0A%20%20%20%20%20%20%20%20a_prediction%2C%0A%20%20%20%20%20%20%20%20a_workers%2C%0A%20%20%20%20%20%20%20%20b_checkpointing%2C%0A%20%20%20%20%20%20%20%20b_decision%2C%0A%20%20%20%20%20%20%20%20b_prediction%2C%0A%20%20%20%20%20%20%20%20b_zero_stage%2C%0A%20%20%20%20%20%20%20%20c_alternative%2C%0A%20%20%20%20%20%20%20%20c_decision%2C%0A%20%20%20%20%20%20%20%20c_prediction%2C%0A%20%20%20%20%20%20%20%20d_decision%2C%0A%20%20%20%20%20%20%20%20d_microbatches%2C%0A%20%20%20%20%20%20%20%20d_prediction%2C%0A%20%20%20%20%20%20%20%20e_decision%2C%0A%20%20%20%20%20%20%20%20e_prediction%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20scenario%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20_choice_options%20%3D%20(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Data%20parallel%20only%20(sufficient%20for%20compact%20workload)%22%3A%20%22data-parallel%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Fit-first%3A%20shard%2C%20local%20TP%2C%20bounded%20pipeline%20(model-parallel)%22%3A%20%22fit-first%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Step-first%3A%20cross%20nodes%2C%20deep%20pipeline%2C%20drop%20stragglers%22%3A%20%22step-first%22%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20if%20not%20scenario.model_parallel_applicable%0A%20%20%20%20%20%20%20%20else%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Fit-first%3A%20shard%2C%20local%20TP%2C%20bounded%20pipeline%22%3A%20%22fit-first%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Step-first%3A%20cross%20nodes%2C%20deep%20pipeline%2C%20drop%20stragglers%22%3A%20%22step-first%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Data%20parallel%20only%20(unsupported%20for%208B%20model)%22%3A%20%22data-parallel%22%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20_rejected_options%20%3D%20(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Fit-first%20model-parallel%20plan%22%3A%20%22fit-first%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Step-first%20model-parallel%20plan%22%3A%20%22step-first%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Data-parallel-only%20plan%22%3A%20%22data-parallel%22%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20if%20not%20scenario.model_parallel_applicable%0A%20%20%20%20%20%20%20%20else%20%7B%22Data-parallel-only%20plan%20(fails%20to%20fit)%22%3A%20%22data-parallel%22%2C%20%22Fit-first%20plan%22%3A%20%22fit-first%22%2C%20%22Step-first%20plan%22%3A%20%22step-first%22%7D%0A%20%20%20%20)%0A%20%20%20%20final_choice%20%3D%20mo.ui.radio(_choice_options%2C%20label%3D%22Recommended%20training%20plan%22)%0A%20%20%20%20final_rejected%20%3D%20mo.ui.radio(_rejected_options%2C%20label%3D%22Rejected%20alternative%22)%0A%20%20%20%20final_trigger%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Memory%20exceeds%20HBM%22%3A%20%22memory%22%2C%20%22Inter-node%20communication%20exceeds%20local%20compute%22%3A%20%22communication%22%2C%20%22Time%20to%20target%20exceeds%20strict%20synchronization%22%3A%20%22quality-time%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Reevaluation%20trigger%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_risk%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Illustrative%20convergence%20may%20not%20transfer%22%3A%20%22convergence%22%2C%20%22Analytical%20links%20omit%20runtime%20contention%22%3A%20%22contention%22%2C%20%22Capacity%20case%20differs%20from%20track%20model%22%3A%20%22transfer%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Remaining%20limitation%22%2C%0A%20%20%20%20)%0A%20%20%20%20rationale%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20label%3D%22Quantified%20rationale%22%2C%0A%20%20%20%20%20%20%20%20placeholder%3D%22Cite%20a%20saved%20result%2C%20quantify%20the%20rejected%20alternative%2C%20and%20state%20when%20you%20would%20reevaluate.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20final_choice%2C%20final_rejected%2C%20final_risk%2C%20final_trigger%2C%20rationale%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20Models%2C%0A%20%20%20%20a_mode%2C%0A%20%20%20%20a_workers%2C%0A%20%20%20%20b_checkpointing%2C%0A%20%20%20%20b_zero_stage%2C%0A%20%20%20%20c_alternative%2C%0A%20%20%20%20compare_straggler_policy%2C%0A%20%20%20%20d_microbatches%2C%0A%20%20%20%20get_capacity_dimensions%2C%0A%20%20%20%20get_parallel_layout_specs%2C%0A%20%20%20%20get_pipeline_dimensions%2C%0A%20%20%20%20get_quality_fixtures%2C%0A%20%20%20%20memory_plan_record%2C%0A%20%20%20%20parallel_layout%2C%0A%20%20%20%20parallel_layout_record%2C%0A%20%20%20%20pipeline_schedule%2C%0A%20%20%20%20pipeline_schedule_record%2C%0A%20%20%20%20quality_policy_record%2C%0A%20%20%20%20scaling_point_record%2C%0A%20%20%20%20scaling_sweep%2C%0A%20%20%20%20scenario%2C%0A%20%20%20%20track_id%2C%0A%20%20%20%20training_memory_plan%2C%0A)%3A%0A%20%20%20%20base_workers%20%3D%20scenario.worker_counts%5B0%5D%0A%20%20%20%20selected_workers%20%3D%20int(a_workers.value)%0A%20%20%20%20strong_points%20%3D%20scaling_sweep(%0A%20%20%20%20%20%20%20%20scenario%2C%20(base_workers%2C%20selected_workers)%2C%20mode%3D%22strong%22%2C%0A%20%20%20%20%20%20%20%20global_batch%3Dscenario.global_batch%2C%20local_batch%3Dscenario.local_batch%2C%0A%20%20%20%20)%0A%20%20%20%20weak_points%20%3D%20scaling_sweep(%0A%20%20%20%20%20%20%20%20scenario%2C%20(base_workers%2C%20selected_workers)%2C%20mode%3D%22weak%22%2C%0A%20%20%20%20%20%20%20%20global_batch%3Dscenario.global_batch%2C%20local_batch%3Dscenario.local_batch%2C%0A%20%20%20%20)%0A%20%20%20%20a_points%20%3D%20strong_points%20if%20a_mode.value%20%3D%3D%20%22strong%22%20else%20weak_points%0A%20%20%20%20a_args%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22scenario%22%3A%20track_id%2C%20%22worker_counts%22%3A%20%5Bbase_workers%2C%20selected_workers%5D%2C%0A%20%20%20%20%20%20%20%20%22mode%22%3A%20a_mode.value%2C%20%22global_batch%22%3A%20scenario.global_batch%2C%0A%20%20%20%20%20%20%20%20%22local_batch%22%3A%20scenario.local_batch%2C%20%22precision%22%3A%20%22fp16%22%2C%20%22efficiency%22%3A%200.5%2C%0A%20%20%20%20%7D%0A%20%20%20%20a_base_record%20%3D%20scaling_point_record(a_points%5B0%5D%2C%20inputs%3D%7B**a_args%2C%20%22selected_workers%22%3A%20base_workers%7D)%0A%20%20%20%20a_result_record%20%3D%20scaling_point_record(a_points%5B1%5D%2C%20inputs%3D%7B**a_args%2C%20%22selected_workers%22%3A%20selected_workers%7D)%0A%0A%20%20%20%20capacity_model%20%3D%20Models.Language.Llama3_70B%0A%20%20%20%20capacity_fleet%20%3D%20scenario.fleet%0A%20%20%20%20b_dims%20%3D%20get_capacity_dimensions(capacity_fleet)%0A%20%20%20%20b_common%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22model%22%3A%20capacity_model.name%2C%20%22fleet%22%3A%20capacity_fleet.name%2C%0A%20%20%20%20%20%20%20%20%22seq_len%22%3A%201024%2C%20%22microbatch_count%22%3A%208%2C%20%22gradient_accumulation_steps%22%3A%201%2C%0A%20%20%20%20%20%20%20%20%22precision%22%3A%20%22fp16%22%2C%20%22activation_checkpointing%22%3A%20b_checkpointing.value%2C%0A%20%20%20%20%20%20%20%20**b_dims%2C%0A%20%20%20%20%7D%0A%20%20%20%20b_base_args%20%3D%20%7B**b_common%2C%20%22zero_stage%22%3A%200%7D%0A%20%20%20%20b_result_args%20%3D%20%7B**b_common%2C%20%22zero_stage%22%3A%20int(b_zero_stage.value)%7D%0A%20%20%20%20b_base_plan%20%3D%20training_memory_plan(%0A%20%20%20%20%20%20%20%20capacity_model%2C%20capacity_fleet%2C%20seq_len%3D1024%2C%0A%20%20%20%20%20%20%20%20zero_stage%3D0%2C%20microbatch_count%3D8%2C%20precision%3D%22fp16%22%2C%0A%20%20%20%20%20%20%20%20activation_checkpointing%3Db_checkpointing.value%2C%0A%20%20%20%20%20%20%20%20**b_dims%2C%0A%20%20%20%20)%0A%20%20%20%20b_result_plan%20%3D%20training_memory_plan(%0A%20%20%20%20%20%20%20%20capacity_model%2C%20capacity_fleet%2C%20seq_len%3D1024%2C%0A%20%20%20%20%20%20%20%20zero_stage%3Dint(b_zero_stage.value)%2C%20microbatch_count%3D8%2C%20precision%3D%22fp16%22%2C%0A%20%20%20%20%20%20%20%20activation_checkpointing%3Db_checkpointing.value%2C%0A%20%20%20%20%20%20%20%20**b_dims%2C%0A%20%20%20%20)%0A%20%20%20%20b_base_record%20%3D%20memory_plan_record(b_base_plan%2C%20inputs%3Db_base_args)%0A%20%20%20%20b_result_record%20%3D%20memory_plan_record(b_result_plan%2C%20inputs%3Db_result_args)%0A%0A%20%20%20%20layout_model%20%3D%20Models.Language.Llama3_8B%0A%20%20%20%20layout_fleet%20%3D%20scenario.fleet%0A%20%20%20%20c_specs%20%3D%20get_parallel_layout_specs(layout_fleet)%0A%20%20%20%20c_common%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22model%22%3A%20layout_model.name%2C%20%22fleet%22%3A%20layout_fleet.name%2C%0A%20%20%20%20%20%20%20%20%22global_batch%22%3A%20256%2C%20%22seq_len%22%3A%201024%2C%20%22microbatch_count%22%3A%208%2C%0A%20%20%20%20%20%20%20%20%22zero_stage%22%3A%203%2C%20%22precision%22%3A%20%22fp16%22%2C%20%22efficiency%22%3A%200.5%2C%0A%20%20%20%20%20%20%20%20%22activation_checkpointing%22%3A%20%22selective%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20c_layouts%20%3D%20%7B%7D%0A%20%20%20%20c_records%20%3D%20%7B%7D%0A%20%20%20%20for%20_key%2C%20_spec%20in%20c_specs.items()%3A%0A%20%20%20%20%20%20%20%20_layout%20%3D%20parallel_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20layout_model%2C%20layout_fleet%2C%20global_batch%3D256%2C%20seq_len%3D1024%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20microbatch_count%3D8%2C%20zero_stage%3D3%2C%20precision%3D%22fp16%22%2C%20efficiency%3D0.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20activation_checkpointing%3D%22selective%22%2C%20**_spec%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20c_layouts%5B_key%5D%20%3D%20_layout%0A%20%20%20%20%20%20%20%20c_records%5B_key%5D%20%3D%20parallel_layout_record(_layout%2C%20inputs%3D%7B**c_common%2C%20**_spec%7D)%0A%20%20%20%20c_selected_key%20%3D%20c_alternative.value%0A%0A%20%20%20%20pipeline_model%20%3D%20Models.Language.Llama3_8B%0A%20%20%20%20pipeline_fleet%20%3D%20scenario.fleet%0A%20%20%20%20d_dims%20%3D%20get_pipeline_dimensions(pipeline_fleet)%0A%20%20%20%20d_common%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22model%22%3A%20pipeline_model.name%2C%20%22fleet%22%3A%20pipeline_fleet.name%2C%0A%20%20%20%20%20%20%20%20%22microbatch_size%22%3A%204%2C%20%22seq_len%22%3A%202048%2C%20%22zero_stage%22%3A%200%2C%0A%20%20%20%20%20%20%20%20%22precision%22%3A%20%22fp16%22%2C%20%22activation_checkpointing%22%3A%20%22none%22%2C%20**d_dims%2C%0A%20%20%20%20%7D%0A%20%20%20%20d_base_args%20%3D%20%7B**d_common%2C%20%22microbatch_count%22%3A%202%7D%0A%20%20%20%20d_result_args%20%3D%20%7B**d_common%2C%20%22microbatch_count%22%3A%20int(d_microbatches.value)%7D%0A%20%20%20%20d_base_schedule%20%3D%20pipeline_schedule(%0A%20%20%20%20%20%20%20%20pipeline_model%2C%20pipeline_fleet%2C%20microbatch_size%3D4%2C%20seq_len%3D2048%2C%0A%20%20%20%20%20%20%20%20microbatch_count%3D2%2C%20zero_stage%3D0%2C%20precision%3D%22fp16%22%2C%20activation_checkpointing%3D%22none%22%2C%0A%20%20%20%20%20%20%20%20**d_dims%2C%0A%20%20%20%20)%0A%20%20%20%20d_result_schedule%20%3D%20pipeline_schedule(%0A%20%20%20%20%20%20%20%20pipeline_model%2C%20pipeline_fleet%2C%20microbatch_size%3D4%2C%20seq_len%3D2048%2C%0A%20%20%20%20%20%20%20%20microbatch_count%3Dint(d_microbatches.value)%2C%20zero_stage%3D0%2C%20precision%3D%22fp16%22%2C%20activation_checkpointing%3D%22none%22%2C%0A%20%20%20%20%20%20%20%20**d_dims%2C%0A%20%20%20%20)%0A%20%20%20%20d_base_record%20%3D%20pipeline_schedule_record(d_base_schedule%2C%20inputs%3Dd_base_args)%0A%20%20%20%20d_result_record%20%3D%20pipeline_schedule_record(d_result_schedule%2C%20inputs%3Dd_result_args)%0A%0A%20%20%20%20convergence_fixture%2C%20straggler_fixture%20%3D%20get_quality_fixtures(track_id)%0A%20%20%20%20quality_comparison%20%3D%20compare_straggler_policy(%0A%20%20%20%20%20%20%20%20step_time%3Da_points%5B1%5D.step_time%2C%20global_batch%3Da_points%5B1%5D.global_batch%2C%0A%20%20%20%20%20%20%20%20fixture%3Dconvergence_fixture%2C%20policy%3Dstraggler_fixture%2C%0A%20%20%20%20)%0A%20%20%20%20_fixture_record%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22name%22%3A%20convergence_fixture.name%2C%0A%20%20%20%20%20%20%20%20%22minimum_steps%22%3A%20convergence_fixture.minimum_steps%2C%0A%20%20%20%20%20%20%20%20%22critical_batch%22%3A%20convergence_fixture.critical_batch%2C%0A%20%20%20%20%7D%0A%20%20%20%20e_base_args%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22name%22%3A%20quality_comparison.baseline.name%2C%0A%20%20%20%20%20%20%20%20%22step_time%22%3A%20%7B%22value%22%3A%20float(a_points%5B1%5D.step_time.to(%22ms%22).magnitude)%2C%20%22unit%22%3A%20%22ms%22%7D%2C%0A%20%20%20%20%20%20%20%20%22global_batch%22%3A%20a_points%5B1%5D.global_batch%2C%20%22fixture%22%3A%20_fixture_record%2C%0A%20%20%20%20%20%20%20%20%22work_multiplier%22%3A%201.0%2C%0A%20%20%20%20%7D%0A%20%20%20%20e_result_args%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22name%22%3A%20quality_comparison.intervention.name%2C%0A%20%20%20%20%20%20%20%20%22step_time%22%3A%20%7B%22value%22%3A%20float(quality_comparison.intervention.step_time.to(%22ms%22).magnitude)%2C%20%22unit%22%3A%20%22ms%22%7D%2C%0A%20%20%20%20%20%20%20%20%22global_batch%22%3A%20a_points%5B1%5D.global_batch%2C%20%22fixture%22%3A%20_fixture_record%2C%0A%20%20%20%20%20%20%20%20%22work_multiplier%22%3A%20straggler_fixture.work_multiplier%2C%0A%20%20%20%20%7D%0A%20%20%20%20e_base_record%20%3D%20quality_policy_record(quality_comparison.baseline%2C%20inputs%3De_base_args)%0A%20%20%20%20e_result_record%20%3D%20quality_policy_record(quality_comparison.intervention%2C%20inputs%3De_result_args)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_base_record%2C%0A%20%20%20%20%20%20%20%20a_result_record%2C%0A%20%20%20%20%20%20%20%20b_base_record%2C%0A%20%20%20%20%20%20%20%20b_result_record%2C%0A%20%20%20%20%20%20%20%20c_records%2C%0A%20%20%20%20%20%20%20%20c_selected_key%2C%0A%20%20%20%20%20%20%20%20convergence_fixture%2C%0A%20%20%20%20%20%20%20%20d_base_record%2C%0A%20%20%20%20%20%20%20%20d_result_record%2C%0A%20%20%20%20%20%20%20%20e_base_record%2C%0A%20%20%20%20%20%20%20%20e_result_record%2C%0A%20%20%20%20%20%20%20%20straggler_fixture%2C%0A%20%20%20%20%20%20%20%20strong_points%2C%0A%20%20%20%20%20%20%20%20weak_points%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20a_base_record%2C%0A%20%20%20%20a_mode%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_result_record%2C%0A%20%20%20%20a_workers%2C%0A%20%20%20%20b_base_record%2C%0A%20%20%20%20b_checkpointing%2C%0A%20%20%20%20b_decision%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_result_record%2C%0A%20%20%20%20b_zero_stage%2C%0A%20%20%20%20c_alternative%2C%0A%20%20%20%20c_decision%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_records%2C%0A%20%20%20%20c_selected_key%2C%0A%20%20%20%20capture_evidence%2C%0A%20%20%20%20d_base_record%2C%0A%20%20%20%20d_decision%2C%0A%20%20%20%20d_microbatches%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_result_record%2C%0A%20%20%20%20e_base_record%2C%0A%20%20%20%20e_decision%2C%0A%20%20%20%20e_prediction%2C%0A%20%20%20%20e_result_record%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20scenario%2C%0A%20%20%20%20set_evidence%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20def%20store(part%2C%20capture)%3A%0A%20%20%20%20%20%20%20%20set_evidence(lambda%20current%3A%20%7B**current%2C%20part%3A%20capture%7D)%0A%0A%20%20%20%20a_upstream%20%3D%20%7B%22scenario%22%3A%20track_id%7D%0A%20%20%20%20b_upstream%20%3D%20%7B%22scenario%22%3A%20track_id%2C%20%22fleet%22%3A%20scenario.fleet.name%2C%20%22checkpointing%22%3A%20b_checkpointing.value%7D%0A%20%20%20%20c_upstream%20%3D%20%7B%22scenario%22%3A%20track_id%2C%20%22fleet%22%3A%20scenario.fleet.name%7D%0A%20%20%20%20d_upstream%20%3D%20%7B%22scenario%22%3A%20track_id%2C%20%22fleet%22%3A%20scenario.fleet.name%7D%0A%20%20%20%20e_upstream%20%3D%20%7B%22scenario%22%3A%20track_id%2C%20%22scaling_mode%22%3A%20a_mode.value%2C%20%22workers%22%3A%20int(a_workers.value)%7D%0A%0A%20%20%20%20a_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20scaling%20contrast%22%2C%20kind%3D%22success%22%2C%20disabled%3Da_prediction.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22A%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22A%22%2C%20prediction%3Da_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22mode%22%3A%20a_mode.value%2C%20%22workers%22%3A%20int(a_workers.value)%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Da_base_record%2C%20result%3Da_result_record%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Da_upstream%2C%20decision%3Da_mode.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v2_05_experiments.scaling_sweep%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20b_keep%20%3D%20b_decision.value%20%3D%3D%20%22none%22%0A%20%20%20%20b_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20capacity%20contrast%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Db_prediction.value%20is%20None%20or%20b_decision.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22B%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22B%22%2C%20prediction%3Db_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22zero_stage%22%3A%20int(b_zero_stage.value)%2C%20%22decision%22%3A%20b_decision.value%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Db_base_record%2C%20result%3Db_result_record%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20chosen_result%3Db_base_record%20if%20b_keep%20else%20b_result_record%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result_role%3D%22rejected%20alternative%22%20if%20b_keep%20else%20%22chosen%20intervention%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Db_upstream%2C%20alternatives%3D(b_base_record%2C%20b_result_record)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20decision%3Db_decision.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v2_05_experiments.training_memory_plan%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20c_keep%20%3D%20c_decision.value%20%3D%3D%20%22within%22%0A%20%20%20%20c_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20placement%20contrast%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dc_prediction.value%20is%20None%20or%20c_decision.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22C%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22C%22%2C%20prediction%3Dc_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22alternative%22%3A%20c_alternative.value%2C%20%22decision%22%3A%20c_decision.value%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Dc_records%5B%22within%22%5D%2C%20result%3Dc_records%5Bc_selected_key%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20chosen_result%3Dc_records%5B%22within%22%5D%20if%20c_keep%20else%20c_records%5Bc_selected_key%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result_role%3D%22rejected%20alternative%22%20if%20c_keep%20else%20%22chosen%20intervention%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Dc_upstream%2C%20alternatives%3Dtuple(c_records.values())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20decision%3Dc_decision.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v2_05_experiments.parallel_layout%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20d_keep%20%3D%20d_decision.value%20%3D%3D%20%22baseline%22%0A%20%20%20%20d_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20pipeline%20contrast%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dd_prediction.value%20is%20None%20or%20d_decision.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22D%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22D%22%2C%20prediction%3Dd_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22microbatch_count%22%3A%20int(d_microbatches.value)%2C%20%22decision%22%3A%20d_decision.value%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Dd_base_record%2C%20result%3Dd_result_record%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20chosen_result%3Dd_base_record%20if%20d_keep%20else%20d_result_record%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result_role%3D%22rejected%20alternative%22%20if%20d_keep%20else%20%22chosen%20intervention%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Dd_upstream%2C%20alternatives%3D(d_base_record%2C%20d_result_record)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20decision%3Dd_decision.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v2_05_experiments.pipeline_schedule%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20e_keep%20%3D%20e_decision.value%20%3D%3D%20%22strict%22%0A%20%20%20%20e_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20quality-time%20contrast%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3De_prediction.value%20is%20None%20or%20e_decision.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22E%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22E%22%2C%20prediction%3De_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22policy%22%3A%20e_decision.value%7D%2C%20baseline%3De_base_record%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result%3De_result_record%2C%20chosen_result%3De_base_record%20if%20e_keep%20else%20e_result_record%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result_role%3D%22rejected%20alternative%22%20if%20e_keep%20else%20%22chosen%20intervention%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3De_upstream%2C%20alternatives%3D(e_base_record%2C%20e_result_record)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20decision%3De_decision.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v2_05_experiments.compare_straggler_policy%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_capture%2C%0A%20%20%20%20%20%20%20%20a_upstream%2C%0A%20%20%20%20%20%20%20%20b_capture%2C%0A%20%20%20%20%20%20%20%20b_upstream%2C%0A%20%20%20%20%20%20%20%20c_capture%2C%0A%20%20%20%20%20%20%20%20c_upstream%2C%0A%20%20%20%20%20%20%20%20d_capture%2C%0A%20%20%20%20%20%20%20%20d_upstream%2C%0A%20%20%20%20%20%20%20%20e_capture%2C%0A%20%20%20%20%20%20%20%20e_upstream%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(ACADEMIC_LAB_CSS%2C%20LAB_CSS%2C%20mo%2C%20scenario%2C%20track)%3A%0A%20%20%20%20css%20%3D%20mo.Html(%22%22%22%0A%20%20%20%20%3Cstyle%3E%0A%20%20%20%20.pilot-head%7Bbackground%3Alinear-gradient(135deg%2C%23101827%2C%2317486e)%3Bcolor%3Awhite%3Bborder-radius%3A14px%3Bpadding%3Aclamp(18px%2C4vw%2C32px)%3Bmargin%3A8px%200%2014px%7D%0A%20%20%20%20.pilot-top%7Bdisplay%3Aflex%3Bjustify-content%3Aspace-between%3Bgap%3A8px%3Bflex-wrap%3Awrap%3Bfont%3A700%20.72rem%20ui-monospace%3Bletter-spacing%3A.08em%7D%0A%20%20%20%20.pilot-head%20h1%7Bfont-size%3Aclamp(1.65rem%2C5vw%2C2.6rem)%3Bline-height%3A1.05%3Bmargin%3A14px%200%208px%7D.pilot-head%20p%7Bcolor%3A%23dbeafe%3Bmax-width%3A800px%3Bline-height%3A1.5%7D%0A%20%20%20%20.pilot-meta%7Bdisplay%3Agrid%3Bgrid-template-columns%3Arepeat(auto-fit%2Cminmax(165px%2C1fr))%3Bgap%3A9px%3Bmargin-top%3A16px%7D.pilot-meta%20div%7Bbackground%3A%23ffffff14%3Bborder%3A1px%20solid%20%23ffffff26%3Bpadding%3A9px%2011px%3Bborder-radius%3A8px%7D%0A%20%20%20%20.pilot-note%7Bcolor%3A%23475569%3Bfont-size%3A.9rem%3Bline-height%3A1.55%3Bmargin%3A2px%202px%2012px%7D.saved%7Bborder-left%3A4px%20solid%20%232ca02c%3Bbackground%3A%23f0fdf4%3Bpadding%3A9px%2012px%3Bborder-radius%3A7px%7D%0A%20%20%20%20.lab-hud%7Bdisplay%3Aflex%3Balign-items%3Acenter%3Bflex-wrap%3Awrap%3Bgap%3A10px%3Bbackground%3A%23101827!important%3Bcolor%3A%23fff%3Bpadding%3A14px%2018px%3Bborder-radius%3A9px%7D%0A%20%20%20%20%40media(max-width%3A520px)%7B.pilot-head%7Bborder-radius%3A9px%3Bmargin-top%3A30px%7D.pilot-meta%7Bgrid-template-columns%3A1fr%7D%7D%0A%20%20%20%20%3C%2Fstyle%3E%22%22%22)%0A%20%20%20%20header%20%3D%20mo.Html(f%22%22%22%3Csection%20class%3D%22pilot-head%22%3E%3Cdiv%20class%3D%22pilot-top%22%3E%3Cspan%3EVOLUME%20II%20%C2%B7%20LAB%2006%3C%2Fspan%3E%3Cspan%3EABOUT%2050%E2%80%9355%20MIN%3C%2Fspan%3E%3C%2Fdiv%3E%3Ch1%3EScaling%20Without%20Illusions%3C%2Fh1%3E%3Cp%3EWhen%20do%20more%20accelerators%20stop%20buying%20useful%20progress%2C%20and%20which%20parallel%20plan%20survives%20memory%2C%20network%2C%20pipeline%2C%20and%20convergence%20costs%3F%3C%2Fp%3E%3Cdiv%20class%3D%22pilot-meta%22%3E%3Cdiv%3E%3Cb%3EDeployment%20fleet%3C%2Fb%3E%3Cbr%3E%7Bscenario.deployment_target.title()%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3ETraining%20cluster%3C%2Fb%3E%3Cbr%3E%7Bscenario.fleet.name%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EOutput%3C%2Fb%3E%3Cbr%3EAuditable%20training%20recommendation%3C%2Fdiv%3E%3C%2Fdiv%3E%3C%2Fsection%3E%22%22%22)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%20ACADEMIC_LAB_CSS%2C%20css%2C%20track%2C%20header%2C%0A%20%20%20%20%20%20%20%20mo.Html(f'%3Cp%20class%3D%22pilot-note%22%3E%3Cb%3ETrack%20workload%3A%3C%2Fb%3E%20%7Bscenario.model.name%7D.%20%7Bscenario.applicability_note%7D%20Parts%20B%E2%80%93D%20evaluate%20sharding%2C%20placement%2C%20and%20pipeline%20mechanisms%20on%20the%20upstream%20training%20cluster%20(%7Bscenario.fleet.name%7D)%3B%20model%20parallelism%20is%20an%20unsupported%20path%20on%20compact%20deployment%20devices.%3C%2Fp%3E')%2C%0A%20%20%20%20%5D%2C%20gap%3D0.5).style(%7B%22padding-top%22%3A%20%2232px%22%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.sidebar(%5Bmo.md(%22%23%23%20Lab%20navigation%22)%2C%20mo.outline(label%3D%22Sections%22)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20a_base_record%2C%0A%20%20%20%20a_capture%2C%0A%20%20%20%20a_mode%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_result_record%2C%0A%20%20%20%20a_upstream%2C%0A%20%20%20%20a_workers%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20audit_evidence%2C%0A%20%20%20%20b_base_record%2C%0A%20%20%20%20b_capture%2C%0A%20%20%20%20b_checkpointing%2C%0A%20%20%20%20b_decision%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_result_record%2C%0A%20%20%20%20b_upstream%2C%0A%20%20%20%20b_zero_stage%2C%0A%20%20%20%20c_alternative%2C%0A%20%20%20%20c_capture%2C%0A%20%20%20%20c_decision%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_records%2C%0A%20%20%20%20c_selected_key%2C%0A%20%20%20%20c_upstream%2C%0A%20%20%20%20convergence_fixture%2C%0A%20%20%20%20d_base_record%2C%0A%20%20%20%20d_capture%2C%0A%20%20%20%20d_decision%2C%0A%20%20%20%20d_microbatches%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_result_record%2C%0A%20%20%20%20d_upstream%2C%0A%20%20%20%20e_base_record%2C%0A%20%20%20%20e_capture%2C%0A%20%20%20%20e_decision%2C%0A%20%20%20%20e_prediction%2C%0A%20%20%20%20e_result_record%2C%0A%20%20%20%20e_upstream%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20go%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20scenario%2C%0A%20%20%20%20straggler_fixture%2C%0A%20%20%20%20strong_points%2C%0A%20%20%20%20track_id%2C%0A%20%20%20%20weak_points%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_upstream%20%3D%20%7B%22A%22%3A%20a_upstream%2C%20%22B%22%3A%20b_upstream%2C%20%22C%22%3A%20c_upstream%2C%20%22D%22%3A%20d_upstream%2C%20%22E%22%3A%20e_upstream%7D%0A%20%20%20%20audit%20%3D%20audit_evidence(%0A%20%20%20%20%20%20%20%20_captures%2C%20track%3Dtrack_id%2C%20required_parts%3Dtuple(%22ABCDE%22)%2C%0A%20%20%20%20%20%20%20%20per_part_upstream_inputs%3D_upstream%2C%20contrast_required_parts%3Dtuple(%22ABCDE%22)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20def%20q(record%2C%20key)%3A%0A%20%20%20%20%20%20%20%20return%20record%5Bkey%5D%5B%22value%22%5D%0A%0A%20%20%20%20def%20table(rows)%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bmo.ui.table(rows%2C%20pagination%3DFalse)%5D).style(%7B%22max-width%22%3A%20%22100%25%22%2C%20%22overflow-x%22%3A%20%22auto%22%7D)%0A%0A%20%20%20%20def%20saved(part)%3A%0A%20%20%20%20%20%20%20%20capture%20%3D%20_captures.get(part)%0A%20%20%20%20%20%20%20%20if%20capture%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22No%20saved%20evidence%20for%20this%20part.%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20%20%20%20%20if%20part%20in%20audit.stale%20or%20(part%2C%20part)%20in%20audit.identical_pairs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22**STALE%20OR%20NON-CONTRASTING%20EVIDENCE.**%20Recapture%20after%20changing%20upstream%20choices.%22)%2C%20kind%3D%22danger%22)%0A%20%20%20%20%20%20%20%20snapshot%20%3D%20capture.to_dict()%0A%20%20%20%20%20%20%20%20return%20mo.Html(f'%3Cdiv%20class%3D%22saved%22%3E%3Cb%3ESaved%20snapshot%3C%2Fb%3E%20%C2%B7%20original%20prediction%3A%20%7Bsnapshot%5B%22prediction%22%5D%7D%3Cbr%3E%3Csmall%3EThe%20report%20keeps%20this%20result%20even%20if%20live%20controls%20move.%3C%2Fsmall%3E%3C%2Fdiv%3E')%0A%0A%20%20%20%20def%20part_a()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(f%22%23%23%23%20A%20%C2%B7%20When%20do%20more%20workers%20stop%20helping%3F%20(9%20min)%5CnThe%20**%7Bscenario.model.name%7D**%20upstream%20job%20starts%20with%20**%7Bscenario.worker_counts%5B0%5D%7D%20accelerators**.%20Choose%20fixed%20global%20work%20or%20fixed%20work%20per%20worker%2C%20then%20predict%20the%20larger%20pool%E2%80%99s%20efficiency.%22)%0A%20%20%20%20%20%20%20%20if%20a_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20mo.hstack(%5Ba_mode%2C%20a_workers%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20a_prediction%5D)%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20for%20_name%2C%20_points%2C%20_color%20in%20((%22Strong%22%2C%20strong_points%2C%20COLORS%5B%22BlueLine%22%5D)%2C%20(%22Weak%22%2C%20weak_points%2C%20COLORS%5B%22OrangeLine%22%5D))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_scatter(x%3D%5Bpoint.workers%20for%20point%20in%20_points%5D%2C%20y%3D%5Bpoint.parallel_efficiency%20for%20point%20in%20_points%5D%2C%20mode%3D%22lines%2Bmarkers%22%2C%20name%3D_name%2C%20line%3Ddict(color%3D_color))%0A%20%20%20%20%20%20%20%20fig.update_layout(height%3D280%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D25%2C%20b%3D20)%2C%20xaxis_title%3D%22Active%20accelerators%22%2C%20yaxis_title%3D%22Parallel%20efficiency%20(fraction)%22)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Run%22%3A%20%22Baseline%22%2C%20%22Workers%22%3A%20a_base_record%5B%22workers%22%5D%2C%20%22Global%20batch%22%3A%20a_base_record%5B%22global_batch%22%5D%2C%20%22Local%20batch%22%3A%20a_base_record%5B%22local_batch%22%5D%2C%20%22Step%22%3A%20f'%7Bq(a_base_record%2C%20%22step_time%22)%3A.2f%7D%20ms'%2C%20%22Communication%22%3A%20f'%7Bq(a_base_record%2C%20%22communication_time%22)%3A.2f%7D%20ms'%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Run%22%3A%20%22Selected%22%2C%20%22Workers%22%3A%20a_result_record%5B%22workers%22%5D%2C%20%22Global%20batch%22%3A%20a_result_record%5B%22global_batch%22%5D%2C%20%22Local%20batch%22%3A%20a_result_record%5B%22local_batch%22%5D%2C%20%22Step%22%3A%20f'%7Bq(a_result_record%2C%20%22step_time%22)%3A.2f%7D%20ms'%2C%20%22Communication%22%3A%20f'%7Bq(a_result_record%2C%20%22communication_time%22)%3A.2f%7D%20ms'%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20mo.hstack(%5Ba_mode%2C%20a_workers%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20a_prediction%2C%20apply_plotly_theme(fig)%2C%20table(rows)%2C%20mo.callout(mo.md(f'**Your%20prediction%3A**%20%7Ba_prediction.value%7D.%20**Analytical%20result%3A**%20%7Ba_result_record%5B%22speedup%22%5D%3A.2f%7D%C3%97%20useful-throughput%20speedup%20at%20%7Ba_result_record%5B%22parallel_efficiency%22%5D%3A.2f%7D%20parallel%20efficiency.%20Communication%20is%20**%7Bq(a_result_record%2C%20%22communication_time%22)%3A.2f%7D%20ms**.')%2C%20kind%3D%22info%22)%2C%20a_capture%2C%20saved(%22A%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22Strong%20scaling%20holds%20global%20batch%20fixed%3B%20weak%20scaling%20holds%20local%20batch%20fixed.%20Step%20time%20combines%20local%20training%20with%20gradient%20synchronization%20over%20the%20registered%20fleet%20fabric.%20These%20are%20analytical%20estimates%2C%20not%20measurements.%22)%7D)%5D)%0A%0A%20%20%20%20def%20part_b()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(f%22%23%23%23%20B%20%C2%B7%20What%20does%20making%20the%20model%20fit%20cost%3F%20(10%20min)%5Cn**Backend%20capacity%20case%3A**%20Llama%203%2070B%20on%20%7Bscenario.fleet.total_accelerators%7D%20accelerators%20(%7Bscenario.fleet.name%7D).%20Compare%20replicated%20state%20with%20one%20ZeRO%20stage%20and%20activation%20policy.%20State%20sharding%20is%20an%20unsupported%20path%20on%20compact%20deployment%20devices.%22)%0A%20%20%20%20%20%20%20%20if%20b_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20mo.hstack(%5Bb_zero_stage%2C%20b_checkpointing%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20b_prediction%5D)%0A%20%20%20%20%20%20%20%20components%20%3D%20(%22weights%22%2C%20%22gradients%22%2C%20%22optimizer_state%22%2C%20%22activations%22%2C%20%22communication_buffers%22)%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20for%20_key%2C%20_color%20in%20zip(components%2C%20(COLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22OrangeLine%22%5D%2C%20COLORS%5B%22GreenLine%22%5D%2C%20COLORS%5B%22TextMuted%22%5D%2C%20COLORS%5B%22RedLine%22%5D))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_bar(name%3D_key.replace(%22_%22%2C%20%22%20%22).title()%2C%20x%3D%5B%22Replicated%22%2C%20f%22ZeRO-%7Bb_zero_stage.value%7D%22%5D%2C%20y%3D%5Bq(b_base_record%2C%20_key)%2C%20q(b_result_record%2C%20_key)%5D%2C%20marker_color%3D_color)%0A%20%20%20%20%20%20%20%20fig.update_layout(barmode%3D%22stack%22%2C%20height%3D300%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D25%2C%20b%3D20)%2C%20yaxis_title%3D%22Per-accelerator%20memory%20(GB)%22%2C%20legend_orientation%3D%22h%22)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Plan%22%3A%20%22Replicated%22%2C%20%22Required%22%3A%20f'%7Bq(b_base_record%2C%20%22total%22)%3A.1f%7D%20GB'%2C%20%22Available%22%3A%20f'%7Bq(b_base_record%2C%20%22available%22)%3A.1f%7D%20GB'%2C%20%22Outcome%22%3A%20%22FIT%22%20if%20b_base_record%5B%22feasible%22%5D%20else%20%22OOM%20%C2%B7%20exceeds%20HBM%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Plan%22%3A%20f%22ZeRO-%7Bb_zero_stage.value%7D%22%2C%20%22Required%22%3A%20f'%7Bq(b_result_record%2C%20%22total%22)%3A.1f%7D%20GB'%2C%20%22Available%22%3A%20f'%7Bq(b_result_record%2C%20%22available%22)%3A.1f%7D%20GB'%2C%20%22Outcome%22%3A%20%22FIT%22%20if%20b_result_record%5B%22feasible%22%5D%20else%20%22OOM%20%C2%B7%20exceeds%20HBM%22%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20mo.hstack(%5Bb_zero_stage%2C%20b_checkpointing%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20b_prediction%2C%20apply_plotly_theme(fig)%2C%20table(rows)%2C%20b_decision%2C%20mo.callout(mo.md(f'**Your%20prediction%3A**%20%7Bb_prediction.value%7D.%20**Analytical%20result%3A**%20replicated%20state%20needs%20**%7Bq(b_base_record%2C%20%22total%22)%3A.1f%7D%20GB**%20per%20accelerator%3B%20the%20selected%20plan%20needs%20**%7Bq(b_result_record%2C%20%22total%22)%3A.1f%7D%20GB**%20and%20**%7B%22fits%22%20if%20b_result_record%5B%22feasible%22%5D%20else%20%22still%20fails%22%7D**.')%2C%20kind%3D%22success%22%20if%20b_result_record%5B%22feasible%22%5D%20else%20%22danger%22)%2C%20b_capture%2C%20saved(%22B%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22Total%20memory%20is%20weights%20%2B%20gradients%20%2B%20optimizer%20state%20%2B%20retained%20activations%20%2B%20communication%20buffers.%20ZeRO%20stages%20cumulatively%20shard%20optimizer%20state%2C%20gradients%2C%20then%20weights.%20Recomputation%20reduces%20stored%20activations%20but%20adds%20compute%20outside%20this%20capacity%20comparison.%22)%7D)%5D)%0A%0A%20%20%20%20def%20part_c()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(f%22%23%23%23%20C%20%C2%B7%20Where%20should%20each%20parallel%20dimension%20run%3F%20(10%20min)%5Cn**Backend%20placement%20case%3A**%20Llama%203%208B%20on%20%7Bscenario.fleet.total_accelerators%7D%20accelerators%20(%7Bscenario.fleet.name%7D).%20The%20baseline%20keeps%20TP%3D8%20inside%20each%20node.%20Test%20cross-node%20TP%20or%20a%20two-stage%20pipeline.%20Model%20parallelism%20is%20an%20unsupported%20path%20on%20compact%20deployment%20devices.%22)%0A%20%20%20%20%20%20%20%20if%20c_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20c_alternative%2C%20c_prediction%5D)%0A%20%20%20%20%20%20%20%20def%20layout_label(_key)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20rec%20%3D%20c_records%5B_key%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20f'TP%7Brec%5B%22tp_size%22%5D%7D%20%C2%B7%20PP%7Brec%5B%22pp_size%22%5D%7D%20%C2%B7%20DP%7Brec%5B%22dp_size%22%5D%7D'%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_key%20in%20(%22within%22%2C%20%22cross%22%2C%20%22pipeline%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_record%20%3D%20c_records%5B_key%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B%22Layout%22%3A%20layout_label(_key)%2C%20%22TP%20tier%22%3A%20_record%5B%22tensor_parallel_tier%22%5D%2C%20%22DP%20comm%22%3A%20f'%7Bq(_record%2C%20%22dp_communication_time%22)%3A.2f%7D%20ms'%2C%20%22TP%20comm%22%3A%20f'%7Bq(_record%2C%20%22tp_communication_time%22)%3A.2f%7D%20ms'%2C%20%22Bubble%22%3A%20f'%7Bq(_record%2C%20%22pipeline_bubble_time%22)%3A.2f%7D%20ms'%2C%20%22Step%22%3A%20f'%7Bq(_record%2C%20%22step_time%22)%3A.2f%7D%20ms'%7D)%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20for%20_key%20in%20(%22within%22%2C%20c_selected_key)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_record%20%3D%20c_records%5B_key%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_bar(name%3D%22DP%20communication%22%2C%20x%3D%5Blayout_label(_key)%5D%2C%20y%3D%5Bq(_record%2C%20%22dp_communication_time%22)%5D%2C%20marker_color%3DCOLORS%5B%22BlueLine%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_bar(name%3D%22TP%20communication%22%2C%20x%3D%5Blayout_label(_key)%5D%2C%20y%3D%5Bq(_record%2C%20%22tp_communication_time%22)%5D%2C%20marker_color%3DCOLORS%5B%22OrangeLine%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_bar(name%3D%22Pipeline%20bubble%22%2C%20x%3D%5Blayout_label(_key)%5D%2C%20y%3D%5Bq(_record%2C%20%22pipeline_bubble_time%22)%5D%2C%20marker_color%3DCOLORS%5B%22GreenLine%22%5D)%0A%20%20%20%20%20%20%20%20fig.update_layout(barmode%3D%22stack%22%2C%20height%3D285%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D25%2C%20b%3D20)%2C%20yaxis_title%3D%22Exposed%20overhead%20(ms)%22%2C%20legend_orientation%3D%22h%22)%0A%20%20%20%20%20%20%20%20_selected%20%3D%20c_records%5Bc_selected_key%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20c_alternative%2C%20c_prediction%2C%20apply_plotly_theme(fig)%2C%20table(rows)%2C%20c_decision%2C%20mo.callout(mo.md(f'**Your%20prediction%3A**%20%7Bc_prediction.value%7D.%20**Analytical%20result%3A**%20the%20selected%20alternative%20puts%20TP%20on%20the%20**%7B_selected%5B%22tensor_parallel_tier%22%5D%7D**%20tier%20and%20spends%20**%7Bq(_selected%2C%20%22tp_communication_time%22)%3A.2f%7D%20ms**%20in%20TP%20communication%20versus%20**%7Bq(c_records%5B%22within%22%5D%2C%20%22tp_communication_time%22)%3A.2f%7D%20ms**%20for%20within-node%20TP.')%2C%20kind%3D%22info%22)%2C%20c_capture%2C%20saved(%22C%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(f%22Every%20layout%20uses%20exactly%20%7Bscenario.fleet.total_accelerators%7D%20accelerators%20(%7Bscenario.fleet.name%7D).%20TP%20uses%20the%20node%20link%20while%20it%20fits%20within%20eight%20accelerators%2C%20then%20the%20registered%20inter-node%20fabric.%20DP%20synchronization%20and%20pipeline%20fill%2Fdrain%20are%20recomputed%20for%20each%20factorization.%22)%7D)%5D)%0A%0A%20%20%20%20def%20part_d()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(f%22%23%23%23%20D%20%C2%B7%20Can%20a%20smaller%20pipeline%20bubble%20cause%20another%20failure%3F%20(10%20min)%5Cn**Backend%20pipeline%20schedule%3A**%20Llama%203%208B%20on%20%7Bscenario.fleet.name%7D.%20Hold%20microbatch%20size%20at%204%20sequences%20and%20increase%20only%20the%20count%20entering%20an%20eight-stage%20pipeline.%20Predict%20bubble%20and%20worst-stage%20activation%20retention.%20Pipelining%20is%20an%20unsupported%20path%20on%20compact%20deployment%20devices.%22)%0A%20%20%20%20%20%20%20%20if%20d_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20d_microbatches%2C%20d_prediction%5D)%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20fig.add_scatter(name%3D%22Bubble%20fraction%22%2C%20x%3D%5B2%2C%20d_result_record%5B%22microbatch_count%22%5D%5D%2C%20y%3D%5Bd_base_record%5B%22bubble_fraction%22%5D%2C%20d_result_record%5B%22bubble_fraction%22%5D%5D%2C%20mode%3D%22lines%2Bmarkers%22%2C%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D)%2C%20yaxis%3D%22y%22)%0A%20%20%20%20%20%20%20%20fig.add_scatter(name%3D%22Retained%20activations%22%2C%20x%3D%5B2%2C%20d_result_record%5B%22microbatch_count%22%5D%5D%2C%20y%3D%5Bq(d_base_record%2C%20%22retained_activation_memory%22)%2C%20q(d_result_record%2C%20%22retained_activation_memory%22)%5D%2C%20mode%3D%22lines%2Bmarkers%22%2C%20line%3Ddict(color%3DCOLORS%5B%22OrangeLine%22%5D)%2C%20yaxis%3D%22y2%22)%0A%20%20%20%20%20%20%20%20fig.update_layout(height%3D285%2C%20margin%3Ddict(l%3D20%2C%20r%3D55%2C%20t%3D25%2C%20b%3D20)%2C%20xaxis_title%3D%22Pipeline%20microbatch%20count%22%2C%20yaxis%3Ddict(title%3D%22Bubble%20fraction%22)%2C%20yaxis2%3Ddict(title%3D%22Activation%20memory%20(GB)%22%2C%20overlaying%3D%22y%22%2C%20side%3D%22right%22)%2C%20legend_orientation%3D%22h%22)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Schedule%22%3A%20%22Baseline%22%2C%20%22Count%22%3A%20d_base_record%5B%22microbatch_count%22%5D%2C%20%22Size%22%3A%20d_base_record%5B%22microbatch_size%22%5D%2C%20%22Bubble%22%3A%20f'%7Bd_base_record%5B%22bubble_fraction%22%5D%3A.3f%7D'%2C%20%22Retained%22%3A%20d_base_record%5B%22retained_microbatches%22%5D%2C%20%22Activations%22%3A%20f'%7Bq(d_base_record%2C%20%22retained_activation_memory%22)%3A.1f%7D%20GB'%2C%20%22Outcome%22%3A%20%22FIT%22%20if%20d_base_record%5B%22feasible%22%5D%20else%20%22OOM%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Schedule%22%3A%20%22Selected%22%2C%20%22Count%22%3A%20d_result_record%5B%22microbatch_count%22%5D%2C%20%22Size%22%3A%20d_result_record%5B%22microbatch_size%22%5D%2C%20%22Bubble%22%3A%20f'%7Bd_result_record%5B%22bubble_fraction%22%5D%3A.3f%7D'%2C%20%22Retained%22%3A%20d_result_record%5B%22retained_microbatches%22%5D%2C%20%22Activations%22%3A%20f'%7Bq(d_result_record%2C%20%22retained_activation_memory%22)%3A.1f%7D%20GB'%2C%20%22Outcome%22%3A%20%22FIT%22%20if%20d_result_record%5B%22feasible%22%5D%20else%20%22OOM%20%C2%B7%20activations%20exceed%20HBM%22%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20d_microbatches%2C%20d_prediction%2C%20apply_plotly_theme(fig)%2C%20table(rows)%2C%20d_decision%2C%20mo.callout(mo.md(f'**Your%20prediction%3A**%20%7Bd_prediction.value%7D.%20**Analytical%20result%3A**%20bubble%20fraction%20changes%20from%20**%7Bd_base_record%5B%22bubble_fraction%22%5D%3A.3f%7D**%20to%20**%7Bd_result_record%5B%22bubble_fraction%22%5D%3A.3f%7D**%2C%20while%20retained%20activations%20change%20from%20**%7Bq(d_base_record%2C%20%22retained_activation_memory%22)%3A.1f%7D%20GB**%20to%20**%7Bq(d_result_record%2C%20%22retained_activation_memory%22)%3A.1f%7D%20GB**.')%2C%20kind%3D%22danger%22%20if%20not%20d_result_record%5B%22feasible%22%5D%20else%20%22success%22)%2C%20d_capture%2C%20saved(%22D%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22Bubble%20fraction%20%3D%20(stages%20%E2%88%92%201)%20%2F%20(microbatches%20%2B%20stages%20%E2%88%92%201).%20The%20worst%20stage%20retains%20up%20to%20the%20smaller%20of%20microbatch%20count%20and%20pipeline%20depth.%20Microbatch%20count%20and%20size%20remain%20separate%20inputs.%22)%7D)%5D)%0A%0A%20%20%20%20def%20part_e()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(f%22%23%23%23%20E%20%C2%B7%20Is%20the%20fastest%20step%20the%20best%20training%20policy%3F%20(8%20min)%5CnReturn%20to%20upstream%20training%20of%20**%7Bscenario.model.name%7D**%20on%20**%7Bscenario.fleet.name%7D**%20for%20deployment%20to%20**%7Bscenario.deployment_target%7D**.%20The%20convergence%20and%20straggler%20behavior%20are%20explicitly%20illustrative%20scenario%20assumptions%2C%20not%20measured%20quality%20evidence.%22)%0A%20%20%20%20%20%20%20%20if%20e_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20e_prediction%5D)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Policy%22%3A%20e_base_record%5B%22name%22%5D%2C%20%22Step%22%3A%20f'%7Bq(e_base_record%2C%20%22step_time%22)%3A.2f%7D%20ms'%2C%20%22Steps%20to%20target%22%3A%20e_base_record%5B%22optimizer_steps%22%5D%2C%20%22Time%20to%20target%22%3A%20f'%7Bq(e_base_record%2C%20%22time_to_quality%22)%3A.2f%7D%20h'%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Policy%22%3A%20e_result_record%5B%22name%22%5D%2C%20%22Step%22%3A%20f'%7Bq(e_result_record%2C%20%22step_time%22)%3A.2f%7D%20ms'%2C%20%22Steps%20to%20target%22%3A%20e_result_record%5B%22optimizer_steps%22%5D%2C%20%22Time%20to%20target%22%3A%20f'%7Bq(e_result_record%2C%20%22time_to_quality%22)%3A.2f%7D%20h'%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure(%5Bgo.Bar(x%3D%5Be_base_record%5B%22name%22%5D%2C%20e_result_record%5B%22name%22%5D%5D%2C%20y%3D%5Bq(e_base_record%2C%20%22time_to_quality%22)%2C%20q(e_result_record%2C%20%22time_to_quality%22)%5D%2C%20marker_color%3D%5BCOLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22OrangeLine%22%5D%5D)%5D)%0A%20%20%20%20%20%20%20%20fig.update_layout(height%3D270%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D25%2C%20b%3D20)%2C%20yaxis_title%3D%22Time%20to%20matched%20quality%20target%20(hours)%22%2C%20showlegend%3DFalse)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20e_prediction%2C%20apply_plotly_theme(fig)%2C%20table(rows)%2C%20e_decision%2C%20mo.callout(mo.md(f'**Your%20prediction%3A**%20%7Be_prediction.value%7D.%20**Illustrative%20result%3A**%20dropping%20slow%20workers%20shortens%20each%20step%20by%20**%7Bstraggler_fixture.step_time_multiplier%3A.2f%7D%C3%97**%2C%20but%20multiplies%20optimization%20work%20by%20**%7Bstraggler_fixture.work_multiplier%3A.2f%7D%C3%97**.%20Time%20to%20target%20changes%20from%20**%7Bq(e_base_record%2C%20%22time_to_quality%22)%3A.2f%7D%20h**%20to%20**%7Bq(e_result_record%2C%20%22time_to_quality%22)%3A.2f%7D%20h**.')%2C%20kind%3D%22info%22)%2C%20e_capture%2C%20saved(%22E%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(f%22Scenario%20fixture%3A%20%7Bconvergence_fixture.name%7D.%20Optimizer%20steps%20follow%20a%20diminishing-return%20batch%20curve%20around%20the%20stated%20critical%20batch.%20Replace%20these%20illustrative%20policy%20multipliers%20with%20workload%20evidence%20before%20a%20real%20decision.%22)%7D)%5D)%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_part%20in%20%22ABCDE%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_capture%20%3D%20_captures.get(_part)%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B%22Part%22%3A%20_part%2C%20%22Original%20prediction%22%3A%20_capture.to_dict()%5B%22prediction%22%5D%20if%20_capture%20else%20%22%E2%80%94%22%2C%20%22Evidence%22%3A%20%22CURRENT%22%20if%20_capture%20and%20_part%20not%20in%20audit.stale%20and%20(_part%2C%20_part)%20not%20in%20audit.identical_pairs%20else%20(%22STALE%22%20if%20_capture%20else%20%22MISSING%22)%7D)%0A%20%20%20%20%20%20%20%20_ready%20%3D%20audit.complete%20and%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%20and%20final_choice.value%20!%3D%20final_rejected.value%20and%20bool(rationale.value.strip())%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bmo.md(%22%23%23%23%20Synthesis%20%C2%B7%20Defend%20one%20training%20plan%20(5%20min)%5CnChoose%20a%20plan%2C%20quantify%20a%20rejected%20alternative%20from%20saved%20evidence%2C%20name%20the%20remaining%20limitation%2C%20and%20state%20the%20trigger%20that%20would%20reopen%20the%20decision.%22)%2C%20table(rows)%2C%20mo.callout(mo.md(%22Saved%20snapshots%20preserve%20original%20predictions%20and%20evaluator%20inputs.%20Track%20changes%20invalidate%20all%20five%3B%20Part%20A%20scaling%20changes%20invalidate%20the%20quality-time%20comparison.%22)%2C%20kind%3D%22info%22)%2C%20mo.hstack(%5Bfinal_choice%2C%20final_rejected%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20mo.hstack(%5Bfinal_trigger%2C%20final_risk%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20rationale%2C%20mo.callout(mo.md(%22**Ready%20for%20the%20local%20evidence%20report.**%22%20if%20_ready%20else%20%22Capture%20five%20current%20contrasts%2C%20choose%20different%20recommended%20and%20rejected%20plans%2C%20and%20add%20a%20quantified%20rationale.%22)%2C%20kind%3D%22success%22%20if%20_ready%20else%20%22warn%22)%5D)%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%22Part%20A%22%3A%20part_a()%2C%20%22Part%20B%22%3A%20part_b()%2C%20%22Part%20C%22%3A%20part_c()%2C%20%22Part%20D%22%3A%20part_d()%2C%20%22Part%20E%22%3A%20part_e()%2C%20%22Synthesis%22%3A%20build_synthesis()%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%20(audit%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20audit%2C%0A%20%20%20%20build_lab_report%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20report_export_panel%2C%0A%20%20%20%20scenario%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_ready%20%3D%20audit.complete%20and%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%20and%20final_choice.value%20!%3D%20final_rejected.value%20and%20bool(rationale.value.strip())%0A%20%20%20%20mo.stop(not%20_ready)%0A%20%20%20%20snapshots%20%3D%20%7Bpart%3A%20_captures%5Bpart%5D.to_dict()%20for%20part%20in%20%22ABCDE%22%7D%0A%20%20%20%20binding_constraints%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22A%22%3A%20%22communication%20and%20fixed-work%20scaling%22%2C%0A%20%20%20%20%20%20%20%20%22B%22%3A%20%22per-accelerator%20HBM%20(unsupported%20for%20compact%20track%20model)%22%20if%20not%20scenario.model_parallel_applicable%20else%20%22per-accelerator%20HBM%22%2C%0A%20%20%20%20%20%20%20%20%22C%22%3A%20%22interconnect%20tier%20(unsupported%20for%20compact%20track%20model)%22%20if%20not%20scenario.model_parallel_applicable%20else%20%22interconnect%20tier%22%2C%0A%20%20%20%20%20%20%20%20%22D%22%3A%20%22bubble%20and%20retained%20activations%20(unsupported%20for%20compact%20track%20model)%22%20if%20not%20scenario.model_parallel_applicable%20else%20%22bubble%20and%20retained%20activations%22%2C%0A%20%20%20%20%20%20%20%20%22E%22%3A%20%22time%20to%20matched%20illustrative%20quality%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20report%20%3D%20build_lab_report(%0A%20%20%20%20%20%20%20%20get_lab_metadata(%22vol2%2Flab_06_dist_train.py%22)%2C%20track%3Dtrack_id%2C%0A%20%20%20%20%20%20%20%20scenario%3Df%22%7Bscenario.model.name%7D%20training%20on%20%7Bscenario.fleet.name%7D%20for%20%7Bscenario.deployment_target%7D%22%2C%0A%20%20%20%20%20%20%20%20learning_objectives%3D%5B%22Separate%20strong%20and%20weak%20scaling%20and%20quantify%20efficiency%22%2C%20%22Account%20state%20and%20activations%20per%20accelerator%22%2C%20%22Choose%20a%20layout%20using%20memory%2C%20link%2C%20pipeline%2C%20and%20time-to-quality%20evidence%22%5D%2C%0A%20%20%20%20%20%20%20%20predictions%3D%7Bpart%3A%20snapshots%5Bpart%5D%5B%22prediction%22%5D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20knob_settings%3D%7Bpart%3A%20snapshots%5Bpart%5D%5B%22inputs%22%5D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20evidence_summary%3D%7Bpart%3A%20%7B%22baseline%22%3A%20snapshots%5Bpart%5D%5B%22baseline%22%5D%2C%20%22result%22%3A%20snapshots%5Bpart%5D%5B%22result%22%5D%2C%20%22chosen_result%22%3A%20snapshots%5Bpart%5D.get(%22chosen_result%22)%2C%20%22result_role%22%3A%20snapshots%5Bpart%5D.get(%22result_role%22)%2C%20%22alternatives%22%3A%20snapshots%5Bpart%5D%5B%22alternatives%22%5D%7D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20binding_constraints%3Dbinding_constraints%2C%0A%20%20%20%20%20%20%20%20decisions%3D%7B%22recommendation%22%3A%20final_choice.value%2C%20%22rejected_alternative%22%3A%20final_rejected.value%2C%20%22reevaluation_trigger%22%3A%20final_trigger.value%7D%2C%0A%20%20%20%20%20%20%20%20final_decision%3D%7B%22recommendation%22%3A%20final_choice.value%2C%20%22rejected_alternative%22%3A%20final_rejected.value%2C%20%22rationale%22%3A%20rationale.value%7D%2C%0A%20%20%20%20%20%20%20%20big_takeaways%3D%5B%22Strong%20and%20weak%20scaling%20hold%20different%20work%20fixed.%22%2C%20%22All%20training%20state%20and%20activations%20must%20fit%20together.%22%2C%20%22Shorter%20steps%20need%20not%20reach%20matched%20quality%20sooner.%22%5D%2C%0A%20%20%20%20%20%20%20%20reflections%3D%7B%22rationale%22%3A%20rationale.value%2C%20%22reevaluation_trigger%22%3A%20final_trigger.value%7D%2C%0A%20%20%20%20%20%20%20%20residual_risk%3Dfinal_risk.value%2C%0A%20%20%20%20%20%20%20%20result_snapshot%3D%7B%22track%22%3A%20track_id%2C%20%22captures%22%3A%20snapshots%2C%20%22recommendation%22%3A%20final_choice.value%2C%20%22rejected%22%3A%20final_rejected.value%2C%20%22trigger%22%3A%20final_trigger.value%2C%20%22residual_risk%22%3A%20final_risk.value%7D%2C%0A%20%20%20%20%20%20%20%20source_trace%3D%7B%22scenario%22%3A%20%22Registered%20model%20and%20hardware%20facts%3B%20explicitly%20illustrative%20convergence%20behavior.%22%2C%20%22calculations%22%3A%20%22Analytical%20distributed-training%2C%20memory%2C%20pipeline%2C%20and%20convergence%20models.%22%7D%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%20Local%20evidence%20report%22)%2C%20report_export_panel(report)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Aasync%20def%20_(%0A%20%20%20%20audit%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20ledger%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_ready%20%3D%20audit.complete%20and%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%20and%20final_choice.value%20!%3D%20final_rejected.value%20and%20bool(rationale.value.strip())%0A%20%20%20%20_save_status%20%3D%20%22EVIDENCE%20IN%20PROGRESS%22%0A%20%20%20%20if%20_ready%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ledger.save(chapter%3D6%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22schema_version%22%3A%201%2C%20%22lab_id%22%3A%20%22v2_06%22%2C%20%22track_id%22%3A%20track_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model_id%22%3A%20%22v2_05_experiments%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22evidence%22%3A%20%7Bpart%3A%20capture.to_dict()%20for%20part%2C%20capture%20in%20get_evidence().items()%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22recommendation%22%3A%20final_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22rejected_alternative%22%3A%20final_rejected.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reevaluation_trigger%22%3A%20final_trigger.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22residual_risk%22%3A%20final_risk.value%2C%20%22rationale%22%3A%20rationale.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20await%20ledger.flush()%0A%20%20%20%20%20%20%20%20%20%20%20%20_save_status%20%3D%20%22SAVED%22%0A%20%20%20%20%20%20%20%20except%20Exception%20as%20_error%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_save_status%20%3D%20f%22SAVE%20FAILED%20%C2%B7%20%7Btype(_error).__name__%7D%22%0A%20%20%20%20mo.Html(f'%3Cdiv%20class%3D%22lab-hud%22%20style%3D%22display%3Aflex%3Bflex-wrap%3Awrap%3Bgap%3A10px%3Balign-items%3Acenter%3Bbackground%3A%23101827%3Bcolor%3A%23fff%3Bpadding%3A14px%2018px%3Bborder-radius%3A9px%3Bfont-family%3Aui-monospace%2Cmonospace%22%3E%3Cspan%3ELAB%2006%20%C2%B7%20Scaling%20Without%20Illusions%3C%2Fspan%3E%3Cspan%20aria-hidden%3D%22true%22%3E%7C%3C%2Fspan%3E%3Cspan%3ESTATUS%3A%20%7B_save_status%7D%3C%2Fspan%3E%3C%2Fdiv%3E')%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A