Lab 08: Time to Target

Lab 08: Time to Target · MLSysBook

import%20marimo%0A%0A__generated_with%20%3D%20%220.25.0%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22%2C%20app_title%3D%22Lab%2008%3A%20Time%20to%20Target%20%C2%B7%20MLSysBook%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysim-0.1.2-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysbook_labs-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20labs_dir%20%3D%20Path(__file__).resolve().parents%5B1%5D%0A%20%20%20%20%20%20%20%20if%20str(labs_dir)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(labs_dir))%0A%20%20%20%20%20%20%20%20from%20bootstrap%20import%20native_bootstrap%0A%20%20%20%20%20%20%20%20native_bootstrap(__file__)%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.engine.v1_08_experiments%20import%20(%0A%20%20%20%20%20%20%20%20TRACKS%2C%20batch_experiment%2C%20batch_policy%2C%20bottleneck_experiment%2C%0A%20%20%20%20%20%20%20%20checkpoint_experiment%2C%20memory_outcome%2C%20optimizer_experiment%2C%20precision_experiment%2C%20track_profile%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20from%20mlsysbook_labs%20import%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%20build_lab_report%2C%20get_lab_metadata%2C%20report_export_panel%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysbook_labs.experiment_evidence%20import%20audit_evidence%2C%20capture_evidence%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger(volume%3D%22vol1%22)%0A%20%20%20%20if%20ledger.is_wasm%3A%0A%20%20%20%20%20%20%20%20_loaded%20%3D%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20TRACKS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20audit_evidence%2C%0A%20%20%20%20%20%20%20%20batch_experiment%2C%0A%20%20%20%20%20%20%20%20batch_policy%2C%0A%20%20%20%20%20%20%20%20bottleneck_experiment%2C%0A%20%20%20%20%20%20%20%20build_lab_report%2C%0A%20%20%20%20%20%20%20%20capture_evidence%2C%0A%20%20%20%20%20%20%20%20checkpoint_experiment%2C%0A%20%20%20%20%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20memory_outcome%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20optimizer_experiment%2C%0A%20%20%20%20%20%20%20%20precision_experiment%2C%0A%20%20%20%20%20%20%20%20report_export_panel%2C%0A%20%20%20%20%20%20%20%20track_profile%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20get_evidence%2C%20set_evidence%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20return%20get_evidence%2C%20set_evidence%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20set_evidence)%3A%0A%20%20%20%20track%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22TinyML%22%3A%20%22tinyml%22%2C%20%22Mobile%22%3A%20%22mobile%22%2C%20%22Edge%22%3A%20%22edge%22%2C%20%22Cloud%22%3A%20%22cloud%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22TinyML%22%2C%20label%3D%22Training%20context%22%2C%0A%20%20%20%20%20%20%20%20on_change%3Dlambda%20_value%3A%20set_evidence(%7B%7D)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(track%2C)%0A%0A%0A%40app.cell%0Adef%20_(TRACKS%2C%20track%2C%20track_profile)%3A%0A%20%20%20%20track_id%20%3D%20track.value%0A%20%20%20%20profile%20%3D%20track_profile(track_id)%0A%20%20%20%20track_settings%20%3D%20TRACKS%5Btrack_id%5D%0A%20%20%20%20return%20profile%2C%20track_id%2C%20track_settings%0A%0A%0A%40app.cell%0Adef%20_(batch_policy%2C%20mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20_b_pol%20%3D%20batch_policy(track_id)%0A%20%20%20%20a_optimizer%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Adam%22%3A%20%22adam%22%2C%20%22AdamW%22%3A%20%22adamw%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22AdamW%22%2C%20label%3D%22Optimizer%20conclusion%22%2C%0A%20%20%20%20)%0A%20%20%20%20b_strategy%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20_b_pol%5B%22options%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D_b_pol%5B%22default_label%22%5D%2C%20label%3D%22Batch%20strategy%22%2C%0A%20%20%20%20)%0A%20%20%20%20c_precision%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22BF16%20mixed%22%3A%20%22bf16%22%2C%20%22FP16%20mixed%22%3A%20%22fp16%22%2C%20%22FP8%20scenario%22%3A%20%22fp8%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22BF16%20mixed%22%2C%20label%3D%22Precision%20candidate%22%2C%0A%20%20%20%20)%0A%20%20%20%20d_checkpoint%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Selective%20checkpointing%22%3A%20%22selective%22%2C%20%22Full%20checkpointing%22%3A%20%22full%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Full%20checkpointing%22%2C%20label%3D%22Checkpoint%20policy%22%2C%0A%20%20%20%20)%0A%20%20%20%20e_intervention%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Prefetch%20input%22%3A%20%22prefetch%22%2C%20%22Faster%20arithmetic%20path%22%3A%20%22arithmetic%22%2C%20%22Checkpoint%20activations%22%3A%20%22checkpoint%22%2C%20%22No%20change%20%2F%20hold%20for%20more%20evidence%22%3A%20%22none%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Prefetch%20input%22%2C%20label%3D%22First%20systems%20fix%22%2C%0A%20%20%20%20)%0A%20%20%20%20e_rejected%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Prefetch%20input%22%3A%20%22prefetch%22%2C%20%22Faster%20arithmetic%22%3A%20%22arithmetic%22%2C%20%22Checkpoint%20activations%22%3A%20%22checkpoint%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Tested%20alternative%20if%20you%20hold%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_optimizer%2C%0A%20%20%20%20%20%20%20%20b_strategy%2C%0A%20%20%20%20%20%20%20%20c_precision%2C%0A%20%20%20%20%20%20%20%20d_checkpoint%2C%0A%20%20%20%20%20%20%20%20e_intervention%2C%0A%20%20%20%20%20%20%20%20e_rejected%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20a_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Weights%20dominate%22%3A%20%22weights%22%2C%20%22Gradients%20dominate%22%3A%20%22gradients%22%2C%20%22Optimizer%20state%20dominates%22%3A%20%22optimizer%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20allocation%20is%20largest%20under%20AdamW%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20A%20prediction%22)%0A%20%20%20%20b_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Largest%20effective%20batch%22%3A%20%22largest%22%2C%20%22Resident%20batch%2032%22%3A%20%22resident32%22%2C%20%22Accumulated%20middle%20batch%22%3A%20%22middle%22%2C%20%22All%20finish%20equally%22%3A%20%22equal%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20strategy%20reaches%20target%20soonest%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20B%20prediction%22)%0A%20%20%20%20c_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Every%20narrower%20format%22%3A%20%22all%22%2C%20%22BF16%2FFP16%20only%22%3A%20%22mixed%22%2C%20%22Only%20FP32%22%3A%20%22fp32%22%2C%20%22Speed%20alone%20decides%22%3A%20%22speed%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20precision%20evidence%20remains%20acceptable%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20C%20prediction%22)%0A%20%20%20%20d_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Memory%20falls%3B%20time%20rises%22%3A%20%22tradeoff%22%2C%20%22Both%20fall%22%3A%20%22free%22%2C%20%22Only%20optimizer%20state%20changes%22%3A%20%22optimizer%22%2C%20%22Nothing%20changes%22%3A%20%22none%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20does%20activation%20checkpointing%20change%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20D%20prediction%22)%0A%20%20%20%20e_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Prefetch%20input%22%3A%20%22prefetch%22%2C%20%22Faster%20arithmetic%22%3A%20%22arithmetic%22%2C%20%22Checkpoint%20activations%22%3A%20%22checkpoint%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20fix%20should%20be%20tested%20before%20buying%20hardware%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20E%20prediction%22)%0A%20%20%20%20return%20a_prediction%2C%20b_prediction%2C%20c_prediction%2C%20d_prediction%2C%20e_prediction%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20final_choice%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Prefetch%20input%22%3A%20%22prefetch%22%2C%20%22Faster%20arithmetic%22%3A%20%22arithmetic%22%2C%20%22Checkpoint%20activations%22%3A%20%22checkpoint%22%2C%20%22No%20change%20%2F%20hold%20for%20more%20evidence%22%3A%20%22none%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Recommendation%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_rejected%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Prefetch%20input%22%3A%20%22prefetch%22%2C%20%22Faster%20arithmetic%22%3A%20%22arithmetic%22%2C%20%22Checkpoint%20activations%22%3A%20%22checkpoint%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Quantified%20rejected%20alternative%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_trigger%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Target%20quality%20is%20missed%22%3A%20%22target_quality%22%2C%20%22Training%20memory%20exceeds%20capacity%22%3A%20%22memory%22%2C%20%22Schedule%20or%20cost%20limit%20is%20crossed%22%3A%20%22schedule_cost%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Reevaluation%20trigger%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_risk%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Convergence%20may%20not%20transfer%22%3A%20%22convergence%22%2C%20%22Stage%20timing%20may%20change%22%3A%20%22timing%22%2C%20%22Replay%20may%20miss%20rare%20instability%22%3A%20%22numerical%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Remaining%20limitation%22%2C%0A%20%20%20%20)%0A%20%20%20%20rationale%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20label%3D%22Decision%20rationale%22%2C%0A%20%20%20%20%20%20%20%20placeholder%3D%22Name%20the%20chosen%20evidence%2C%20quantify%20the%20rejected%20alternative%2C%20state%20the%20limitation%2C%20and%20explain%20the%20trigger.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20final_choice%2C%20final_rejected%2C%20final_risk%2C%20final_trigger%2C%20rationale%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20a_optimizer%2C%0A%20%20%20%20b_strategy%2C%0A%20%20%20%20batch_experiment%2C%0A%20%20%20%20batch_policy%2C%0A%20%20%20%20bottleneck_experiment%2C%0A%20%20%20%20c_precision%2C%0A%20%20%20%20checkpoint_experiment%2C%0A%20%20%20%20d_checkpoint%2C%0A%20%20%20%20e_intervention%2C%0A%20%20%20%20e_rejected%2C%0A%20%20%20%20memory_outcome%2C%0A%20%20%20%20optimizer_experiment%2C%0A%20%20%20%20precision_experiment%2C%0A%20%20%20%20track_id%2C%0A%20%20%20%20track_settings%2C%0A)%3A%0A%20%20%20%20a_sgd%20%3D%20optimizer_experiment(track_id%2C%20optimizer%3D%22sgd%22)%0A%20%20%20%20a_adam%20%3D%20optimizer_experiment(track_id%2C%20optimizer%3D%22adam%22)%0A%20%20%20%20a_adamw%20%3D%20optimizer_experiment(track_id%2C%20optimizer%3D%22adamw%22)%0A%20%20%20%20a_selected%20%3D%20%7B%22sgd%22%3A%20a_sgd%2C%20%22adam%22%3A%20a_adam%2C%20%22adamw%22%3A%20a_adamw%7D%5Ba_optimizer.value%5D%0A%20%20%20%20_b_pol%20%3D%20batch_policy(track_id)%0A%20%20%20%20b_physical%2C%20b_accumulation%20%3D%20_b_pol%5B%22choices%22%5D%5Bb_strategy.value%5D%0A%20%20%20%20b_baseline%20%3D%20batch_experiment(%0A%20%20%20%20%20%20%20%20track_id%2C%0A%20%20%20%20%20%20%20%20physical_batch%3D_b_pol%5B%22baseline%22%5D%5B0%5D%2C%0A%20%20%20%20%20%20%20%20accumulation_steps%3D_b_pol%5B%22baseline%22%5D%5B1%5D%2C%0A%20%20%20%20)%0A%20%20%20%20b_result%20%3D%20batch_experiment(track_id%2C%20physical_batch%3Db_physical%2C%20accumulation_steps%3Db_accumulation)%0A%20%20%20%20b_alternatives%20%3D%20tuple(%0A%20%20%20%20%20%20%20%20batch_experiment(track_id%2C%20physical_batch%3Dphysical%2C%20accumulation_steps%3Daccumulation)%0A%20%20%20%20%20%20%20%20for%20physical%2C%20accumulation%20in%20_b_pol%5B%22choices%22%5D.values()%0A%20%20%20%20)%0A%20%20%20%20c_fp32%20%3D%20precision_experiment(track_id%2C%20precision%3D%22fp32%22)%0A%20%20%20%20c_result%20%3D%20precision_experiment(track_id%2C%20precision%3Dc_precision.value)%0A%20%20%20%20c_alternatives%20%3D%20tuple(%0A%20%20%20%20%20%20%20%20precision_experiment(track_id%2C%20precision%3Dprecision)%0A%20%20%20%20%20%20%20%20for%20precision%20in%20(%22fp32%22%2C%20%22bf16%22%2C%20%22fp16%22%2C%20%22fp8%22)%0A%20%20%20%20)%0A%20%20%20%20probe_batch%20%3D%20track_settings%5B%22checkpoint_probe_batch%22%5D%0A%20%20%20%20d_baseline%20%3D%20memory_outcome(track_id%2C%20physical_batch%3Dprobe_batch%2C%20accumulation_steps%3D1%2C%20checkpointing%3D%22none%22)%0A%20%20%20%20d_result%20%3D%20memory_outcome(track_id%2C%20physical_batch%3Dprobe_batch%2C%20accumulation_steps%3D1%2C%20checkpointing%3Dd_checkpoint.value)%0A%20%20%20%20d_timing%20%3D%20checkpoint_experiment(track_id%2C%20checkpointing%3Dd_checkpoint.value)%0A%20%20%20%20e_comparisons%20%3D%20%7B%0A%20%20%20%20%20%20%20%20name%3A%20bottleneck_experiment(track_id%2C%20intervention%3Dname)%0A%20%20%20%20%20%20%20%20for%20name%20in%20(%22prefetch%22%2C%20%22arithmetic%22%2C%20%22checkpoint%22)%0A%20%20%20%20%7D%0A%20%20%20%20if%20e_intervention.value%20%3D%3D%20%22none%22%3A%0A%20%20%20%20%20%20%20%20e_selected%20%3D%20e_comparisons%5Be_rejected.value%5D%20if%20e_rejected.value%20is%20not%20None%20else%20None%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20e_selected%20%3D%20e_comparisons%5Be_intervention.value%5D%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_adam%2C%0A%20%20%20%20%20%20%20%20a_adamw%2C%0A%20%20%20%20%20%20%20%20a_selected%2C%0A%20%20%20%20%20%20%20%20a_sgd%2C%0A%20%20%20%20%20%20%20%20b_accumulation%2C%0A%20%20%20%20%20%20%20%20b_alternatives%2C%0A%20%20%20%20%20%20%20%20b_baseline%2C%0A%20%20%20%20%20%20%20%20b_physical%2C%0A%20%20%20%20%20%20%20%20b_result%2C%0A%20%20%20%20%20%20%20%20c_alternatives%2C%0A%20%20%20%20%20%20%20%20c_fp32%2C%0A%20%20%20%20%20%20%20%20c_result%2C%0A%20%20%20%20%20%20%20%20d_baseline%2C%0A%20%20%20%20%20%20%20%20d_result%2C%0A%20%20%20%20%20%20%20%20d_timing%2C%0A%20%20%20%20%20%20%20%20e_comparisons%2C%0A%20%20%20%20%20%20%20%20e_selected%2C%0A%20%20%20%20%20%20%20%20probe_batch%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20a_adam%2C%0A%20%20%20%20a_adamw%2C%0A%20%20%20%20a_optimizer%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_selected%2C%0A%20%20%20%20a_sgd%2C%0A%20%20%20%20b_accumulation%2C%0A%20%20%20%20b_alternatives%2C%0A%20%20%20%20b_baseline%2C%0A%20%20%20%20b_physical%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_result%2C%0A%20%20%20%20c_alternatives%2C%0A%20%20%20%20c_fp32%2C%0A%20%20%20%20c_precision%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_result%2C%0A%20%20%20%20capture_evidence%2C%0A%20%20%20%20d_baseline%2C%0A%20%20%20%20d_checkpoint%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_result%2C%0A%20%20%20%20d_timing%2C%0A%20%20%20%20e_comparisons%2C%0A%20%20%20%20e_intervention%2C%0A%20%20%20%20e_prediction%2C%0A%20%20%20%20e_rejected%2C%0A%20%20%20%20e_selected%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20probe_batch%2C%0A%20%20%20%20set_evidence%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20def%20store(part%2C%20capture)%3A%0A%20%20%20%20%20%20%20%20set_evidence(lambda%20current%3A%20%7B**current%2C%20part%3A%20capture%7D)%0A%20%20%20%20common_upstream%20%3D%20%7B%7D%0A%20%20%20%20a_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20optimizer%20comparison%22%2C%20kind%3D%22success%22%2C%20disabled%3Da_prediction.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22A%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22A%22%2C%20prediction%3Da_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22optimizer_choice%22%3A%20a_optimizer.value%7D%2C%20baseline%3Da_sgd%2C%20result%3Da_selected%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alternatives%3D(a_sgd%2C%20a_adam%2C%20a_adamw)%2C%20decision%3Da_optimizer.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20chosen_result%3Da_selected%2C%20result_role%3D%22chosen%20optimizer%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Dcommon_upstream%2C%20model_key%3D%22v1_08_experiments.optimizer_experiment%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20b_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20batch%20comparison%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Db_prediction.value%20is%20None%20or%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20b_physical%20%3D%3D%20b_baseline%5B%22timing%22%5D%5B%22physical_batch%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20b_accumulation%20%3D%3D%20b_baseline%5B%22timing%22%5D%5B%22accumulation_steps%22%5D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22B%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22B%22%2C%20prediction%3Db_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22physical_batch%22%3A%20b_physical%2C%20%22accumulation_steps%22%3A%20b_accumulation%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Db_baseline%2C%20result%3Db_result%2C%20alternatives%3Db_alternatives%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20decision%3Df%22%7Bb_physical%7Dx%7Bb_accumulation%7D%22%2C%20upstream_inputs%3Dcommon_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20chosen_result%3Db_result%2C%20result_role%3D%22chosen%20batch%20strategy%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v1_08_experiments.batch_experiment%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20c_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20precision%20comparison%22%2C%20kind%3D%22success%22%2C%20disabled%3Dc_prediction.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22C%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22C%22%2C%20prediction%3Dc_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22precision%22%3A%20c_precision.value%7D%2C%20baseline%3Dc_fp32%2C%20result%3Dc_result%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alternatives%3Dc_alternatives%2C%20decision%3Dc_precision.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20chosen_result%3Dc_result%2C%20result_role%3D%22chosen%20precision%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Dcommon_upstream%2C%20model_key%3D%22v1_08_experiments.precision_experiment%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20d_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20checkpoint%20comparison%22%2C%20kind%3D%22success%22%2C%20disabled%3Dd_prediction.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22D%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22D%22%2C%20prediction%3Dd_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22physical_batch%22%3A%20probe_batch%2C%20%22checkpointing%22%3A%20d_checkpoint.value%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Dd_baseline%2C%20result%3Dd_result%2C%20alternatives%3D(d_timing%2C)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20decision%3Dd_checkpoint.value%2C%20upstream_inputs%3Dcommon_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20chosen_result%3Dd_result%2C%20result_role%3D%22chosen%20checkpoint%20policy%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v1_08_experiments.memory_outcome%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20e_hold_without_test%20%3D%20e_intervention.value%20%3D%3D%20%22none%22%20and%20e_rejected.value%20is%20None%0A%20%20%20%20e_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20bottleneck%20decision%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3De_prediction.value%20is%20None%20or%20e_hold_without_test%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22E%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22E%22%2C%20prediction%3De_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22intervention%22%3A%20e_intervention.value%2C%20%22rejected_alternative%22%3A%20e_rejected.value%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3De_selected%5B%22baseline%22%5D%2C%20result%3De_selected%5B%22result%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alternatives%3Dtuple(e_comparisons.values())%2C%20decision%3De_intervention.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20chosen_result%3De_selected%5B%22baseline%22%5D%20if%20e_intervention.value%20%3D%3D%20%22none%22%20else%20e_selected%5B%22result%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result_role%3D%22rejected%20alternative%22%20if%20e_intervention.value%20%3D%3D%20%22none%22%20else%20%22chosen%20systems%20intervention%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Dcommon_upstream%2C%20model_key%3D%22v1_08_experiments.bottleneck_experiment%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_capture%2C%0A%20%20%20%20%20%20%20%20b_capture%2C%0A%20%20%20%20%20%20%20%20c_capture%2C%0A%20%20%20%20%20%20%20%20common_upstream%2C%0A%20%20%20%20%20%20%20%20d_capture%2C%0A%20%20%20%20%20%20%20%20e_capture%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(ACADEMIC_LAB_CSS%2C%20LAB_CSS%2C%20mo%2C%20profile%2C%20track)%3A%0A%20%20%20%20css%20%3D%20%22%22%22%0A%20%20%20%20%3Cstyle%3E%0A%20%20%20%20.pilot-head%7Bbackground%3Alinear-gradient(135deg%2C%23101827%2C%231d4f78)%3Bcolor%3Awhite%3Bborder-radius%3A14px%3Bpadding%3Aclamp(18px%2C4vw%2C32px)%3Bmargin-bottom%3A14px%7D%0A%20%20%20%20.pilot-top%7Bdisplay%3Aflex%3Bjustify-content%3Aspace-between%3Bgap%3A8px%3Bflex-wrap%3Awrap%3Bfont%3A700%20.72rem%20ui-monospace%3Bletter-spacing%3A.08em%7D%0A%20%20%20%20.pilot-head%20h1%7Bfont-size%3Aclamp(1.65rem%2C5vw%2C2.65rem)%3Bline-height%3A1.05%3Bmargin%3A16px%200%208px%7D.pilot-head%20p%7Bcolor%3A%23dbeafe%3Bmax-width%3A780px%7D%0A%20%20%20%20.pilot-note%7Bcolor%3A%23475569%3Bfont-size%3A.9rem%3Bline-height%3A1.5%3Bmargin%3A0%3Bpadding%3A0%202px%7D.pilot-meta%7Bdisplay%3Agrid%3Bgrid-template-columns%3Arepeat(auto-fit%2Cminmax(170px%2C1fr))%3Bgap%3A9px%3Bmargin-top%3A17px%7D.pilot-meta%20div%7Bbackground%3A%23ffffff14%3Bborder%3A1px%20solid%20%23ffffff26%3Bpadding%3A9px%2011px%3Bborder-radius%3A8px%7D%0A%20%20%20%20.saved%7Bborder-left%3A4px%20solid%20%232ca02c%3Bbackground%3A%23f0fdf4%3Bpadding%3A9px%2012px%3Bborder-radius%3A7px%7D.table-wrap%7Bmax-width%3A100%25%3Boverflow-x%3Aauto%7D.lab-hud%7Bdisplay%3Aflex%3Balign-items%3Acenter%3Bflex-wrap%3Awrap%3Bgap%3A10px%3Bbackground%3A%23101827!important%3Bcolor%3A%23fff%3Bpadding%3A14px%2018px%3Bborder-radius%3A9px%7D.lab-hud%20.hud-label%7Bcolor%3A%23a7b9cf%7D.lab-hud%20.hud-value%7Bcolor%3A%23fff%7D.lab-hud%20.hud-active%7Bcolor%3A%2386efac%7D%0A%20%20%20%20%40media(max-width%3A520px)%7B.pilot-head%7Bborder-radius%3A9px%3Bmargin-top%3A30px%7D.pilot-meta%7Bgrid-template-columns%3A1fr%7D%7D%0A%20%20%20%20%3C%2Fstyle%3E%22%22%22%0A%20%20%20%20header%20%3D%20mo.Html(f%22%22%22%7Bcss%7D%3Csection%20class%3D%22pilot-head%22%3E%3Cdiv%20class%3D%22pilot-top%22%3E%3Cspan%3EVOLUME%20I%20%C2%B7%20LAB%2008%3C%2Fspan%3E%3Cspan%3EABOUT%2050%E2%80%9355%20MIN%3C%2Fspan%3E%3C%2Fdiv%3E%3Ch1%3ETrain%20for%20the%20Target%2C%20Not%20the%20Counter%3C%2Fh1%3E%3Cp%3EWhich%20training%20design%20reaches%20a%20common%20quality%20target%20within%20memory%2C%20schedule%2C%20and%20cost%20limits%3F%3C%2Fp%3E%3Cdiv%20class%3D%22pilot-meta%22%3E%3Cdiv%3E%3Cb%3ETrack%3C%2Fb%3E%3Cbr%3E%7Bprofile%5B'label'%5D%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EContext%3C%2Fb%3E%3Cbr%3E%7Bprofile%5B'task'%5D%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3ETeaching%20workload%3C%2Fb%3E%3Cbr%3EGPT-2%20on%20a%20development%20host%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EDeliverable%3C%2Fb%3E%3Cbr%3ETraining%20design%20recommendation%3C%2Fdiv%3E%3C%2Fdiv%3E%3C%2Fsection%3E%22%22%22)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%20ACADEMIC_LAB_CSS%2C%20header%2C%20track%2C%0A%20%20%20%20%20%20%20%20mo.Html('%3Cp%20class%3D%22pilot-note%22%3EDevice%20tracks%20study%20upstream%20teacher%20training%20or%20adaptation%3B%20GPT-2%20is%20not%20deployed%20on%20the%20constrained%20target.%20Convergence%2C%20numerical%20replay%2C%20stage%20timing%2C%20and%20internal%20host%20rates%20are%20finite%20illustrative%20scenario%20evidence%2C%20not%20benchmark%20measurements.%3C%2Fp%3E')%2C%0A%20%20%20%20%5D%2C%20gap%3D0.5)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.sidebar(%5Bmo.md(%22%23%23%20Lab%20navigation%22)%2C%20mo.outline(label%3D%22Sections%22)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20a_adam%2C%0A%20%20%20%20a_adamw%2C%0A%20%20%20%20a_capture%2C%0A%20%20%20%20a_optimizer%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_selected%2C%0A%20%20%20%20a_sgd%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20audit_evidence%2C%0A%20%20%20%20b_baseline%2C%0A%20%20%20%20b_capture%2C%0A%20%20%20%20b_physical%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_result%2C%0A%20%20%20%20b_strategy%2C%0A%20%20%20%20c_capture%2C%0A%20%20%20%20c_fp32%2C%0A%20%20%20%20c_precision%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_result%2C%0A%20%20%20%20common_upstream%2C%0A%20%20%20%20d_baseline%2C%0A%20%20%20%20d_capture%2C%0A%20%20%20%20d_checkpoint%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_result%2C%0A%20%20%20%20d_timing%2C%0A%20%20%20%20e_capture%2C%0A%20%20%20%20e_comparisons%2C%0A%20%20%20%20e_intervention%2C%0A%20%20%20%20e_prediction%2C%0A%20%20%20%20e_rejected%2C%0A%20%20%20%20e_selected%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20go%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20probe_batch%2C%0A%20%20%20%20profile%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20audit%20%3D%20audit_evidence(%0A%20%20%20%20%20%20%20%20_captures%2C%20track%3Dtrack_id%2C%20required_parts%3Dtuple(%22ABCDE%22)%2C%0A%20%20%20%20%20%20%20%20per_part_upstream_inputs%3D%7Bpart%3A%20common_upstream%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20contrast_required_parts%3Dtuple(%22ABCDE%22)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20def%20table(rows)%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bmo.ui.table(rows%2C%20pagination%3DFalse)%5D).style(%7B%22max-width%22%3A%20%22100%25%22%2C%20%22overflow-x%22%3A%20%22auto%22%7D)%0A%0A%20%20%20%20def%20saved(part)%3A%0A%20%20%20%20%20%20%20%20capture%20%3D%20_captures.get(part)%0A%20%20%20%20%20%20%20%20if%20capture%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22No%20saved%20evidence%20for%20this%20part.%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20%20%20%20%20if%20part%20in%20audit.stale%20or%20(part%2C%20part)%20in%20audit.identical_pairs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22**STALE%20OR%20NON-CONTRASTING%20EVIDENCE.**%20Recapture%20this%20part.%22)%2C%20kind%3D%22danger%22)%0A%20%20%20%20%20%20%20%20snapshot%20%3D%20capture.to_dict()%0A%20%20%20%20%20%20%20%20return%20mo.Html(f'%3Cdiv%20class%3D%22saved%22%3E%3Cb%3ESaved%20snapshot%3C%2Fb%3E%20%C2%B7%20prediction%3A%20%7Bsnapshot%5B%22prediction%22%5D%7D%3Cbr%3E%3Csmall%3EThe%20report%20keeps%20these%20captured%20settings%20and%20results.%3C%2Fsmall%3E%3C%2Fdiv%3E')%0A%0A%20%20%20%20def%20status(result)%3A%0A%20%20%20%20%20%20%20%20return%20%22PASS%22%20if%20result%5B%22feasible%22%5D%20else%20%22FAIL%20%C2%B7%20%22%20%2B%20%22%2C%20%22.join(result.get(%22violations%22%2C%20(%22memory%22%2C)))%0A%0A%20%20%20%20def%20part_a()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%23%23%23%20A%20%C2%B7%20Why%20does%20inference%20fit%20while%20training%20fails%3F%20(8%20min)%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22On%20the%20upstream%20development%20host%20(%7Bprofile%5B'hardware'%5D.name%7D)%20used%20for%20%7Bprofile%5B'label'%5D%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22teacher%20adaptation%2C%20single-batch%20inference%20fits%20easily%20while%20full%20training%20allocates%20substantial%20additional%20state.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Predict%20the%20largest%20AdamW%20allocation%20before%20opening%20the%20training-memory%20ledger.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20a_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20a_prediction%5D)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Optimizer%22%3A%20name.upper()%2C%20%22Weights%20(GB)%22%3A%20f%22%7Bresult%5B'memory'%5D%5B'weights_gb'%5D%3A.1f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Gradients%20(GB)%22%3A%20f%22%7Bresult%5B'memory'%5D%5B'gradients_gb'%5D%3A.1f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Optimizer%20state%20(GB)%22%3A%20f%22%7Bresult%5B'memory'%5D%5B'optimizer_state_gb'%5D%3A.1f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Total%20(GB)%22%3A%20f%22%7Bresult%5B'memory'%5D%5B'total_memory_gb'%5D%3A.1f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Updates%20to%20target%22%3A%20result%5B%22updates_to_target%22%5D%2C%0A%20%20%20%20%20%20%20%20%7D%20for%20name%2C%20result%20in%20((%22sgd%22%2C%20a_sgd)%2C%20(%22adam%22%2C%20a_adam)%2C%20(%22adamw%22%2C%20a_adamw))%5D%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20for%20label%2C%20key%2C%20color%20in%20((%22Weights%22%2C%20%22weights_gb%22%2C%20COLORS%5B%22BlueLine%22%5D)%2C%20(%22Gradients%22%2C%20%22gradients_gb%22%2C%20COLORS%5B%22OrangeLine%22%5D)%2C%20(%22Optimizer%22%2C%20%22optimizer_state_gb%22%2C%20COLORS%5B%22GreenLine%22%5D)%2C%20(%22Activations%22%2C%20%22activations_gb%22%2C%20COLORS%5B%22RedLine%22%5D))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20figure.add_bar(name%3Dlabel%2C%20x%3D%5B%22SGD%22%2C%20%22Adam%22%2C%20%22AdamW%22%5D%2C%20y%3D%5Br%5B%22memory%22%5D%5Bkey%5D%20for%20r%20in%20(a_sgd%2C%20a_adam%2C%20a_adamw)%5D%2C%20marker_color%3Dcolor)%0A%20%20%20%20%20%20%20%20figure.update_layout(barmode%3D%22stack%22%2C%20height%3D290%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D20)%2C%20yaxis_title%3D%22Training%20memory%20(GB)%22%2C%20legend_orientation%3D%22h%22)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20a_prediction%2C%20apply_plotly_theme(figure)%2C%20table(rows)%2C%20a_optimizer%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Ba_prediction.value%7D.%20On%20the%20%7Bprofile%5B'hardware'%5D.name%7D%20development%20host%2C%20AdamW%20optimizer%20state%20is%20**%7Ba_adamw%5B'memory'%5D%5B'optimizer_state_gb'%5D%3A.1f%7D%20GB**%3B%20inference%20weights%20alone%20are%20**%7Ba_adamw%5B'memory'%5D%5B'inference_weights_gb'%5D%3A.1f%7D%20GB**.%20Your%20optimizer%20conclusion%20is%20**%7Ba_optimizer.value%7D**%2C%20with%20%7Ba_selected%5B'updates_to_target'%5D%7D%20illustrative%20updates%20to%20target.%22)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20a_capture%2C%20saved(%22A%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22Training%20memory%20sums%20weights%2C%20gradients%2C%20optimizer%20state%2C%20retained%20activations%2C%20and%20buffers.%20The%20simulator%20computes%20the%20allocations%3B%20convergence%20traces%20are%20supplied%20scenario%20observations.%22)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_b()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%22%23%23%23%20B%20%C2%B7%20Does%20a%20larger%20batch%20finish%20sooner%3F%20(10%20min)%5CnPhysical%20batch%20controls%20resident%20activations.%20Accumulation%20repeats%20microsteps%20before%20one%20optimizer%20update.%20Compare%20time%20to%20the%20same%20target%20quality.%22)%0A%20%20%20%20%20%20%20%20if%20b_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20b_prediction%5D)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Design%22%3A%20%22Baseline%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Physical%20batch%22%3A%20b_baseline%5B%22timing%22%5D%5B%22physical_batch%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Accumulation%22%3A%20b_baseline%5B%22timing%22%5D%5B%22accumulation_steps%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Effective%20batch%22%3A%20b_baseline%5B%22timing%22%5D%5B%22effective_batch%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Updates%22%3A%20b_baseline%5B%22updates_to_target%22%5D%20if%20b_baseline%5B%22updates_to_target%22%5D%20is%20not%20None%20else%20%22target%20missed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Samples%20presented%22%3A%20b_baseline%5B%22samples_presented%22%5D%20if%20b_baseline%5B%22samples_presented%22%5D%20is%20not%20None%20else%20%22%E2%80%94%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Update%20time%20(ms)%22%3A%20f%22%7Bb_baseline%5B'timing'%5D%5B'update_time_ms'%5D%3A.1f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Total%20time%20(s)%22%3A%20f%22%7Bb_baseline%5B'total_time_seconds'%5D%3A.1f%7D%22%20if%20b_baseline%5B%22total_time_seconds%22%5D%20is%20not%20None%20else%20%22%E2%80%94%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Outcome%22%3A%20status(b_baseline)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Design%22%3A%20%22Intervention%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Physical%20batch%22%3A%20b_result%5B%22timing%22%5D%5B%22physical_batch%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Accumulation%22%3A%20b_result%5B%22timing%22%5D%5B%22accumulation_steps%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Effective%20batch%22%3A%20b_result%5B%22timing%22%5D%5B%22effective_batch%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Updates%22%3A%20b_result%5B%22updates_to_target%22%5D%20if%20b_result%5B%22updates_to_target%22%5D%20is%20not%20None%20else%20%22target%20missed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Samples%20presented%22%3A%20b_result%5B%22samples_presented%22%5D%20if%20b_result%5B%22samples_presented%22%5D%20is%20not%20None%20else%20%22%E2%80%94%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Update%20time%20(ms)%22%3A%20f%22%7Bb_result%5B'timing'%5D%5B'update_time_ms'%5D%3A.1f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Total%20time%20(s)%22%3A%20f%22%7Bb_result%5B'total_time_seconds'%5D%3A.1f%7D%22%20if%20b_result%5B%22total_time_seconds%22%5D%20is%20not%20None%20else%20%22%E2%80%94%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Outcome%22%3A%20status(b_result)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20figure.add_scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Bpoint%5B0%5D%20for%20point%20in%20b_baseline%5B%22trace%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Bpoint%5B1%5D%20for%20point%20in%20b_baseline%5B%22trace%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%2Bmarkers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Baseline%20(eff%20%7Bb_baseline%5B'timing'%5D%5B'effective_batch'%5D%7D)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20width%3D2%2C%20dash%3D%22dot%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20figure.add_scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Bpoint%5B0%5D%20for%20point%20in%20b_result%5B%22trace%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Bpoint%5B1%5D%20for%20point%20in%20b_result%5B%22trace%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%2Bmarkers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Intervention%20(eff%20%7Bb_result%5B'timing'%5D%5B'effective_batch'%5D%7D)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D3)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20figure.add_hline(y%3Db_result%5B%22target_quality%22%5D%2C%20line_dash%3D%22dash%22%2C%20annotation_text%3D%22Common%20target%22)%0A%20%20%20%20%20%20%20%20figure.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D280%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D%22Optimizer%20updates%22%2C%20yaxis_title%3D%22Illustrative%20held-out%20quality%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend_orientation%3D%22h%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20b_success%20%3D%20b_result%5B%22feasible%22%5D%20and%20b_result%5B%22reached_target%22%5D%0A%20%20%20%20%20%20%20%20if%20not%20b_result%5B%22memory%22%5D%5B%22feasible%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20b_feedback%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%20**Execution%20failed%20(%7Bstatus(b_result)%7D).**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Resident%20physical%20batch%20%7Bb_physical%7D%20requires%20%7Bb_result%5B'memory'%5D%5B'total_memory_gb'%5D%3A.1f%7D%20GB%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22exceeding%20accelerator%20capacity%20(%7Bb_result%5B'memory'%5D%5B'available_memory_gb'%5D%3A.1f%7D%20GB)%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22with%20%7Bb_result%5B'memory'%5D%5B'activations_gb'%5D%3A.1f%7D%20GB%20of%20resident%20activations%20alone%20(Out-Of-Memory%20%2F%20OOM).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Gradient%20accumulation%20enables%20larger%20effective%20batches%20without%20blowing%20up%20resident%20activation%20memory.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20elif%20not%20b_result%5B%22reached_target%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20b_feedback%20%3D%20f%22%20**Target%20missed%20(%7Bstatus(b_result)%7D).**%20The%20design%20is%20feasible%20in%20memory%20but%20failed%20to%20reach%20target%20quality%20(%7Bb_result%5B'target_quality'%5D%7D)%20within%20the%20update%20horizon.%22%0A%20%20%20%20%20%20%20%20elif%20not%20b_result%5B%22feasible%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20b_feedback%20%3D%20f%22%20**Constraint%20violated%20(%7Bstatus(b_result)%7D).**%20The%20design%20reached%20target%20quality%20but%20violated%20schedule%20or%20cost%20limits.%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20b_feedback%20%3D%20%22%20The%20design%20is%20feasible%20and%20reached%20the%20common%20target.%22%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20b_prediction%2C%20b_strategy%2C%20apply_plotly_theme(figure)%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Bb_prediction.value%7D.%20The%20selected%20design%20uses%20physical%20batch%20**%7Bb_physical%7D**%20and%20effective%20batch%20**%7Bb_result%5B'timing'%5D%5B'effective_batch'%5D%7D**.%20It%20presents%20**%7Bb_result%5B'samples_presented'%5D%20or%20'no%20completed%20target%20run'%7D**%20samples%20before%20the%20target%20result.%7Bb_feedback%7D%22)%2C%20kind%3D%22success%22%20if%20b_success%20else%20%22danger%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20b_capture%2C%20saved(%22B%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22Update%20time%20repeats%20input%20%2B%20forward%20%2B%20backward%20%2B%20recomputation%20for%20every%20accumulated%20microbatch%2C%20followed%20by%20one%20optimizer%20step.%20The%20simulator%20multiplies%20supplied%20updates-to-target%20by%20update%20time%20and%20separately%20counts%20sample%20presentations.%22)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_c()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%22%23%23%23%20C%20%C2%B7%20When%20does%20lower%20precision%20help%3F%20(10%20min)%5CnNarrower%20compute%20can%20shorten%20stages%20and%20reduce%20tensors%2C%20while%20high-precision%20optimizer%20state%20remains.%20Independent%20numerical%20and%20convergence%20replays%20decide%20acceptance.%22)%0A%20%20%20%20%20%20%20%20if%20c_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20c_prediction%5D)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Format%22%3A%20result%5B%22memory%22%5D%5B%22precision%22%5D.upper()%2C%20%22Memory%20(GB)%22%3A%20f%22%7Bresult%5B'memory'%5D%5B'total_memory_gb'%5D%3A.1f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Update%20time%20(ms)%22%3A%20f%22%7Bresult%5B'timing'%5D%5B'update_time_ms'%5D%3A.1f%7D%22%2C%20%22Optimizer%20stage%20(ms)%22%3A%20f%22%7Bresult%5B'timing'%5D%5B'optimizer_ms'%5D%3A.1f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Finite%20replay%22%3A%20f%22%7Bresult%5B'numerical_replay'%5D%5B'finite_fraction'%5D%3A.1%25%7D%22%2C%20%22Target%22%3A%20%22reached%22%20if%20result%5B%22reached_target%22%5D%20else%20%22missed%22%2C%0A%20%20%20%20%20%20%20%20%7D%20for%20result%20in%20(c_fp32%2C%20c_result)%5D%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure(%5Bgo.Bar(x%3D%5B%22FP32%22%2C%20c_precision.value.upper()%5D%2C%20y%3D%5Bc_fp32%5B%22timing%22%5D%5B%22update_time_ms%22%5D%2C%20c_result%5B%22timing%22%5D%5B%22update_time_ms%22%5D%5D%2C%20marker_color%3D%5BCOLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22OrangeLine%22%5D%5D)%5D)%0A%20%20%20%20%20%20%20%20figure.update_layout(height%3D260%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D20)%2C%20yaxis_title%3D%22Update%20time%20(ms)%22%2C%20showlegend%3DFalse)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20c_prediction%2C%20c_precision%2C%20apply_plotly_theme(figure)%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Bc_prediction.value%7D.%20**%7Bc_precision.value.upper()%7D**%20%7B'reaches'%20if%20c_result%5B'reached_target'%5D%20else%20'does%20not%20reach'%7D%20the%20common%20target.%20Its%20FP32%20optimizer%20stage%20remains%20**%7Bc_result%5B'timing'%5D%5B'optimizer_ms'%5D%3A.1f%7D%20ms**.%22)%2C%20kind%3D%22success%22%20if%20c_result%5B%22reached_target%22%5D%20else%20%22danger%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20c_capture%2C%20saved(%22C%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22Precision%20selects%20finite%20forward%2Fbackward%20observations%20and%20tensor%20widths.%20Optimizer%20time%20is%20a%20separate%20FP32-state%20fixture.%20Numerical%20replay%20and%20convergence%20are%20not%20functions%20of%20throughput.%22)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_d()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(f%22%23%23%23%20D%20%C2%B7%20When%20is%20recomputation%20worth%20paying%20for%3F%20(10%20min)%5CnThe%20resident%20physical-batch%20probe%20is%20**%7Bprobe_batch%7D**.%20Without%20checkpointing%20it%20crosses%20the%20memory%20boundary.%20Predict%20both%20memory%20and%20time%20directions.%22)%0A%20%20%20%20%20%20%20%20if%20d_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20d_prediction%5D)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Policy%22%3A%20%22None%22%2C%20%22Activations%20(GB)%22%3A%20f%22%7Bd_baseline%5B'activations_gb'%5D%3A.1f%7D%22%2C%20%22Total%20(GB)%22%3A%20f%22%7Bd_baseline%5B'total_memory_gb'%5D%3A.1f%7D%22%2C%20%22Capacity%20(GB)%22%3A%20f%22%7Bd_baseline%5B'available_memory_gb'%5D%3A.1f%7D%22%2C%20%22Fits%22%3A%20%22yes%22%20if%20d_baseline%5B%22feasible%22%5D%20else%20%22NO%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Policy%22%3A%20d_checkpoint.value.title()%2C%20%22Activations%20(GB)%22%3A%20f%22%7Bd_result%5B'activations_gb'%5D%3A.1f%7D%22%2C%20%22Total%20(GB)%22%3A%20f%22%7Bd_result%5B'total_memory_gb'%5D%3A.1f%7D%22%2C%20%22Capacity%20(GB)%22%3A%20f%22%7Bd_result%5B'available_memory_gb'%5D%3A.1f%7D%22%2C%20%22Fits%22%3A%20%22yes%22%20if%20d_result%5B%22feasible%22%5D%20else%20%22NO%22%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure(%5Bgo.Bar(x%3D%5B%22No%20checkpoint%22%2C%20d_checkpoint.value.title()%5D%2C%20y%3D%5Bd_baseline%5B%22total_memory_gb%22%5D%2C%20d_result%5B%22total_memory_gb%22%5D%5D%2C%20marker_color%3D%5BCOLORS%5B%22RedLine%22%5D%2C%20COLORS%5B%22GreenLine%22%5D%5D)%5D)%0A%20%20%20%20%20%20%20%20figure.add_hline(y%3Dd_baseline%5B%22available_memory_gb%22%5D%2C%20line_dash%3D%22dash%22%2C%20annotation_text%3D%22Capacity%22)%0A%20%20%20%20%20%20%20%20figure.update_layout(height%3D270%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D20)%2C%20yaxis_title%3D%22Training%20memory%20(GB)%22%2C%20showlegend%3DFalse)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20d_prediction%2C%20d_checkpoint%2C%20apply_plotly_theme(figure)%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Bd_prediction.value%7D.%20The%20selected%20policy%20saves%20**%7Bd_timing%5B'activation_memory_saved_gb'%5D%3A.1f%7D%20GB**%20at%20the%20default%20batch%20and%20adds%20**%7Bd_timing%5B'added_update_time_ms'%5D%3A.1f%7D%20ms**%20per%20update.%20The%20probe%20changes%20from%20**%7B'fit'%20if%20d_baseline%5B'feasible'%5D%20else%20'OOM'%7D**%20to%20**%7B'fit'%20if%20d_result%5B'feasible'%5D%20else%20'OOM'%7D**.%22)%2C%20kind%3D%22success%22%20if%20d_result%5B%22feasible%22%5D%20else%20%22danger%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20d_capture%2C%20saved(%22D%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22The%20memory%20model%20reduces%20retained%20activations.%20The%20stage%20model%20adds%20supplied%20recomputation%20work%20to%20each%20physical%20microstep%3B%20convergence%20does%20not%20improve%20automatically.%22)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_e()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%22%23%23%23%20E%20%C2%B7%20What%20should%20we%20fix%20before%20buying%20hardware%3F%20(8%20min)%5CnCompare%20input%20prefetch%2C%20a%20supplied%20faster%20arithmetic%20path%2C%20and%20activation%20checkpointing%20against%20the%20identical%20baseline.%22)%0A%20%20%20%20%20%20%20%20if%20e_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20e_prediction%5D)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Fix%22%3A%20name.title()%2C%20%22Update-time%20change%20(ms)%22%3A%20f%22%7Bcomparison%5B'delta_update_time_ms'%5D%3A%2B.1f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Memory%20change%20(GB)%22%3A%20f%22%7Bcomparison%5B'delta_memory_gb'%5D%3A%2B.1f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Total%20time%20(s)%22%3A%20f%22%7Bcomparison%5B'result'%5D%5B'total_time_seconds'%5D%3A.1f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Dominant%20stage%22%3A%20comparison%5B%22result%22%5D%5B%22timing%22%5D%5B%22dominant_stage%22%5D%2C%20%22Outcome%22%3A%20status(comparison%5B%22result%22%5D)%2C%0A%20%20%20%20%20%20%20%20%7D%20for%20name%2C%20comparison%20in%20e_comparisons.items()%5D%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure(%5Bgo.Bar(x%3D%5Bname.title()%20for%20name%20in%20e_comparisons%5D%2C%20y%3D%5Bcomparison%5B%22delta_update_time_ms%22%5D%20for%20comparison%20in%20e_comparisons.values()%5D%2C%20marker_color%3D%5BCOLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22GreenLine%22%5D%2C%20COLORS%5B%22OrangeLine%22%5D%5D)%5D)%0A%20%20%20%20%20%20%20%20figure.update_layout(height%3D270%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D20)%2C%20yaxis_title%3D%22Change%20in%20update%20time%20(ms)%22%2C%20showlegend%3DFalse)%0A%20%20%20%20%20%20%20%20if%20e_selected%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20e_prediction%2C%20e_intervention%2C%20e_rejected%5D)%0A%20%20%20%20%20%20%20%20_held%20%3D%20e_intervention.value%20%3D%3D%20%22none%22%0A%20%20%20%20%20%20%20%20_decision_text%20%3D%20%22hold%20the%20unchanged%20baseline%22%20if%20_held%20else%20f%22choose%20%7Be_intervention.value%7D%22%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20e_prediction%2C%20e_intervention%2C%20apply_plotly_theme(figure)%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20e_rejected%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Be_prediction.value%7D.%20You%20**%7B_decision_text%7D**%20after%20testing%20**%7Be_selected%5B'intervention'%5D%7D**%2C%20which%20changes%20update%20time%20by%20**%7Be_selected%5B'delta_update_time_ms'%5D%3A%2B.1f%7D%20ms**%20and%20memory%20by%20**%7Be_selected%5B'delta_memory_gb'%5D%3A%2B.1f%7D%20GB**.%20Convergence%20is%20unchanged.%22)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20e_capture%2C%20saved(%22E%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22Each%20intervention%20selects%20one%20supplied%20causal%20path.%20Prefetch%20changes%20visible%20input%20time%3B%20faster%20arithmetic%20changes%20forward%2Fbackward%20stages%3B%20checkpointing%20changes%20retained%20activations%20and%20adds%20recomputation.%22)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20synthesis()%3A%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20part%20in%20%22ABCDE%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20capture%20%3D%20_captures.get(part)%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B%22Part%22%3A%20part%2C%20%22Prediction%22%3A%20capture.to_dict()%5B%22prediction%22%5D%20if%20capture%20else%20%22%E2%80%94%22%2C%20%22Evidence%22%3A%20%22CURRENT%22%20if%20capture%20and%20part%20not%20in%20audit.stale%20and%20(part%2C%20part)%20not%20in%20audit.identical_pairs%20else%20(%22STALE%22%20if%20capture%20else%20%22MISSING%22)%7D)%0A%20%20%20%20%20%20%20%20saved_e%20%3D%20_captures%5B%22E%22%5D.to_dict()%20if%20%22E%22%20in%20_captures%20else%20None%0A%20%20%20%20%20%20%20%20saved_e_decision%20%3D%20saved_e%5B%22decision%22%5D%20if%20saved_e%20else%20None%0A%20%20%20%20%20%20%20%20saved_e_rejected%20%3D%20saved_e%5B%22inputs%22%5D.get(%22rejected_alternative%22)%20if%20saved_e%20else%20None%0A%20%20%20%20%20%20%20%20selected_matches%20%3D%20(final_choice.value%20%3D%3D%20saved_e_decision%20and%20(final_choice.value%20!%3D%20%22none%22%20or%20final_rejected.value%20%3D%3D%20saved_e_rejected))%0A%20%20%20%20%20%20%20%20choices_complete%20%3D%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%0A%20%20%20%20%20%20%20%20distinct%20%3D%20final_choice.value%20%3D%3D%20%22none%22%20or%20final_choice.value%20!%3D%20final_rejected.value%0A%20%20%20%20%20%20%20%20complete%20%3D%20audit.complete%20and%20choices_complete%20and%20distinct%20and%20selected_matches%20and%20bool(rationale.value.strip())%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Synthesis%20%C2%B7%20Defend%20a%20time-to-target%20decision%20(5%20min)%5CnChoose%20one%20tested%20fix%20or%20hold%20for%20more%20evidence%2C%20quantify%20a%20rejected%20tested%20alternative%2C%20name%20the%20remaining%20limitation%2C%20and%20state%20the%20reevaluation%20trigger.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20table(rows)%2C%20mo.hstack(%5Bfinal_choice%2C%20final_rejected%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20mo.hstack(%5Bfinal_trigger%2C%20final_risk%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20rationale%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%22**Ready%20for%20the%20local%20report.**%22%20if%20complete%20else%20%22Capture%20five%20current%20contrasts.%20Match%20the%20recommendation%20to%20saved%20Part%20E.%20If%20you%20hold%2C%20match%20the%20rejected%20choice%20to%20the%20alternative%20tested%20there.%22)%2C%20kind%3D%22success%22%20if%20complete%20else%20%22warn%22)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%22Part%20A%20%C2%B7%20Memory%22%3A%20part_a()%2C%20%22Part%20B%20%C2%B7%20Batch%22%3A%20part_b()%2C%20%22Part%20C%20%C2%B7%20Precision%22%3A%20part_c()%2C%20%22Part%20D%20%C2%B7%20Checkpoint%22%3A%20part_d()%2C%20%22Part%20E%20%C2%B7%20Bottleneck%22%3A%20part_e()%2C%20%22Synthesis%22%3A%20synthesis()%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%20(audit%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20audit%2C%0A%20%20%20%20build_lab_report%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20profile%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20report_export_panel%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_saved_e%20%3D%20_captures%5B%22E%22%5D.to_dict()%20if%20%22E%22%20in%20_captures%20else%20None%0A%20%20%20%20_saved_e_decision%20%3D%20_saved_e%5B%22decision%22%5D%20if%20_saved_e%20else%20None%0A%20%20%20%20_saved_e_rejected%20%3D%20_saved_e%5B%22inputs%22%5D.get(%22rejected_alternative%22)%20if%20_saved_e%20else%20None%0A%20%20%20%20_choices_complete%20%3D%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%0A%20%20%20%20_distinct%20%3D%20final_choice.value%20%3D%3D%20%22none%22%20or%20final_choice.value%20!%3D%20final_rejected.value%0A%20%20%20%20_selected_matches%20%3D%20final_choice.value%20%3D%3D%20_saved_e_decision%20and%20(final_choice.value%20!%3D%20%22none%22%20or%20final_rejected.value%20%3D%3D%20_saved_e_rejected)%0A%20%20%20%20_ready%20%3D%20audit.complete%20and%20_choices_complete%20and%20_distinct%20and%20_selected_matches%20and%20bool(rationale.value.strip())%0A%20%20%20%20mo.stop(not%20_ready)%0A%20%20%20%20snapshots%20%3D%20%7Bpart%3A%20_captures%5Bpart%5D.to_dict()%20for%20part%20in%20%22ABCDE%22%7D%0A%20%20%20%20report%20%3D%20build_lab_report(%0A%20%20%20%20%20%20%20%20get_lab_metadata(%22vol1%2Flab_08_model_train.py%22)%2C%20track%3Dtrack_id%2C%20scenario%3Dprofile%5B%22task%22%5D%2C%0A%20%20%20%20%20%20%20%20learning_objectives%3D%5B%22Decompose%20training%20memory%20and%20optimizer%20state%22%2C%20%22Compare%20physical%20batch%2C%20effective%20batch%2C%20and%20time%20to%20target%22%2C%20%22Defend%20precision%2C%20checkpointing%2C%20and%20bottleneck%20interventions%20with%20evidence%22%5D%2C%0A%20%20%20%20%20%20%20%20predictions%3D%7Bpart%3A%20snapshots%5Bpart%5D%5B%22prediction%22%5D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20knob_settings%3D%7Bpart%3A%20snapshots%5Bpart%5D%5B%22inputs%22%5D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20evidence_summary%3D%7Bpart%3A%20%7B%22baseline%22%3A%20snapshots%5Bpart%5D%5B%22baseline%22%5D%2C%20%22result%22%3A%20snapshots%5Bpart%5D%5B%22result%22%5D%2C%20%22result_role%22%3A%20snapshots%5Bpart%5D%5B%22result_role%22%5D%2C%20%22chosen_result%22%3A%20snapshots%5Bpart%5D%5B%22chosen_result%22%5D%2C%20%22alternatives%22%3A%20snapshots%5Bpart%5D%5B%22alternatives%22%5D%7D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20binding_constraints%3D%7Bpart%3A%20(snapshots%5Bpart%5D%5B%22chosen_result%22%5D%20or%20snapshots%5Bpart%5D%5B%22result%22%5D).get(%22violations%22%2C%20%5B%22memory%22%5D%20if%20not%20(snapshots%5Bpart%5D%5B%22chosen_result%22%5D%20or%20snapshots%5Bpart%5D%5B%22result%22%5D).get(%22feasible%22%2C%20True)%20else%20%5B%5D)%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20decisions%3D%7B%22recommendation%22%3A%20final_choice.value%2C%20%22rejected_alternative%22%3A%20final_rejected.value%2C%20%22reevaluation_trigger%22%3A%20final_trigger.value%7D%2C%0A%20%20%20%20%20%20%20%20final_decision%3D%7B%22recommendation%22%3A%20final_choice.value%2C%20%22rejected_alternative%22%3A%20final_rejected.value%2C%20%22rationale%22%3A%20rationale.value%7D%2C%0A%20%20%20%20%20%20%20%20big_takeaways%3D%5B%22Training%20memory%20includes%20state%20inference%20never%20retains.%22%2C%20%22Step%20throughput%20and%20convergence%20jointly%20determine%20time%20to%20target.%22%2C%20%22Checkpointing%20and%20lower%20precision%20need%20adverse-outcome%20evidence.%22%5D%2C%0A%20%20%20%20%20%20%20%20reflections%3D%7B%22rationale%22%3A%20rationale.value%2C%20%22reevaluation_trigger%22%3A%20final_trigger.value%7D%2C%20residual_risk%3Dfinal_risk.value%2C%0A%20%20%20%20%20%20%20%20result_snapshot%3D%7B%22track%22%3A%20track_id%2C%20%22captures%22%3A%20snapshots%2C%20%22recommendation%22%3A%20final_choice.value%2C%20%22rejected_alternative%22%3A%20final_rejected.value%2C%20%22reevaluation_trigger%22%3A%20final_trigger.value%2C%20%22residual_risk%22%3A%20final_risk.value%7D%2C%0A%20%20%20%20%20%20%20%20source_trace%3D%7B%22scenario%22%3A%20%22Illustrative%20convergence%2C%20numerical%2C%20timing%2C%20and%20internal-cost%20fixtures.%22%2C%20%22calculations%22%3A%20%22Training-memory%20and%20stage-time%20experiment%20model.%22%7D%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%20Local%20evidence%20report%22)%2C%20report_export_panel(report)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Aasync%20def%20_(%0A%20%20%20%20audit%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20ledger%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_saved_e%20%3D%20_captures%5B%22E%22%5D.to_dict()%20if%20%22E%22%20in%20_captures%20else%20None%0A%20%20%20%20_saved_e_decision%20%3D%20_saved_e%5B%22decision%22%5D%20if%20_saved_e%20else%20None%0A%20%20%20%20_saved_e_rejected%20%3D%20_saved_e%5B%22inputs%22%5D.get(%22rejected_alternative%22)%20if%20_saved_e%20else%20None%0A%20%20%20%20_choices_complete%20%3D%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%0A%20%20%20%20_distinct%20%3D%20final_choice.value%20%3D%3D%20%22none%22%20or%20final_choice.value%20!%3D%20final_rejected.value%0A%20%20%20%20_selected_matches%20%3D%20final_choice.value%20%3D%3D%20_saved_e_decision%20and%20(final_choice.value%20!%3D%20%22none%22%20or%20final_rejected.value%20%3D%3D%20_saved_e_rejected)%0A%20%20%20%20_ready%20%3D%20audit.complete%20and%20_choices_complete%20and%20_distinct%20and%20_selected_matches%20and%20bool(rationale.value.strip())%0A%20%20%20%20_status%20%3D%20%22EVIDENCE%20IN%20PROGRESS%22%0A%20%20%20%20if%20_ready%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ledger.save(chapter%3D8%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22schema_version%22%3A%201%2C%20%22lab_id%22%3A%20%22v1_08%22%2C%20%22track_id%22%3A%20track_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model_id%22%3A%20%22v1_08_experiments%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22evidence%22%3A%20%7Bpart%3A%20capture.to_dict()%20for%20part%2C%20capture%20in%20_captures.items()%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22recommendation%22%3A%20final_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22rejected_alternative%22%3A%20final_rejected.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reevaluation_trigger%22%3A%20final_trigger.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22residual_risk%22%3A%20final_risk.value%2C%20%22rationale%22%3A%20rationale.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20await%20ledger.flush()%0A%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_status%20%3D%20%22LOCAL%20SAVE%20FAILED%20%C2%B7%20DOWNLOAD%20THE%20REPORT%20TO%20KEEP%20YOUR%20EVIDENCE%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_status%20%3D%20%22SAVED%22%0A%20%20%20%20mo.Html(f'%3Cdiv%20class%3D%22lab-hud%22%3E%3Cspan%3ELAB%2008%20%C2%B7%20Time%20to%20Target%20%C2%B7%20STATUS%3A%20%7B_status%7D%3C%2Fspan%3E%3C%2Fdiv%3E')%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A