Lab 07: When Failure Is Routine

Lab 07: When Failure Is Routine · MLSysBook

import%20marimo%0A%0A__generated_with%20%3D%20%220.25.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22full%22%2C%0A%20%20%20%20app_title%3D%22Lab%2007%3A%20When%20Failure%20Is%20Routine%20%C2%B7%20MLSysBook%22%2C%0A)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20html%20as%20html_lib%0A%20%20%20%20import%20sys%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysim-0.1.2-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysbook_labs-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20labs_dir%20%3D%20Path(__file__).resolve().parents%5B1%5D%0A%20%20%20%20%20%20%20%20if%20str(labs_dir)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(labs_dir))%0A%20%20%20%20%20%20%20%20from%20bootstrap%20import%20native_bootstrap%0A%20%20%20%20%20%20%20%20native_bootstrap(__file__)%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.engine.v2_07_experiments%20import%20(%0A%20%20%20%20%20%20%20%20TRACKS%2C%20checkpoint_fault_fixture%2C%20checkpoint_tradeoff%2C%0A%20%20%20%20%20%20%20%20get_track_scenario%2C%20replica_availability%2C%20select_restore_checkpoint%2C%0A%20%20%20%20%20%20%20%20serving_capacity%2C%20track_scenario%2C%20training_exposure%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20from%20mlsysbook_labs%20import%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%20build_lab_report%2C%20get_lab_metadata%2C%0A%20%20%20%20%20%20%20%20get_track_profile%2C%20report_export_panel%2C%20track_context%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysbook_labs.experiment_evidence%20import%20audit_evidence%2C%20capture_evidence%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger(volume%3D%22vol2%22)%0A%20%20%20%20if%20ledger.is_wasm%3A%0A%20%20%20%20%20%20%20%20_loaded%20%3D%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20audit_evidence%2C%0A%20%20%20%20%20%20%20%20build_lab_report%2C%0A%20%20%20%20%20%20%20%20capture_evidence%2C%0A%20%20%20%20%20%20%20%20checkpoint_fault_fixture%2C%0A%20%20%20%20%20%20%20%20checkpoint_tradeoff%2C%0A%20%20%20%20%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20%20%20%20%20get_track_profile%2C%0A%20%20%20%20%20%20%20%20get_track_scenario%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20html_lib%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20replica_availability%2C%0A%20%20%20%20%20%20%20%20report_export_panel%2C%0A%20%20%20%20%20%20%20%20serving_capacity%2C%0A%20%20%20%20%20%20%20%20track_context%2C%0A%20%20%20%20%20%20%20%20training_exposure%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20get_evidence%2C%20set_evidence%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20return%20get_evidence%2C%20set_evidence%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20set_evidence)%3A%0A%20%20%20%20track%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22TinyML%22%3A%20%22tinyml%22%2C%20%22Mobile%22%3A%20%22mobile%22%2C%20%22Edge%22%3A%20%22edge%22%2C%20%22Cloud%22%3A%20%22cloud%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Cloud%22%2C%20label%3D%22Fleet%20track%22%2C%20on_change%3Dlambda%20_value%3A%20set_evidence(%7B%7D)%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%23%20Choose%20a%20fleet%20context%22)%2C%20track%5D)%0A%20%20%20%20return%20(track%2C)%0A%0A%0A%40app.cell%0Adef%20_(get_track_profile%2C%20get_track_scenario%2C%20track)%3A%0A%20%20%20%20track_id%20%3D%20track.value%0A%20%20%20%20scenario%20%3D%20get_track_scenario(track_id)%0A%20%20%20%20profile%20%3D%20get_track_profile(track_id)%0A%20%20%20%20return%20scenario%2C%20track_id%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20scenario%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20a_workers%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20scenario%5B%22worker_min%22%5D%2C%20scenario%5B%22worker_max%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3Dscenario%5B%22worker_default%22%5D%2C%20step%3Dscenario%5B%22worker_step%22%5D%2C%0A%20%20%20%20%20%20%20%20label%3Df%22Coupled%20%7Bscenario%5B'training_unit'%5D%7D%22%2C%0A%20%20%20%20)%0A%20%20%20%20b_interval%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%205%2C%20180%2C%20value%3Dscenario%5B%22checkpoint_interval_default%22%5D%2C%20step%3D5%2C%0A%20%20%20%20%20%20%20%20label%3D%22Checkpoint%20interval%20(min)%22%2C%0A%20%20%20%20)%0A%20%20%20%20c_fault%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22Newest%20generation%20is%20corrupt%22%3A%20%22corrupt%22%2C%20%22Newest%20write%20is%20incomplete%22%3A%20%22incomplete%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Newest%20generation%20is%20corrupt%22%2C%20label%3D%22Injected%20checkpoint%20fault%22%2C%0A%20%20%20%20)%0A%20%20%20%20d_replicas%20%3D%20mo.ui.slider(2%2C%204%2C%20value%3D3%2C%20step%3D1%2C%20label%3Df%22%7Bscenario%5B'replica_role'%5D.capitalize()%7D%20replicas%22)%0A%20%20%20%20d_decision%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Spread%20across%20domains%22%3A%20%22spread%22%2C%20%22Keep%20colocated%22%3A%20%22colocated%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Placement%20decision%22%2C%0A%20%20%20%20)%0A%20%20%20%20e_state_scale%20%3D%20mo.ui.slider(5%2C%2020%2C%20value%3D20%2C%20step%3D5%2C%20label%3D%22Recovery-state%20multiplier%22)%0A%20%20%20%20e_bandwidth_scale%20%3D%20mo.ui.slider(2%2C%2012%2C%20value%3D12%2C%20step%3D1%2C%20label%3D%22Added-path%20bandwidth%20multiplier%22)%0A%20%20%20%20e_decision%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Allocate%20bandwidth%20to%20checkpoint%20writes%22%3A%20%22write%22%2C%20%22Allocate%20bandwidth%20to%20restore%20reads%22%3A%20%22restore%22%2C%20%22Take%20no%20action%22%3A%20%22none%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Recovery%20decision%22%2C%0A%20%20%20%20)%0A%20%20%20%20e_rejected%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Checkpoint-write%20path%22%3A%20%22write%22%2C%20%22Restore-read%20path%22%3A%20%22restore%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Quantified%20rejected%20alternative%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_workers%2C%0A%20%20%20%20%20%20%20%20b_interval%2C%0A%20%20%20%20%20%20%20%20c_fault%2C%0A%20%20%20%20%20%20%20%20d_decision%2C%0A%20%20%20%20%20%20%20%20d_replicas%2C%0A%20%20%20%20%20%20%20%20e_bandwidth_scale%2C%0A%20%20%20%20%20%20%20%20e_decision%2C%0A%20%20%20%20%20%20%20%20e_rejected%2C%0A%20%20%20%20%20%20%20%20e_state_scale%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20a_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Less%20than%2025%25%22%3A%20%22under_25%22%2C%20%2225%25%20to%2075%25%22%3A%20%2225_to_75%22%2C%20%22More%20than%2075%25%22%3A%20%22over_75%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Probability%20that%20at%20least%20one%20event%20interrupts%20the%20job%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20A%20prediction%22)%0A%20%20%20%20b_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Checkpoint%20writes%22%3A%20%22checkpoint_writes%22%2C%20%22Lost%20work%22%3A%20%22lost_work%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20interval-dependent%20cost%20dominates%20at%20your%20setting%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20B%20prediction%22)%0A%20%20%20%20c_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Step%20400%22%3A%20400%2C%20%22Step%20300%22%3A%20300%2C%20%22Step%20200%22%3A%20200%2C%20%22Step%20100%22%3A%20100%2C%20%22No%20restore%22%3A%200%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20generation%20can%20recovery%20safely%20load%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20C%20prediction%22)%0A%20%20%20%20d_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Same%20availability%22%3A%20%22same%22%2C%20%22Spread%20placement%20is%20higher%22%3A%20%22spread_higher%22%2C%20%22Colocated%20placement%20is%20higher%22%3A%20%22colocated_higher%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20does%20failure-domain%20placement%20change%20service%20availability%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20D%20prediction%22)%0A%20%20%20%20e_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Write%20allocation%20meets%20RTO%22%3A%20%22write%22%2C%20%22Restore%20allocation%20meets%20RTO%22%3A%20%22restore%22%2C%20%22Both%20meet%20RTO%22%3A%20%22both%22%2C%20%22Neither%20meets%20RTO%22%3A%20%22neither%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20equal-bandwidth%20allocation%20meets%20the%20recovery%20objective%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20E%20prediction%22)%0A%20%20%20%20return%20a_prediction%2C%20b_prediction%2C%20c_prediction%2C%20d_prediction%2C%20e_prediction%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20final_choice%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Allocate%20bandwidth%20to%20checkpoint%20writes%22%3A%20%22write%22%2C%20%22Allocate%20bandwidth%20to%20restore%20reads%22%3A%20%22restore%22%2C%20%22Hold%20current%20allocation%22%3A%20%22none%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Recommendation%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_rejected%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Checkpoint-write%20path%22%3A%20%22write%22%2C%20%22Restore-read%20path%22%3A%20%22restore%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Rejected%20alternative%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_trigger%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22RPO%20requirement%20tightens%22%3A%20%22rpo%22%2C%20%22Recovery%20state%20grows%22%3A%20%22state%22%2C%20%22Failure-domain%20rate%20rises%22%3A%20%22domain_rate%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Reevaluation%20trigger%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_risk%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Corruption%20escapes%20validation%22%3A%20%22corruption%22%2C%20%22Recovery%20phases%20vary%20under%20contention%22%3A%20%22recovery_variance%22%2C%20%22Failure%20domains%20are%20misspecified%22%3A%20%22domain_model%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Residual%20limitation%22%2C%0A%20%20%20%20)%0A%20%20%20%20rationale%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20label%3D%22Decision%20rationale%22%2C%0A%20%20%20%20%20%20%20%20placeholder%3D%22Use%20saved%20numbers%3A%20chosen%20outcome%2C%20rejected%20alternative%2C%20remaining%20limitation%2C%20and%20trigger.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20final_choice%2C%20final_rejected%2C%20final_risk%2C%20final_trigger%2C%20rationale%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20a_workers%2C%0A%20%20%20%20b_interval%2C%0A%20%20%20%20c_fault%2C%0A%20%20%20%20checkpoint_fault_fixture%2C%0A%20%20%20%20checkpoint_tradeoff%2C%0A%20%20%20%20d_replicas%2C%0A%20%20%20%20e_bandwidth_scale%2C%0A%20%20%20%20e_state_scale%2C%0A%20%20%20%20replica_availability%2C%0A%20%20%20%20scenario%2C%0A%20%20%20%20serving_capacity%2C%0A%20%20%20%20track_id%2C%0A%20%20%20%20training_exposure%2C%0A)%3A%0A%20%20%20%20a_base%20%3D%20training_exposure(track_id%2C%20workers%3Dscenario%5B%22worker_sweep_baseline%22%5D)%0A%20%20%20%20a_result%20%3D%20training_exposure(track_id%2C%20workers%3Da_workers.value)%0A%20%20%20%20a_sweep%20%3D%20%5B%0A%20%20%20%20%20%20%20%20training_exposure(track_id%2C%20workers%3Dworkers)%0A%20%20%20%20%20%20%20%20for%20workers%20in%20sorted(%7Bscenario%5B%22worker_sweep_baseline%22%5D%2C%20a_workers.value%2C%20scenario%5B%22worker_max%22%5D%7D)%0A%20%20%20%20%5D%0A%20%20%20%20b_base%20%3D%20checkpoint_tradeoff(track_id%2C%20interval_min%3Dscenario%5B%22checkpoint_interval_min%22%5D)%0A%20%20%20%20b_result%20%3D%20checkpoint_tradeoff(track_id%2C%20interval_min%3Db_interval.value)%0A%20%20%20%20b_sweep%20%3D%20%5Bcheckpoint_tradeoff(track_id%2C%20interval_min%3Dinterval)%20for%20interval%20in%20range(5%2C%20181%2C%205)%5D%0A%20%20%20%20c_fixture%20%3D%20checkpoint_fault_fixture(track_id%2C%20fault%3Dc_fault.value)%0A%20%20%20%20c_baseline_records%20%3D%20c_fixture%5B%22baseline_records%22%5D%0A%20%20%20%20c_result_records%20%3D%20c_fixture%5B%22result_records%22%5D%0A%20%20%20%20c_base%20%3D%20c_fixture%5B%22baseline%22%5D%0A%20%20%20%20c_result%20%3D%20c_fixture%5B%22result%22%5D%0A%20%20%20%20d_capacity%20%3D%20serving_capacity(track_id)%0A%20%20%20%20d_colocated%20%3D%20replica_availability(%0A%20%20%20%20%20%20%20%20replicas%3Dd_replicas.value%2C%20placement_domains%3D1%2C%0A%20%20%20%20%20%20%20%20component_availability%3Dd_capacity%5B%22component_availability%22%5D%2C%0A%20%20%20%20%20%20%20%20domain_mttf_h%3Dscenario%5B%22serving_domain_mttf_h%22%5D%2C%0A%20%20%20%20%20%20%20%20domain_repair_min%3Dscenario%5B%22serving_domain_repair_min%22%5D%2C%0A%20%20%20%20)%0A%20%20%20%20d_spread%20%3D%20replica_availability(%0A%20%20%20%20%20%20%20%20replicas%3Dd_replicas.value%2C%20placement_domains%3Dd_replicas.value%2C%0A%20%20%20%20%20%20%20%20component_availability%3Dd_capacity%5B%22component_availability%22%5D%2C%0A%20%20%20%20%20%20%20%20domain_mttf_h%3Dscenario%5B%22serving_domain_mttf_h%22%5D%2C%0A%20%20%20%20%20%20%20%20domain_repair_min%3Dscenario%5B%22serving_domain_repair_min%22%5D%2C%0A%20%20%20%20)%0A%20%20%20%20e_base%20%3D%20checkpoint_tradeoff(track_id%2C%20state_scale%3De_state_scale.value)%0A%20%20%20%20e_write%20%3D%20checkpoint_tradeoff(%0A%20%20%20%20%20%20%20%20track_id%2C%20state_scale%3De_state_scale.value%2C%0A%20%20%20%20%20%20%20%20bandwidth_scale%3De_bandwidth_scale.value%2C%20bandwidth_allocation%3D%22write%22%2C%0A%20%20%20%20)%0A%20%20%20%20e_restore%20%3D%20checkpoint_tradeoff(%0A%20%20%20%20%20%20%20%20track_id%2C%20state_scale%3De_state_scale.value%2C%0A%20%20%20%20%20%20%20%20bandwidth_scale%3De_bandwidth_scale.value%2C%20bandwidth_allocation%3D%22restore%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_base%2C%0A%20%20%20%20%20%20%20%20a_result%2C%0A%20%20%20%20%20%20%20%20a_sweep%2C%0A%20%20%20%20%20%20%20%20b_base%2C%0A%20%20%20%20%20%20%20%20b_result%2C%0A%20%20%20%20%20%20%20%20b_sweep%2C%0A%20%20%20%20%20%20%20%20c_base%2C%0A%20%20%20%20%20%20%20%20c_result%2C%0A%20%20%20%20%20%20%20%20d_capacity%2C%0A%20%20%20%20%20%20%20%20d_colocated%2C%0A%20%20%20%20%20%20%20%20d_spread%2C%0A%20%20%20%20%20%20%20%20e_base%2C%0A%20%20%20%20%20%20%20%20e_restore%2C%0A%20%20%20%20%20%20%20%20e_write%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20a_base%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_result%2C%0A%20%20%20%20a_workers%2C%0A%20%20%20%20b_base%2C%0A%20%20%20%20b_interval%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_result%2C%0A%20%20%20%20c_base%2C%0A%20%20%20%20c_fault%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_result%2C%0A%20%20%20%20capture_evidence%2C%0A%20%20%20%20d_colocated%2C%0A%20%20%20%20d_decision%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_replicas%2C%0A%20%20%20%20d_spread%2C%0A%20%20%20%20e_bandwidth_scale%2C%0A%20%20%20%20e_base%2C%0A%20%20%20%20e_decision%2C%0A%20%20%20%20e_prediction%2C%0A%20%20%20%20e_rejected%2C%0A%20%20%20%20e_restore%2C%0A%20%20%20%20e_state_scale%2C%0A%20%20%20%20e_write%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20set_evidence%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20def%20store(part%2C%20capture)%3A%0A%20%20%20%20%20%20%20%20set_evidence(lambda%20current%3A%20%7B**current%2C%20part%3A%20capture%7D)%0A%0A%20%20%20%20a_upstream%20%3D%20%7B%22workers%22%3A%20a_workers.value%7D%0A%20%20%20%20b_upstream%20%3D%20%7B%22interval_min%22%3A%20b_interval.value%7D%0A%20%20%20%20c_upstream%20%3D%20%7B%22fault%22%3A%20c_fault.value%7D%0A%20%20%20%20d_upstream%20%3D%20%7B%22replicas%22%3A%20d_replicas.value%2C%20%22decision%22%3A%20d_decision.value%7D%0A%20%20%20%20e_upstream%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22state_scale%22%3A%20e_state_scale.value%2C%20%22bandwidth_scale%22%3A%20e_bandwidth_scale.value%2C%0A%20%20%20%20%20%20%20%20%22decision%22%3A%20e_decision.value%2C%20%22rejected%22%3A%20e_rejected.value%2C%0A%20%20%20%20%7D%0A%20%20%20%20a_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20interruption%20contrast%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Da_prediction.value%20is%20None%20or%20a_base%5B%22inputs%22%5D%20%3D%3D%20a_result%5B%22inputs%22%5D%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22A%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22A%22%2C%20prediction%3Da_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3Da_upstream%2C%20baseline%3Da_base%2C%20result%3Da_result%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Da_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v2_07_experiments.training_exposure%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20b_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20checkpoint%20contrast%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Db_prediction.value%20is%20None%20or%20b_base%5B%22inputs%22%5D%20%3D%3D%20b_result%5B%22inputs%22%5D%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22B%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22B%22%2C%20prediction%3Db_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3Db_upstream%2C%20baseline%3Db_base%2C%20result%3Db_result%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Db_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v2_07_experiments.checkpoint_tradeoff%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20c_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20restore%20decision%22%2C%20kind%3D%22success%22%2C%20disabled%3Dc_prediction.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22C%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22C%22%2C%20prediction%3Dc_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3Dc_upstream%2C%20baseline%3Dc_base%2C%20result%3Dc_result%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Dc_upstream%2C%20decision%3Dc_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v2_07_experiments.select_restore_checkpoint%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20d_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20placement%20decision%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dd_prediction.value%20is%20None%20or%20d_decision.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22D%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22D%22%2C%20prediction%3Dd_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3Dd_upstream%2C%20baseline%3Dd_colocated%2C%20result%3Dd_spread%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Dd_upstream%2C%20alternatives%3D(d_colocated%2C%20d_spread)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20decision%3Dd_decision.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v2_07_experiments.replica_availability%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20e_invalid%20%3D%20(%0A%20%20%20%20%20%20%20%20e_prediction.value%20is%20None%20or%20e_decision.value%20is%20None%0A%20%20%20%20%20%20%20%20or%20e_rejected.value%20is%20None%20or%20e_decision.value%20%3D%3D%20e_rejected.value%0A%20%20%20%20)%0A%20%20%20%20if%20e_decision.value%20%3D%3D%20%22write%22%3A%0A%20%20%20%20%20%20%20%20e_selected%20%3D%20e_write%0A%20%20%20%20elif%20e_decision.value%20%3D%3D%20%22restore%22%3A%0A%20%20%20%20%20%20%20%20e_selected%20%3D%20e_restore%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20e_selected%20%3D%20e_write%20if%20e_rejected.value%20%3D%3D%20%22write%22%20else%20e_restore%0A%20%20%20%20e_chosen_result%20%3D%20e_base%20if%20e_decision.value%20%3D%3D%20%22none%22%20else%20None%0A%20%20%20%20e_result_role%20%3D%20%22rejected%20alternative%22%20if%20e_decision.value%20%3D%3D%20%22none%22%20else%20%22tested%20intervention%22%0A%20%20%20%20e_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20recovery%20allocation%22%2C%20kind%3D%22success%22%2C%20disabled%3De_invalid%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22E%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22E%22%2C%20prediction%3De_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3De_upstream%2C%20baseline%3De_base%2C%20result%3De_selected%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3De_upstream%2C%20alternatives%3D(e_write%2C%20e_restore)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20decision%3De_decision.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v2_07_experiments.checkpoint_tradeoff%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20chosen_result%3De_chosen_result%2C%20result_role%3De_result_role%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_capture%2C%0A%20%20%20%20%20%20%20%20a_upstream%2C%0A%20%20%20%20%20%20%20%20b_capture%2C%0A%20%20%20%20%20%20%20%20b_upstream%2C%0A%20%20%20%20%20%20%20%20c_capture%2C%0A%20%20%20%20%20%20%20%20c_upstream%2C%0A%20%20%20%20%20%20%20%20d_capture%2C%0A%20%20%20%20%20%20%20%20d_upstream%2C%0A%20%20%20%20%20%20%20%20e_capture%2C%0A%20%20%20%20%20%20%20%20e_upstream%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ACADEMIC_LAB_CSS%2C%20LAB_CSS%2C%20mo%2C%20scenario%2C%20track_context%2C%20track_id)%3A%0A%20%20%20%20css%20%3D%20mo.Html(%22%22%22%0A%20%20%20%20%3Cstyle%3E%0A%20%20%20%20.ft-head%7Bbackground%3Alinear-gradient(135deg%2C%23101827%2C%23334155)%3Bcolor%3Awhite%3Bborder-radius%3A14px%3Bpadding%3Aclamp(18px%2C4vw%2C32px)%3Bmargin%3A12px%200%2014px%7D%0A%20%20%20%20.ft-top%7Bdisplay%3Aflex%3Bjustify-content%3Aspace-between%3Bgap%3A8px%3Bflex-wrap%3Awrap%3Bfont%3A700%20.72rem%20ui-monospace%3Bletter-spacing%3A.08em%7D%0A%20%20%20%20.ft-head%20h1%7Bfont-size%3Aclamp(1.65rem%2C5vw%2C2.65rem)%3Bline-height%3A1.05%3Bmargin%3A16px%200%208px%7D.ft-head%20p%7Bcolor%3A%23dbeafe%3Bmax-width%3A780px%7D%0A%20%20%20%20.ft-meta%7Bdisplay%3Agrid%3Bgrid-template-columns%3Arepeat(auto-fit%2Cminmax(165px%2C1fr))%3Bgap%3A9px%3Bmargin-top%3A17px%7D.ft-meta%20div%7Bbackground%3A%23ffffff14%3Bborder%3A1px%20solid%20%23ffffff26%3Bpadding%3A9px%2011px%3Bborder-radius%3A8px%7D%0A%20%20%20%20.ft-saved%7Bborder-left%3A4px%20solid%20%232ca02c%3Bbackground%3A%23f0fdf4%3Bpadding%3A9px%2012px%3Bborder-radius%3A7px%7D.lab-hud%7Bdisplay%3Aflex%3Balign-items%3Acenter%3Bflex-wrap%3Awrap%3Bgap%3A10px%3Bbackground%3A%23101827!important%3Bcolor%3A%23fff%3Bpadding%3A14px%2018px%3Bborder-radius%3A9px%7D.lab-hud%20.hud-label%7Bcolor%3A%23a7b9cf%7D.lab-hud%20.hud-active%7Bcolor%3A%2386efac%7D.lab-hud%20.hud-error%7Bcolor%3A%23fca5a5%3Bfont-weight%3A700%7D%0A%20%20%20%20%40media(max-width%3A520px)%7B.ft-head%7Bborder-radius%3A9px%3Bmargin-top%3A30px%7D.ft-meta%7Bgrid-template-columns%3A1fr%7D%7D%0A%20%20%20%20%3C%2Fstyle%3E%22%22%22)%0A%20%20%20%20header%20%3D%20mo.Html(f%22%22%22%3Csection%20class%3D%22ft-head%22%3E%3Cdiv%20class%3D%22ft-top%22%3E%3Cspan%3EVOLUME%20II%20%C2%B7%20LAB%2007%3C%2Fspan%3E%3Cspan%3EABOUT%2050%E2%80%9355%20MIN%3C%2Fspan%3E%3C%2Fdiv%3E%3Ch1%3EWhen%20Failure%20Is%20Routine%3C%2Fh1%3E%3Cp%3EHow%20should%20a%20fleet%20preserve%20useful%20work%20when%20independent%20faults%20and%20shared%20failure%20domains%20are%20part%20of%20normal%20operation%3F%3C%2Fp%3E%3Cdiv%20class%3D%22ft-meta%22%3E%3Cdiv%3E%3Cb%3ETrack%3C%2Fb%3E%3Cbr%3E%7Bscenario%5B'label'%5D%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EInvestigation%3C%2Fb%3E%3Cbr%3E5%20controlled%20contrasts%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EOutput%3C%2Fb%3E%3Cbr%3ERecovery%20allocation%20memo%3C%2Fdiv%3E%3C%2Fdiv%3E%3C%2Fsection%3E%22%22%22)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%20ACADEMIC_LAB_CSS%2C%20css%2C%20header%2C%0A%20%20%20%20%20%20%20%20track_context(track_id)%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Scenario%20assumptions%20(%7Bscenario%5B'label'%5D%7D).**%20Training%20runs%20on%20%7Bscenario%5B'training_backend_role'%5D%7D.%20Track%20sizes%2C%20failure%20domains%2C%20state%20footprints%2C%20and%20service%20repair%20times%20are%20illustrative%20fleet-planning%20inputs.%20Replace%20them%20with%20observed%20fleet%20rates%20before%20operational%20use.%22)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20a_base%2C%0A%20%20%20%20a_capture%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_result%2C%0A%20%20%20%20a_sweep%2C%0A%20%20%20%20a_upstream%2C%0A%20%20%20%20a_workers%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20audit_evidence%2C%0A%20%20%20%20b_base%2C%0A%20%20%20%20b_capture%2C%0A%20%20%20%20b_interval%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_result%2C%0A%20%20%20%20b_sweep%2C%0A%20%20%20%20b_upstream%2C%0A%20%20%20%20c_base%2C%0A%20%20%20%20c_capture%2C%0A%20%20%20%20c_fault%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_result%2C%0A%20%20%20%20c_upstream%2C%0A%20%20%20%20d_capacity%2C%0A%20%20%20%20d_capture%2C%0A%20%20%20%20d_colocated%2C%0A%20%20%20%20d_decision%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_replicas%2C%0A%20%20%20%20d_spread%2C%0A%20%20%20%20d_upstream%2C%0A%20%20%20%20e_bandwidth_scale%2C%0A%20%20%20%20e_base%2C%0A%20%20%20%20e_capture%2C%0A%20%20%20%20e_decision%2C%0A%20%20%20%20e_prediction%2C%0A%20%20%20%20e_rejected%2C%0A%20%20%20%20e_restore%2C%0A%20%20%20%20e_state_scale%2C%0A%20%20%20%20e_upstream%2C%0A%20%20%20%20e_write%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20go%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20scenario%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_upstream%20%3D%20%7B%22A%22%3A%20a_upstream%2C%20%22B%22%3A%20b_upstream%2C%20%22C%22%3A%20c_upstream%2C%20%22D%22%3A%20d_upstream%2C%20%22E%22%3A%20e_upstream%7D%0A%20%20%20%20audit%20%3D%20audit_evidence(%0A%20%20%20%20%20%20%20%20_captures%2C%20track%3Dtrack_id%2C%20required_parts%3Dtuple(%22ABCDE%22)%2C%0A%20%20%20%20%20%20%20%20per_part_upstream_inputs%3D_upstream%2C%20contrast_required_parts%3Dtuple(%22ABCDE%22)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20def%20table(rows)%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bmo.ui.table(rows%2C%20pagination%3DFalse)%5D).style(%7B%22max-width%22%3A%20%22100%25%22%2C%20%22overflow-x%22%3A%20%22auto%22%7D)%0A%0A%20%20%20%20def%20saved(part)%3A%0A%20%20%20%20%20%20%20%20capture%20%3D%20_captures.get(part)%0A%20%20%20%20%20%20%20%20if%20capture%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22No%20saved%20evidence%20for%20this%20part.%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20%20%20%20%20if%20part%20in%20audit.stale%20or%20(part%2C%20part)%20in%20audit.identical_pairs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22**STALE%20OR%20NON-CONTRASTING%20EVIDENCE.**%20Recapture%20after%20changing%20this%20part's%20conditions.%22)%2C%20kind%3D%22danger%22)%0A%20%20%20%20%20%20%20%20data%20%3D%20capture.to_dict()%0A%20%20%20%20%20%20%20%20return%20mo.Html(f'%3Cdiv%20class%3D%22ft-saved%22%3E%3Cb%3ESaved%20snapshot%3C%2Fb%3E%20%C2%B7%20original%20prediction%3A%20%7Bdata%5B%22prediction%22%5D%7D%3Cbr%3E%3Csmall%3ETrack%20%7Bdata%5B%22track%22%5D%7D%3B%20later%20control%20changes%20do%20not%20rewrite%20this%20record.%3C%2Fsmall%3E%3C%2Fdiv%3E')%0A%0A%20%20%20%20def%20pass_fail(value)%3A%0A%20%20%20%20%20%20%20%20return%20%22PASS%22%20if%20value%20else%20%22FAIL%22%0A%0A%20%20%20%20def%20part_a()%3A%0A%20%20%20%20%20%20%20%20context%20%3D%20mo.md(f%22%23%23%23%20A%20%C2%B7%20When%20does%20a%20rare%20fault%20become%20routine%3F%20(9%20min)%5CnA%20coupled%20training%20job%20runs%20for%20**%7Ba_base%5B'duration_h'%5D%3A.0f%7D%20hours**.%20Any%20worker%20event%20or%20shared-domain%20event%20interrupts%20the%20whole%20job.%20Choose%20the%20fleet%20size%2C%20then%20commit%20a%20probability%20range.%22)%0A%20%20%20%20%20%20%20%20if%20a_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bcontext%2C%20a_workers%2C%20a_prediction%5D)%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Brow%5B%22workers%22%5D%20for%20row%20in%20a_sweep%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Brow%5B%22interruption_probability%22%5D%20*%20100%20for%20row%20in%20a_sweep%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%2Bmarkers%22%2C%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D3)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20figure.update_layout(height%3D260%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D20)%2C%20xaxis_title%3Dscenario%5B%22training_unit%22%5D.title()%2C%20yaxis_title%3D%22Interruption%20probability%20(%25)%22)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Run%22%3A%20%22Smaller%20baseline%22%2C%20%22Workers%22%3A%20a_base%5B%22workers%22%5D%2C%20%22System%20MTBF%22%3A%20f%22%7Ba_base%5B'system_mtbf_h'%5D%3A.1f%7D%20h%22%2C%20%22Expected%20events%22%3A%20f%22%7Ba_base%5B'expected_interruptions'%5D%3A.2f%7D%22%2C%20%22Any%20event%22%3A%20f%22%7Ba_base%5B'interruption_probability'%5D%20*%20100%3A.1f%7D%25%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Run%22%3A%20%22Selected%20fleet%22%2C%20%22Workers%22%3A%20a_result%5B%22workers%22%5D%2C%20%22System%20MTBF%22%3A%20f%22%7Ba_result%5B'system_mtbf_h'%5D%3A.1f%7D%20h%22%2C%20%22Expected%20events%22%3A%20f%22%7Ba_result%5B'expected_interruptions'%5D%3A.2f%7D%22%2C%20%22Any%20event%22%3A%20f%22%7Ba_result%5B'interruption_probability'%5D%20*%20100%3A.1f%7D%25%22%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bcontext%2C%20a_workers%2C%20a_prediction%2C%20apply_plotly_theme(figure)%2C%20table(rows)%2C%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Ba_prediction.value%7D.%20The%20selected%20coupled%20job%20has%20a%20**%7Ba_result%5B'interruption_probability'%5D%20*%20100%3A.1f%7D%25**%20interruption%20probability.%20Worker%20and%20failure-domain%20event%20rates%20are%20added%20because%20either%20event%20stops%20this%20synchronized%20job.%22)%2C%20kind%3D%22danger%22%20if%20a_result%5B%22interruption_probability%22%5D%20%3E%3D%200.5%20else%20%22info%22)%2C%20a_capture%2C%20saved(%22A%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22For%20independent%20exponential%20event%20streams%2C%20worker%20rate%20is%20N%2FMTTF%20and%20domain%20rate%20is%20D%2FMTTF_domain.%20Their%20sum%20gives%20job%20interruption%20rate%3B%20survival%20over%20T%20hours%20is%20exponential.%20This%20model%20applies%20to%20a%20coupled%20job%2C%20not%20independent%20deployed%20devices.%22)%7D)%5D)%0A%0A%20%20%20%20def%20part_b()%3A%0A%20%20%20%20%20%20%20%20context%20%3D%20mo.md(f%22%23%23%23%20B%20%C2%B7%20How%20often%20should%20progress%20be%20saved%3F%20(10%20min)%5CnThe%20current%20policy%20checkpoints%20every%20**%7Bb_base%5B'interval_min'%5D%3A.0f%7D%20minutes**.%20Move%20the%20interval%2C%20then%20predict%20whether%20pause%20overhead%20or%20expected%20rework%20dominates.%22)%0A%20%20%20%20%20%20%20%20if%20b_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bcontext%2C%20b_interval%2C%20b_prediction%5D)%0A%20%20%20%20%20%20%20%20valid%20%3D%20%5Brow%20for%20row%20in%20b_sweep%20if%20row%5B%22loss_approximation_valid%22%5D%5D%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20figure.add_scatter(x%3D%5Brow%5B%22interval_min%22%5D%20for%20row%20in%20valid%5D%2C%20y%3D%5Brow%5B%22write_tax%22%5D%20*%20100%20for%20row%20in%20valid%5D%2C%20name%3D%22Checkpoint%20pause%22%2C%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D))%0A%20%20%20%20%20%20%20%20figure.add_scatter(x%3D%5Brow%5B%22interval_min%22%5D%20for%20row%20in%20valid%5D%2C%20y%3D%5Brow%5B%22rework_tax%22%5D%20*%20100%20for%20row%20in%20valid%5D%2C%20name%3D%22Expected%20rework%22%2C%20line%3Ddict(color%3DCOLORS%5B%22OrangeLine%22%5D))%0A%20%20%20%20%20%20%20%20figure.add_scatter(x%3D%5Brow%5B%22interval_min%22%5D%20for%20row%20in%20valid%5D%2C%20y%3D%5Brow%5B%22total_waste_fraction%22%5D%20*%20100%20for%20row%20in%20valid%5D%2C%20name%3D%22Total%20first-order%20loss%22%2C%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D3))%0A%20%20%20%20%20%20%20%20figure.update_layout(height%3D285%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D20)%2C%20xaxis_title%3D%22Checkpoint%20interval%20(min)%22%2C%20yaxis_title%3D%22Steady-state%20wall-clock%20loss%20(%25)%22%2C%20legend_orientation%3D%22h%22)%0A%20%20%20%20%20%20%20%20opt_base%20%3D%20f%22%7Bb_base%5B'optimal_interval_min'%5D%3A.1f%7D%20min%22%20if%20b_base%5B%22young_approximation_valid%22%5D%20and%20b_base%5B%22optimal_interval_min%22%5D%20is%20not%20None%20else%20%22%E2%80%94%22%0A%20%20%20%20%20%20%20%20opt_res%20%3D%20f%22%7Bb_result%5B'optimal_interval_min'%5D%3A.1f%7D%20min%22%20if%20b_result%5B%22young_approximation_valid%22%5D%20and%20b_result%5B%22optimal_interval_min%22%5D%20is%20not%20None%20else%20%22%E2%80%94%22%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Run%22%3A%20%22Current%22%2C%20%22Interval%22%3A%20f%22%7Bb_base%5B'interval_min'%5D%3A.0f%7D%20min%22%2C%20%22Optimum%22%3A%20opt_base%2C%20%22Write%22%3A%20f%22%7Bb_base%5B'write_tax'%5D%20*%20100%3A.2f%7D%25%22%2C%20%22Rework%22%3A%20f%22%7Bb_base%5B'rework_tax'%5D%20*%20100%3A.2f%7D%25%22%2C%20%22Recovery%22%3A%20f%22%7Bb_base%5B'recovery_tax'%5D%20*%20100%3A.2f%7D%25%22%2C%20%22RPO%22%3A%20pass_fail(b_base%5B%22rpo_ok%22%5D)%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Run%22%3A%20%22Selected%22%2C%20%22Interval%22%3A%20f%22%7Bb_result%5B'interval_min'%5D%3A.0f%7D%20min%22%2C%20%22Optimum%22%3A%20opt_res%2C%20%22Write%22%3A%20f%22%7Bb_result%5B'write_tax'%5D%20*%20100%3A.2f%7D%25%22%2C%20%22Rework%22%3A%20f%22%7Bb_result%5B'rework_tax'%5D%20*%20100%3A.2f%7D%25%22%2C%20%22Recovery%22%3A%20f%22%7Bb_result%5B'recovery_tax'%5D%20*%20100%3A.2f%7D%25%22%2C%20%22RPO%22%3A%20pass_fail(b_result%5B%22rpo_ok%22%5D)%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20validity%20%3D%20%22inside%22%20if%20b_result%5B%22loss_approximation_valid%22%5D%20else%20%22outside%22%0A%20%20%20%20%20%20%20%20opt_text%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%20Engine%20Young-Daly%20optimum%20is%20**%7Bb_result%5B'optimal_interval_min'%5D%3A.1f%7D%20min**.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20b_result%5B%22young_approximation_valid%22%5D%20and%20b_result%5B%22optimal_interval_min%22%5D%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20%22%20Engine%20Young%20optimum%20is%20withheld%20outside%20validity%20domain.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bcontext%2C%20b_interval%2C%20b_prediction%2C%20apply_plotly_theme(figure)%2C%20table(rows)%2C%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Bb_prediction.value%7D.%20At%20**%7Bb_result%5B'interval_min'%5D%3A.0f%7D%20min**%2C%20**%7Bb_result%5B'dominant_interval_cost'%5D.replace('_'%2C%20'%20')%7D**%20dominates.%7Bopt_text%7D%20This%20setting%20is%20**%7Bvalidity%7D**%20the%20declared%20first-order%20approximation%20domain.%22)%2C%20kind%3D%22info%22%20if%20b_result%5B%22loss_approximation_valid%22%5D%20else%20%22danger%22)%2C%20b_capture%2C%20saved(%22B%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22On%20a%20steady-state%20wall-clock%20basis%3A%20checkpoint%20pause%2Finterval%20%2B%20interval%2F(2%C3%97MTBF)%20%2B%20recovery%2FMTBF.%20RPO%20uses%20the%20maximum%20rollback%20window%2C%20equal%20to%20the%20full%20interval.%20The%20Young%20optimum%20is%20shown%20only%20while%20checkpoint%20pause%20remains%20small%20relative%20to%20MTBF%3B%20invalid%20settings%20do%20not%20receive%20a%20goodput%20claim.%22)%7D)%5D)%0A%0A%20%20%20%20def%20part_c()%3A%0A%20%20%20%20%20%20%20%20context%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%23%23%23%20C%20%C2%B7%20Is%20the%20newest%20checkpoint%20recoverable%3F%20(9%20min)%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Training%20backend%3A**%20%7Bscenario%5B'training_backend_role'%5D%7D.%20%7Bscenario%5B'manifest_context'%5D%7D%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22A%20manifest%20publishes%20generations%20at%20steps%20100%2C%20200%2C%20300%2C%20and%20400.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Inject%20one%20fault%20and%20commit%20the%20generation%20recovery%20may%20load.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20c_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bcontext%2C%20c_fault%2C%20c_prediction%5D)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Timeline%22%3A%20%22Before%20fault%22%2C%20%22Newest%20recorded%22%3A%20c_base%5B%22newest_checkpoint_step%22%5D%2C%20%22Restore%20step%22%3A%20c_base%5B%22restore_step%22%5D%2C%20%22Lost%20steps%22%3A%20c_base%5B%22lost_steps%22%5D%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Timeline%22%3A%20%22After%20fault%22%2C%20%22Newest%20recorded%22%3A%20c_result%5B%22newest_checkpoint_step%22%5D%2C%20%22Restore%20step%22%3A%20c_result%5B%22restore_step%22%5D%20if%20c_result%5B%22recoverable%22%5D%20else%20%22NONE%22%2C%20%22Lost%20steps%22%3A%20c_result%5B%22lost_steps%22%5D%20if%20c_result%5B%22recoverable%22%5D%20else%20%22UNBOUNDED%22%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20correct%20%3D%20c_prediction.value%20%3D%3D%20(c_result%5B%22restore_step%22%5D%20or%200)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bcontext%2C%20c_fault%2C%20c_prediction%2C%20table(rows)%2C%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20step%20%7Bc_prediction.value%7D.%20**Safe%20restore%3A**%20%7Bc_result%5B'restore_step'%5D%20if%20c_result%5B'recoverable'%5D%20else%20'none'%7D.%20Recovery%20skips%20incomplete%20or%20digest-invalid%20generations%20even%20when%20their%20step%20number%20is%20newer%3B%20this%20fault%20discards%20**%7Bc_result%5B'fallback_generations'%5D%7D**%20newer%20generation(s).%22)%2C%20kind%3D%22success%22%20if%20correct%20else%20%22danger%22)%2C%20c_capture%2C%20saved(%22C%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22Recovery%20selects%20the%20greatest%20step%20at%20or%20before%20failure%20whose%20write%20completed%20and%20whose%20recorded%20digest%20validates.%20The%20newest%20directory%20name%20alone%20is%20not%20a%20commit%20record.%20Checkpoint%20manifests%20record%20backend%20training%20state%20generations%20for%20restoring%20interrupted%20training%2C%20not%20validated%20deployment-release%20binaries%3B%20deployed%20endpoints%20do%20not%20write%20or%20consume%20training%20checkpoint%20manifests.%22)%7D)%5D)%0A%0A%20%20%20%20def%20part_d()%3A%0A%20%20%20%20%20%20%20%20context%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%23%23%23%20D%20%C2%B7%20Does%20redundancy%20survive%20a%20shared%20domain%3F%20(10%20min)%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Deployed%20%7Bscenario%5B'serving_unit'%5D%7D%20serve%20independently%3A%20intermittent%20disconnections%20or%20restarts%20temporarily%20reduce%20active%20capacity%2C%20but%20do%20not%20terminate%20a%20global%20job%20(unlike%20coupled%20training%20in%20Parts%20A%E2%80%93C).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Separately%2C%20replicated%20%7Bscenario%5B'replica_role'%5D%7D%20instances%20handle%20traffic.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Compare%20**%7Bd_replicas.value%7D%20%7Bscenario%5B'replica_role'%5D%7D%20replicas**%20in%20one%20domain%20with%20the%20same%20replicas%20spread%20across%20domains.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20d_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bcontext%2C%20d_replicas%2C%20d_prediction%5D)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Placement%22%3A%20%22One%20shared%20domain%22%2C%20%22Replicas%2Fdomain%22%3A%20str(d_colocated%5B%22replicas_per_domain%22%5D)%2C%20%22Service%20availability%22%3A%20f%22%7Bd_colocated%5B'service_availability'%5D%20*%20100%3A.6f%7D%25%22%2C%20%22Shared-domain%20correlation%22%3A%20%22YES%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Placement%22%3A%20%22Spread%20domains%22%2C%20%22Replicas%2Fdomain%22%3A%20str(d_spread%5B%22replicas_per_domain%22%5D)%2C%20%22Service%20availability%22%3A%20f%22%7Bd_spread%5B'service_availability'%5D%20*%20100%3A.6f%7D%25%22%2C%20%22Shared-domain%20correlation%22%3A%20%22NO%22%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20capacity_rows%20%3D%20%5B%7Bf%22Deployed%20%7Bscenario%5B'serving_unit'%5D%7D%22%3A%20d_capacity%5B%22fleet_size%22%5D%2C%20%22Expected%20available%22%3A%20f%22%7Bd_capacity%5B'expected_available_devices'%5D%3A.1f%7D%22%2C%20%22Expected%20unavailable%22%3A%20f%22%7Bd_capacity%5B'expected_unavailable_devices'%5D%3A.1f%7D%22%2C%20%22Whole%20fleet%20terminated%22%3A%20%22NO%22%7D%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bcontext%2C%20d_replicas%2C%20d_prediction%2C%20table(capacity_rows)%2C%20table(rows)%2C%20d_decision%2C%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Bd_prediction.value%7D.%20Spread%20placement%20raises%20modeled%20service%20availability%20from%20**%7Bd_colocated%5B'service_availability'%5D%20*%20100%3A.6f%7D%25**%20to%20**%7Bd_spread%5B'service_availability'%5D%20*%20100%3A.6f%7D%25**%20because%20a%20shared%20domain%20event%20can%20defeat%20every%20colocated%20replica.%22)%2C%20kind%3D%22info%22)%2C%20d_capture%2C%20saved(%22D%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(f%22Serving%20repair%20time%20represents%20an%20illustrative%20automated%20recovery%20assumption%20(%7Bscenario%5B'recovery_assumption'%5D%7D)%2C%20not%20a%20measured%20manual%20field%20repair.%20Deployed%20%7Bscenario%5B'serving_unit'%5D%7D%20operate%20independently%20from%20coupled%20training%20(Parts%20A%E2%80%93C)%2C%20whereas%20the%20%7Bscenario%5B'replica_role'%5D%7D%20tier%20uses%20replicated%20service%20domains.%20For%20one%20device%20or%20component%2C%20availability%20is%20MTTF%2F(MTTF%2Brepair).%20A%20replica%20group%20is%20unavailable%20if%20its%20domain%20is%20down%20or%20every%20replica%20in%20that%20domain%20is%20down.%20Service%20is%20unavailable%20only%20when%20every%20placement%20domain%20is%20unavailable.%22)%7D)%5D)%0A%0A%20%20%20%20def%20part_e()%3A%0A%20%20%20%20%20%20%20%20context%20%3D%20mo.md(%22%23%23%23%20E%20%C2%B7%20Where%20should%20recovery%20bandwidth%20go%3F%20(10%20min)%5CnStress%20the%20recovery%20state%2C%20then%20allocate%20the%20same%20added%20GB%2Fs%20to%20checkpoint%20writes%20or%20restore%20reads.%20Both%20candidates%20start%20from%20the%20same%20failing%20configuration.%22)%0A%20%20%20%20%20%20%20%20if%20e_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bcontext%2C%20mo.hstack(%5Be_state_scale%2C%20e_bandwidth_scale%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20e_prediction%5D)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Case%22%3A%20%22Stressed%20baseline%22%2C%20%22Added%20BW%22%3A%20%220%20GB%2Fs%22%2C%20%22Write%20tax%22%3A%20f%22%7Be_base%5B'write_tax'%5D%20*%20100%3A.2f%7D%25%22%2C%20%22Recovery%22%3A%20f%22%7Be_base%5B'recovery_s'%5D%3A.0f%7D%2F%7Be_base%5B'requested_rto_s'%5D%3A.0f%7D%20s%22%2C%20%22RTO%22%3A%20pass_fail(e_base%5B%22rto_ok%22%5D)%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Case%22%3A%20%22Allocate%20to%20writes%22%2C%20%22Added%20BW%22%3A%20f%22%7Be_write%5B'additional_bandwidth_gbs'%5D%3A.2f%7D%20GB%2Fs%22%2C%20%22Write%20tax%22%3A%20f%22%7Be_write%5B'write_tax'%5D%20*%20100%3A.2f%7D%25%22%2C%20%22Recovery%22%3A%20f%22%7Be_write%5B'recovery_s'%5D%3A.0f%7D%2F%7Be_write%5B'requested_rto_s'%5D%3A.0f%7D%20s%22%2C%20%22RTO%22%3A%20pass_fail(e_write%5B%22rto_ok%22%5D)%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Case%22%3A%20%22Allocate%20to%20restore%22%2C%20%22Added%20BW%22%3A%20f%22%7Be_restore%5B'additional_bandwidth_gbs'%5D%3A.2f%7D%20GB%2Fs%22%2C%20%22Write%20tax%22%3A%20f%22%7Be_restore%5B'write_tax'%5D%20*%20100%3A.2f%7D%25%22%2C%20%22Recovery%22%3A%20f%22%7Be_restore%5B'recovery_s'%5D%3A.0f%7D%2F%7Be_restore%5B'requested_rto_s'%5D%3A.0f%7D%20s%22%2C%20%22RTO%22%3A%20pass_fail(e_restore%5B%22rto_ok%22%5D)%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bcontext%2C%20mo.hstack(%5Be_state_scale%2C%20e_bandwidth_scale%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20e_prediction%2C%20table(rows)%2C%20mo.hstack(%5Be_decision%2C%20e_rejected%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Be_prediction.value%7D.%20Write%20allocation%20changes%20checkpoint%20pause%20but%20leaves%20recovery%20at%20**%7Be_write%5B'recovery_s'%5D%3A.0f%7D%20s**.%20Restore%20allocation%20changes%20load%20time%20and%20reaches%20**%7Be_restore%5B'recovery_s'%5D%3A.0f%7D%20s**.%20A%20no-action%20decision%20remains%20recordable%20after%20you%20identify%20a%20tested%20alternative.%22)%2C%20kind%3D%22danger%22%20if%20not%20e_restore%5B%22rto_ok%22%5D%20else%20%22success%22)%2C%20e_capture%2C%20saved(%22E%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22The%20added%20bandwidth%20quantity%20is%20identical%20in%20both%20candidates.%20Write%20allocation%20reduces%20durable-write%20time%20and%20checkpoint%20pause.%20Restore%20allocation%20reduces%20only%20the%20load%20phase.%20Detection%2C%20restart%2C%20warmup%2C%20interval%2C%20RPO%2C%20and%20failure%20exposure%20remain%20fixed.%22)%7D)%5D)%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20part%20in%20%22ABCDE%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20capture%20%3D%20_captures.get(part)%0A%20%20%20%20%20%20%20%20%20%20%20%20state%20%3D%20%22MISSING%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20capture%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20state%20%3D%20%22STALE%22%20if%20part%20in%20audit.stale%20or%20(part%2C%20part)%20in%20audit.identical_pairs%20else%20%22CURRENT%22%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B%22Part%22%3A%20part%2C%20%22Original%20prediction%22%3A%20capture.to_dict()%5B%22prediction%22%5D%20if%20capture%20else%20%22%E2%80%94%22%2C%20%22Evidence%22%3A%20state%7D)%0A%20%20%20%20%20%20%20%20saved_decision%20%3D%20_captures%5B%22E%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22E%22%20in%20_captures%20else%20None%0A%20%20%20%20%20%20%20%20complete%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20audit.complete%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20bool(rationale.value.strip())%20and%20final_choice.value%20!%3D%20final_rejected.value%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20final_choice.value%20%3D%3D%20saved_decision%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bmo.md(%22%23%23%23%20Synthesis%20%C2%B7%20Defend%20the%20recovery%20allocation%20(5%20min)%5CnChoose%20one%20option%2C%20quantify%20the%20rejected%20alternative%20from%20Part%20E%2C%20state%20a%20remaining%20limitation%2C%20and%20name%20the%20condition%20that%20forces%20reevaluation.%22)%2C%20table(rows)%2C%20mo.callout(mo.md(%22Saved%20snapshots%20retain%20the%20original%20prediction%2C%20exact%20simulator%20arguments%2C%20and%20observed%20comparison.%20Recapture%20stale%20evidence%20before%20producing%20the%20report.%22)%2C%20kind%3D%22info%22)%2C%20mo.hstack(%5Bfinal_choice%2C%20final_rejected%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20mo.hstack(%5Bfinal_trigger%2C%20final_risk%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20rationale%2C%20mo.callout(mo.md(%22**Ready%20for%20the%20local%20report.**%22%20if%20complete%20else%20%22Complete%20five%20current%20contrasts%2C%20match%20the%20recommendation%20to%20saved%20Part%20E%2C%20reject%20a%20different%20tested%20option%2C%20and%20add%20the%20rationale.%22)%2C%20kind%3D%22success%22%20if%20complete%20else%20%22warn%22)%5D)%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%22Part%20A%22%3A%20part_a()%2C%20%22Part%20B%22%3A%20part_b()%2C%20%22Part%20C%22%3A%20part_c()%2C%20%22Part%20D%22%3A%20part_d()%2C%20%22Part%20E%22%3A%20part_e()%2C%20%22Synthesis%22%3A%20build_synthesis()%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%20(audit%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20audit%2C%0A%20%20%20%20build_lab_report%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20report_export_panel%2C%0A%20%20%20%20scenario%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_saved_decision%20%3D%20_captures%5B%22E%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22E%22%20in%20_captures%20else%20None%0A%20%20%20%20_ready%20%3D%20(%0A%20%20%20%20%20%20%20%20audit.complete%0A%20%20%20%20%20%20%20%20and%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%0A%20%20%20%20%20%20%20%20and%20bool(rationale.value.strip())%20and%20final_choice.value%20!%3D%20final_rejected.value%0A%20%20%20%20%20%20%20%20and%20final_choice.value%20%3D%3D%20_saved_decision%0A%20%20%20%20)%0A%20%20%20%20mo.stop(not%20_ready)%0A%20%20%20%20_snapshots%20%3D%20%7Bpart%3A%20_captures%5Bpart%5D.to_dict()%20for%20part%20in%20%22ABCDE%22%7D%0A%20%20%20%20_chosen_e%20%3D%20_snapshots%5B%22E%22%5D%5B%22chosen_result%22%5D%20or%20_snapshots%5B%22E%22%5D%5B%22result%22%5D%0A%20%20%20%20report%20%3D%20build_lab_report(%0A%20%20%20%20%20%20%20%20get_lab_metadata(%22vol2%2Flab_07_fault_tolerance.py%22)%2C%0A%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20scenario%3Dscenario%5B%22label%22%5D%2C%0A%20%20%20%20%20%20%20%20learning_objectives%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Calculate%20interruption%20exposure%20for%20a%20coupled%20fleet%20job%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Balance%20checkpoint%20pause%2C%20rework%2C%20and%20recovery%20under%20RPO%20and%20RTO%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Select%20valid%20checkpoint%20generations%20and%20failure-domain%20placement%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20predictions%3D%7Bpart%3A%20_snapshots%5Bpart%5D%5B%22prediction%22%5D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20knob_settings%3D%7Bpart%3A%20_snapshots%5Bpart%5D%5B%22inputs%22%5D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20evidence_summary%3D%7Bpart%3A%20%7B%22baseline%22%3A%20_snapshots%5Bpart%5D%5B%22baseline%22%5D%2C%20%22result%22%3A%20_snapshots%5Bpart%5D%5B%22result%22%5D%2C%20%22chosen_result%22%3A%20_snapshots%5Bpart%5D%5B%22chosen_result%22%5D%2C%20%22result_role%22%3A%20_snapshots%5Bpart%5D%5B%22result_role%22%5D%2C%20%22alternatives%22%3A%20_snapshots%5Bpart%5D%5B%22alternatives%22%5D%7D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20binding_constraints%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B%22%3A%20%7B%22rpo_ok%22%3A%20_snapshots%5B%22B%22%5D%5B%22result%22%5D%5B%22rpo_ok%22%5D%2C%20%22validity_issues%22%3A%20_snapshots%5B%22B%22%5D%5B%22result%22%5D%5B%22validity_issues%22%5D%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C%22%3A%20%7B%22recoverable%22%3A%20_snapshots%5B%22C%22%5D%5B%22result%22%5D%5B%22recoverable%22%5D%2C%20%22restore_step%22%3A%20_snapshots%5B%22C%22%5D%5B%22result%22%5D%5B%22restore_step%22%5D%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22E%22%3A%20%7B%22rto_ok%22%3A%20_chosen_e%5B%22rto_ok%22%5D%2C%20%22recovery_s%22%3A%20_chosen_e%5B%22recovery_s%22%5D%7D%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20decisions%3D%7B%22recommendation%22%3A%20final_choice.value%2C%20%22rejected_alternative%22%3A%20final_rejected.value%2C%20%22reevaluation_trigger%22%3A%20final_trigger.value%7D%2C%0A%20%20%20%20%20%20%20%20final_decision%3D%7B%22recommendation%22%3A%20final_choice.value%2C%20%22rejected_alternative%22%3A%20final_rejected.value%2C%20%22rationale%22%3A%20rationale.value%7D%2C%0A%20%20%20%20%20%20%20%20big_takeaways%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Coupled%20jobs%20and%20independent%20serving%20fleets%20have%20different%20failure%20semantics.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Checkpoint%20frequency%20trades%20write%20pause%20against%20expected%20rework.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Recovery%20trusts%20committed%2C%20validated%20generations%20and%20independent%20failure%20domains.%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20reflections%3D%7B%22rationale%22%3A%20rationale.value%2C%20%22reevaluation_trigger%22%3A%20final_trigger.value%7D%2C%0A%20%20%20%20%20%20%20%20residual_risk%3Dfinal_risk.value%2C%0A%20%20%20%20%20%20%20%20result_snapshot%3D%7B%22track%22%3A%20track_id%2C%20%22captures%22%3A%20_snapshots%2C%20%22recommendation%22%3A%20final_choice.value%2C%20%22rejected%22%3A%20final_rejected.value%2C%20%22trigger%22%3A%20final_trigger.value%2C%20%22residual_risk%22%3A%20final_risk.value%7D%2C%0A%20%20%20%20%20%20%20%20source_trace%3D%7B%22scenario%22%3A%20%22Illustrative%20fleet-planning%20assumptions%22%2C%20%22calculations%22%3A%20%22MLSysIM%20fault-tolerance%20experiments%22%7D%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%20Local%20evidence%20report%22)%2C%20report_export_panel(report)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(%0A%20%20%20%20audit%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20html_lib%2C%0A%20%20%20%20ledger%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_saved_decision%20%3D%20_captures%5B%22E%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22E%22%20in%20_captures%20else%20None%0A%20%20%20%20_ready%20%3D%20(%0A%20%20%20%20%20%20%20%20audit.complete%0A%20%20%20%20%20%20%20%20and%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%0A%20%20%20%20%20%20%20%20and%20bool(rationale.value.strip())%20and%20final_choice.value%20!%3D%20final_rejected.value%0A%20%20%20%20%20%20%20%20and%20final_choice.value%20%3D%3D%20_saved_decision%0A%20%20%20%20)%0A%20%20%20%20_save_status%20%3D%20%22EVIDENCE%20IN%20PROGRESS%22%0A%20%20%20%20_save_class%20%3D%20%22hud-active%22%0A%20%20%20%20if%20_ready%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ledger.save(chapter%3D7%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22schema_version%22%3A%201%2C%20%22lab_id%22%3A%20%22v2_07%22%2C%20%22track_id%22%3A%20track_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model_id%22%3A%20%22v2_07_experiments%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22evidence%22%3A%20%7Bpart%3A%20capture.to_dict()%20for%20part%2C%20capture%20in%20_captures.items()%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22recommendation%22%3A%20final_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22rejected_alternative%22%3A%20final_rejected.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reevaluation_trigger%22%3A%20final_trigger.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22residual_risk%22%3A%20final_risk.value%2C%20%22rationale%22%3A%20rationale.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20await%20ledger.flush()%0A%20%20%20%20%20%20%20%20%20%20%20%20_save_status%20%3D%20%22SAVED%22%0A%20%20%20%20%20%20%20%20except%20Exception%20as%20_error%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_save_status%20%3D%20f%22SAVE%20FAILED%20%C2%B7%20%7Btype(_error).__name__%7D%3A%20%7B_error%7D%20%C2%B7%20Local%20report%20remains%20available%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_save_class%20%3D%20%22hud-error%22%0A%20%20%20%20_safe_status%20%3D%20html_lib.escape(_save_status)%0A%20%20%20%20mo.Html(f'%3Cdiv%20class%3D%22lab-hud%22%3E%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%3Cspan%3E07%20%C2%B7%20When%20Failure%20Is%20Routine%3C%2Fspan%3E%3Cspan%20aria-hidden%3D%22true%22%3E%7C%3C%2Fspan%3E%3Cspan%20class%3D%22hud-label%22%3ESTATUS%3C%2Fspan%3E%3Cspan%20class%3D%22%7B_save_class%7D%22%3E%7B_safe_status%7D%3C%2Fspan%3E%3C%2Fdiv%3E')%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A