Lab 14: Evidence-Driven Operations

Lab 14: Evidence-Driven Operations · MLSysBook

import%20marimo%0A%0A__generated_with%20%3D%20%220.25.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22full%22%2C%0A%20%20%20%20app_title%3D%22Lab%2014%3A%20Evidence-Driven%20Operations%20%C2%B7%20MLSysBook%22%2C%0A)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysim-0.1.2-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysbook_labs-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20labs_dir%20%3D%20Path(__file__).resolve().parents%5B1%5D%0A%20%20%20%20%20%20%20%20if%20str(labs_dir)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(labs_dir))%0A%20%20%20%20%20%20%20%20from%20bootstrap%20import%20native_bootstrap%0A%20%20%20%20%20%20%20%20native_bootstrap(__file__)%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.engine.v1_14_experiments%20import%20(%0A%20%20%20%20%20%20%20%20TRACKS%2C%20canary_experiment%2C%20experiment_options%2C%20get_track_scenario%2C%0A%20%20%20%20%20%20%20%20incident_experiment%2C%20monitoring_experiment%2C%20retraining_experiment%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20from%20mlsysbook_labs%20import%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%20build_lab_report%2C%20get_lab_metadata%2C%20report_export_panel%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysbook_labs.experiment_evidence%20import%20audit_evidence%2C%20capture_evidence%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger(volume%3D%22vol1%22)%0A%20%20%20%20if%20ledger.is_wasm%3A%0A%20%20%20%20%20%20%20%20_loaded%20%3D%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20TRACKS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20audit_evidence%2C%0A%20%20%20%20%20%20%20%20build_lab_report%2C%0A%20%20%20%20%20%20%20%20canary_experiment%2C%0A%20%20%20%20%20%20%20%20capture_evidence%2C%0A%20%20%20%20%20%20%20%20experiment_options%2C%0A%20%20%20%20%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20%20%20%20%20get_track_scenario%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20incident_experiment%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20monitoring_experiment%2C%0A%20%20%20%20%20%20%20%20report_export_panel%2C%0A%20%20%20%20%20%20%20%20retraining_experiment%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20get_evidence%2C%20set_evidence%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20return%20get_evidence%2C%20set_evidence%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20set_evidence)%3A%0A%20%20%20%20track%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22TinyML%22%3A%20%22tinyml%22%2C%20%22Mobile%22%3A%20%22mobile%22%2C%20%22Edge%22%3A%20%22edge%22%2C%20%22Cloud%22%3A%20%22cloud%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22TinyML%22%2C%20label%3D%22Deployment%20track%22%2C%0A%20%20%20%20%20%20%20%20on_change%3Dlambda%20_value%3A%20set_evidence(%7B%7D)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(track%2C)%0A%0A%0A%40app.cell%0Adef%20_(TRACKS%2C%20experiment_options%2C%20get_track_scenario%2C%20track)%3A%0A%20%20%20%20track_id%20%3D%20track.value%0A%20%20%20%20scenario%20%3D%20get_track_scenario(track_id)%0A%20%20%20%20options%20%3D%20experiment_options(track_id)%0A%20%20%20%20assert%20track_id%20in%20TRACKS%0A%20%20%20%20return%20options%2C%20scenario%2C%20track_id%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20options%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20a_threshold%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%5B%22monitor_thresholds%22%5D%2C%20value%3D%22Sensitive%20%C2%B7%200.15%22%2C%20label%3D%22Proxy%20alert%20threshold%22%2C%0A%20%20%20%20)%0A%20%20%20%20b_threshold%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%5B%22monitor_thresholds%22%5D%2C%20value%3D%22Insensitive%20%C2%B7%200.40%22%2C%20label%3D%22Proxy%20alert%20threshold%22%2C%0A%20%20%20%20)%0A%20%20%20%20b_interval%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%5B%22monitor_intervals%22%5D%2C%20value%3Dlist(options%5B%22monitor_intervals%22%5D)%5B1%5D%2C%20label%3D%22Sampling%20interval%22%2C%0A%20%20%20%20)%0A%20%20%20%20c_interval%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%5B%22scheduled_intervals%22%5D%2C%20value%3Dlist(options%5B%22scheduled_intervals%22%5D)%5B1%5D%2C%20label%3D%22Scheduled%20cadence%22%2C%0A%20%20%20%20)%0A%20%20%20%20c_choice%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Scheduled%20cadence%22%3A%20%22scheduled%22%2C%20%22Evidence-triggered%20policy%22%3A%20%22evidence_triggered%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3DNone%2C%20label%3D%22Selected%20retraining%20policy%22%2C%0A%20%20%20%20)%0A%20%20%20%20d_choice%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%2210%25%20canary%22%3A%200.10%2C%20%2225%25%20canary%22%3A%200.25%2C%20%2250%25%20canary%22%3A%200.50%2C%20%22Hold%20for%20more%20evidence%20%2F%20no%20feasible%20promotion%22%3A%20%22none%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Promotion%20recommendation%22%2C%0A%20%20%20%20)%0A%20%20%20%20d_rejected%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%2210%25%20canary%22%3A%200.10%2C%20%2225%25%20canary%22%3A%200.25%2C%20%2250%25%20canary%22%3A%200.50%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Quantified%20rejected%20alternative%22%2C%0A%20%20%20%20)%0A%20%20%20%20e_rollback%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%5B%22rollback_options%22%5D%2C%20value%3D%225%20minutes%22%2C%20label%3D%22Rollback%20stage%20duration%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_threshold%2C%0A%20%20%20%20%20%20%20%20b_interval%2C%0A%20%20%20%20%20%20%20%20b_threshold%2C%0A%20%20%20%20%20%20%20%20c_choice%2C%0A%20%20%20%20%20%20%20%20c_interval%2C%0A%20%20%20%20%20%20%20%20d_choice%2C%0A%20%20%20%20%20%20%20%20d_rejected%2C%0A%20%20%20%20%20%20%20%20e_rollback%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20a_prediction%20%3D%20mo.ui.radio(%7B%0A%20%20%20%20%20%20%20%20%22Every%20proxy%20alert%20proves%20quality%20failure%22%3A%20%22proves_failure%22%2C%0A%20%20%20%20%20%20%20%20%22Some%20proxy%20alerts%20precede%20or%20outnumber%20failures%22%3A%20%22imperfect_proxy%22%2C%0A%20%20%20%20%20%20%20%20%22Delayed%20labels%20arrive%20before%20proxy%20alerts%22%3A%20%22labels_first%22%2C%0A%20%20%20%20%7D%2C%20label%3D%22What%20will%20the%20sensitive%20proxy%20threshold%20establish%3F%22).form(submit_button_label%3D%22Lock%20Part%20A%20prediction%22)%0A%20%20%20%20b_prediction%20%3D%20mo.ui.radio(%7B%0A%20%20%20%20%20%20%20%20%22Fewer%20misses%2C%20more%20investigations%22%3A%20%22misses_down_investigations_up%22%2C%0A%20%20%20%20%20%20%20%20%22Fewer%20misses%2C%20lower%20telemetry%20cost%22%3A%20%22misses_down_cost_down%22%2C%0A%20%20%20%20%20%20%20%20%22No%20operational%20consequence%22%3A%20%22no_change%22%2C%0A%20%20%20%20%7D%2C%20label%3D%22What%20is%20the%20main%20cost%20of%20greater%20monitoring%20sensitivity%3F%22).form(submit_button_label%3D%22Lock%20Part%20B%20prediction%22)%0A%20%20%20%20c_prediction%20%3D%20mo.ui.radio(%7B%0A%20%20%20%20%20%20%20%20%22Scheduled%20always%20costs%20less%22%3A%20%22scheduled_cheaper%22%2C%0A%20%20%20%20%20%20%20%20%22Evidence-triggered%20may%20wait%20longer%20but%20launch%20fewer%20jobs%22%3A%20%22triggered_tradeoff%22%2C%0A%20%20%20%20%20%20%20%20%22Retraining%20changes%20quality%20when%20the%20job%20starts%22%3A%20%22changes_at_start%22%2C%0A%20%20%20%20%7D%2C%20label%3D%22How%20will%20delayed%20evidence%20change%20retraining%3F%22).form(submit_button_label%3D%22Lock%20Part%20C%20prediction%22)%0A%20%20%20%20d_prediction%20%3D%20mo.ui.radio(%7B%0A%20%20%20%20%20%20%20%20%22Zero%20traffic%20is%20safest%20and%20still%20proves%20readiness%22%3A%20%22zero_certifies%22%2C%0A%20%20%20%20%20%20%20%20%22More%20traffic%20always%20lowers%20exposure%22%3A%20%22more_always_safer%22%2C%0A%20%20%20%20%20%20%20%20%22Traffic%20trades%20faster%20evidence%20against%20candidate%20exposure%22%3A%20%22evidence_exposure%22%2C%0A%20%20%20%20%7D%2C%20label%3D%22What%20does%20canary%20fraction%20control%3F%22).form(submit_button_label%3D%22Lock%20Part%20D%20prediction%22)%0A%20%20%20%20e_prediction%20%3D%20mo.ui.radio(%7B%0A%20%20%20%20%20%20%20%20%22Detection%20alone%20completes%20recovery%22%3A%20%22detection_is_recovery%22%2C%0A%20%20%20%20%20%20%20%20%22Recovery%20is%20the%20sum%20of%20response%20stages%22%3A%20%22sequential_stages%22%2C%0A%20%20%20%20%20%20%20%20%22Rollback%20duration%20cannot%20affect%20exposure%22%3A%20%22rollback_noncausal%22%2C%0A%20%20%20%20%7D%2C%20label%3D%22What%20determines%20verified%20recovery%20time%3F%22).form(submit_button_label%3D%22Lock%20Part%20E%20prediction%22)%0A%20%20%20%20return%20a_prediction%2C%20b_prediction%2C%20c_prediction%2C%20d_prediction%2C%20e_prediction%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20final_choice%20%3D%20mo.ui.radio(%7B%0A%20%20%20%20%20%20%20%20%2210%25%20canary%22%3A%200.10%2C%20%2225%25%20canary%22%3A%200.25%2C%20%2250%25%20canary%22%3A%200.50%2C%0A%20%20%20%20%20%20%20%20%22Hold%20for%20more%20evidence%20%2F%20no%20feasible%20promotion%22%3A%20%22none%22%2C%0A%20%20%20%20%7D%2C%20label%3D%22Final%20recommendation%22)%0A%20%20%20%20final_rejected%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%2210%25%20canary%22%3A%200.10%2C%20%2225%25%20canary%22%3A%200.25%2C%20%2250%25%20canary%22%3A%200.50%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Rejected%20tested%20alternative%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_trigger%20%3D%20mo.ui.radio(%7B%0A%20%20%20%20%20%20%20%20%22A%20new%20missed%20failure%20episode%22%3A%20%22missed_failure%22%2C%0A%20%20%20%20%20%20%20%20%22Canary%20evidence%20loses%20cohort%20coverage%22%3A%20%22cohort_coverage%22%2C%0A%20%20%20%20%20%20%20%20%22Recovery%20time%20exceeds%20its%20objective%22%3A%20%22recovery_objective%22%2C%0A%20%20%20%20%7D%2C%20label%3D%22Reevaluation%20trigger%22)%0A%20%20%20%20final_risk%20%3D%20mo.ui.radio(%7B%0A%20%20%20%20%20%20%20%20%22Proxy%20alerts%20do%20not%20prove%20quality%20loss%22%3A%20%22proxy_ambiguity%22%2C%0A%20%20%20%20%20%20%20%20%22Labels%20remain%20delayed%22%3A%20%22label_delay%22%2C%0A%20%20%20%20%20%20%20%20%22Illustrative%20outcomes%20require%20local%20calibration%22%3A%20%22scenario_calibration%22%2C%0A%20%20%20%20%7D%2C%20label%3D%22Remaining%20limitation%22)%0A%20%20%20%20rationale%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20label%3D%22Concise%20rationale%22%2C%0A%20%20%20%20%20%20%20%20placeholder%3D%22Connect%20saved%20monitoring%2C%20retraining%2C%20rollout%2C%20and%20recovery%20evidence.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20final_choice%2C%20final_rejected%2C%20final_risk%2C%20final_trigger%2C%20rationale%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20a_threshold%2C%0A%20%20%20%20b_interval%2C%0A%20%20%20%20b_threshold%2C%0A%20%20%20%20c_interval%2C%0A%20%20%20%20canary_experiment%2C%0A%20%20%20%20d_choice%2C%0A%20%20%20%20d_rejected%2C%0A%20%20%20%20e_rollback%2C%0A%20%20%20%20incident_experiment%2C%0A%20%20%20%20monitoring_experiment%2C%0A%20%20%20%20options%2C%0A%20%20%20%20retraining_experiment%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20a_base%20%3D%20monitoring_experiment(%0A%20%20%20%20%20%20%20%20track_id%2C%20proxy_threshold%3D0.30%2C%20sampling_interval_hours%3Doptions%5B%22step_hours%22%5D%2C%0A%20%20%20%20)%0A%20%20%20%20a_result%20%3D%20monitoring_experiment(%0A%20%20%20%20%20%20%20%20track_id%2C%20proxy_threshold%3Da_threshold.value%2C%20sampling_interval_hours%3Doptions%5B%22step_hours%22%5D%2C%0A%20%20%20%20)%0A%20%20%20%20b_base%20%3D%20monitoring_experiment(%0A%20%20%20%20%20%20%20%20track_id%2C%20proxy_threshold%3D0.30%2C%20sampling_interval_hours%3Doptions%5B%22step_hours%22%5D%2C%0A%20%20%20%20)%0A%20%20%20%20b_result%20%3D%20monitoring_experiment(%0A%20%20%20%20%20%20%20%20track_id%2C%20proxy_threshold%3Db_threshold.value%2C%20sampling_interval_hours%3Db_interval.value%2C%0A%20%20%20%20)%0A%20%20%20%20c_scheduled%20%3D%20retraining_experiment(%0A%20%20%20%20%20%20%20%20track_id%2C%20policy%3D%22scheduled%22%2C%20scheduled_interval_hours%3Dc_interval.value%2C%0A%20%20%20%20)%0A%20%20%20%20c_triggered%20%3D%20retraining_experiment(%0A%20%20%20%20%20%20%20%20track_id%2C%20policy%3D%22evidence_triggered%22%2C%20scheduled_interval_hours%3DNone%2C%0A%20%20%20%20)%0A%20%20%20%20d_results%20%3D%20%7B%0A%20%20%20%20%20%20%20%20fraction%3A%20canary_experiment(track_id%2C%20canary_fraction%3Dfraction%2C%20stop_on_decision%3DFalse)%0A%20%20%20%20%20%20%20%20for%20fraction%20in%20options%5B%22canary_candidates%22%5D.values()%0A%20%20%20%20%7D%0A%20%20%20%20if%20d_choice.value%20not%20in%20(None%2C%20%22none%22)%20and%20d_results%5Bd_choice.value%5D%5B%22decision%22%5D%20%3D%3D%20%22promote%22%3A%0A%20%20%20%20%20%20%20%20e_affected_fraction%20%3D%201.0%0A%20%20%20%20elif%20d_choice.value%20not%20in%20(None%2C%20%22none%22)%3A%0A%20%20%20%20%20%20%20%20e_affected_fraction%20%3D%20d_choice.value%0A%20%20%20%20elif%20d_rejected.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20e_affected_fraction%20%3D%20d_rejected.value%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20e_affected_fraction%20%3D%200.25%0A%20%20%20%20e_base%20%3D%20incident_experiment(%0A%20%20%20%20%20%20%20%20track_id%2C%20proxy_threshold%3Db_threshold.value%2C%0A%20%20%20%20%20%20%20%20sampling_interval_hours%3Db_interval.value%2C%20rollback_minutes%3D30.0%2C%0A%20%20%20%20%20%20%20%20affected_fraction%3De_affected_fraction%2C%0A%20%20%20%20)%0A%20%20%20%20e_result%20%3D%20incident_experiment(%0A%20%20%20%20%20%20%20%20track_id%2C%20proxy_threshold%3Db_threshold.value%2C%0A%20%20%20%20%20%20%20%20sampling_interval_hours%3Db_interval.value%2C%20rollback_minutes%3De_rollback.value%2C%0A%20%20%20%20%20%20%20%20affected_fraction%3De_affected_fraction%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_base%2C%0A%20%20%20%20%20%20%20%20a_result%2C%0A%20%20%20%20%20%20%20%20b_base%2C%0A%20%20%20%20%20%20%20%20b_result%2C%0A%20%20%20%20%20%20%20%20c_scheduled%2C%0A%20%20%20%20%20%20%20%20c_triggered%2C%0A%20%20%20%20%20%20%20%20d_results%2C%0A%20%20%20%20%20%20%20%20e_affected_fraction%2C%0A%20%20%20%20%20%20%20%20e_base%2C%0A%20%20%20%20%20%20%20%20e_result%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20a_base%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_result%2C%0A%20%20%20%20b_base%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_result%2C%0A%20%20%20%20c_choice%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_scheduled%2C%0A%20%20%20%20c_triggered%2C%0A%20%20%20%20capture_evidence%2C%0A%20%20%20%20d_choice%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_rejected%2C%0A%20%20%20%20d_results%2C%0A%20%20%20%20e_base%2C%0A%20%20%20%20e_prediction%2C%0A%20%20%20%20e_result%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20set_evidence%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20def%20store(part%2C%20capture)%3A%0A%20%20%20%20%20%20%20%20set_evidence(lambda%20current%3A%20%7B**current%2C%20part%3A%20capture%7D)%0A%0A%20%20%20%20a_upstream%20%3D%20%7B%22baseline%22%3A%20a_base%5B%22inputs%22%5D%2C%20%22result%22%3A%20a_result%5B%22inputs%22%5D%7D%0A%20%20%20%20b_upstream%20%3D%20%7B%22baseline%22%3A%20b_base%5B%22inputs%22%5D%2C%20%22result%22%3A%20b_result%5B%22inputs%22%5D%7D%0A%20%20%20%20c_upstream%20%3D%20%7B%22choice%22%3A%20c_choice.value%2C%20%22scheduled%22%3A%20c_scheduled%5B%22inputs%22%5D%2C%20%22evidence_triggered%22%3A%20c_triggered%5B%22inputs%22%5D%7D%0A%20%20%20%20d_upstream%20%3D%20%7B%22choice%22%3A%20d_choice.value%2C%20%22rejected%22%3A%20d_rejected.value%7D%0A%20%20%20%20e_upstream%20%3D%20%7B%22rollout%22%3A%20d_upstream%2C%20%22baseline%22%3A%20e_base%5B%22inputs%22%5D%2C%20%22result%22%3A%20e_result%5B%22inputs%22%5D%7D%0A%0A%20%20%20%20a_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20proxy%20comparison%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Da_prediction.value%20is%20None%20or%20a_base%5B%22inputs%22%5D%20%3D%3D%20a_result%5B%22inputs%22%5D%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_value%3A%20store(%22A%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22A%22%2C%20prediction%3Da_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3Da_upstream%2C%20baseline%3Da_base%2C%20result%3Da_result%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Da_upstream%2C%20model_key%3D%22v1_14.monitoring%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20b_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20sensitivity%20comparison%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Db_prediction.value%20is%20None%20or%20b_base%5B%22inputs%22%5D%20%3D%3D%20b_result%5B%22inputs%22%5D%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_value%3A%20store(%22B%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22B%22%2C%20prediction%3Db_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3Db_upstream%2C%20baseline%3Db_base%2C%20result%3Db_result%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Db_upstream%2C%20model_key%3D%22v1_14.monitoring%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20c_chosen_result%20%3D%20(%0A%20%20%20%20%20%20%20%20c_scheduled%20if%20c_choice.value%20%3D%3D%20%22scheduled%22%0A%20%20%20%20%20%20%20%20else%20(c_triggered%20if%20c_choice.value%20%3D%3D%20%22evidence_triggered%22%20else%20None)%0A%20%20%20%20)%0A%20%20%20%20c_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20retraining%20comparison%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dc_prediction.value%20is%20None%20or%20c_choice.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_value%3A%20store(%22C%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22C%22%2C%20prediction%3Dc_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3Dc_upstream%2C%20baseline%3Dc_scheduled%2C%20result%3Dc_triggered%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Dc_upstream%2C%20alternatives%3D(c_scheduled%2C%20c_triggered)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20decision%3Dc_choice.value%2C%20model_key%3D%22v1_14.retraining%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20chosen_result%3Dc_chosen_result%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20d_invalid%20%3D%20(%0A%20%20%20%20%20%20%20%20d_prediction.value%20is%20None%20or%20d_choice.value%20is%20None%20or%20d_rejected.value%20is%20None%0A%20%20%20%20%20%20%20%20or%20d_choice.value%20%3D%3D%20d_rejected.value%0A%20%20%20%20)%0A%20%20%20%20d_baseline%20%3D%20d_results%5Bd_rejected.value%5D%20if%20d_rejected.value%20is%20not%20None%20else%20d_results%5B0.10%5D%0A%20%20%20%20if%20d_choice.value%20%3D%3D%20%22none%22%3A%0A%20%20%20%20%20%20%20%20d_result%20%3D%20d_baseline%0A%20%20%20%20%20%20%20%20d_baseline%20%3D%20d_results%5B0.0%5D%0A%20%20%20%20%20%20%20%20d_chosen_result%20%3D%20d_baseline%0A%20%20%20%20%20%20%20%20d_result_role%20%3D%20%22rejected%20alternative%22%0A%20%20%20%20elif%20d_choice.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20d_result%20%3D%20d_results%5B0.25%5D%0A%20%20%20%20%20%20%20%20d_chosen_result%20%3D%20d_result%0A%20%20%20%20%20%20%20%20d_result_role%20%3D%20%22chosen%20candidate%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20d_result%20%3D%20d_results%5Bd_choice.value%5D%0A%20%20%20%20%20%20%20%20d_chosen_result%20%3D%20d_result%0A%20%20%20%20%20%20%20%20d_result_role%20%3D%20%22chosen%20candidate%22%0A%20%20%20%20d_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20rollout%20decision%22%2C%20kind%3D%22success%22%2C%20disabled%3Dd_invalid%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_value%3A%20store(%22D%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22D%22%2C%20prediction%3Dd_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B**d_upstream%2C%20%22baseline%22%3A%20d_baseline%5B%22inputs%22%5D%2C%20%22result%22%3A%20d_result%5B%22inputs%22%5D%2C%20%22chosen_result%22%3A%20d_chosen_result%5B%22inputs%22%5D%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Dd_baseline%2C%20result%3Dd_result%2C%20upstream_inputs%3Dd_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alternatives%3Dtuple(d_results.values())%2C%20decision%3Dd_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v1_14.canary%22%2C%20chosen_result%3Dd_chosen_result%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result_role%3Dd_result_role%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20e_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20incident%20replay%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20e_prediction.value%20is%20None%20or%20d_choice.value%20is%20None%20or%20d_rejected.value%20is%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20or%20e_base%5B%22inputs%22%5D%20%3D%3D%20e_result%5B%22inputs%22%5D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_value%3A%20store(%22E%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22E%22%2C%20prediction%3De_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22baseline%22%3A%20e_base%5B%22inputs%22%5D%2C%20%22result%22%3A%20e_result%5B%22inputs%22%5D%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3De_base%2C%20result%3De_result%2C%20upstream_inputs%3De_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alternatives%3D(e_base%2C%20e_result)%2C%20decision%3De_result%5B%22met_recovery_objective%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v1_14.incident%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_capture%2C%0A%20%20%20%20%20%20%20%20a_upstream%2C%0A%20%20%20%20%20%20%20%20b_capture%2C%0A%20%20%20%20%20%20%20%20b_upstream%2C%0A%20%20%20%20%20%20%20%20c_capture%2C%0A%20%20%20%20%20%20%20%20c_upstream%2C%0A%20%20%20%20%20%20%20%20d_capture%2C%0A%20%20%20%20%20%20%20%20d_upstream%2C%0A%20%20%20%20%20%20%20%20e_capture%2C%0A%20%20%20%20%20%20%20%20e_upstream%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(ACADEMIC_LAB_CSS%2C%20LAB_CSS%2C%20mo%2C%20scenario%2C%20track)%3A%0A%20%20%20%20css%20%3D%20mo.Html(%22%22%22%0A%20%20%20%20%3Cstyle%3E%0A%20%20%20%20.pilot-head%7Bbackground%3Alinear-gradient(135deg%2C%23101827%2C%231d4f78)%3Bcolor%3Awhite%3Bborder-radius%3A14px%3Bpadding%3Aclamp(18px%2C4vw%2C32px)%3Bmargin-bottom%3A14px%7D%0A%20%20%20%20.pilot-top%7Bdisplay%3Aflex%3Bjustify-content%3Aspace-between%3Bgap%3A8px%3Bflex-wrap%3Awrap%3Bfont%3A700%20.72rem%20ui-monospace%3Bletter-spacing%3A.08em%7D%0A%20%20%20%20.pilot-head%20h1%7Bfont-size%3Aclamp(1.65rem%2C5vw%2C2.65rem)%3Bline-height%3A1.05%3Bmargin%3A16px%200%208px%7D.pilot-head%20p%7Bcolor%3A%23dbeafe%3Bmax-width%3A760px%7D%0A%20%20%20%20.pilot-note%7Bcolor%3A%23475569%3Bfont-size%3A.9rem%3Bline-height%3A1.5%3Bmargin%3A0%3Bpadding%3A0%202px%7D.track-control%7Bmargin%3A0%200%2010px%202px%3Bmax-width%3A330px%7D%0A%20%20%20%20.lab-hud%7Bdisplay%3Aflex%3Balign-items%3Acenter%3Bflex-wrap%3Awrap%3Bgap%3A10px%3Bbackground%3A%23101827!important%3Bcolor%3A%23fff%3Bpadding%3A14px%2018px%3Bborder-radius%3A9px%7D%0A%20%20%20%20.lab-hud%20.hud-label%7Bcolor%3A%23a7b9cf%7D.lab-hud%20.hud-value%7Bcolor%3A%23fff%7D.lab-hud%20.hud-active%7Bcolor%3A%2386efac%7D.lab-hud%20.hud-failed%7Bcolor%3A%23fca5a5%7D%0A%20%20%20%20.pilot-meta%7Bdisplay%3Agrid%3Bgrid-template-columns%3Arepeat(auto-fit%2Cminmax(170px%2C1fr))%3Bgap%3A9px%3Bmargin-top%3A17px%7D.pilot-meta%20div%7Bbackground%3A%23ffffff14%3Bborder%3A1px%20solid%20%23ffffff26%3Bpadding%3A9px%2011px%3Bborder-radius%3A8px%7D%0A%20%20%20%20.saved%7Bborder-left%3A4px%20solid%20%232ca02c%3Bbackground%3A%23f0fdf4%3Bpadding%3A9px%2012px%3Bborder-radius%3A7px%7D.table-wrap%7Bmax-width%3A100%25%3Boverflow-x%3Aauto%7D%0A%20%20%20%20%40media(max-width%3A520px)%7B.pilot-head%7Bborder-radius%3A9px%3Bmargin-top%3A30px%7D.pilot-meta%7Bgrid-template-columns%3A1fr%7D%7D%0A%20%20%20%20%3C%2Fstyle%3E%22%22%22)%0A%20%20%20%20header%20%3D%20mo.Html(f%22%22%22%3Csection%20class%3D%22pilot-head%22%3E%3Cdiv%20class%3D%22pilot-top%22%3E%3Cspan%3EVOLUME%20I%20%C2%B7%20LAB%2014%3C%2Fspan%3E%3Cspan%3EABOUT%2050%E2%80%9355%20MIN%3C%2Fspan%3E%3C%2Fdiv%3E%3Ch1%3EEvidence-Driven%20Operations%3C%2Fh1%3E%3Cp%3EWhich%20monitoring%2C%20retraining%2C%20release%2C%20and%20recovery%20policy%20keeps%20a%20deployed%20model%20useful%3F%3C%2Fp%3E%3Cdiv%20class%3D%22pilot-meta%22%3E%3Cdiv%3E%3Cb%3ETrack%3C%2Fb%3E%3Cbr%3E%7Bscenario.label%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EInvestigation%3C%2Fb%3E%3Cbr%3EOne%20production%20ML%20node%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EDeliverable%3C%2Fb%3E%3Cbr%3EOperations%20runbook%20memo%3C%2Fdiv%3E%3C%2Fdiv%3E%3C%2Fsection%3E%22%22%22)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%20ACADEMIC_LAB_CSS%2C%20css%2C%0A%20%20%20%20%20%20%20%20mo.Html('%3Cdiv%20class%3D%22track-control%22%3E%3Cb%3EChoose%20a%20deployment%20track%3C%2Fb%3E%3C%2Fdiv%3E')%2C%0A%20%20%20%20%20%20%20%20track%2C%20header%2C%0A%20%20%20%20%20%20%20%20mo.Html('%3Cp%20class%3D%22pilot-note%22%3EAll%20tracks%20use%20illustrative%20outcome-labeled%20scenarios.%20The%20values%20are%20teaching%20fixtures%2C%20not%20measurements%20of%20a%20named%20production%20system.%20On-device%20tracks%20(TinyML%2FMobile)%20evaluate%20single-node%20inference%20with%20companion-host%20retraining%20and%20local%20partition%20rollback.%3C%2Fp%3E')%2C%0A%20%20%20%20%5D%2C%20gap%3D0.5)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.sidebar(%5Bmo.md(%22%23%23%20Lab%20navigation%22)%2C%20mo.outline(label%3D%22Sections%22)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20a_base%2C%0A%20%20%20%20a_capture%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_result%2C%0A%20%20%20%20a_threshold%2C%0A%20%20%20%20a_upstream%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20audit_evidence%2C%0A%20%20%20%20b_base%2C%0A%20%20%20%20b_capture%2C%0A%20%20%20%20b_interval%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_result%2C%0A%20%20%20%20b_threshold%2C%0A%20%20%20%20b_upstream%2C%0A%20%20%20%20c_capture%2C%0A%20%20%20%20c_choice%2C%0A%20%20%20%20c_interval%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_scheduled%2C%0A%20%20%20%20c_triggered%2C%0A%20%20%20%20c_upstream%2C%0A%20%20%20%20d_capture%2C%0A%20%20%20%20d_choice%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_rejected%2C%0A%20%20%20%20d_results%2C%0A%20%20%20%20d_upstream%2C%0A%20%20%20%20e_affected_fraction%2C%0A%20%20%20%20e_base%2C%0A%20%20%20%20e_capture%2C%0A%20%20%20%20e_prediction%2C%0A%20%20%20%20e_result%2C%0A%20%20%20%20e_rollback%2C%0A%20%20%20%20e_upstream%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20go%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20scenario%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20upstream%20%3D%20%7B%22A%22%3A%20a_upstream%2C%20%22B%22%3A%20b_upstream%2C%20%22C%22%3A%20c_upstream%2C%20%22D%22%3A%20d_upstream%2C%20%22E%22%3A%20e_upstream%7D%0A%20%20%20%20audit%20%3D%20audit_evidence(%0A%20%20%20%20%20%20%20%20_captures%2C%20track%3Dtrack_id%2C%20required_parts%3Dtuple(%22ABCDE%22)%2C%0A%20%20%20%20%20%20%20%20per_part_upstream_inputs%3Dupstream%2C%20contrast_required_parts%3Dtuple(%22ABCDE%22)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20def%20table(rows)%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bmo.ui.table(rows%2C%20pagination%3DFalse)%5D).style(%7B%22max-width%22%3A%20%22100%25%22%2C%20%22overflow-x%22%3A%20%22auto%22%7D)%0A%0A%20%20%20%20def%20saved(part)%3A%0A%20%20%20%20%20%20%20%20capture%20%3D%20_captures.get(part)%0A%20%20%20%20%20%20%20%20if%20capture%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22No%20saved%20evidence%20for%20this%20part.%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20%20%20%20%20if%20part%20in%20audit.stale%20or%20(part%2C%20part)%20in%20audit.identical_pairs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22**STALE%20OR%20NON-CONTRASTING%20EVIDENCE.**%20Recapture%20after%20changing%20the%20live%20comparison.%22)%2C%20kind%3D%22danger%22)%0A%20%20%20%20%20%20%20%20data%20%3D%20capture.to_dict()%0A%20%20%20%20%20%20%20%20return%20mo.Html(f'%3Cdiv%20class%3D%22saved%22%3E%3Cb%3ESaved%20snapshot%3C%2Fb%3E%20%C2%B7%20original%20prediction%3A%20%7Bdata%5B%22prediction%22%5D%7D%3Cbr%3E%3Csmall%3ETrack%20%7Bdata%5B%22track%22%5D%7D%3B%20saved%20values%20remain%20fixed%20when%20live%20controls%20move.%3C%2Fsmall%3E%3C%2Fdiv%3E')%0A%0A%20%20%20%20def%20part_a()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(f%22%23%23%23%20A%20%C2%B7%20Does%20drift%20prove%20the%20model%20is%20wrong%3F%20(9%20min)%5CnThe%20%7Bscenario.label%7D%20proxy%20rises%20before%20delayed%20outcomes%20arrive.%20Choose%20a%20threshold%2C%20commit%20a%20prediction%2C%20and%20compare%20proxy%20alerts%20with%20eventual%20labels.%22)%0A%20%20%20%20%20%20%20%20if%20a_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20a_threshold%2C%20a_prediction%5D)%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20figure.add_scatter(x%3Da_result%5B%22time_hours%22%5D%2C%20y%3Da_result%5B%22outcome_quality_pct%22%5D%2C%20name%3D%22Outcome%20quality%22%2C%20line%3D%7B%22color%22%3A%20COLORS%5B%22BlueLine%22%5D%7D)%0A%20%20%20%20%20%20%20%20figure.add_scatter(x%3Da_result%5B%22time_hours%22%5D%2C%20y%3Da_result%5B%22proxy_values%22%5D%2C%20name%3D%22Proxy%22%2C%20yaxis%3D%22y2%22%2C%20line%3D%7B%22color%22%3A%20COLORS%5B%22OrangeLine%22%5D%7D)%0A%20%20%20%20%20%20%20%20figure.update_layout(height%3D285%2C%20margin%3Ddict(l%3D20%2C%20r%3D55%2C%20t%3D20%2C%20b%3D35)%2C%20xaxis_title%3D%22Event%20time%20(hours)%22%2C%20yaxis_title%3D%22Outcome%20quality%20(%25)%22%2C%20yaxis2%3Ddict(title%3D%22Proxy%20value%22%2C%20overlaying%3D%22y%22%2C%20side%3D%22right%22)%2C%20legend_orientation%3D%22h%22)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Run%22%3A%20%22Balanced%20baseline%22%2C%20%22Alerts%22%3A%20a_base%5B%22investigations%22%5D%2C%20%22False%20investigations%22%3A%20a_base%5B%22false_investigations%22%5D%2C%20%22Missed%20failures%22%3A%20a_base%5B%22missed_failures%22%5D%2C%20%22Label%20confirmation%22%3A%20f'%7Ba_base%5B%22first_outcome_confirmation_hours%22%5D%3Ag%7D%20h'%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Run%22%3A%20%22Selected%20threshold%22%2C%20%22Alerts%22%3A%20a_result%5B%22investigations%22%5D%2C%20%22False%20investigations%22%3A%20a_result%5B%22false_investigations%22%5D%2C%20%22Missed%20failures%22%3A%20a_result%5B%22missed_failures%22%5D%2C%20%22Label%20confirmation%22%3A%20f'%7Ba_result%5B%22first_outcome_confirmation_hours%22%5D%3Ag%7D%20h'%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20a_threshold%2C%20a_prediction%2C%20apply_plotly_theme(figure)%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Ba_prediction.value%7D.%20**Observed%20replay%3A**%20the%20selected%20proxy%20produced%20**%7Ba_result%5B'false_investigations'%5D%7D%20false%20investigations**%20and%20**%7Ba_result%5B'missed_failures'%5D%7D%20missed%20failure%20observations**.%20Outcome%20confirmation%20remained%20delayed%20until%20**%7Ba_result%5B'first_outcome_confirmation_hours'%5D%3Ag%7D%20h**.%22)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20a_capture%2C%20saved(%22A%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22MLSysIM%20compares%20each%20sampled%20proxy%20event%20with%20its%20supplied%20eventual%20outcome.%20A%20proxy%20alert%20starts%20an%20investigation%3B%20it%20does%20not%20change%20or%20prove%20the%20outcome.%20Label%20availability%20equals%20event%20time%20plus%20the%20scenario's%20label%20delay.%22)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_b()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%22%23%23%23%20B%20%C2%B7%20How%20sensitive%20should%20monitoring%20be%3F%20(10%20min)%5CnCompare%20one%20selected%20threshold%20and%20cadence%20with%20the%20balanced%20baseline.%20The%20operating%20costs%20are%20investigations%2C%20missed%20failures%2C%20observation%20delay%2C%20and%20telemetry%20expense.%22)%0A%20%20%20%20%20%20%20%20if%20b_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20mo.hstack(%5Bb_threshold%2C%20b_interval%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20b_prediction%5D)%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(name%3D%22False%20investigations%22%2C%20x%3D%5B%22Balanced%22%2C%20%22Selected%22%5D%2C%20y%3D%5Bb_base%5B%22false_investigations%22%5D%2C%20b_result%5B%22false_investigations%22%5D%5D%2C%20marker_color%3DCOLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(name%3D%22Missed%20failures%22%2C%20x%3D%5B%22Balanced%22%2C%20%22Selected%22%5D%2C%20y%3D%5Bb_base%5B%22missed_failures%22%5D%2C%20b_result%5B%22missed_failures%22%5D%5D%2C%20marker_color%3DCOLORS%5B%22RedLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20figure.update_layout(barmode%3D%22group%22%2C%20height%3D270%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D30)%2C%20yaxis_title%3D%22Event%20count%22%2C%20legend_orientation%3D%22h%22)%0A%20%20%20%20%20%20%20%20b_base_delay_str%20%3D%20%22undetected%22%20if%20b_base%5B%22detection_delay_hours%22%5D%5B0%5D%20is%20None%20else%20f'%7Bb_base%5B%22detection_delay_hours%22%5D%5B0%5D%3Ag%7D%20h'%0A%20%20%20%20%20%20%20%20b_res_delay_str%20%3D%20%22undetected%22%20if%20b_result%5B%22detection_delay_hours%22%5D%5B0%5D%20is%20None%20else%20f'%7Bb_result%5B%22detection_delay_hours%22%5D%5B0%5D%3Ag%7D%20h'%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Run%22%3A%20%22Balanced%22%2C%20%22Observations%22%3A%20b_base%5B%22observations_collected%22%5D%2C%20%22Investigations%22%3A%20b_base%5B%22investigations%22%5D%2C%20%22Telemetry%20cost%22%3A%20f'%24%7Bb_base%5B%22telemetry_cost_usd%22%5D%3A%2C.2f%7D'%2C%20%22Detection%20delay%22%3A%20b_base_delay_str%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Run%22%3A%20%22Selected%22%2C%20%22Observations%22%3A%20b_result%5B%22observations_collected%22%5D%2C%20%22Investigations%22%3A%20b_result%5B%22investigations%22%5D%2C%20%22Telemetry%20cost%22%3A%20f'%24%7Bb_result%5B%22telemetry_cost_usd%22%5D%3A%2C.2f%7D'%2C%20%22Detection%20delay%22%3A%20b_res_delay_str%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20mo.hstack(%5Bb_threshold%2C%20b_interval%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20b_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20apply_plotly_theme(figure)%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Bb_prediction.value%7D.%20**Selected%20result%3A**%20**%7Bb_result%5B'false_investigations'%5D%7D%20false%20investigations**%2C%20**%7Bb_result%5B'missed_failures'%5D%7D%20misses**%2C%20and%20**%24%7Bb_result%5B'telemetry_cost_usd'%5D%3A%2C.2f%7D**%20in%20direct%20scenario%20cost.%20Monitoring%20changes%20observation%20and%20response%3B%20the%20supplied%20model%20outcomes%20stay%20fixed.%22)%2C%20kind%3D%22danger%22%20if%20b_result%5B%22missed_failures%22%5D%20else%20%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20b_capture%2C%20saved(%22B%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22MLSysIM%20samples%20the%20same%20outcome-labeled%20trace%20at%20the%20selected%20cadence.%20Direct%20cost%20equals%20collected%20observations%20plus%20investigations%20under%20the%20track's%20illustrative%20cost%20assumptions.%20No%20readiness%20score%20is%20used.%22)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_c()%3A%0A%20%20%20%20%20%20%20%20host_note%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%20Retraining%20for%20on-device%20models%20executes%20on%20a%20companion%20development%20host%20(1%20core%20for%20%7Bscenario.retraining.training_duration.to('hour').magnitude%3Ag%7D%20hours)%2C%20not%20on%20the%20microcontroller.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20track_id%20in%20(%22tinyml%22%2C%20%22mobile%22)%20else%20%22%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(f%22%23%23%23%20C%20%C2%B7%20When%20should%20we%20retrain%3F%20(10%20min)%5CnCompare%20a%20calendar%20schedule%20with%20a%20policy%20that%20waits%20for%20delayed%20failure%20evidence.%7Bhost_note%7D%20Both%20policies%20use%20the%20same%20job%20duration%2C%20resources%2C%20and%20supplied%20candidate%20outcome%20traces.%22)%0A%20%20%20%20%20%20%20%20controls%20%3D%20mo.hstack(%5Bc_interval%2C%20c_choice%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%0A%20%20%20%20%20%20%20%20if%20c_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20controls%2C%20c_prediction%5D)%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(name%3D%22Retraining%20cost%22%2C%20x%3D%5B%22Scheduled%22%2C%20%22Evidence-triggered%22%5D%2C%20y%3D%5Bc_scheduled%5B%22retraining_cost_usd%22%5D%2C%20c_triggered%5B%22retraining_cost_usd%22%5D%5D%2C%20marker_color%3DCOLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(name%3D%22Stale-outcome%20loss%22%2C%20x%3D%5B%22Scheduled%22%2C%20%22Evidence-triggered%22%5D%2C%20y%3D%5Bc_scheduled%5B%22stale_outcome_loss_usd%22%5D%2C%20c_triggered%5B%22stale_outcome_loss_usd%22%5D%5D%2C%20marker_color%3DCOLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20figure.update_layout(barmode%3D%22stack%22%2C%20height%3D285%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D30)%2C%20yaxis_title%3D%22Scenario%20cost%20(USD)%22%2C%20legend_orientation%3D%22h%22)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Policy%22%3A%20%22Scheduled%22%2C%20%22Jobs%22%3A%20c_scheduled%5B%22job_count%22%5D%2C%20%22Promotions%22%3A%20c_scheduled%5B%22promotions%22%5D%2C%20%22Resource-hours%22%3A%20f'%7Bc_scheduled%5B%22compute_resource_hours%22%5D%3Ag%7D'%2C%20%22Total%20cost%22%3A%20f'%24%7Bc_scheduled%5B%22total_operating_cost_usd%22%5D%3A%2C.2f%7D'%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Policy%22%3A%20%22Evidence-triggered%22%2C%20%22Jobs%22%3A%20c_triggered%5B%22job_count%22%5D%2C%20%22Promotions%22%3A%20c_triggered%5B%22promotions%22%5D%2C%20%22Resource-hours%22%3A%20f'%7Bc_triggered%5B%22compute_resource_hours%22%5D%3Ag%7D'%2C%20%22Total%20cost%22%3A%20f'%24%7Bc_triggered%5B%22total_operating_cost_usd%22%5D%3A%2C.2f%7D'%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20calc_note%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20displayed%20square-root%20approximation%20is%20**%7Bc_scheduled%5B'approximate_optimal_interval_hours'%5D%3A.1f%7D%20hours**%20for%20this%20illustrative%20quadratic-loss%20assumption.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20replay%20remains%20authoritative%20because%20delayed%20labels%2C%20discrete%20jobs%2C%20validation%2C%20and%20supplied%20candidate%20outcomes%20can%20violate%20the%20approximation's%20assumptions.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(%22%20In%20on-device%20tracks%2C%20retraining%20jobs%20execute%20on%20companion%20host%20compute%20rather%20than%20on%20constrained%20local%20device%20hardware.%22%20if%20track_id%20in%20(%22tinyml%22%2C%20%22mobile%22)%20else%20%22%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_c_choice_note%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%20Selected%20policy%3A%20**%7B'Scheduled'%20if%20c_choice.value%20%3D%3D%20'scheduled'%20else%20'Evidence-triggered'%7D**.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20c_choice.value%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20%22%20Select%20a%20retraining%20policy%20above%20to%20commit%20your%20operational%20decision.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20controls%2C%20c_prediction%2C%20apply_plotly_theme(figure)%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Bc_prediction.value%7D.%20**Replay%3A**%20scheduled%20retraining%20launched%20**%7Bc_scheduled%5B'job_count'%5D%7D%20jobs**%20with%20**%24%7Bc_scheduled%5B'stale_outcome_loss_usd'%5D%3A%2C.2f%7D**%20stale-outcome%20loss%3B%20evidence-triggered%20retraining%20launched%20**%7Bc_triggered%5B'job_count'%5D%7D**%20with%20**%24%7Bc_triggered%5B'stale_outcome_loss_usd'%5D%3A%2C.2f%7D**%20stale-outcome%20loss.%7B_c_choice_note%7D%22)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20c_capture%2C%20saved(%22C%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(calc_note)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_d()%3A%0A%20%20%20%20%20%20%20%20lens_note%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20On%20single%20embedded%20devices%2C%20canary%20request-splitting%20represents%20local%20shadow%20execution%20or%20session%20staging%2C%20as%20microcontrollers%20lack%20reverse-proxy%20traffic%20routers.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20track_id%20in%20(%22tinyml%22%2C%20%22mobile%22)%20else%20%22%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(f%22%23%23%23%20D%20%C2%B7%20What%20evidence%20justifies%20promotion%3F%20(11%20min)%5CnCompare%20the%20tested%20canary%20fractions%20under%20one%20common%20horizon.%7Blens_note%7D%20The%20gate%20requires%20labeled%20candidate%20and%20baseline%20outcomes%20plus%20minimum%20coverage%20in%20every%20required%20cohort.%20It%20is%20an%20operational%20evidence%20rule%2C%20not%20a%20claim%20of%20statistical%20significance.%22)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Canary%22%3A%20f%22%7Bresult%5B'canary_fraction_pct'%5D%3Ag%7D%25%22%2C%20%22Exposed%22%3A%20result%5B%22exposed_requests%22%5D%2C%20%22Candidate%20labels%22%3A%20result%5B%22candidate_labeled%22%5D%2C%20%22Exposed%20failures%22%3A%20result%5B%22exposed_failures%22%5D%2C%20%22Cohort%20gate%22%3A%20%22PASS%22%20if%20result%5B%22evidence_requirements_met%22%5D%20else%20%22FAIL%22%2C%20%22Decision%22%3A%20result%5B%22decision%22%5D.upper()%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20result%20in%20d_results.values()%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20if%20d_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20d_prediction%5D)%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(name%3D%22Candidate%20labels%22%2C%20x%3D%5Bf%22%7Bresult%5B'canary_fraction_pct'%5D%3Ag%7D%25%22%20for%20result%20in%20d_results.values()%5D%2C%20y%3D%5Bresult%5B%22candidate_labeled%22%5D%20for%20result%20in%20d_results.values()%5D%2C%20marker_color%3DCOLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(name%3D%22Exposed%20failures%22%2C%20x%3D%5Bf%22%7Bresult%5B'canary_fraction_pct'%5D%3Ag%7D%25%22%20for%20result%20in%20d_results.values()%5D%2C%20y%3D%5Bresult%5B%22exposed_failures%22%5D%20for%20result%20in%20d_results.values()%5D%2C%20marker_color%3DCOLORS%5B%22RedLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20figure.update_layout(barmode%3D%22group%22%2C%20height%3D285%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D30)%2C%20xaxis_title%3D%22Canary%20traffic%22%2C%20yaxis_title%3D%22Observed%20request%20count%22%2C%20legend_orientation%3D%22h%22)%0A%20%20%20%20%20%20%20%20_selected%20%3D%20d_results%5B0.0%5D%20if%20d_choice.value%20in%20(None%2C%20%22none%22)%20else%20d_results%5Bd_choice.value%5D%0A%20%20%20%20%20%20%20%20if%20d_choice.value%20%3D%3D%20%22none%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_banner%20%3D%20%22HOLD%20RECOMMENDED%20%E2%80%94%20candidate%20outcomes%20do%20not%20justify%20promotion.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_callout_kind%20%3D%20%22info%22%0A%20%20%20%20%20%20%20%20elif%20d_choice.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_banner%20%3D%20%22Select%20a%20promotion%20recommendation%20to%20compare%20against%20your%20rejected%20alternative.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_callout_kind%20%3D%20%22info%22%0A%20%20%20%20%20%20%20%20elif%20_selected%5B%22decision%22%5D%20%3D%3D%20%22promote%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_banner%20%3D%20f%22Selected%20gate%20decision%3A%20PROMOTE%20after%20%7B_selected%5B'candidate_labeled'%5D%7D%20candidate%20labels.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_callout_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_banner%20%3D%20f%22Selected%20gate%20decision%3A%20%7B_selected%5B'decision'%5D.upper()%7D.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_callout_kind%20%3D%20%22danger%22%0A%20%20%20%20%20%20%20%20calc_note%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MLSysIM%20routes%20the%20selected%20traffic%20fraction%2C%20waits%20for%20the%20scenario's%20delayed%20labels%2C%20counts%20observed%20successes%2C%20checks%20required%20cohort%20coverage%2C%20and%20applies%20the%20stated%20minimum-evidence%20margins.%20More%20samples%20alone%20do%20not%20certify%20significance.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(%22%20For%20single-node%20embedded%20systems%2C%20canary%20fractions%20simulate%20shadow%20mode%20or%20dual-slot%20trials%20without%20requiring%20a%20cloud%20reverse%20proxy.%22%20if%20track_id%20in%20(%22tinyml%22%2C%20%22mobile%22)%20else%20%22%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20d_prediction%2C%20apply_plotly_theme(figure)%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bd_choice%2C%20d_rejected%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Bd_prediction.value%7D.%20**%7B_banner%7D**%20Record%20a%20different%20tested%20alternative%3B%20a%20no-feasible%20conclusion%20is%20valid%20only%20when%20none%20of%20the%20tested%20positive%20fractions%20supports%20promotion.%22)%2C%20kind%3D_callout_kind)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20d_capture%2C%20saved(%22D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(calc_note)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_e()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(f%22%23%23%23%20E%20%C2%B7%20Does%20the%20runbook%20survive%20an%20incident%3F%20(8%20min)%5CnReplay%20the%20selected%20monitoring%20policy%20and%20a%20rollback%20affecting%20**%7B100%20*%20e_affected_fraction%3Ag%7D%25**%20of%20requests.%20Compare%20the%2030-minute%20rollback%20baseline%20with%20a%20tested%20recovery%20stage.%22)%0A%20%20%20%20%20%20%20%20if%20e_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20e_rollback%2C%20e_prediction%5D)%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20figure.add_scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Be_result%5B%22incident_started_hours%22%5D%2C%20e_result%5B%22detected_hours%22%5D%2C%20e_result%5B%22triage_completed_hours%22%5D%2C%20e_result%5B%22rollback_completed_hours%22%5D%2C%20e_result%5B%22recovery_validated_hours%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B%22Start%22%2C%20%22Detect%22%2C%20%22Triage%22%2C%20%22Rollback%22%2C%20%22Validate%22%5D%2C%20mode%3D%22lines%2Bmarkers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3D%7B%22size%22%3A%2011%2C%20%22color%22%3A%20COLORS%5B%22BlueLine%22%5D%7D%2C%20name%3D%22Selected%20runbook%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20figure.update_layout(height%3D275%2C%20margin%3Ddict(l%3D70%2C%20r%3D20%2C%20t%3D20%2C%20b%3D35)%2C%20xaxis_title%3D%22Event%20time%20(hours)%22%2C%20showlegend%3DFalse)%0A%20%20%20%20%20%20%20%20mttr_base_str%20%3D%20f'%7Be_base%5B%22mean_time_to_recovery_hours%22%5D%3A.2f%7D%20h'%20if%20e_base%5B%22mean_time_to_recovery_hours%22%5D%20is%20not%20None%20else%20%22unrecovered%22%0A%20%20%20%20%20%20%20%20mttr_res_str%20%3D%20f'%7Be_result%5B%22mean_time_to_recovery_hours%22%5D%3A.2f%7D%20h'%20if%20e_result%5B%22mean_time_to_recovery_hours%22%5D%20is%20not%20None%20else%20%22unrecovered%22%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Runbook%22%3A%20%2230-minute%20rollback%22%2C%20%22MTTR%22%3A%20mttr_base_str%2C%20%22Exposed%20requests%22%3A%20e_base%5B%22exposed_requests%22%5D%2C%20%22Exposure%20cost%22%3A%20f'%24%7Be_base%5B%22exposure_cost_usd%22%5D%3A%2C.2f%7D'%2C%20%22Objective%22%3A%20%22PASS%22%20if%20e_base%5B%22met_recovery_objective%22%5D%20else%20%22FAIL%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Runbook%22%3A%20%22Selected%20rollback%22%2C%20%22MTTR%22%3A%20mttr_res_str%2C%20%22Exposed%20requests%22%3A%20e_result%5B%22exposed_requests%22%5D%2C%20%22Exposure%20cost%22%3A%20f'%24%7Be_result%5B%22exposure_cost_usd%22%5D%3A%2C.2f%7D'%2C%20%22Objective%22%3A%20%22PASS%22%20if%20e_result%5B%22met_recovery_objective%22%5D%20else%20%22FAIL%22%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20callout_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22recovery%20was%20verified%20in%20**%7Bmttr_res_str%7D**%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20e_result%5B%22mean_time_to_recovery_hours%22%5D%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20%22incident%20was%20not%20recovered%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20calc_note%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MLSysIM%20orders%20detection%2C%20triage%2C%20rollback%2C%20and%20validation%20in%20sequence.%20Exposure%20ends%20only%20when%20rollback%20completes.%20Total%20incident%20cost%20adds%20harmful-request%20exposure%20and%20response%20labor%20once%3B%20it%20contains%20no%20overlapping%20risk%20score.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(%22%20Rapid%20rollback%20on%20embedded%20or%20mobile%20devices%20relies%20on%20local%20dual-partition%20(A%2FB%20bank)%20firmware%2Fmodel%20switching%20rather%20than%20multi-hour%20OTA%20reflashing.%22%20if%20track_id%20in%20(%22tinyml%22%2C%20%22mobile%22)%20else%20%22%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20e_rollback%2C%20e_prediction%2C%20apply_plotly_theme(figure)%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Be_prediction.value%7D.%20**Selected%20replay%3A**%20%7Bcallout_msg%7D%2C%20with%20**%7Be_result%5B'exposed_requests'%5D%3A%2C%7D%20exposed%20requests**%20and%20**%24%7Be_result%5B'total_incident_cost_usd'%5D%3A%2C.2f%7D**%20direct%20incident%20cost.%22)%2C%20kind%3D%22success%22%20if%20e_result%5B%22met_recovery_objective%22%5D%20else%20%22danger%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20e_capture%2C%20saved(%22E%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(calc_note)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20part%20in%20%22ABCDE%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20capture%20%3D%20_captures.get(part)%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Part%22%3A%20part%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Original%20prediction%22%3A%20capture.to_dict()%5B%22prediction%22%5D%20if%20capture%20else%20%22%E2%80%94%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Evidence%22%3A%20%22CURRENT%22%20if%20capture%20and%20part%20not%20in%20audit.stale%20and%20(part%2C%20part)%20not%20in%20audit.identical_pairs%20else%20(%22STALE%22%20if%20capture%20else%20%22MISSING%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20%20%20%20%20_d_decision%20%3D%20_captures%5B%22D%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22D%22%20in%20_captures%20else%20None%0A%20%20%20%20%20%20%20%20complete%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20audit.complete%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20bool(rationale.value.strip())%20and%20final_choice.value%20!%3D%20final_rejected.value%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20final_choice.value%20%3D%3D%20_d_decision%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Synthesis%20%C2%B7%20Defend%20the%20operations%20policy%20(5%20min)%5CnUse%20saved%20evidence%20to%20name%20the%20selected%20rollout%2C%20quantify%20one%20rejected%20tested%20alternative%2C%20state%20the%20remaining%20limitation%2C%20and%20give%20a%20measurable%20reevaluation%20trigger.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Saved%20snapshots%20preserve%20original%20predictions%20and%20exact%20simulator%20inputs.%20Recapture%20any%20stale%20comparison%20before%20generating%20the%20report.%22)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bfinal_choice%2C%20final_rejected%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bfinal_trigger%2C%20final_risk%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20rationale%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%22**Ready%20for%20the%20local%20report.**%22%20if%20complete%20else%20%22Complete%20five%20current%20contrasts%2C%20match%20the%20final%20recommendation%20to%20Part%20D%2C%20choose%20a%20different%20tested%20alternative%2C%20and%20add%20the%20rationale.%22)%2C%20kind%3D%22success%22%20if%20complete%20else%20%22warn%22)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%22%3A%20part_a()%2C%20%22Part%20B%22%3A%20part_b()%2C%20%22Part%20C%22%3A%20part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%22%3A%20part_d()%2C%20%22Part%20E%22%3A%20part_e()%2C%20%22Synthesis%22%3A%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%20(audit%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20audit%2C%0A%20%20%20%20build_lab_report%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20report_export_panel%2C%0A%20%20%20%20scenario%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_d_decision%20%3D%20_captures%5B%22D%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22D%22%20in%20_captures%20else%20None%0A%20%20%20%20_ready%20%3D%20(%0A%20%20%20%20%20%20%20%20audit.complete%0A%20%20%20%20%20%20%20%20and%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%0A%20%20%20%20%20%20%20%20and%20bool(rationale.value.strip())%20and%20final_choice.value%20!%3D%20final_rejected.value%0A%20%20%20%20%20%20%20%20and%20final_choice.value%20%3D%3D%20_d_decision%0A%20%20%20%20)%0A%20%20%20%20mo.stop(not%20_ready)%0A%20%20%20%20snapshots%20%3D%20%7Bpart%3A%20_captures%5Bpart%5D.to_dict()%20for%20part%20in%20%22ABCDE%22%7D%0A%20%20%20%20c_reported%20%3D%20snapshots%5B%22C%22%5D%5B%22chosen_result%22%5D%20or%20snapshots%5B%22C%22%5D%5B%22result%22%5D%0A%20%20%20%20report%20%3D%20build_lab_report(%0A%20%20%20%20%20%20%20%20get_lab_metadata(%22vol1%2Flab_14_ml_ops.py%22)%2C%20track%3Dtrack_id%2C%20scenario%3Dscenario.label%2C%0A%20%20%20%20%20%20%20%20learning_objectives%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Compare%20drift%20proxies%20with%20delayed%20outcome%20labels%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Balance%20monitoring%20sensitivity%2C%20retraining%20cost%2C%20and%20stale-outcome%20loss%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Require%20rollout%20evidence%20and%20verify%20incident%20recovery%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20predictions%3D%7Bpart%3A%20snapshots%5Bpart%5D%5B%22prediction%22%5D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20knob_settings%3D%7Bpart%3A%20snapshots%5Bpart%5D%5B%22inputs%22%5D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20evidence_summary%3D%7Bpart%3A%20%7B%22baseline%22%3A%20snapshots%5Bpart%5D%5B%22baseline%22%5D%2C%20%22result%22%3A%20snapshots%5Bpart%5D%5B%22result%22%5D%2C%20%22alternatives%22%3A%20snapshots%5Bpart%5D%5B%22alternatives%22%5D%7D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20binding_constraints%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%22%3A%20%7B%22false_investigations%22%3A%20snapshots%5B%22A%22%5D%5B%22result%22%5D%5B%22false_investigations%22%5D%2C%20%22missed_failures%22%3A%20snapshots%5B%22A%22%5D%5B%22result%22%5D%5B%22missed_failures%22%5D%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B%22%3A%20%7B%22false_investigations%22%3A%20snapshots%5B%22B%22%5D%5B%22result%22%5D%5B%22false_investigations%22%5D%2C%20%22missed_failures%22%3A%20snapshots%5B%22B%22%5D%5B%22result%22%5D%5B%22missed_failures%22%5D%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C%22%3A%20%7B%22jobs%22%3A%20c_reported%5B%22job_count%22%5D%2C%20%22stale_outcome_loss_usd%22%3A%20c_reported%5B%22stale_outcome_loss_usd%22%5D%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D%22%3A%20%7B%22decision%22%3A%20snapshots%5B%22D%22%5D%5B%22decision%22%5D%2C%20%22cohort_gate%22%3A%20(snapshots%5B%22D%22%5D%5B%22chosen_result%22%5D%20or%20snapshots%5B%22D%22%5D%5B%22result%22%5D)%5B%22evidence_requirements_met%22%5D%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22E%22%3A%20%7B%22verified_recovery%22%3A%20snapshots%5B%22E%22%5D%5B%22result%22%5D%5B%22verified_recovery%22%5D%2C%20%22met_objective%22%3A%20snapshots%5B%22E%22%5D%5B%22result%22%5D%5B%22met_recovery_objective%22%5D%7D%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20decisions%3D%7B%22recommendation%22%3A%20final_choice.value%2C%20%22rejected_alternative%22%3A%20final_rejected.value%2C%20%22reevaluation_trigger%22%3A%20final_trigger.value%7D%2C%0A%20%20%20%20%20%20%20%20final_decision%3D%7B%22recommendation%22%3A%20final_choice.value%2C%20%22rejected_alternative%22%3A%20final_rejected.value%2C%20%22rationale%22%3A%20rationale.value%7D%2C%0A%20%20%20%20%20%20%20%20big_takeaways%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Proxy%20drift%20starts%20investigation%3B%20delayed%20outcomes%20establish%20whether%20quality%20failed.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Retraining%20changes%20the%20deployed%20model%20only%20after%20resource-consuming%20work%20and%20promotion%20evidence.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Canary%20evidence%20and%20verified%20rollback%20bound%20different%20parts%20of%20release%20risk.%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20reflections%3D%7B%22rationale%22%3A%20rationale.value%2C%20%22reevaluation_trigger%22%3A%20final_trigger.value%7D%2C%0A%20%20%20%20%20%20%20%20residual_risk%3Dfinal_risk.value%2C%0A%20%20%20%20%20%20%20%20result_snapshot%3D%7B%22track%22%3A%20track_id%2C%20%22captures%22%3A%20snapshots%2C%20%22recommendation%22%3A%20final_choice.value%2C%20%22rejected_alternative%22%3A%20final_rejected.value%2C%20%22reevaluation_trigger%22%3A%20final_trigger.value%2C%20%22residual_risk%22%3A%20final_risk.value%7D%2C%0A%20%20%20%20%20%20%20%20source_trace%3D%7B%22scenario%22%3A%20scenario.scenario_note%2C%20%22calculations%22%3A%20%22MLSysIM%20outcome-labeled%20operations%20replay.%22%7D%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%20Local%20evidence%20report%22)%2C%20report_export_panel(report)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Aasync%20def%20_(%0A%20%20%20%20audit%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20ledger%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_d_decision%20%3D%20_captures%5B%22D%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22D%22%20in%20_captures%20else%20None%0A%20%20%20%20_ready%20%3D%20(%0A%20%20%20%20%20%20%20%20audit.complete%0A%20%20%20%20%20%20%20%20and%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%0A%20%20%20%20%20%20%20%20and%20bool(rationale.value.strip())%20and%20final_choice.value%20!%3D%20final_rejected.value%0A%20%20%20%20%20%20%20%20and%20final_choice.value%20%3D%3D%20_d_decision%0A%20%20%20%20)%0A%20%20%20%20_save_status%20%3D%20%22EVIDENCE%20IN%20PROGRESS%22%0A%20%20%20%20_status_class%20%3D%20%22hud-active%22%0A%20%20%20%20if%20_ready%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ledger.save(chapter%3D14%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22schema_version%22%3A%201%2C%20%22lab_id%22%3A%20%22v1_14%22%2C%20%22track_id%22%3A%20track_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model_id%22%3A%20%22v1_14_experiments%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22evidence%22%3A%20%7Bpart%3A%20capture.to_dict()%20for%20part%2C%20capture%20in%20get_evidence().items()%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22recommendation%22%3A%20final_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22rejected_alternative%22%3A%20final_rejected.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reevaluation_trigger%22%3A%20final_trigger.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22residual_risk%22%3A%20final_risk.value%2C%20%22rationale%22%3A%20rationale.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20await%20ledger.flush()%0A%20%20%20%20%20%20%20%20%20%20%20%20_save_status%20%3D%20%22SAVED%22%0A%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_save_status%20%3D%20%22SAVE%20FAILED%20%E2%80%94%20REPORT%20STILL%20AVAILABLE%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_status_class%20%3D%20%22hud-failed%22%0A%20%20%20%20mo.Html(f'%3Cdiv%20class%3D%22lab-hud%22%3E%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%3Cspan%20class%3D%22hud-value%22%3E14%20%C2%B7%20Evidence-Driven%20Operations%3C%2Fspan%3E%3Cspan%20aria-hidden%3D%22true%22%3E%20%C2%B7%20STATUS%3A%20%3C%2Fspan%3E%3Cspan%20class%3D%22%7B_status_class%7D%22%3E%7B_save_status%7D%3C%2Fspan%3E%3C%2Fdiv%3E')%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A