Lab 14: Evidence Under Shift

Lab 14: Evidence Under Shift · MLSysBook

import%20marimo%0A%0A__generated_with%20%3D%20%220.25.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22full%22%2C%0A%20%20%20%20app_title%3D%22Lab%2014%3A%20Evidence%20Under%20Shift%20%C2%B7%20MLSysBook%22%2C%0A)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysim-0.1.2-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysbook_labs-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20labs_dir%20%3D%20Path(__file__).resolve().parents%5B1%5D%0A%20%20%20%20%20%20%20%20if%20str(labs_dir)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(labs_dir))%0A%20%20%20%20%20%20%20%20from%20bootstrap%20import%20native_bootstrap%0A%20%20%20%20%20%20%20%20native_bootstrap(__file__)%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.engine.v2_14_experiments%20import%20(%0A%20%20%20%20%20%20%20%20conformal_experiment_payload%2C%20conformal_fixture%2C%0A%20%20%20%20%20%20%20%20defense_experiment_payload%2C%20monitor_experiment_payload%2C%0A%20%20%20%20%20%20%20%20selective_experiment_payload%2C%20track_context%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20from%20mlsysbook_labs%20import%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%20build_lab_report%2C%20get_lab_metadata%2C%0A%20%20%20%20%20%20%20%20report_export_panel%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysbook_labs.experiment_evidence%20import%20audit_evidence%2C%20capture_evidence%0A%20%20%20%20ledger%20%3D%20DesignLedger(volume%3D%22vol2%22)%0A%20%20%20%20if%20ledger.is_wasm%3A%0A%20%20%20%20%20%20%20%20_loaded%20%3D%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20audit_evidence%2C%0A%20%20%20%20%20%20%20%20build_lab_report%2C%0A%20%20%20%20%20%20%20%20capture_evidence%2C%0A%20%20%20%20%20%20%20%20conformal_experiment_payload%2C%0A%20%20%20%20%20%20%20%20conformal_fixture%2C%0A%20%20%20%20%20%20%20%20defense_experiment_payload%2C%0A%20%20%20%20%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20monitor_experiment_payload%2C%0A%20%20%20%20%20%20%20%20report_export_panel%2C%0A%20%20%20%20%20%20%20%20selective_experiment_payload%2C%0A%20%20%20%20%20%20%20%20track_context%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20get_evidence%2C%20set_evidence%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20return%20get_evidence%2C%20set_evidence%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20set_evidence)%3A%0A%20%20%20%20track%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22TinyML%22%3A%22tinyml%22%2C%20%22Mobile%22%3A%22mobile%22%2C%20%22Edge%22%3A%22edge%22%2C%20%22Cloud%22%3A%22cloud%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Edge%22%2C%20label%3D%22Deployment%20track%22%2C%0A%20%20%20%20%20%20%20%20on_change%3Dlambda%20_value%3A%20set_evidence(%7B%7D)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(track%2C)%0A%0A%0A%40app.cell%0Adef%20_(track%2C%20track_context)%3A%0A%20%20%20%20track_id%20%3D%20track.value%0A%20%20%20%20profile%20%3D%20track_context(track_id)%0A%20%20%20%20return%20profile%2C%20track_id%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20a_scenario%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22Covariate%20shift%22%3A%22covariate_shift%22%2C%20%22Concept%20drift%22%3A%22concept_drift%22%2C%0A%20%20%20%20%20%20%20%20%20%22Input%20corruption%22%3A%22corruption%22%2C%20%22Adversarial%20input%22%3A%22attack%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Concept%20drift%22%2C%20label%3D%22Trace%20event%22%2C%0A%20%20%20%20)%0A%20%20%20%20a_delay%20%3D%20mo.ui.slider(0%2C%204%2C%20value%3D2%2C%20step%3D1%2C%20label%3D%22Label%20delay%20(periods)%22)%0A%20%20%20%20b_threshold%20%3D%20mo.ui.slider(0.50%2C%200.95%2C%20value%3D0.80%2C%20step%3D0.05%2C%20label%3D%22Acceptance%20threshold%22)%0A%20%20%20%20b_capacity%20%3D%20mo.ui.slider(0%2C%2020%2C%20value%3D8%2C%20step%3D1%2C%20label%3D%22Fallback%20capacity%22)%0A%20%20%20%20c_threat%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22Covariate%20shift%22%3A%22covariate_shift%22%2C%20%22Concept%20drift%22%3A%22concept_drift%22%2C%0A%20%20%20%20%20%20%20%20%20%22Corruption%22%3A%22corruption%22%2C%20%22Attack%22%3A%22attack%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Attack%22%2C%20label%3D%22Stress%20evidence%22%2C%0A%20%20%20%20)%0A%20%20%20%20c_test%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22Input%20filter%22%3A%22input_filter%22%2C%20%22Robust%20training%22%3A%22robust_training%22%2C%0A%20%20%20%20%20%20%20%20%20%22Fallback%20ensemble%22%3A%22fallback_ensemble%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Robust%20training%22%2C%20label%3D%22Defense%20to%20test%22%2C%0A%20%20%20%20)%0A%20%20%20%20c_decision%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Adopt%20tested%20defense%22%3A%22adopt%22%2C%20%22Hold%20baseline%22%3A%22baseline%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Decision%22%2C%0A%20%20%20%20)%0A%20%20%20%20d_count%20%3D%20mo.ui.dropdown(%7B%223%20scores%22%3A3%2C%20%229%20scores%22%3A9%7D%2C%20value%3D%223%20scores%22%2C%20label%3D%22Calibration%20sample%22)%0A%20%20%20%20d_alpha%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%2290%25%20target%22%3A0.10%2C%20%2280%25%20target%22%3A0.20%2C%20%2270%25%20target%22%3A0.30%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%2290%25%20target%22%2C%20label%3D%22Miscoverage%20alpha%22%2C%0A%20%20%20%20)%0A%20%20%20%20d_exchange%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22Assume%20exchangeability%20for%20exercise%22%3ATrue%2C%20%22Known%20shift%3B%20do%20not%20assume%22%3AFalse%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Assume%20exchangeability%20for%20exercise%22%2C%20label%3D%22Exchangeability%20premise%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_delay%2C%0A%20%20%20%20%20%20%20%20a_scenario%2C%0A%20%20%20%20%20%20%20%20b_capacity%2C%0A%20%20%20%20%20%20%20%20b_threshold%2C%0A%20%20%20%20%20%20%20%20c_decision%2C%0A%20%20%20%20%20%20%20%20c_test%2C%0A%20%20%20%20%20%20%20%20c_threat%2C%0A%20%20%20%20%20%20%20%20d_alpha%2C%0A%20%20%20%20%20%20%20%20d_count%2C%0A%20%20%20%20%20%20%20%20d_exchange%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20a_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Feature%20monitor%20first%22%3A%22feature%22%2C%20%22Delayed%20labels%20first%22%3A%22labels%22%2C%20%22Neither%22%3A%22neither%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20signal%20first%20reveals%20the%20event%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20A%20prediction%22)%0A%20%20%20%20b_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Under%2025%25%22%3A%22under25%22%2C%20%2225%E2%80%9349%25%22%3A%2225-49%22%2C%20%2250%E2%80%9374%25%22%3A%2250-74%22%2C%20%2275%25%20or%20more%22%3A%2275plus%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20fallback%20share%20will%20result%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20B%20prediction%22)%0A%20%20%20%20c_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Benefit%20with%20small%20tax%22%3A%22small%22%2C%20%22Benefit%20with%20large%20tax%22%3A%22large%22%2C%20%22No%20supported%20benefit%22%3A%22none%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20will%20the%20defense%20evidence%20show%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20C%20prediction%22)%0A%20%20%20%20d_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Finite%20threshold%22%3A%22finite%22%2C%20%22Full%20prediction%20set%22%3A%22full%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20does%20the%20corrected%20rank%20require%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20D%20prediction%22)%0A%20%20%20%20return%20a_prediction%2C%20b_prediction%2C%20c_prediction%2C%20d_prediction%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20choices%20%3D%20%7B%22Keep%20baseline%22%3A%22baseline%22%2C%20%22Input%20filter%22%3A%22input_filter%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Robust%20training%22%3A%22robust_training%22%2C%20%22Fallback%20ensemble%22%3A%22fallback_ensemble%22%7D%0A%20%20%20%20final_choice%20%3D%20mo.ui.radio(choices%2C%20label%3D%22Recommendation%22)%0A%20%20%20%20final_rejected%20%3D%20mo.ui.radio(choices%2C%20label%3D%22Rejected%20alternative%22)%0A%20%20%20%20final_trigger%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Delayed%20error%20threshold%22%3A%22error%22%2C%20%22Fallback%20overflow%22%3A%22overflow%22%2C%0A%20%20%20%20%20%20%20%20%20%22Threat%20outside%20scope%22%3A%22scope%22%2C%20%22Exchangeability%20breaks%22%3A%22exchangeability%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Reevaluation%20trigger%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_risk%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Delayed%20labels%22%3A%22delay%22%2C%20%22Rare%20cohort%22%3A%22cohort%22%2C%0A%20%20%20%20%20%20%20%20%20%22Adaptive%20attacker%22%3A%22attacker%22%2C%20%22Fallback%20capacity%22%3A%22fallback%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Remaining%20limitation%22%2C%0A%20%20%20%20)%0A%20%20%20%20rationale%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20label%3D%22Concise%20rationale%22%2C%0A%20%20%20%20%20%20%20%20placeholder%3D%22Use%20saved%20numbers%2C%20quantify%20the%20rejected%20option%2C%20and%20name%20the%20trigger.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20final_choice%2C%20final_rejected%2C%20final_risk%2C%20final_trigger%2C%20rationale%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20a_delay%2C%0A%20%20%20%20a_scenario%2C%0A%20%20%20%20b_capacity%2C%0A%20%20%20%20b_threshold%2C%0A%20%20%20%20c_test%2C%0A%20%20%20%20c_threat%2C%0A%20%20%20%20conformal_experiment_payload%2C%0A%20%20%20%20conformal_fixture%2C%0A%20%20%20%20d_alpha%2C%0A%20%20%20%20d_count%2C%0A%20%20%20%20d_exchange%2C%0A%20%20%20%20defense_experiment_payload%2C%0A%20%20%20%20monitor_experiment_payload%2C%0A%20%20%20%20selective_experiment_payload%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20a_base%20%3D%20monitor_experiment_payload(%0A%20%20%20%20%20%20%20%20track_id%2C%20a_scenario.value%2C%20feature_threshold%3D0.20%2C%0A%20%20%20%20%20%20%20%20error_threshold%3D1.0%2C%20label_delay_periods%3Da_delay.value%2C%0A%20%20%20%20)%0A%20%20%20%20a_result%20%3D%20monitor_experiment_payload(%0A%20%20%20%20%20%20%20%20track_id%2C%20a_scenario.value%2C%20feature_threshold%3D0.20%2C%0A%20%20%20%20%20%20%20%20error_threshold%3D0.25%2C%20label_delay_periods%3Da_delay.value%2C%0A%20%20%20%20)%0A%20%20%20%20b_base%20%3D%20selective_experiment_payload(track_id%2C%20threshold%3D0.50%2C%20fallback_capacity%3Db_capacity.value)%0A%20%20%20%20b_result%20%3D%20selective_experiment_payload(track_id%2C%20threshold%3Db_threshold.value%2C%20fallback_capacity%3Db_capacity.value)%0A%20%20%20%20b_curve%20%3D%20tuple(%0A%20%20%20%20%20%20%20%20selective_experiment_payload(track_id%2C%20threshold%3Dx%2C%20fallback_capacity%3Db_capacity.value)%0A%20%20%20%20%20%20%20%20for%20x%20in%20(0.50%2C%200.60%2C%200.70%2C%200.80%2C%200.90)%0A%20%20%20%20)%0A%20%20%20%20c_base%20%3D%20defense_experiment_payload(track_id%2C%20%22baseline%22%2C%20c_threat.value)%0A%20%20%20%20c_result%20%3D%20defense_experiment_payload(track_id%2C%20c_test.value%2C%20c_threat.value)%0A%20%20%20%20c_alternatives%20%3D%20tuple(%0A%20%20%20%20%20%20%20%20defense_experiment_payload(track_id%2C%20x%2C%20c_threat.value)%0A%20%20%20%20%20%20%20%20for%20x%20in%20(%22input_filter%22%2C%20%22robust_training%22%2C%20%22fallback_ensemble%22)%0A%20%20%20%20)%0A%20%20%20%20base_scores%2C%20base_test%20%3D%20conformal_fixture(track_id%2C%209)%0A%20%20%20%20scores%2C%20test_scores%20%3D%20conformal_fixture(track_id%2C%20d_count.value)%0A%20%20%20%20d_base%20%3D%20conformal_experiment_payload(base_scores%2C%20base_test%2C%20alpha%3D0.20%2C%20exchangeability_assumed%3DTrue)%0A%20%20%20%20d_result%20%3D%20conformal_experiment_payload(%0A%20%20%20%20%20%20%20%20scores%2C%20test_scores%2C%20alpha%3Dd_alpha.value%2C%0A%20%20%20%20%20%20%20%20exchangeability_assumed%3Dd_exchange.value%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_base%2C%0A%20%20%20%20%20%20%20%20a_result%2C%0A%20%20%20%20%20%20%20%20b_base%2C%0A%20%20%20%20%20%20%20%20b_curve%2C%0A%20%20%20%20%20%20%20%20b_result%2C%0A%20%20%20%20%20%20%20%20c_alternatives%2C%0A%20%20%20%20%20%20%20%20c_base%2C%0A%20%20%20%20%20%20%20%20c_result%2C%0A%20%20%20%20%20%20%20%20d_base%2C%0A%20%20%20%20%20%20%20%20d_result%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20a_base%2C%0A%20%20%20%20a_delay%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_result%2C%0A%20%20%20%20a_scenario%2C%0A%20%20%20%20b_base%2C%0A%20%20%20%20b_capacity%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_result%2C%0A%20%20%20%20b_threshold%2C%0A%20%20%20%20c_alternatives%2C%0A%20%20%20%20c_base%2C%0A%20%20%20%20c_decision%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_result%2C%0A%20%20%20%20c_test%2C%0A%20%20%20%20c_threat%2C%0A%20%20%20%20capture_evidence%2C%0A%20%20%20%20d_alpha%2C%0A%20%20%20%20d_base%2C%0A%20%20%20%20d_count%2C%0A%20%20%20%20d_exchange%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_result%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20set_evidence%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20def%20store(part%2C%20capture)%3A%0A%20%20%20%20%20%20%20%20set_evidence(lambda%20current%3A%20%7B**current%2C%20part%3A%20capture%7D)%0A%20%20%20%20a_upstream%20%3D%20%7B%22scenario_id%22%3Aa_scenario.value%2C%20%22label_delay_periods%22%3Aa_delay.value%7D%0A%20%20%20%20b_upstream%20%3D%20%7B%22threshold%22%3Ab_threshold.value%2C%20%22fallback_capacity%22%3Ab_capacity.value%7D%0A%20%20%20%20c_upstream%20%3D%20%7B%22threat_id%22%3Ac_threat.value%2C%20%22tested_defense%22%3Ac_test.value%2C%20%22decision%22%3Ac_decision.value%7D%0A%20%20%20%20d_upstream%20%3D%20%7B%22calibration_count%22%3Ad_count.value%2C%20%22alpha%22%3Ad_alpha.value%2C%20%22exchangeability_assumed%22%3Ad_exchange.value%7D%0A%20%20%20%20c_choice%20%3D%20c_test.value%20if%20c_decision.value%20%3D%3D%20%22adopt%22%20else%20%22baseline%22%0A%20%20%20%20c_chosen%20%3D%20c_result%20if%20c_decision.value%20%3D%3D%20%22adopt%22%20else%20c_base%0A%20%20%20%20a_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20detection%20contrast%22%2C%20kind%3D%22success%22%2C%20disabled%3Da_prediction.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22A%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22A%22%2C%20prediction%3Da_prediction.value%2C%20inputs%3Da_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Da_base%2C%20result%3Da_result%2C%20upstream_inputs%3Da_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v2_14_experiments.monitor_experiment_payload%22))%2C%0A%20%20%20%20)%0A%20%20%20%20b_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20risk%E2%80%93coverage%20contrast%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Db_prediction.value%20is%20None%20or%20b_threshold.value%20%3D%3D%200.50%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22B%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22B%22%2C%20prediction%3Db_prediction.value%2C%20inputs%3Db_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Db_base%2C%20result%3Db_result%2C%20upstream_inputs%3Db_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v2_14_experiments.selective_experiment_payload%22))%2C%0A%20%20%20%20)%0A%20%20%20%20c_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20defense%20decision%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dc_prediction.value%20is%20None%20or%20c_decision.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22C%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22C%22%2C%20prediction%3Dc_prediction.value%2C%20inputs%3Dc_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Dc_base%2C%20result%3Dc_result%2C%20alternatives%3Dc_alternatives%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20decision%3Dc_choice%2C%20chosen_result%3Dc_chosen%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result_role%3D%22chosen%20intervention%22%20if%20c_decision.value%20%3D%3D%20%22adopt%22%20else%20%22rejected%20alternative%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Dc_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v2_14_experiments.defense_experiment_payload%22))%2C%0A%20%20%20%20)%0A%20%20%20%20d_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20conformal%20contrast%22%2C%20kind%3D%22success%22%2C%20disabled%3Dd_prediction.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22D%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22D%22%2C%20prediction%3Dd_prediction.value%2C%20inputs%3Dd_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Dd_base%2C%20result%3Dd_result%2C%20upstream_inputs%3Dd_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v2_14_experiments.conformal_experiment_payload%22))%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_capture%2C%0A%20%20%20%20%20%20%20%20a_upstream%2C%0A%20%20%20%20%20%20%20%20b_capture%2C%0A%20%20%20%20%20%20%20%20b_upstream%2C%0A%20%20%20%20%20%20%20%20c_capture%2C%0A%20%20%20%20%20%20%20%20c_upstream%2C%0A%20%20%20%20%20%20%20%20d_capture%2C%0A%20%20%20%20%20%20%20%20d_upstream%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(ACADEMIC_LAB_CSS%2C%20LAB_CSS%2C%20mo%2C%20profile%2C%20track)%3A%0A%20%20%20%20css%20%3D%20mo.Html(%22%22%22%3Cstyle%3E%0A%20%20%20%20.pilot-head%7Bbackground%3Alinear-gradient(135deg%2C%23101827%2C%231d4f78)%3Bcolor%3Awhite%3Bborder-radius%3A14px%3Bpadding%3Aclamp(18px%2C4vw%2C32px)%3Bmargin-bottom%3A14px%7D%0A%20%20%20%20.pilot-top%7Bdisplay%3Aflex%3Bjustify-content%3Aspace-between%3Bgap%3A8px%3Bflex-wrap%3Awrap%3Bfont%3A700%20.72rem%20ui-monospace%3Bletter-spacing%3A.08em%7D%0A%20%20%20%20.pilot-head%20h1%7Bfont-size%3Aclamp(1.65rem%2C5vw%2C2.65rem)%3Bline-height%3A1.05%3Bmargin%3A16px%200%208px%7D.pilot-head%20p%7Bcolor%3A%23dbeafe%3Bmax-width%3A760px%7D%0A%20%20%20%20.pilot-meta%7Bdisplay%3Agrid%3Bgrid-template-columns%3Arepeat(auto-fit%2Cminmax(165px%2C1fr))%3Bgap%3A9px%3Bmargin-top%3A17px%7D.pilot-meta%20div%7Bbackground%3A%23ffffff14%3Bborder%3A1px%20solid%20%23ffffff26%3Bpadding%3A9px%2011px%3Bborder-radius%3A8px%7D%0A%20%20%20%20.saved%7Bborder-left%3A4px%20solid%20%232ca02c%3Bbackground%3A%23f0fdf4%3Bpadding%3A9px%2012px%3Bborder-radius%3A7px%7D.lab-hud%7Bdisplay%3Aflex%3Bflex-wrap%3Awrap%3Bgap%3A10px%3Bbackground%3A%23101827!important%3Bcolor%3Awhite%3Bpadding%3A14px%2018px%3Bborder-radius%3A9px%7D%0A%20%20%20%20%40media(max-width%3A520px)%7B.pilot-head%7Bborder-radius%3A9px%3Bmargin-top%3A30px%7D.pilot-meta%7Bgrid-template-columns%3A1fr%7D%7D%0A%20%20%20%20%3C%2Fstyle%3E%22%22%22)%0A%20%20%20%20header%20%3D%20mo.Html(f%22%22%22%3Csection%20class%3D%22pilot-head%22%3E%3Cdiv%20class%3D%22pilot-top%22%3E%3Cspan%3EVOLUME%20II%20%C2%B7%20LAB%2014%3C%2Fspan%3E%3Cspan%3EABOUT%2050%20MIN%3C%2Fspan%3E%3C%2Fdiv%3E%3Ch1%3EEvidence%20Under%20Shift%3C%2Fh1%3E%3Cp%3EWhen%20fleet%20health%20stays%20green%20but%20predictions%20become%20unreliable%2C%20which%20evidence%20justifies%20containment%3F%3C%2Fp%3E%3Cdiv%20class%3D%22pilot-meta%22%3E%3Cdiv%3E%3Cb%3ETrack%3C%2Fb%3E%3Cbr%3E%7Btrack.value.title()%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EScenario%3C%2Fb%3E%3Cbr%3E%7Bprofile%5B'scenario_name'%5D%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EFleet%20topology%3C%2Fb%3E%3Cbr%3E%7Bprofile%5B'device_role'%5D%7D%20%E2%86%92%20%7Bprofile%5B'gateway_role'%5D%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EDecision%20unit%3C%2Fb%3E%3Cbr%3E%7Bprofile%5B'unit'%5D%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EOutput%3C%2Fb%3E%3Cbr%3EScoped%20robustness%20decision%3C%2Fdiv%3E%3C%2Fdiv%3E%3C%2Fsection%3E%22%22%22)%0A%20%20%20%20mo.vstack(%5BLAB_CSS%2C%20ACADEMIC_LAB_CSS%2C%20css%2C%20track%2C%20header%2C%20mo.md(%22All%20outcomes%20are%20illustrative%20supplied%20fixtures.%20Each%20Calculation%20Notes%20panel%20states%20the%20scope%20and%20assumptions.%22)%5D).style(%7B%22padding-top%22%3A%20%2232px%22%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.sidebar(%5Bmo.md(%22%23%23%20Lab%20navigation%22)%2C%20mo.outline(label%3D%22Sections%22)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20a_base%2C%0A%20%20%20%20a_capture%2C%0A%20%20%20%20a_delay%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_result%2C%0A%20%20%20%20a_scenario%2C%0A%20%20%20%20a_upstream%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20audit_evidence%2C%0A%20%20%20%20b_base%2C%0A%20%20%20%20b_capacity%2C%0A%20%20%20%20b_capture%2C%0A%20%20%20%20b_curve%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_result%2C%0A%20%20%20%20b_threshold%2C%0A%20%20%20%20b_upstream%2C%0A%20%20%20%20c_base%2C%0A%20%20%20%20c_capture%2C%0A%20%20%20%20c_decision%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_result%2C%0A%20%20%20%20c_test%2C%0A%20%20%20%20c_threat%2C%0A%20%20%20%20c_upstream%2C%0A%20%20%20%20d_alpha%2C%0A%20%20%20%20d_base%2C%0A%20%20%20%20d_capture%2C%0A%20%20%20%20d_count%2C%0A%20%20%20%20d_exchange%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_result%2C%0A%20%20%20%20d_upstream%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20go%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20profile%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20upstream%20%3D%20%7B%22A%22%3Aa_upstream%2C%20%22B%22%3Ab_upstream%2C%20%22C%22%3Ac_upstream%2C%20%22D%22%3Ad_upstream%7D%0A%20%20%20%20audit%20%3D%20audit_evidence(_captures%2C%20track%3Dtrack_id%2C%20required_parts%3Dtuple(%22ABCD%22)%2C%20per_part_upstream_inputs%3Dupstream%2C%20contrast_required_parts%3Dtuple(%22ABCD%22))%0A%20%20%20%20def%20table(rows)%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bmo.ui.table(rows%2C%20pagination%3DFalse)%5D).style(%7B%22max-width%22%3A%22100%25%22%2C%20%22overflow-x%22%3A%22auto%22%7D)%0A%20%20%20%20def%20saved(part)%3A%0A%20%20%20%20%20%20%20%20cap%20%3D%20_captures.get(part)%0A%20%20%20%20%20%20%20%20if%20cap%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22No%20saved%20evidence%20for%20this%20part.%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20%20%20%20%20if%20part%20in%20audit.stale%20or%20(part%2C%20part)%20in%20audit.identical_pairs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22**STALE%20OR%20NON-CONTRASTING%20EVIDENCE.**%20Recapture.%22)%2C%20kind%3D%22danger%22)%0A%20%20%20%20%20%20%20%20return%20mo.Html(f'%3Cdiv%20class%3D%22saved%22%3E%3Cb%3ESaved%20snapshot%3C%2Fb%3E%20%C2%B7%20prediction%3A%20%7Bcap.to_dict()%5B%22prediction%22%5D%7D%3C%2Fdiv%3E')%0A%20%20%20%20def%20part_a()%3A%0A%20%20%20%20%20%20%20%20heading%20%3D%20mo.md(f%22%23%23%23%20A%20%C2%B7%20Can%20a%20feature%20monitor%20see%20every%20silent%20failure%3F%20(12%20min)%5CnChoose%20a%20labeled%20trace%20for%20%7Bprofile%5B'device_role'%5D%7D%20and%20predict%20which%20signal%20detects%20the%20event%20first.%22)%0A%20%20%20%20%20%20%20%20if%20a_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bheading%2C%20mo.hstack(%5Ba_scenario%2Ca_delay%5D%2Cwidths%3D%22equal%22%2Cwrap%3DTrue)%2C%20a_prediction%5D)%0A%20%20%20%20%20%20%20%20summaries%20%3D%20a_result%5B%22result%22%5D%5B%22summaries%22%5D%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20fig.add_scatter(x%3D%5Bx%5B%22period%22%5D%20for%20x%20in%20summaries%5D%2Cy%3D%5B100*x%5B%22feature_total_variation%22%5D%20for%20x%20in%20summaries%5D%2Cname%3D%22Feature%20movement%22%2Cmode%3D%22lines%2Bmarkers%22)%0A%20%20%20%20%20%20%20%20fig.add_scatter(x%3D%5Bx%5B%22period%22%5D%20for%20x%20in%20summaries%5D%2Cy%3D%5B100*x%5B%22error_rate%22%5D%20for%20x%20in%20summaries%5D%2Cname%3D%22Labeled%20error%22%2Cmode%3D%22lines%2Bmarkers%22)%0A%20%20%20%20%20%20%20%20fig.update_layout(height%3D270%2Cmargin%3Ddict(l%3D20%2Cr%3D20%2Ct%3D20%2Cb%3D20)%2Cxaxis_title%3D%22Trace%20period%22%2Cyaxis_title%3D%22Observed%20rate%20or%20distance%20(%25)%22%2Clegend_orientation%3D%22h%22)%0A%20%20%20%20%20%20%20%20base%2Cresult%3Da_base%5B%22result%22%5D%2Ca_result%5B%22result%22%5D%0A%20%20%20%20%20%20%20%20rows%3D%5B%7B%22Monitor%22%3A%22Feature%20only%22%2C%22First%20flag%22%3Abase%5B%22first_detection_period%22%5D%2C%22Delay%22%3Abase%5B%22detection_delay_periods%22%5D%2C%22Misses%22%3Abase%5B%22missed_event_periods%22%5D%7D%2C%7B%22Monitor%22%3A%22Feature%20%2B%20labels%22%2C%22First%20flag%22%3Aresult%5B%22first_detection_period%22%5D%2C%22Delay%22%3Aresult%5B%22detection_delay_periods%22%5D%2C%22Misses%22%3Aresult%5B%22missed_event_periods%22%5D%7D%5D%0A%20%20%20%20%20%20%20%20interpretation%20%3D%20result.get(%22interpretation%22%2C%20%22Concept%20drift%20can%20leave%20feature%20movement%20at%20zero.%22)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bheading%2Cmo.hstack(%5Ba_scenario%2Ca_delay%5D%2Cwidths%3D%22equal%22%2Cwrap%3DTrue)%2Ca_prediction%2Capply_plotly_theme(fig)%2Ctable(rows)%2Cmo.callout(mo.md(f%22**Prediction%3A**%20%7Ba_prediction.value%7D.%20Event%20start%3A%20**%7Bresult%5B'event_start'%5D%7D**%3B%20combined%20first%20flag%3A%20**%7Bresult%5B'first_detection_period'%5D%7D**.%20%7Binterpretation%7D%22)%2Ckind%3D%22info%22)%2Ca_capture%2Csaved(%22A%22)%2Cmo.accordion(%7B%22Calculation%20Notes%22%3Amo.md(f%22Total-variation%20distance%20uses%20observed%20input%20bins%20on%20%7Bprofile%5B'device_role'%5D%7D.%20Error%20uses%20fixture%20predictions%20and%20labels%20verified%20at%20%7Bprofile%5B'backend_role'%5D%7D.%20Thresholds%20change%20flags%2C%20false%20alarms%2C%20and%20delay%3B%20they%20do%20not%20change%20outcomes%20or%20authorize%20retraining.%22)%7D)%5D)%0A%20%20%20%20def%20part_b()%3A%0A%20%20%20%20%20%20%20%20heading%3Dmo.md(f%22%23%23%23%20B%20%C2%B7%20How%20much%20work%20does%20abstention%20move%20downstream%3F%20(12%20min)%5CnPredict%20fallback%20demand%20from%20%7Bprofile%5B'device_role'%5D%7D%20to%20%7Bprofile%5B'fallback_destination'%5D%7D%20before%20sweeping%20the%20confidence%20threshold.%22)%0A%20%20%20%20%20%20%20%20if%20b_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bheading%2Cmo.hstack(%5Bb_threshold%2Cb_capacity%5D%2Cwidths%3D%22equal%22%2Cwrap%3DTrue)%2Cb_prediction%5D)%0A%20%20%20%20%20%20%20%20fig%3Dgo.Figure(%5Bgo.Scatter(x%3D%5B100*x%5B%22result%22%5D%5B%22coverage%22%5D%20for%20x%20in%20b_curve%5D%2Cy%3D%5B100*x%5B%22result%22%5D%5B%22selective_risk%22%5D%20for%20x%20in%20b_curve%5D%2Cmode%3D%22lines%2Bmarkers%22)%5D)%0A%20%20%20%20%20%20%20%20fig.update_layout(height%3D260%2Cmargin%3Ddict(l%3D20%2Cr%3D20%2Ct%3D20%2Cb%3D20)%2Cxaxis_title%3Df%22Accepted%20coverage%20of%20%7Bprofile%5B'unit'%5D%7D%20(%25)%22%2Cyaxis_title%3D%22Error%20among%20accepted%20(%25)%22%2Cshowlegend%3DFalse)%0A%20%20%20%20%20%20%20%20base%2Cresult%3Db_base%5B%22result%22%5D%2Cb_result%5B%22result%22%5D%0A%20%20%20%20%20%20%20%20base_cohorts%20%3D%20%22%2C%20%22.join(f%22%7Bk%7D%3A%20%7Bv%7D%22%20for%20k%2C%20v%20in%20base.get(%22cohort_fallback_arrivals%22%2C%20%7B%7D).items())%0A%20%20%20%20%20%20%20%20res_cohorts%20%3D%20%22%2C%20%22.join(f%22%7Bk%7D%3A%20%7Bv%7D%22%20for%20k%2C%20v%20in%20result.get(%22cohort_fallback_arrivals%22%2C%20%7B%7D).items())%0A%20%20%20%20%20%20%20%20rows%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Run%22%3A%22Baseline%22%2C%22Coverage%22%3Af%22%7B100*base%5B'coverage'%5D%3A.0f%7D%25%22%2C%22Risk%22%3Af%22%7B100*base%5B'selective_risk'%5D%3A.1f%7D%25%22%2C%22Fallback%22%3Af%22%7Bbase%5B'fallback_arrivals'%5D%7D%20%7Bprofile%5B'unit'%5D%7D%22%2C%22Overflow%22%3Af%22%7Bbase%5B'fallback_overflow'%5D%7D%20%7Bprofile%5B'unit'%5D%7D%22%2C%22Cohort%20breakdown%22%3Abase_cohorts%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Run%22%3A%22Chosen%22%2C%22Coverage%22%3Af%22%7B100*result%5B'coverage'%5D%3A.0f%7D%25%22%2C%22Risk%22%3Af%22%7B100*result%5B'selective_risk'%5D%3A.1f%7D%25%22%2C%22Fallback%22%3Af%22%7Bresult%5B'fallback_arrivals'%5D%7D%20%7Bprofile%5B'unit'%5D%7D%22%2C%22Overflow%22%3Af%22%7Bresult%5B'fallback_overflow'%5D%7D%20%7Bprofile%5B'unit'%5D%7D%22%2C%22Cohort%20breakdown%22%3Ares_cohorts%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bheading%2Cmo.hstack(%5Bb_threshold%2Cb_capacity%5D%2Cwidths%3D%22equal%22%2Cwrap%3DTrue)%2Cb_prediction%2Capply_plotly_theme(fig)%2Ctable(rows)%2Cmo.callout(mo.md(f%22**Prediction%3A**%20%7Bb_prediction.value%7D.%20The%20chosen%20threshold%20sends%20**%7Bresult%5B'fallback_arrivals'%5D%7D%20%7Bprofile%5B'unit'%5D%7D**%20to%20**%7Bprofile%5B'fallback_destination'%5D%7D**%20(capacity%20**%7Bresult%5B'fallback_capacity'%5D%7D%20%7Bprofile%5B'unit'%5D%7D**).%20Cohort%20breakdown%3A%20%7Bres_cohorts%7D.%22)%2Ckind%3D%22danger%22%20if%20result%5B%22fallback_overflow%22%5D%20else%20%22info%22)%2Cb_capture%2Csaved(%22B%22)%2Cmo.accordion(%7B%22Calculation%20Notes%22%3Amo.md(f%22Coverage%20and%20selective%20risk%20use%20actual%20confidence%20scores%20and%20labels.%20Abstaining%20on%20%7Bprofile%5B'device_role'%5D%7D%20routes%20fallback%20to%20%7Bprofile%5B'fallback_destination'%5D%7D.%20Fallback%20capacity%20limits%20overflow%3B%20it%20cannot%20change%20risk%20or%20coverage.%20Cohort%20breakdowns%20reveal%20tail%20vulnerability%20in%20the%20%7Bprofile%5B'scenario_name'%5D%7D.%22)%7D)%5D)%0A%20%20%20%20def%20part_c()%3A%0A%20%20%20%20%20%20%20%20heading%3Dmo.md(f%22%23%23%23%20C%20%C2%B7%20Does%20the%20defense%20match%20the%20threat%20and%20envelope%3F%20(12%20min)%5CnCompare%20supplied%20clean%20and%20stressed%20outcomes%20for%20%7Bprofile%5B'device_role'%5D%7D%20and%20record%20a%20decision.%22)%0A%20%20%20%20%20%20%20%20if%20c_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bheading%2Cmo.hstack(%5Bc_threat%2Cc_test%5D%2Cwidths%3D%22equal%22%2Cwrap%3DTrue)%2Cc_prediction%5D)%0A%20%20%20%20%20%20%20%20base%2Cresult%3Dc_base%5B%22result%22%5D%2Cc_result%5B%22result%22%5D%0A%20%20%20%20%20%20%20%20stress%3D%22out%20of%20scope%22%20if%20result%5B%22stressed_accuracy%22%5D%20is%20None%20else%20f%22%7B100*result%5B'stressed_accuracy'%5D%3A.1f%7D%25%22%0A%20%20%20%20%20%20%20%20rows%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Run%22%3A%22Baseline%22%2C%22Clean%22%3Af%22%7B100*base%5B'clean_accuracy'%5D%3A.1f%7D%25%22%2C%22Stressed%22%3Af%22%7B100*base%5B'stressed_accuracy'%5D%3A.1f%7D%25%22%2C%22Latency%22%3Af%22%7Bbase%5B'mean_latency'%5D%5B'magnitude'%5D%3A.1f%7D%20%7Bbase%5B'mean_latency'%5D%5B'unit'%5D%7D%22%2C%22Energy%22%3Af%22%7Bbase%5B'mean_energy'%5D%5B'magnitude'%5D%3A.2f%7D%20%7Bbase%5B'mean_energy'%5D%5B'unit'%5D%7D%22%2C%22Fleet%20boundary%22%3Abase.get(%22cost_boundary%22%2C%20%22%22)%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Run%22%3Ac_test.value%2C%22Clean%22%3Af%22%7B100*result%5B'clean_accuracy'%5D%3A.1f%7D%25%22%2C%22Stressed%22%3Astress%2C%22Latency%22%3Af%22%7Bresult%5B'mean_latency'%5D%5B'magnitude'%5D%3A.1f%7D%20%7Bresult%5B'mean_latency'%5D%5B'unit'%5D%7D%22%2C%22Energy%22%3Af%22%7Bresult%5B'mean_energy'%5D%5B'magnitude'%5D%3A.2f%7D%20%7Bresult%5B'mean_energy'%5D%5B'unit'%5D%7D%22%2C%22Fleet%20boundary%22%3Aresult.get(%22cost_boundary%22%2C%20%22%22)%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20decision%3Dc_test.value%20if%20c_decision.value%3D%3D%22adopt%22%20else%20%22baseline%22%0A%20%20%20%20%20%20%20%20boundary_note%20%3D%20f%22%20Boundary%3A%20%7Bresult%5B'cost_boundary'%5D%7D.%22%20if%20result.get(%22cost_boundary%22)%20else%20%22%22%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bheading%2Cmo.hstack(%5Bc_threat%2Cc_test%5D%2Cwidths%3D%22equal%22%2Cwrap%3DTrue)%2Cc_prediction%2Ctable(rows)%2Cc_decision%2Cmo.callout(mo.md(f%22**Prediction%3A**%20%7Bc_prediction.value%7D.%20**Decision%3A**%20%7Bdecision%7D.%20Out-of-scope%20evidence%20stays%20out%20of%20scope.%7Bboundary_note%7D%22)%2Ckind%3D%22success%22%20if%20result%5B%22applicable%22%5D%20else%20%22danger%22)%2Cc_capture%2Csaved(%22C%22)%2Cmo.accordion(%7B%22Calculation%20Notes%22%3Amo.md(f%22Accuracy%20comes%20from%20fixed%20clean%20and%20stressed%20outcome%20fixtures.%20Latency%20and%20energy%20retain%20Pint%20units.%20No%20defense%20gain%20is%20extrapolated%20beyond%20the%20named%20threat%20scope.%20Fleet%20deployment%20boundaries%20(%7Bprofile%5B'device_role'%5D%7D%20vs%20%7Bprofile%5B'gateway_role'%5D%7D)%20explicitly%20document%20where%20physical%20costs%20are%20unmodeled.%22)%7D)%5D)%0A%20%20%20%20def%20part_d()%3A%0A%20%20%20%20%20%20%20%20heading%3Dmo.md(f%22%23%23%23%20D%20%C2%B7%20When%20does%20finite%20calibration%20force%20a%20full%20set%3F%20(10%20min)%5CnApply%20the%20corrected%20conformal%20rank%20on%20%7Bprofile%5B'device_role'%5D%7D%2C%20then%20separate%20observed%20coverage%20from%20the%20exchangeability%20premise.%22)%0A%20%20%20%20%20%20%20%20if%20d_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bheading%2Cmo.hstack(%5Bd_count%2Cd_alpha%5D%2Cwidths%3D%22equal%22%2Cwrap%3DTrue)%2Cd_exchange%2Cd_prediction%5D)%0A%20%20%20%20%20%20%20%20base%2Cresult%3Dd_base%5B%22result%22%5D%2Cd_result%5B%22result%22%5D%0A%20%20%20%20%20%20%20%20rows%3D%5B%7B%22Run%22%3A%22Reference%22%2C%22n%22%3Abase%5B%22calibration_count%22%5D%2C%22Rank%22%3Abase%5B%22corrected_rank%22%5D%2C%22Threshold%22%3Abase%5B%22threshold%22%5D%2C%22Full%20set%22%3Abase%5B%22full_set_required%22%5D%2C%22Fixture%20coverage%22%3Af%22%7B100*base%5B'empirical_coverage'%5D%3A.0f%7D%25%22%7D%2C%7B%22Run%22%3A%22Chosen%22%2C%22n%22%3Aresult%5B%22calibration_count%22%5D%2C%22Rank%22%3Aresult%5B%22corrected_rank%22%5D%2C%22Threshold%22%3A%22%E2%88%9E%20%2F%20full%20set%22%20if%20result%5B%22full_set_required%22%5D%20else%20result%5B%22threshold%22%5D%2C%22Full%20set%22%3Aresult%5B%22full_set_required%22%5D%2C%22Fixture%20coverage%22%3Af%22%7B100*result%5B'empirical_coverage'%5D%3A.0f%7D%25%22%7D%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bheading%2Cmo.hstack(%5Bd_count%2Cd_alpha%5D%2Cwidths%3D%22equal%22%2Cwrap%3DTrue)%2Cd_exchange%2Cd_prediction%2Ctable(rows)%2Cmo.callout(mo.md(f%22**Prediction%3A**%20%7Bd_prediction.value%7D.%20Corrected%20rank%3A%20**%7Bresult%5B'corrected_rank'%5D%7D**%20with%20n%3D%7Bresult%5B'calibration_count'%5D%7D.%20%7Bresult%5B'assumption_note'%5D%7D%22)%2Ckind%3D%22warn%22%20if%20result%5B%22full_set_required%22%5D%20or%20not%20result%5B%22exchangeability_assumed%22%5D%20else%20%22info%22)%2Cd_capture%2Csaved(%22D%22)%2Cmo.accordion(%7B%22Calculation%20Notes%22%3Amo.md(f%22The%20rank%20is%20ceil((n%2B1)(1%E2%88%92alpha)).%20Rank%20greater%20than%20n%20requires%20an%20infinite%20threshold%20and%20full%20label%20set.%20The%20assumption%20flag%20documents%20exchangeability%20across%20the%20%7Bprofile%5B'scenario_name'%5D%7D%3B%20it%20does%20not%20verify%20or%20certify%20it.%22)%7D)%5D)%0A%20%20%20%20def%20synthesis()%3A%0A%20%20%20%20%20%20%20%20rows%3D%5B%5D%0A%20%20%20%20%20%20%20%20for%20part%20in%20%22ABCD%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20cap%3D_captures.get(part)%0A%20%20%20%20%20%20%20%20%20%20%20%20status%3D%22CURRENT%22%20if%20cap%20and%20part%20not%20in%20audit.stale%20and%20(part%2Cpart)%20not%20in%20audit.identical_pairs%20else%20(%22STALE%22%20if%20cap%20else%20%22MISSING%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B%22Part%22%3Apart%2C%22Prediction%22%3Acap.to_dict()%5B%22prediction%22%5D%20if%20cap%20else%20%22%E2%80%94%22%2C%22Evidence%22%3Astatus%7D)%0A%20%20%20%20%20%20%20%20saved_decision%3D_captures%5B%22C%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22C%22%20in%20_captures%20else%20None%0A%20%20%20%20%20%20%20%20complete%3Daudit.complete%20and%20all(x.value%20is%20not%20None%20for%20x%20in%20(final_choice%2Cfinal_rejected%2Cfinal_trigger%2Cfinal_risk))%20and%20bool(rationale.value.strip())%20and%20final_choice.value%3D%3Dsaved_decision%20and%20final_choice.value!%3Dfinal_rejected.value%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bmo.md(f%22%23%23%23%20Synthesis%20%C2%B7%20Defend%20a%20bounded%20fleet%20decision%20(5%20min)%5CnChoose%20one%20option%20for%20the%20%7Bprofile%5B'scenario_name'%5D%7D%20(%7Bprofile%5B'device_role'%5D%7D%20%E2%86%92%20%7Bprofile%5B'gateway_role'%5D%7D)%2C%20quantify%20a%20rejected%20alternative%2C%20name%20the%20remaining%20limitation%2C%20and%20state%20a%20reevaluation%20trigger.%22)%2Ctable(rows)%2Cmo.hstack(%5Bfinal_choice%2Cfinal_rejected%5D%2Cwidths%3D%22equal%22%2Cwrap%3DTrue)%2Cmo.hstack(%5Bfinal_risk%2Cfinal_trigger%5D%2Cwidths%3D%22equal%22%2Cwrap%3DTrue)%2Crationale%2Cmo.callout(mo.md(%22**Ready%20for%20the%20local%20report.**%22%20if%20complete%20else%20%22Capture%20four%20current%20contrasts%2C%20match%20Part%20C%2C%20reject%20a%20different%20option%2C%20and%20complete%20the%20rationale.%22)%2Ckind%3D%22success%22%20if%20complete%20else%20%22warn%22)%5D)%0A%20%20%20%20tabs%3Dmo.ui.tabs(%7B%22Part%20A%22%3Apart_a()%2C%22Part%20B%22%3Apart_b()%2C%22Part%20C%22%3Apart_c()%2C%22Part%20D%22%3Apart_d()%2C%22Synthesis%22%3Asynthesis()%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%20(audit%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20audit%2C%0A%20%20%20%20build_lab_report%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20profile%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20report_export_panel%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%3Dget_evidence()%0A%20%20%20%20_decision%3D_captures%5B%22C%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22C%22%20in%20_captures%20else%20None%0A%20%20%20%20_ready%3Daudit.complete%20and%20all(x.value%20is%20not%20None%20for%20x%20in%20(final_choice%2Cfinal_rejected%2Cfinal_trigger%2Cfinal_risk))%20and%20bool(rationale.value.strip())%20and%20final_choice.value%3D%3D_decision%20and%20final_choice.value!%3Dfinal_rejected.value%0A%20%20%20%20mo.stop(not%20_ready)%0A%20%20%20%20snapshots%3D%7Bpart%3A_captures%5Bpart%5D.to_dict()%20for%20part%20in%20%22ABCD%22%7D%0A%20%20%20%20report%3Dbuild_lab_report(%0A%20%20%20%20%20%20%20%20get_lab_metadata(%22vol2%2Flab_14_robust_ai.py%22)%2C%20track%3Dtrack_id%2C%20scenario%3Dprofile%5B%22scenario_name%22%5D%2C%0A%20%20%20%20%20%20%20%20learning_objectives%3D%5B%22Distinguish%20feature%20shift%20from%20concept%20drift%22%2C%22Compute%20detection%20outcomes%20from%20flags%20and%20events%22%2C%22Trade%20selective%20risk%20against%20fallback%20load%22%2C%22Bound%20defense%20and%20conformal%20claims%22%5D%2C%0A%20%20%20%20%20%20%20%20predictions%3D%7Bp%3Asnapshots%5Bp%5D%5B%22prediction%22%5D%20for%20p%20in%20%22ABCD%22%7D%2C%0A%20%20%20%20%20%20%20%20knob_settings%3D%7Bp%3Asnapshots%5Bp%5D%5B%22inputs%22%5D%20for%20p%20in%20%22ABCD%22%7D%2C%0A%20%20%20%20%20%20%20%20evidence_summary%3D%7Bp%3A%7B%22baseline%22%3Asnapshots%5Bp%5D%5B%22baseline%22%5D%2C%22result%22%3Asnapshots%5Bp%5D%5B%22result%22%5D%2C%22result_role%22%3Asnapshots%5Bp%5D%5B%22result_role%22%5D%2C%22chosen_result%22%3Asnapshots%5Bp%5D%5B%22chosen_result%22%5D%2C%22alternatives%22%3Asnapshots%5Bp%5D%5B%22alternatives%22%5D%7D%20for%20p%20in%20%22ABCD%22%7D%2C%0A%20%20%20%20%20%20%20%20binding_constraints%3D%7B%22A%22%3A%22detection%20evidence%22%2C%22B%22%3A%22fallback%20capacity%22%2C%22C%22%3A%22threat%20scope%20and%20tax%22%2C%22D%22%3A%22finite%20rank%20and%20exchangeability%22%7D%2C%0A%20%20%20%20%20%20%20%20decisions%3D%7B%22recommendation%22%3Afinal_choice.value%2C%22rejected_alternative%22%3Afinal_rejected.value%2C%22reevaluation_trigger%22%3Afinal_trigger.value%7D%2C%0A%20%20%20%20%20%20%20%20final_decision%3D%7B%22recommendation%22%3Afinal_choice.value%2C%22rejected_alternative%22%3Afinal_rejected.value%2C%22rationale%22%3Arationale.value%7D%2C%0A%20%20%20%20%20%20%20%20big_takeaways%3D%5B%22Feature%20monitoring%20can%20miss%20concept%20drift.%22%2C%22Abstention%20creates%20fallback%20work.%22%2C%22Robustness%20claims%20stay%20within%20their%20evidence%20scope.%22%5D%2C%0A%20%20%20%20%20%20%20%20reflections%3D%7B%22rationale%22%3Arationale.value%7D%2C%20residual_risk%3Dfinal_risk.value%2C%0A%20%20%20%20%20%20%20%20result_snapshot%3D%7B%22track%22%3Atrack_id%2C%22captures%22%3Asnapshots%2C%22recommendation%22%3Afinal_choice.value%2C%22rejected%22%3Afinal_rejected.value%2C%22trigger%22%3Afinal_trigger.value%2C%22residual_risk%22%3Afinal_risk.value%7D%2C%0A%20%20%20%20%20%20%20%20source_trace%3D%7B%22scenario%22%3A%22Illustrative%20labeled%20outcome%20fixtures.%22%2C%22calculations%22%3A%22MLSysIM%20v2_14_experiments.%22%7D%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%20Local%20evidence%20report%22)%2Creport_export_panel(report)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Aasync%20def%20_(%0A%20%20%20%20audit%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20ledger%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%3Dget_evidence()%0A%20%20%20%20_decision%3D_captures%5B%22C%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22C%22%20in%20_captures%20else%20None%0A%20%20%20%20_ready%3Daudit.complete%20and%20all(x.value%20is%20not%20None%20for%20x%20in%20(final_choice%2Cfinal_rejected%2Cfinal_trigger%2Cfinal_risk))%20and%20bool(rationale.value.strip())%20and%20final_choice.value%3D%3D_decision%20and%20final_choice.value!%3Dfinal_rejected.value%0A%20%20%20%20_status%20%3D%20%22EVIDENCE%20IN%20PROGRESS%22%0A%20%20%20%20if%20_ready%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ledger.save(chapter%3D14%2C%20design%3D%7B%22schema_version%22%3A1%2C%22lab_id%22%3A%22v2_14%22%2C%22track_id%22%3Atrack_id%2C%22model_id%22%3A%22v2_14_experiments%22%2C%22evidence%22%3A%7Bp%3Ac.to_dict()%20for%20p%2Cc%20in%20_captures.items()%7D%2C%22recommendation%22%3Afinal_choice.value%2C%22rejected_alternative%22%3Afinal_rejected.value%2C%22reevaluation_trigger%22%3Afinal_trigger.value%2C%22residual_risk%22%3Afinal_risk.value%2C%22rationale%22%3Arationale.value%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20await%20ledger.flush()%0A%20%20%20%20%20%20%20%20except%20Exception%20as%20error%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_status%20%3D%20f%22SAVE%20FAILED%20%C2%B7%20%7Btype(error).__name__%7D%20%C2%B7%20LOCAL%20REPORT%20REMAINS%20AVAILABLE%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_status%20%3D%20%22SAVED%22%0A%20%20%20%20mo.Html(f'%3Cdiv%20class%3D%22lab-hud%22%3E%3Cspan%3ELAB%2014%20%C2%B7%20Evidence%20Under%20Shift%3C%2Fspan%3E%3Cspan%20aria-hidden%3D%22true%22%3E%7C%3C%2Fspan%3E%3Cspan%20style%3D%22flex%3A1%22%3E%3C%2Fspan%3E%3Cspan%3ESTATUS%3A%20%7B_status%7D%3C%2Fspan%3E%3C%2Fdiv%3E')%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A