Lab 15: Responsible Engineering

Lab 15: Responsible Engineering · MLSysBook

import%20marimo%0A%0A__generated_with%20%3D%20%220.25.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22full%22%2C%0A%20%20%20%20app_title%3D%22Lab%2015%3A%20Responsible%20Engineering%20%C2%B7%20MLSysBook%22%2C%0A)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysim-0.1.2-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysbook_labs-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20labs_dir%20%3D%20Path(__file__).resolve().parents%5B1%5D%0A%20%20%20%20%20%20%20%20if%20str(labs_dir)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(labs_dir))%0A%20%20%20%20%20%20%20%20from%20bootstrap%20import%20native_bootstrap%0A%20%20%20%20%20%20%20%20native_bootstrap(__file__)%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.engine.v1_15_experiments%20import%20(%0A%20%20%20%20%20%20%20%20LINEAGE_POLICIES%2C%20TRACKS%2C%20bounded_mean_release%2C%20investigate_incident%2C%0A%20%20%20%20%20%20%20%20lifecycle_footprint%2C%20population_mix%2C%20threshold_consequences%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20from%20mlsysbook_labs%20import%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%20build_lab_report%2C%20get_lab_metadata%2C%20report_export_panel%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysbook_labs.experiment_evidence%20import%20audit_evidence%2C%20capture_evidence%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger(volume%3D%22vol1%22)%0A%20%20%20%20if%20ledger.is_wasm%3A%0A%20%20%20%20%20%20%20%20_loaded%20%3D%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20LINEAGE_POLICIES%2C%0A%20%20%20%20%20%20%20%20TRACKS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20audit_evidence%2C%0A%20%20%20%20%20%20%20%20bounded_mean_release%2C%0A%20%20%20%20%20%20%20%20build_lab_report%2C%0A%20%20%20%20%20%20%20%20capture_evidence%2C%0A%20%20%20%20%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20investigate_incident%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20lifecycle_footprint%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20population_mix%2C%0A%20%20%20%20%20%20%20%20report_export_panel%2C%0A%20%20%20%20%20%20%20%20threshold_consequences%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20get_evidence%2C%20set_evidence%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20return%20get_evidence%2C%20set_evidence%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20set_evidence)%3A%0A%20%20%20%20track%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22TinyML%22%3A%20%22tinyml%22%2C%20%22Mobile%22%3A%20%22mobile%22%2C%20%22Edge%22%3A%20%22edge%22%2C%20%22Cloud%22%3A%20%22cloud%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22TinyML%22%2C%20label%3D%22Deployment%20track%22%2C%0A%20%20%20%20%20%20%20%20on_change%3Dlambda%20_value%3A%20set_evidence(%7B%7D)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(track%2C)%0A%0A%0A%40app.cell%0Adef%20_(TRACKS%2C%20track)%3A%0A%20%20%20%20track_id%20%3D%20track.value%0A%20%20%20%20profile%20%3D%20TRACKS%5Btrack_id%5D%0A%20%20%20%20return%20profile%2C%20track_id%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20profile%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20a_share%20%3D%20mo.ui.slider(20%2C%2090%2C%20value%3D70%2C%20step%3D5%2C%20label%3D%22Affected-group%20share%20(%25)%22)%0A%20%20%20%20b_choice%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Permissive%20(0.30)%22%3A%20%22permissive%22%2C%20%22Balanced%20(0.50)%22%3A%20%22balanced%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Strict%20(0.70)%22%3A%20%22strict%22%2C%20%22Hold%3A%20no%20threshold%20is%20defensible%22%3A%20%22hold%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%20label%3D%22Threshold%20recommendation%22%2C%0A%20%20%20%20)%0A%20%20%20%20b_rejected%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Permissive%20(0.30)%22%3A%20%22permissive%22%2C%20%22Balanced%20(0.50)%22%3A%20%22balanced%22%2C%20%22Strict%20(0.70)%22%3A%20%22strict%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Quantified%20rejected%20threshold%22%2C%0A%20%20%20%20)%0A%20%20%20%20c_epsilon%20%3D%20mo.ui.slider(0.25%2C%202.0%2C%20value%3D0.5%2C%20step%3D0.25%2C%20label%3D%22Epsilon%20per%20release%22)%0A%20%20%20%20c_releases%20%3D%20mo.ui.slider(1%2C%206%2C%20value%3D4%2C%20step%3D1%2C%20label%3D%22Independent%20releases%22)%0A%20%20%20%20d_demand%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22Half%20demand%22%3A%200.5%2C%20%22Reference%20demand%22%3A%201.0%2C%20%22Double%20demand%22%3A%202.0%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Double%20demand%22%2C%20label%3D%22Inference%20demand%22%2C%0A%20%20%20%20)%0A%20%20%20%20d_retraining%20%3D%20mo.ui.slider(0%2C%206%2C%20value%3D2%2C%20step%3D1%2C%20label%3D%22Retraining%20runs%22)%0A%20%20%20%20d_explanations%20%3D%20mo.ui.slider(0%2C%2030%2C%20value%3Dint(profile%5B%22explanation_share_pct%22%5D)%2C%20step%3D1%2C%20label%3D%22Decisions%20explained%20(%25)%22)%0A%20%20%20%20e_policy%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22Full%20lineage%22%3A%20%22full%22%2C%20%22Decision%20evidence%20only%22%3A%20%22decision_only%22%2C%20%22Minimal%20release%20record%22%3A%20%22minimal%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Decision%20evidence%20only%22%2C%20label%3D%22Retained%20evidence%22%2C%0A%20%20%20%20)%0A%20%20%20%20e_delay%20%3D%20mo.ui.slider(0.5%2C%2012.0%2C%20value%3Dprofile%5B%22default_containment_delay_hours%22%5D%2C%20step%3D0.5%2C%20label%3D%22Containment%20delay%20(hours)%22)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_share%2C%0A%20%20%20%20%20%20%20%20b_choice%2C%0A%20%20%20%20%20%20%20%20b_rejected%2C%0A%20%20%20%20%20%20%20%20c_epsilon%2C%0A%20%20%20%20%20%20%20%20c_releases%2C%0A%20%20%20%20%20%20%20%20d_demand%2C%0A%20%20%20%20%20%20%20%20d_explanations%2C%0A%20%20%20%20%20%20%20%20d_retraining%2C%0A%20%20%20%20%20%20%20%20e_delay%2C%0A%20%20%20%20%20%20%20%20e_policy%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20a_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Aggregate%20accuracy%20rises%22%3A%20%22rises%22%2C%20%22Aggregate%20accuracy%20falls%22%3A%20%22falls%22%2C%20%22Only%20subgroup%20rates%20change%22%3A%20%22subgroups_change%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20changes%20when%20only%20the%20population%20mixture%20changes%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20A%20prediction%22)%0A%20%20%20%20b_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22TPR%20and%20FPR%20both%20rise%22%3A%20%22both_rise%22%2C%20%22TPR%20and%20FPR%20both%20fall%22%3A%20%22both_fall%22%2C%20%22TPR%20rises%20while%20FPR%20falls%22%3A%20%22opposite%22%2C%20%22Neither%20changes%22%3A%20%22neither%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20happens%20when%20the%20positive-score%20threshold%20rises%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20B%20prediction%22)%0A%20%20%20%20c_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Less%20noise%20and%20lower%20per-release%20spend%22%3A%20%22less_noise%22%2C%20%22More%20noise%20and%20lower%20per-release%20spend%22%3A%20%22more_noise%22%2C%20%22More%20noise%20and%20higher%20per-release%20spend%22%3A%20%22more_spend%22%2C%20%22Storage%20alone%20changes%20epsilon%22%3A%20%22storage_changes_epsilon%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20does%20a%20smaller%20epsilon%20per%20release%20change%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20C%20prediction%22)%0A%20%20%20%20d_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Initial%20training%22%3A%20%22initial_training%22%2C%20%22Retraining%22%3A%20%22retraining%22%2C%20%22Inference%22%3A%20%22inference%22%2C%20%22Explanation%22%3A%20%22explanation%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20lifecycle%20term%20dominates%20under%20this%20workload%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20D%20prediction%22)%0A%20%20%20%20e_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Fairness%20outcomes%20improve%22%3A%20%22fairness%22%2C%20%22Decision%20reproduction%20is%20lost%22%3A%20%22reproduction%22%2C%20%22Containment%20becomes%20instantaneous%22%3A%20%22instant%22%2C%20%22Formal%20epsilon%20decreases%22%3A%20%22epsilon%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20can%20disappear%20when%20lineage%20evidence%20is%20removed%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20E%20prediction%22)%0A%20%20%20%20return%20a_prediction%2C%20b_prediction%2C%20c_prediction%2C%20d_prediction%2C%20e_prediction%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20final_choice%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Release%20%C2%B7%20permissive%20threshold%22%3A%20%22permissive%22%2C%20%22Release%20%C2%B7%20balanced%20threshold%22%3A%20%22balanced%22%2C%20%22Release%20%C2%B7%20strict%20threshold%22%3A%20%22strict%22%2C%20%22Hold%20%C2%B7%20no%20defensible%20release%22%3A%20%22hold%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Recommendation%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_rejected%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Permissive%20threshold%22%3A%20%22permissive%22%2C%20%22Balanced%20threshold%22%3A%20%22balanced%22%2C%20%22Strict%20threshold%22%3A%20%22strict%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Rejected%20tested%20alternative%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_trigger%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Subgroup%20TPR%20or%20FPR%20changes%22%3A%20%22fairness_shift%22%2C%20%22Privacy%20release%20count%20changes%22%3A%20%22privacy_spend%22%2C%20%22Lifecycle%20demand%20doubles%22%3A%20%22lifecycle_demand%22%2C%20%22Required%20lineage%20field%20is%20missing%22%3A%20%22lineage_gap%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Reevaluation%20trigger%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_risk%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Small%20fixed%20evaluation%20fixture%22%3A%20%22fixture%22%2C%20%22Unmodeled%20lifecycle%20boundary%22%3A%20%22boundary%22%2C%20%22Unspecified%20consequence%20severity%22%3A%20%22consequences%22%2C%20%22Future%20distribution%20shift%22%3A%20%22shift%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Residual%20limitation%22%2C%0A%20%20%20%20)%0A%20%20%20%20rationale%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20label%3D%22Concise%20rationale%22%2C%0A%20%20%20%20%20%20%20%20placeholder%3D%22Use%20saved%20subgroup%20errors%2C%20privacy%20utility%2C%20lifecycle%20energy%2C%20and%20reconstructability%20to%20defend%20the%20choice.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20final_choice%2C%20final_rejected%2C%20final_risk%2C%20final_trigger%2C%20rationale%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20LINEAGE_POLICIES%2C%0A%20%20%20%20a_share%2C%0A%20%20%20%20b_choice%2C%0A%20%20%20%20b_rejected%2C%0A%20%20%20%20bounded_mean_release%2C%0A%20%20%20%20c_epsilon%2C%0A%20%20%20%20c_releases%2C%0A%20%20%20%20d_demand%2C%0A%20%20%20%20d_explanations%2C%0A%20%20%20%20d_retraining%2C%0A%20%20%20%20e_delay%2C%0A%20%20%20%20e_policy%2C%0A%20%20%20%20investigate_incident%2C%0A%20%20%20%20lifecycle_footprint%2C%0A%20%20%20%20population_mix%2C%0A%20%20%20%20threshold_consequences%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20threshold_values%20%3D%20%7B%22permissive%22%3A%200.3%2C%20%22balanced%22%3A%200.5%2C%20%22strict%22%3A%200.7%7D%0A%20%20%20%20a_base%20%3D%20population_mix(track_id%2C%20threshold%3D0.5)%0A%20%20%20%20a_result%20%3D%20population_mix(track_id%2C%20affected_share_pct%3Da_share.value%2C%20threshold%3D0.5)%0A%20%20%20%20b_results%20%3D%20%7B%0A%20%20%20%20%20%20%20%20name%3A%20threshold_consequences(track_id%2C%20threshold%3Dvalue%2C%20affected_share_pct%3Da_share.value)%0A%20%20%20%20%20%20%20%20for%20name%2C%20value%20in%20threshold_values.items()%0A%20%20%20%20%7D%0A%20%20%20%20if%20b_choice.value%20%3D%3D%20%22hold%22%3A%0A%20%20%20%20%20%20%20%20b_result_key%20%3D%20b_rejected.value%20or%20%22strict%22%0A%20%20%20%20%20%20%20%20b_base_key%20%3D%20%22balanced%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20b_result_key%20%3D%20b_choice.value%20or%20%22strict%22%0A%20%20%20%20%20%20%20%20b_base_key%20%3D%20b_rejected.value%20or%20%22permissive%22%0A%20%20%20%20b_base%20%3D%20b_results%5Bb_base_key%5D%0A%20%20%20%20b_result%20%3D%20b_results%5Bb_result_key%5D%0A%20%20%20%20carried_policy%20%3D%20b_result_key%0A%20%20%20%20carried_threshold%20%3D%20threshold_values%5Bcarried_policy%5D%0A%20%20%20%20c_base%20%3D%20bounded_mean_release(track_id%2C%20epsilon_per_release%3D2.0%2C%20releases%3D1%2C%20seed%3D15)%0A%20%20%20%20c_result%20%3D%20bounded_mean_release(track_id%2C%20epsilon_per_release%3Dc_epsilon.value%2C%20releases%3Dc_releases.value%2C%20seed%3D15)%0A%20%20%20%20d_base%20%3D%20lifecycle_footprint(track_id%2C%20demand_scale%3D1.0%2C%20retraining_runs%3D0%2C%20explanation_share_pct%3D0)%0A%20%20%20%20d_result%20%3D%20lifecycle_footprint(%0A%20%20%20%20%20%20%20%20track_id%2C%20demand_scale%3Dd_demand.value%2C%20retraining_runs%3Dd_retraining.value%2C%0A%20%20%20%20%20%20%20%20explanation_share_pct%3Dd_explanations.value%2C%0A%20%20%20%20)%0A%20%20%20%20e_base%20%3D%20investigate_incident(%0A%20%20%20%20%20%20%20%20track_id%2C%20retained_fields%3DLINEAGE_POLICIES%5B%22full%22%5D%2C%20containment_delay_hours%3D0.5%2C%0A%20%20%20%20%20%20%20%20threshold%3Dcarried_threshold%2C%20affected_share_pct%3Da_share.value%2C%0A%20%20%20%20)%0A%20%20%20%20e_result%20%3D%20investigate_incident(%0A%20%20%20%20%20%20%20%20track_id%2C%20retained_fields%3DLINEAGE_POLICIES%5Be_policy.value%5D%2C%20containment_delay_hours%3De_delay.value%2C%0A%20%20%20%20%20%20%20%20threshold%3Dcarried_threshold%2C%20affected_share_pct%3Da_share.value%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_base%2C%0A%20%20%20%20%20%20%20%20a_result%2C%0A%20%20%20%20%20%20%20%20b_base%2C%0A%20%20%20%20%20%20%20%20b_result%2C%0A%20%20%20%20%20%20%20%20b_results%2C%0A%20%20%20%20%20%20%20%20c_base%2C%0A%20%20%20%20%20%20%20%20c_result%2C%0A%20%20%20%20%20%20%20%20d_base%2C%0A%20%20%20%20%20%20%20%20d_result%2C%0A%20%20%20%20%20%20%20%20e_base%2C%0A%20%20%20%20%20%20%20%20e_result%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20a_base%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_result%2C%0A%20%20%20%20a_share%2C%0A%20%20%20%20b_base%2C%0A%20%20%20%20b_choice%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_rejected%2C%0A%20%20%20%20b_result%2C%0A%20%20%20%20b_results%2C%0A%20%20%20%20c_base%2C%0A%20%20%20%20c_epsilon%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_releases%2C%0A%20%20%20%20c_result%2C%0A%20%20%20%20capture_evidence%2C%0A%20%20%20%20d_base%2C%0A%20%20%20%20d_demand%2C%0A%20%20%20%20d_explanations%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_result%2C%0A%20%20%20%20d_retraining%2C%0A%20%20%20%20e_base%2C%0A%20%20%20%20e_delay%2C%0A%20%20%20%20e_policy%2C%0A%20%20%20%20e_prediction%2C%0A%20%20%20%20e_result%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20set_evidence%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20def%20store(part%2C%20capture)%3A%0A%20%20%20%20%20%20%20%20set_evidence(lambda%20current%3A%20%7B**current%2C%20part%3A%20capture%7D)%0A%0A%20%20%20%20_a_base_share%20%3D%20a_base%5B%22affected_share_pct%22%5D%0A%20%20%20%20a_upstream%20%3D%20%7B%22baseline_affected_share_pct%22%3A%20_a_base_share%2C%20%22affected_share_pct%22%3A%20a_share.value%7D%0A%20%20%20%20b_upstream%20%3D%20%7B%22choice%22%3A%20b_choice.value%2C%20%22rejected%22%3A%20b_rejected.value%2C%20%22affected_share_pct%22%3A%20a_share.value%7D%0A%20%20%20%20c_upstream%20%3D%20%7B%22epsilon_per_release%22%3A%20c_epsilon.value%2C%20%22releases%22%3A%20c_releases.value%7D%0A%20%20%20%20d_upstream%20%3D%20%7B%22demand_scale%22%3A%20d_demand.value%2C%20%22retraining_runs%22%3A%20d_retraining.value%2C%20%22explanation_share_pct%22%3A%20d_explanations.value%7D%0A%20%20%20%20e_upstream%20%3D%20%7B%22threshold%22%3A%20e_result%5B%22inputs%22%5D%5B%22threshold%22%5D%2C%20%22affected_share_pct%22%3A%20a_share.value%2C%20%22retention_policy%22%3A%20e_policy.value%2C%20%22containment_delay_hours%22%3A%20e_delay.value%7D%0A%20%20%20%20a_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20population%20contrast%22%2C%20kind%3D%22success%22%2C%20disabled%3Da_prediction.value%20is%20None%20or%20a_share.value%20%3D%3D%20_a_base_share%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22A%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22A%22%2C%20prediction%3Da_prediction.value%2C%20inputs%3D%7B%22affected_share_pct%22%3A%20a_share.value%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Da_base%2C%20result%3Da_result%2C%20upstream_inputs%3Da_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v1_15_experiments.population_mix%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20b_invalid%20%3D%20(%0A%20%20%20%20%20%20%20%20b_prediction.value%20is%20None%20or%20b_choice.value%20is%20None%20or%20b_rejected.value%20is%20None%0A%20%20%20%20%20%20%20%20or%20(b_choice.value%20!%3D%20%22hold%22%20and%20b_choice.value%20%3D%3D%20b_rejected.value)%0A%20%20%20%20%20%20%20%20or%20(b_choice.value%20%3D%3D%20%22hold%22%20and%20b_rejected.value%20%3D%3D%20%22balanced%22)%0A%20%20%20%20)%0A%20%20%20%20b_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20threshold%20decision%22%2C%20kind%3D%22success%22%2C%20disabled%3Db_invalid%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22B%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22B%22%2C%20prediction%3Db_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22choice%22%3A%20b_choice.value%2C%20%22rejected%22%3A%20b_rejected.value%7D%2C%20baseline%3Db_base%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result%3Db_result%2C%20alternatives%3Dtuple(b_results.values())%2C%20decision%3Db_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20chosen_result%3Db_base%20if%20b_choice.value%20%3D%3D%20%22hold%22%20else%20b_result%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result_role%3D%22rejected%20alternative%22%20if%20b_choice.value%20%3D%3D%20%22hold%22%20else%20%22chosen%20candidate%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Db_upstream%2C%20model_key%3D%22v1_15_experiments.threshold_consequences%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20c_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20privacy%20release%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dc_prediction.value%20is%20None%20or%20(c_epsilon.value%20%3D%3D%202.0%20and%20c_releases.value%20%3D%3D%201)%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22C%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22C%22%2C%20prediction%3Dc_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22epsilon_per_release%22%3A%20c_epsilon.value%2C%20%22releases%22%3A%20c_releases.value%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Dc_base%2C%20result%3Dc_result%2C%20upstream_inputs%3Dc_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v1_15_experiments.bounded_mean_release%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20d_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20lifecycle%20boundary%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dd_prediction.value%20is%20None%20or%20(d_demand.value%20%3D%3D%201.0%20and%20d_retraining.value%20%3D%3D%200%20and%20d_explanations.value%20%3D%3D%200)%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22D%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22D%22%2C%20prediction%3Dd_prediction.value%2C%20inputs%3Dd_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Dd_base%2C%20result%3Dd_result%2C%20upstream_inputs%3Dd_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v1_15_experiments.lifecycle_footprint%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20e_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20investigation%20contrast%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3De_prediction.value%20is%20None%20or%20(e_policy.value%20%3D%3D%20%22full%22%20and%20e_delay.value%20%3D%3D%200.5)%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22E%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22E%22%2C%20prediction%3De_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22retention_policy%22%3A%20e_policy.value%2C%20%22containment_delay_hours%22%3A%20e_delay.value%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3De_base%2C%20result%3De_result%2C%20upstream_inputs%3De_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v1_15_experiments.investigate_incident%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_capture%2C%0A%20%20%20%20%20%20%20%20a_upstream%2C%0A%20%20%20%20%20%20%20%20b_capture%2C%0A%20%20%20%20%20%20%20%20b_upstream%2C%0A%20%20%20%20%20%20%20%20c_capture%2C%0A%20%20%20%20%20%20%20%20c_upstream%2C%0A%20%20%20%20%20%20%20%20d_capture%2C%0A%20%20%20%20%20%20%20%20d_upstream%2C%0A%20%20%20%20%20%20%20%20e_capture%2C%0A%20%20%20%20%20%20%20%20e_upstream%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(ACADEMIC_LAB_CSS%2C%20LAB_CSS%2C%20mo%2C%20profile%2C%20track)%3A%0A%20%20%20%20css%20%3D%20mo.Html(%22%22%22%0A%20%20%20%20%3Cstyle%3E%0A%20%20%20%20.pilot-head%7Bbackground%3Alinear-gradient(135deg%2C%23111827%2C%23365314)%3Bcolor%3Awhite%3Bborder-radius%3A14px%3Bpadding%3Aclamp(18px%2C4vw%2C32px)%3Bmargin-bottom%3A14px%7D%0A%20%20%20%20.pilot-top%7Bdisplay%3Aflex%3Bjustify-content%3Aspace-between%3Bgap%3A8px%3Bflex-wrap%3Awrap%3Bfont%3A700%20.72rem%20ui-monospace%3Bletter-spacing%3A.08em%7D%0A%20%20%20%20.pilot-head%20h1%7Bfont-size%3Aclamp(1.65rem%2C5vw%2C2.65rem)%3Bline-height%3A1.05%3Bmargin%3A16px%200%208px%7D.pilot-head%20p%7Bcolor%3A%23ecfccb%3Bmax-width%3A780px%7D%0A%20%20%20%20.pilot-note%7Bcolor%3A%23475569%3Bfont-size%3A.9rem%3Bline-height%3A1.5%3Bmargin%3A0%3Bpadding%3A0%202px%7D%0A%20%20%20%20.pilot-meta%7Bdisplay%3Agrid%3Bgrid-template-columns%3Arepeat(auto-fit%2Cminmax(170px%2C1fr))%3Bgap%3A9px%3Bmargin-top%3A17px%7D.pilot-meta%20div%7Bbackground%3A%23ffffff14%3Bborder%3A1px%20solid%20%23ffffff26%3Bpadding%3A9px%2011px%3Bborder-radius%3A8px%7D%0A%20%20%20%20.saved%7Bborder-left%3A4px%20solid%20%232ca02c%3Bbackground%3A%23f0fdf4%3Bpadding%3A9px%2012px%3Bborder-radius%3A7px%7D.lab-hud%7Bdisplay%3Aflex%3Balign-items%3Acenter%3Bflex-wrap%3Awrap%3Bgap%3A10px%3Bbackground%3A%23101827!important%3Bcolor%3A%23fff%3Bpadding%3A14px%2018px%3Bborder-radius%3A9px%7D%0A%20%20%20%20.lab-hud%20.hud-label%7Bcolor%3A%23a7b9cf%7D.lab-hud%20.hud-value%7Bcolor%3A%23fff%7D.lab-hud%20.hud-active%7Bcolor%3A%2386efac%7D.lab-hud%20.hud-failed%7Bcolor%3A%23fecaca%7D%0A%20%20%20%20%40media(max-width%3A520px)%7B.pilot-head%7Bborder-radius%3A9px%3Bmargin-top%3A30px%7D.pilot-meta%7Bgrid-template-columns%3A1fr%7D%7D%0A%20%20%20%20%3C%2Fstyle%3E%22%22%22)%0A%20%20%20%20header%20%3D%20mo.Html(f%22%22%22%3Csection%20class%3D%22pilot-head%22%3E%3Cdiv%20class%3D%22pilot-top%22%3E%3Cspan%3EVOLUME%20I%20%C2%B7%20LAB%2015%3C%2Fspan%3E%3Cspan%3EABOUT%2050%20MIN%3C%2Fspan%3E%3C%2Fdiv%3E%3Ch1%3EResponsibility%20Is%20a%20System%20Requirement%3C%2Fh1%3E%3Cp%3EWhat%20must%20we%20measure%2C%20preserve%2C%20and%20trade%20off%20before%20a%20fast%2C%20accurate%20system%20is%20fit%20to%20release%3F%3C%2Fp%3E%3Cdiv%20class%3D%22pilot-meta%22%3E%3Cdiv%3E%3Cb%3ETrack%3C%2Fb%3E%3Cbr%3E%7Bprofile%5B'display'%5D%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EContext%3C%2Fb%3E%3Cbr%3E%7Bprofile%5B'scenario'%5D%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EDeliverable%3C%2Fb%3E%3Cbr%3EResponsible%20engineering%20decision%20memo%3C%2Fdiv%3E%3C%2Fdiv%3E%3C%2Fsection%3E%22%22%22)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%20ACADEMIC_LAB_CSS%2C%20css%2C%20header%2C%20track%2C%0A%20%20%20%20%20%20%20%20mo.Html('%3Cp%20class%3D%22pilot-note%22%3EAll%20workloads%2C%20scores%2C%20labels%2C%20energy%20terms%2C%20and%20incident%20rates%20are%20explicit%20illustrative%20scenario%20assumptions.%20Each%20part%E2%80%99s%20Calculation%20Notes%20states%20the%20mechanism%20and%20boundary.%3C%2Fp%3E')%2C%0A%20%20%20%20%5D%2C%20gap%3D0.5)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.sidebar(%5Bmo.md(%22%23%23%20Lab%20navigation%22)%2C%20mo.outline(label%3D%22Sections%22)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20a_base%2C%0A%20%20%20%20a_capture%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_result%2C%0A%20%20%20%20a_share%2C%0A%20%20%20%20a_upstream%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20audit_evidence%2C%0A%20%20%20%20b_capture%2C%0A%20%20%20%20b_choice%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_rejected%2C%0A%20%20%20%20b_results%2C%0A%20%20%20%20b_upstream%2C%0A%20%20%20%20c_base%2C%0A%20%20%20%20c_capture%2C%0A%20%20%20%20c_epsilon%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_releases%2C%0A%20%20%20%20c_result%2C%0A%20%20%20%20c_upstream%2C%0A%20%20%20%20d_base%2C%0A%20%20%20%20d_capture%2C%0A%20%20%20%20d_demand%2C%0A%20%20%20%20d_explanations%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_result%2C%0A%20%20%20%20d_retraining%2C%0A%20%20%20%20d_upstream%2C%0A%20%20%20%20e_base%2C%0A%20%20%20%20e_capture%2C%0A%20%20%20%20e_delay%2C%0A%20%20%20%20e_policy%2C%0A%20%20%20%20e_prediction%2C%0A%20%20%20%20e_result%2C%0A%20%20%20%20e_upstream%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20go%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20profile%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_upstream%20%3D%20%7B%22A%22%3A%20a_upstream%2C%20%22B%22%3A%20b_upstream%2C%20%22C%22%3A%20c_upstream%2C%20%22D%22%3A%20d_upstream%2C%20%22E%22%3A%20e_upstream%7D%0A%20%20%20%20audit%20%3D%20audit_evidence(%0A%20%20%20%20%20%20%20%20_captures%2C%20track%3Dtrack_id%2C%20required_parts%3Dtuple(%22ABCDE%22)%2C%0A%20%20%20%20%20%20%20%20per_part_upstream_inputs%3D_upstream%2C%20contrast_required_parts%3Dtuple(%22ABCDE%22)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20def%20table(rows)%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bmo.ui.table(rows%2C%20pagination%3DFalse)%5D).style(%7B%22max-width%22%3A%20%22100%25%22%2C%20%22overflow-x%22%3A%20%22auto%22%7D)%0A%0A%20%20%20%20def%20saved(part)%3A%0A%20%20%20%20%20%20%20%20capture%20%3D%20_captures.get(part)%0A%20%20%20%20%20%20%20%20if%20capture%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22No%20saved%20evidence%20for%20this%20part.%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20%20%20%20%20if%20part%20in%20audit.stale%20or%20(part%2C%20part)%20in%20audit.identical_pairs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22**STALE%20OR%20NON-CONTRASTING%20EVIDENCE.**%20A%20dependency%20changed%2C%20or%20the%20saved%20runs%20are%20identical.%20Recapture%20this%20part.%22)%2C%20kind%3D%22danger%22)%0A%20%20%20%20%20%20%20%20data%20%3D%20capture.to_dict()%0A%20%20%20%20%20%20%20%20return%20mo.Html(f'%3Cdiv%20class%3D%22saved%22%3E%3Cb%3ESaved%20snapshot%3C%2Fb%3E%20%C2%B7%20original%20prediction%3A%20%7Bdata%5B%22prediction%22%5D%7D%3Cbr%3E%3Csmall%3ETrack%20%7Bdata%5B%22track%22%5D%7D%3B%20the%20report%20uses%20this%20saved%20result%20rather%20than%20changed%20live%20controls.%3C%2Fsmall%3E%3C%2Fdiv%3E')%0A%0A%20%20%20%20def%20part_a()%3A%0A%20%20%20%20%20%20%20%20setup%20%3D%20mo.md(%22%23%23%23%20A%20%C2%B7%20Who%20disappears%20inside%20aggregate%20accuracy%3F%20(8%20min)%5Cn**Evaluation%20lead%3A**%20keep%20the%20fixed%20decisions%20and%20labels%2C%20then%20change%20only%20how%20much%20of%20the%20evaluated%20population%20comes%20from%20the%20affected%20group.%22)%0A%20%20%20%20%20%20%20%20if%20a_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bsetup%2C%20a_share%2C%20a_prediction%5D)%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20for%20label%2C%20result%20in%20((f%22%7Ba_base%5B'affected_share_pct'%5D%3A.0f%7D%25%20affected%22%2C%20a_base)%2C%20(f%22%7Ba_share.value%3A.0f%7D%25%20affected%22%2C%20a_result))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20figure.add_bar(name%3Dlabel%2C%20x%3D%5B%22Reference%22%2C%20%22Affected%22%2C%20%22Aggregate%22%5D%2C%20y%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20100%20*%20result%5B%22groups%22%5D%5B%22reference%22%5D%5B%22accuracy%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20100%20*%20result%5B%22groups%22%5D%5B%22affected%22%5D%5B%22accuracy%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20100%20*%20result%5B%22aggregate%22%5D%5B%22accuracy%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20figure.update_layout(barmode%3D%22group%22%2C%20height%3D280%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D20)%2C%20yaxis_title%3D%22Accuracy%20(%25)%22%2C%20legend_orientation%3D%22h%22)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Mixture%22%3A%20label%2C%20%22Reference%20accuracy%22%3A%20f%22%7B100%20*%20result%5B'groups'%5D%5B'reference'%5D%5B'accuracy'%5D%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Affected%20accuracy%22%3A%20f%22%7B100%20*%20result%5B'groups'%5D%5B'affected'%5D%5B'accuracy'%5D%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Aggregate%20accuracy%22%3A%20f%22%7B100%20*%20result%5B'aggregate'%5D%5B'accuracy'%5D%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%7D%20for%20label%2C%20result%20in%20((%22Baseline%22%2C%20a_base)%2C%20(%22Changed%22%2C%20a_result))%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20setup%2C%20a_share%2C%20a_prediction%2C%20apply_plotly_theme(figure)%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Ba_prediction.value%7D.%20The%20subgroup%20accuracies%20remain%20fixed%20while%20aggregate%20accuracy%20moves%20from%20**%7B100%20*%20a_base%5B'aggregate'%5D%5B'accuracy'%5D%3A.1f%7D%25**%20to%20**%7B100%20*%20a_result%5B'aggregate'%5D%5B'accuracy'%5D%3A.1f%7D%25**.%22)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20a_capture%2C%20saved(%22A%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22The%20simulator%20computes%20each%20subgroup%20confusion%20matrix%20from%20fixed%20scores%20and%20labels%20at%20threshold%200.50.%20It%20then%20weights%20subgroup%20rates%20by%20population%20share.%20Mixture%20does%20not%20alter%20a%20subgroup%20prediction%20rule.%22)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_b()%3A%0A%20%20%20%20%20%20%20%20setup%20%3D%20mo.md(%22%23%23%23%20B%20%C2%B7%20Which%20threshold%20expresses%20the%20obligation%3F%20(9%20min)%5Cn**Release%20owner%3A**%20compare%20the%20false-positive%20and%20false-negative%20consequences%20of%20three%20thresholds%20on%20the%20same%20fixed%20score-and-label%20fixture.%22)%0A%20%20%20%20%20%20%20%20if%20b_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bsetup%2C%20b_prediction%5D)%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20for%20group%2C%20color%20in%20((%22reference%22%2C%20COLORS%5B%22BlueLine%22%5D)%2C%20(%22affected%22%2C%20COLORS%5B%22OrangeLine%22%5D))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20figure.add_scatter(name%3Df%22%7Bgroup.title()%7D%20TPR%22%2C%20x%3D%5B0.3%2C%200.5%2C%200.7%5D%2C%20y%3D%5B100%20*%20b_results%5Bkey%5D%5B%22groups%22%5D%5Bgroup%5D%5B%22tpr%22%5D%20for%20key%20in%20(%22permissive%22%2C%20%22balanced%22%2C%20%22strict%22)%5D%2C%20mode%3D%22lines%2Bmarkers%22%2C%20line%3Ddict(color%3Dcolor))%0A%20%20%20%20%20%20%20%20%20%20%20%20figure.add_scatter(name%3Df%22%7Bgroup.title()%7D%20FPR%22%2C%20x%3D%5B0.3%2C%200.5%2C%200.7%5D%2C%20y%3D%5B100%20*%20b_results%5Bkey%5D%5B%22groups%22%5D%5Bgroup%5D%5B%22fpr%22%5D%20for%20key%20in%20(%22permissive%22%2C%20%22balanced%22%2C%20%22strict%22)%5D%2C%20mode%3D%22lines%2Bmarkers%22%2C%20line%3Ddict(color%3Dcolor%2C%20dash%3D%22dot%22))%0A%20%20%20%20%20%20%20%20figure.update_layout(height%3D300%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D20)%2C%20xaxis_title%3D%22Positive-score%20threshold%22%2C%20yaxis_title%3D%22Rate%20(%25)%22%2C%20legend_orientation%3D%22h%22)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Policy%22%3A%20name.title()%2C%20%22Expected%20FP%22%3A%20f%22%7Bresult%5B'expected_false_positives'%5D%3A.0f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22FP%20consequence%22%3A%20result%5B%22false_positive_consequence%22%5D%2C%20%22Expected%20FN%22%3A%20f%22%7Bresult%5B'expected_false_negatives'%5D%3A.0f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22FN%20consequence%22%3A%20result%5B%22false_negative_consequence%22%5D%2C%0A%20%20%20%20%20%20%20%20%7D%20for%20name%2C%20result%20in%20b_results.items()%5D%0A%20%20%20%20%20%20%20%20apply_plotly_theme(figure)%0A%20%20%20%20%20%20%20%20figure.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22v%22%2C%20x%3D0%2C%20y%3D-0.35%2C%20xanchor%3D%22left%22%2C%20yanchor%3D%22top%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(b%3D170)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D440%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20setup%2C%20b_prediction%2C%20figure%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bb_choice%2C%20b_rejected%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Bb_prediction.value%7D.%20Raising%20the%20threshold%20lowers%20or%20preserves%20both%20TPR%20and%20FPR.%20It%20transfers%20expected%20decisions%20from%20false%20positives%20toward%20false%20negatives%3B%20the%20table%20leaves%20their%20severity%20as%20an%20explicit%20stakeholder%20judgment.%22)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20b_capture%2C%20saved(%22B%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22A%20decision%20is%20positive%20when%20score%20%E2%89%A5%20threshold.%20Each%20threshold%20replays%20identical%20scores%20and%20labels%2C%20so%20a%20higher%20threshold%20cannot%20create%20a%20new%20positive%20prediction.%20Counts%20are%20expected%20errors%20in%2010%2C000%20decisions%20with%20the%20selected%20group%20mixture.%22)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_c()%3A%0A%20%20%20%20%20%20%20%20setup%20%3D%20mo.md(%22%23%23%23%20C%20%C2%B7%20What%20evidence%20can%20we%20release%3F%20(10%20min)%5Cn**Privacy%20engineer%3A**%20release%20a%20bounded%20mean%20while%20preserving%20a%20usable%20summary%20and%20accounting%20for%20repeated%20access%20to%20the%20same%20private%20data.%22)%0A%20%20%20%20%20%20%20%20if%20c_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bsetup%2C%20mo.hstack(%5Bc_epsilon%2C%20c_releases%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20c_prediction%5D)%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(name%3D%22True%20bounded%20mean%22%2C%20x%3D%5B%22Reference%22%2C%20%22Selected%22%5D%2C%20y%3D%5Bc_base%5B%22true_bounded_mean%22%5D%2C%20c_result%5B%22true_bounded_mean%22%5D%5D%2C%20marker_color%3DCOLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(name%3D%22Released%20value%22%2C%20x%3D%5B%22Reference%22%2C%20%22Selected%22%5D%2C%20y%3D%5Bc_base%5B%22released_values%22%5D%5B0%5D%2C%20c_result%5B%22released_values%22%5D%5B0%5D%5D%2C%20marker_color%3DCOLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20figure.update_layout(barmode%3D%22group%22%2C%20height%3D275%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D20)%2C%20yaxis_title%3Dprofile%5B%22privacy_value_label%22%5D%2C%20legend_orientation%3D%22h%22)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Case%22%3A%20%22Reference%22%2C%20%22%CE%B5%2Frelease%22%3A%20f%22%7Bc_base%5B'epsilon_per_release'%5D%3A.2f%7D%22%2C%20%22Releases%22%3A%20c_base%5B%22releases%22%5D%2C%20%22Composed%20%CE%B5%22%3A%20f%22%7Bc_base%5B'basic_composed_epsilon'%5D%3A.2f%7D%22%2C%20%22Noise%20scale%22%3A%20f%22%7Bc_base%5B'laplace_scale'%5D%3A.2f%7D%22%2C%20%22Absolute%20error%22%3A%20f%22%7Bc_base%5B'mean_absolute_error'%5D%3A.2f%7D%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Case%22%3A%20%22Selected%22%2C%20%22%CE%B5%2Frelease%22%3A%20f%22%7Bc_result%5B'epsilon_per_release'%5D%3A.2f%7D%22%2C%20%22Releases%22%3A%20c_result%5B%22releases%22%5D%2C%20%22Composed%20%CE%B5%22%3A%20f%22%7Bc_result%5B'basic_composed_epsilon'%5D%3A.2f%7D%22%2C%20%22Noise%20scale%22%3A%20f%22%7Bc_result%5B'laplace_scale'%5D%3A.2f%7D%22%2C%20%22Absolute%20error%22%3A%20f%22%7Bc_result%5B'mean_absolute_error'%5D%3A.2f%7D%22%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20setup%2C%20mo.hstack(%5Bc_epsilon%2C%20c_releases%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20c_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20apply_plotly_theme(figure)%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Bc_prediction.value%7D.%20Raw%20fixture%20storage%20is%20**%7Bc_result%5B'raw_storage_bytes'%5D%7D%20bytes**%3B%20%7Bc_result%5B'releases'%5D%7D%20released%20summaries%20occupy%20**%7Bc_result%5B'released_summary_bytes'%5D%7D%20bytes**.%20Retention%20changes%20storage%2C%20while%20only%20the%20specified%20mechanism%20and%20composition%20determine%20epsilon.%22)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20c_capture%2C%20saved(%22C%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22The%20bounded-mean%20Laplace%20mechanism%20clips%20values%20to%20public%20bounds%2C%20uses%20sensitivity%20(upper%20%E2%88%92%20lower)%20%2F%20fixed%20public%20n%2C%20and%20adds%20Laplace%20noise%20with%20scale%20sensitivity%20%2F%20%CE%B5.%20Basic%20sequential%20composition%20sums%20%CE%B5%20across%20independent%20new%20releases.%20Output%20clipping%20is%20postprocessing.%20The%20fixed%20seed%20supports%20reproducible%20simulation%20only%3B%20deployed%20mechanisms%20require%20appropriately%20generated%20secret%20randomness.%22)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_d()%3A%0A%20%20%20%20%20%20%20%20setup%20%3D%20mo.md(%22%23%23%23%20D%20%C2%B7%20What%20does%20responsibility%20cost%20over%20the%20lifetime%3F%20(10%20min)%5Cn**Systems%20architect%3A**%20choose%20one%20accounting%20boundary%20and%20compare%20initial%20training%2C%20retraining%2C%20inference%2C%20and%20requested%20explanations%20over%20the%20same%20operating%20period.%22)%0A%20%20%20%20%20%20%20%20if%20d_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bsetup%2C%20mo.hstack(%5Bd_demand%2C%20d_retraining%2C%20d_explanations%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20d_prediction%5D)%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20colors%20%3D%20(COLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22OrangeLine%22%5D%2C%20COLORS%5B%22GreenLine%22%5D%2C%20COLORS%5B%22RedLine%22%5D)%0A%20%20%20%20%20%20%20%20for%20term%2C%20color%20in%20zip((%22initial_training%22%2C%20%22retraining%22%2C%20%22inference%22%2C%20%22explanation%22)%2C%20colors)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20figure.add_bar(name%3Dterm.replace(%22_%22%2C%20%22%20%22).title()%2C%20x%3D%5B%22Reference%22%2C%20%22Selected%22%5D%2C%20y%3D%5Bd_base%5B%22terms_kwh%22%5D%5Bterm%5D%2C%20d_result%5B%22terms_kwh%22%5D%5Bterm%5D%5D%2C%20marker_color%3Dcolor)%0A%20%20%20%20%20%20%20%20figure.update_layout(barmode%3D%22stack%22%2C%20height%3D300%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D20)%2C%20yaxis_title%3D%22Lifecycle%20energy%20(kWh)%22%2C%20legend_orientation%3D%22h%22)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Case%22%3A%20label%2C%20%22Total%20energy%22%3A%20f%22%7Bresult%5B'total_energy_kwh'%5D%3A.2f%7D%20kWh%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Operational%20carbon%22%3A%20f%22%7Bresult%5B'operational_carbon_kg'%5D%3A.2f%7D%20kg%20CO%E2%82%82e%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Dominant%20term%22%3A%20result%5B%22dominant_term%22%5D.replace(%22_%22%2C%20%22%20%22)%2C%0A%20%20%20%20%20%20%20%20%7D%20for%20label%2C%20result%20in%20((%22Reference%22%2C%20d_base)%2C%20(%22Selected%22%2C%20d_result))%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20setup%2C%20mo.hstack(%5Bd_demand%2C%20d_retraining%2C%20d_explanations%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20d_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20apply_plotly_theme(figure)%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Bd_prediction.value%7D.%20The%20selected%20boundary%20totals%20**%7Bd_result%5B'total_energy_kwh'%5D%3A.2f%7D%20kWh**%20and%20**%7Bd_result%5B'operational_carbon_kg'%5D%3A.2f%7D%20kg%20CO%E2%82%82e**%3B%20**%7Bd_result%5B'dominant_term'%5D.replace('_'%2C%20'%20')%7D**%20dominates.%22)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20d_capture%2C%20saved(%22D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(d_result%5B%22boundary%22%5D%20%2B%20%22%20Energy%20equals%20the%20sum%20of%20the%20four%20displayed%20work%20terms.%20Operational%20carbon%20equals%20total%20energy%20multiplied%20by%20the%20track%E2%80%99s%20illustrative%20grid%20intensity.%22)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_e()%3A%0A%20%20%20%20%20%20%20%20setup%20%3D%20mo.md(%22%23%23%23%20E%20%C2%B7%20Can%20we%20investigate%20and%20contain%20failure%3F%20(8%20min)%5Cn**Incident%20commander%3A**%20remove%20retained%20evidence%20and%20vary%20response%20delay.%20Separate%20what%20can%20be%20reconstructed%20from%20how%20many%20decisions%20occur%20before%20containment.%22)%0A%20%20%20%20%20%20%20%20if%20e_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bsetup%2C%20mo.hstack(%5Be_policy%2C%20e_delay%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20e_prediction%5D)%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(name%3D%22Reconstructable%20incident%20decisions%22%2C%20x%3D%5B%22Full%20%2F%20fast%22%2C%20%22Selected%22%5D%2C%20y%3D%5Be_base%5B%22fully_reconstructable_decisions%22%5D%2C%20e_result%5B%22fully_reconstructable_decisions%22%5D%5D%2C%20marker_color%3DCOLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(name%3D%22Decisions%20before%20containment%22%2C%20x%3D%5B%22Full%20%2F%20fast%22%2C%20%22Selected%22%5D%2C%20y%3D%5Be_base%5B%22decisions_before_containment%22%5D%2C%20e_result%5B%22decisions_before_containment%22%5D%5D%2C%20marker_color%3DCOLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20figure.update_layout(barmode%3D%22group%22%2C%20height%3D280%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D20)%2C%20yaxis_title%3D%22Decisions%22%2C%20legend_orientation%3D%22h%22)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Question%22%3A%20name.replace(%22_%22%2C%20%22%20%22).title()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Full%20%2F%20fast%22%3A%20%22ANSWERABLE%22%20if%20e_base%5B%22answerable_questions%22%5D%5Bname%5D%20else%20%22MISSING%20EVIDENCE%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Selected%22%3A%20%22ANSWERABLE%22%20if%20e_result%5B%22answerable_questions%22%5D%5Bname%5D%20else%20%22MISSING%20EVIDENCE%22%2C%0A%20%20%20%20%20%20%20%20%7D%20for%20name%20in%20e_result%5B%22answerable_questions%22%5D%5D%0A%20%20%20%20%20%20%20%20kind%20%3D%20%22success%22%20if%20e_result%5B%22fully_reconstructable_decisions%22%5D%20else%20%22danger%22%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20setup%2C%20mo.hstack(%5Be_policy%2C%20e_delay%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20e_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20apply_plotly_theme(figure)%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Be_prediction.value%7D.%20The%20selected%20record%20answers%20**%7Be_result%5B'answerable_question_count'%5D%7D%20of%203**%20audit%20questions%20and%20leaves%20**%7Be_result%5B'decisions_before_containment'%5D%3A.0f%7D%20decisions**%20before%20containment.%20Removing%20lineage%20does%20not%20alter%20the%20saved%20fairness%20outcomes.%22)%2C%20kind%3Dkind)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20e_capture%2C%20saved(%22E%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22Decision%20reproduction%20requires%20model%20version%2C%20threshold%2C%20and%20feature%20hash%3B%20data%20tracing%20requires%20model%20and%20training-data%20versions%3B%20release%20identification%20requires%20model%20and%20deployment%20IDs.%20Exposure%20equals%20decision%20rate%20%C3%97%20containment%20delay.%20Evidence%20retention%20changes%20storage%20and%20reconstructability%2C%20not%20predictions%20or%20formal%20epsilon.%22)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20part%20in%20%22ABCDE%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20capture%20%3D%20_captures.get(part)%0A%20%20%20%20%20%20%20%20%20%20%20%20state%20%3D%20%22CURRENT%22%20if%20capture%20and%20part%20not%20in%20audit.stale%20and%20(part%2C%20part)%20not%20in%20audit.identical_pairs%20else%20(%22STALE%22%20if%20capture%20else%20%22MISSING%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B%22Part%22%3A%20part%2C%20%22Original%20prediction%22%3A%20capture.to_dict()%5B%22prediction%22%5D%20if%20capture%20else%20%22%E2%80%94%22%2C%20%22Evidence%22%3A%20state%7D)%0A%20%20%20%20%20%20%20%20b_decision%20%3D%20_captures%5B%22B%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22B%22%20in%20_captures%20else%20None%0A%20%20%20%20%20%20%20%20b_saved_rejected%20%3D%20_captures%5B%22B%22%5D.to_dict()%5B%22inputs%22%5D%5B%22rejected%22%5D%20if%20%22B%22%20in%20_captures%20else%20None%0A%20%20%20%20%20%20%20%20choice_is_distinct%20%3D%20final_choice.value%20%3D%3D%20%22hold%22%20or%20final_choice.value%20!%3D%20final_rejected.value%0A%20%20%20%20%20%20%20%20complete%20%3D%20audit.complete%20and%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%20and%20bool(rationale.value.strip())%20and%20choice_is_distinct%20and%20final_choice.value%20%3D%3D%20b_decision%20and%20final_rejected.value%20%3D%3D%20b_saved_rejected%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Synthesis%20%C2%B7%20Defend%20a%20responsible%20release%20decision%20(5%20min)%5CnUse%20saved%20evidence%20to%20name%20the%20chosen%20threshold%20or%20hold%2C%20quantify%20a%20tested%20rejected%20threshold%2C%20state%20a%20remaining%20limitation%2C%20and%20define%20a%20reevaluation%20trigger.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Saved%20snapshots%20remain%20fixed%20while%20live%20controls%20move.%20Recapture%20stale%20evidence%20before%20generating%20the%20report.%22)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bfinal_choice%2C%20final_rejected%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bfinal_trigger%2C%20final_risk%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20rationale%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%22**Ready%20for%20the%20local%20report.**%22%20if%20complete%20else%20%22Complete%20five%20current%20contrasts%2C%20match%20the%20recommendation%20to%20the%20saved%20Part%20B%20decision%2C%20compare%20a%20different%20tested%20threshold%20when%20releasing%2C%20and%20add%20the%20rationale.%22)%2C%20kind%3D%22success%22%20if%20complete%20else%20%22warn%22)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%22Part%20A%22%3A%20part_a()%2C%20%22Part%20B%22%3A%20part_b()%2C%20%22Part%20C%22%3A%20part_c()%2C%20%22Part%20D%22%3A%20part_d()%2C%20%22Part%20E%22%3A%20part_e()%2C%20%22Synthesis%22%3A%20build_synthesis()%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%20(audit%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20audit%2C%0A%20%20%20%20build_lab_report%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20profile%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20report_export_panel%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_b_decision%20%3D%20_captures%5B%22B%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22B%22%20in%20_captures%20else%20None%0A%20%20%20%20_b_saved_rejected%20%3D%20_captures%5B%22B%22%5D.to_dict()%5B%22inputs%22%5D%5B%22rejected%22%5D%20if%20%22B%22%20in%20_captures%20else%20None%0A%20%20%20%20_choice_is_distinct%20%3D%20final_choice.value%20%3D%3D%20%22hold%22%20or%20final_choice.value%20!%3D%20final_rejected.value%0A%20%20%20%20_ready%20%3D%20audit.complete%20and%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%20and%20bool(rationale.value.strip())%20and%20_choice_is_distinct%20and%20final_choice.value%20%3D%3D%20_b_decision%20and%20final_rejected.value%20%3D%3D%20_b_saved_rejected%0A%20%20%20%20mo.stop(not%20_ready)%0A%20%20%20%20_snapshots%20%3D%20%7Bpart%3A%20_captures%5Bpart%5D.to_dict()%20for%20part%20in%20%22ABCDE%22%7D%0A%20%20%20%20report%20%3D%20build_lab_report(%0A%20%20%20%20%20%20%20%20get_lab_metadata(%22vol1%2Flab_15_responsible_engr.py%22)%2C%20track%3Dtrack_id%2C%20scenario%3Dprofile%5B%22scenario%22%5D%2C%0A%20%20%20%20%20%20%20%20learning_objectives%3D%5B%22Expose%20subgroup%20outcomes%20hidden%20by%20aggregate%20accuracy%22%2C%20%22Compare%20threshold%2C%20privacy%2C%20lifecycle%2C%20and%20accountability%20consequences%22%2C%20%22Defend%20a%20release%20or%20hold%20decision%20with%20preserved%20evidence%22%5D%2C%0A%20%20%20%20%20%20%20%20predictions%3D%7Bpart%3A%20_snapshots%5Bpart%5D%5B%22prediction%22%5D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20knob_settings%3D%7Bpart%3A%20_snapshots%5Bpart%5D%5B%22inputs%22%5D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20evidence_summary%3D%7Bpart%3A%20%7B%22baseline%22%3A%20_snapshots%5Bpart%5D%5B%22baseline%22%5D%2C%20%22result%22%3A%20_snapshots%5Bpart%5D%5B%22result%22%5D%2C%20%22chosen_result%22%3A%20_snapshots%5Bpart%5D%5B%22chosen_result%22%5D%2C%20%22result_role%22%3A%20_snapshots%5Bpart%5D%5B%22result_role%22%5D%2C%20%22alternatives%22%3A%20_snapshots%5Bpart%5D%5B%22alternatives%22%5D%7D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20decisions%3D%7B%22recommendation%22%3A%20final_choice.value%2C%20%22rejected_alternative%22%3A%20final_rejected.value%2C%20%22reevaluation_trigger%22%3A%20final_trigger.value%7D%2C%0A%20%20%20%20%20%20%20%20final_decision%3D%7B%22recommendation%22%3A%20final_choice.value%2C%20%22rejected_alternative%22%3A%20final_rejected.value%2C%20%22rationale%22%3A%20rationale.value%7D%2C%0A%20%20%20%20%20%20%20%20big_takeaways%3D%5B%22Aggregate%20accuracy%20can%20hide%20fixed%20subgroup%20disparities%20as%20population%20mixture%20changes.%22%2C%20%22Thresholds%20transfer%20false-positive%20and%20false-negative%20consequences%20rather%20than%20resolving%20every%20obligation.%22%2C%20%22Privacy%2C%20lifecycle%20cost%2C%20reconstructability%2C%20and%20containment%20each%20require%20a%20measurable%20mechanism%20and%20boundary.%22%5D%2C%0A%20%20%20%20%20%20%20%20reflections%3D%7B%22rationale%22%3A%20rationale.value%2C%20%22reevaluation_trigger%22%3A%20final_trigger.value%7D%2C%20residual_risk%3Dfinal_risk.value%2C%0A%20%20%20%20%20%20%20%20result_snapshot%3D%7B%22track%22%3A%20track_id%2C%20%22captures%22%3A%20_snapshots%2C%20%22recommendation%22%3A%20final_choice.value%2C%20%22rejected_alternative%22%3A%20final_rejected.value%2C%20%22reevaluation_trigger%22%3A%20final_trigger.value%2C%20%22residual_risk%22%3A%20final_risk.value%7D%2C%0A%20%20%20%20%20%20%20%20source_trace%3D%7B%22scenario%22%3A%20%22Illustrative%20fixed%20teaching%20fixtures%2C%20not%20empirical%20deployment%20measurements.%22%2C%20%22calculations%22%3A%20%22All%20quantitative%20outcomes%20are%20produced%20by%20the%20Chapter%2015%20simulator%20experiments.%22%7D%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%20Local%20evidence%20report%22)%2C%20report_export_panel(report)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Aasync%20def%20_(%0A%20%20%20%20audit%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20ledger%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_b_decision%20%3D%20_captures%5B%22B%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22B%22%20in%20_captures%20else%20None%0A%20%20%20%20_b_saved_rejected%20%3D%20_captures%5B%22B%22%5D.to_dict()%5B%22inputs%22%5D%5B%22rejected%22%5D%20if%20%22B%22%20in%20_captures%20else%20None%0A%20%20%20%20_choice_is_distinct%20%3D%20final_choice.value%20%3D%3D%20%22hold%22%20or%20final_choice.value%20!%3D%20final_rejected.value%0A%20%20%20%20_ready%20%3D%20audit.complete%20and%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%20and%20bool(rationale.value.strip())%20and%20_choice_is_distinct%20and%20final_choice.value%20%3D%3D%20_b_decision%20and%20final_rejected.value%20%3D%3D%20_b_saved_rejected%0A%20%20%20%20_status%20%3D%20%22EVIDENCE%20IN%20PROGRESS%22%0A%20%20%20%20_status_class%20%3D%20%22hud-active%22%0A%20%20%20%20if%20_ready%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ledger.save(chapter%3D15%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22schema_version%22%3A%201%2C%20%22lab_id%22%3A%20%22v1_15%22%2C%20%22track_id%22%3A%20track_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model_id%22%3A%20%22v1_15_experiments%22%2C%20%22evidence%22%3A%20%7Bpart%3A%20capture.to_dict()%20for%20part%2C%20capture%20in%20_captures.items()%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22recommendation%22%3A%20final_choice.value%2C%20%22rejected_alternative%22%3A%20final_rejected.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reevaluation_trigger%22%3A%20final_trigger.value%2C%20%22residual_risk%22%3A%20final_risk.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22rationale%22%3A%20rationale.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20await%20ledger.flush()%0A%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_status%20%3D%20%22LOCAL%20SAVE%20FAILED%20%C2%B7%20DOWNLOAD%20THE%20REPORT%20TO%20KEEP%20YOUR%20EVIDENCE%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_status_class%20%3D%20%22hud-failed%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_status%20%3D%20%22SAVED%22%0A%20%20%20%20mo.Html(f'%3Cdiv%20class%3D%22lab-hud%22%3E%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%3Cspan%20class%3D%22hud-value%22%3E15%20%C2%B7%20Responsibility%20Is%20a%20System%20Requirement%3C%2Fspan%3E%3Cspan%20aria-hidden%3D%22true%22%3E%20%C2%B7%20STATUS%3A%20%3C%2Fspan%3E%3Cspan%20class%3D%22%7B_status_class%7D%22%3E%7B_status%7D%3C%2Fspan%3E%3C%2Fdiv%3E')%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A