Lab 16: Evidence for Responsible Release

Lab 16: Evidence for Responsible Release · MLSysBook

import%20marimo%0A%0A__generated_with%20%3D%20%220.25.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22full%22%2C%0A%20%20%20%20app_title%3D%22Lab%2016%3A%20Evidence%20for%20Responsible%20Release%20%C2%B7%20MLSysBook%22%2C%0A)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysim-0.1.2-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysbook_labs-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20labs_dir%20%3D%20Path(__file__).resolve().parents%5B1%5D%0A%20%20%20%20%20%20%20%20if%20str(labs_dir)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(labs_dir))%0A%20%20%20%20%20%20%20%20from%20bootstrap%20import%20native_bootstrap%0A%20%20%20%20%20%20%20%20native_bootstrap(__file__)%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.core.units%20import%20Q_%0A%20%20%20%20from%20mlsysim.engine.v2_16_experiments%20import%20(%0A%20%20%20%20%20%20%20%20PRIVACY_PROFILES%2C%20assess_fairness%2C%0A%20%20%20%20%20%20%20%20audit_evidence%20as%20simulate_audit_evidence%2C%0A%20%20%20%20%20%20%20%20check_privacy_profile%2C%20evaluate_capacity%2C%20mechanical_gate%2C%0A%20%20%20%20%20%20%20%20record_release_decision%2C%20track_profile%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20from%20mlsysbook_labs%20import%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%20build_lab_report%2C%20get_lab_metadata%2C%0A%20%20%20%20%20%20%20%20report_export_panel%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysbook_labs.experiment_evidence%20import%20(%0A%20%20%20%20%20%20%20%20audit_evidence%2C%20capture_evidence%2C%0A%20%20%20%20)%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger(volume%3D%22vol2%22)%0A%20%20%20%20if%20ledger.is_wasm%3A%0A%20%20%20%20%20%20%20%20_loaded%20%3D%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20PRIVACY_PROFILES%2C%0A%20%20%20%20%20%20%20%20Q_%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20assess_fairness%2C%0A%20%20%20%20%20%20%20%20audit_evidence%2C%0A%20%20%20%20%20%20%20%20build_lab_report%2C%0A%20%20%20%20%20%20%20%20capture_evidence%2C%0A%20%20%20%20%20%20%20%20check_privacy_profile%2C%0A%20%20%20%20%20%20%20%20evaluate_capacity%2C%0A%20%20%20%20%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20mechanical_gate%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20record_release_decision%2C%0A%20%20%20%20%20%20%20%20report_export_panel%2C%0A%20%20%20%20%20%20%20%20simulate_audit_evidence%2C%0A%20%20%20%20%20%20%20%20track_profile%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20get_evidence%2C%20set_evidence%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20return%20get_evidence%2C%20set_evidence%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20set_evidence)%3A%0A%20%20%20%20track%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22TinyML%22%3A%20%22tinyml%22%2C%20%22Mobile%22%3A%20%22mobile%22%2C%20%22Edge%22%3A%20%22edge%22%2C%20%22Cloud%22%3A%20%22cloud%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Mobile%22%2C%20label%3D%22Deployment%20track%22%2C%0A%20%20%20%20%20%20%20%20on_change%3Dlambda%20_value%3A%20set_evidence(%7B%7D)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(track%2C)%0A%0A%0A%40app.cell%0Adef%20_(track%2C%20track_profile)%3A%0A%20%20%20%20track_id%20%3D%20track.value%0A%20%20%20%20profile%20%3D%20track_profile(track_id)%0A%20%20%20%20return%20profile%2C%20track_id%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20a_threshold%20%3D%20mo.ui.slider(0.30%2C%200.80%2C%20value%3D0.65%2C%20step%3D0.05%2C%20label%3D%22Decision%20threshold%22)%0A%20%20%20%20a_criterion%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22Demographic%20parity%22%3A%20%22demographic_parity%22%2C%20%22Equal%20opportunity%22%3A%20%22equal_opportunity%22%2C%0A%20%20%20%20%20%20%20%20%20%22Predictive%20parity%22%3A%20%22predictive_parity%22%2C%20%22Equalized%20odds%22%3A%20%22equalized_odds%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Equal%20opportunity%22%2C%20label%3D%22Fairness%20criterion%22%2C%0A%20%20%20%20)%0A%20%20%20%20a_allowed_gap%20%3D%20mo.ui.slider(0.05%2C%200.40%2C%20value%3D0.15%2C%20step%3D0.05%2C%20label%3D%22Allowed%20metric%20gap%22)%0A%20%20%20%20b_explanation_share%20%3D%20mo.ui.slider(0.01%2C%200.50%2C%20value%3D0.10%2C%20step%3D0.01%2C%20label%3D%22Explanation%20share%22)%0A%20%20%20%20b_review_share%20%3D%20mo.ui.slider(0.001%2C%200.10%2C%20value%3D0.02%2C%20step%3D0.001%2C%20label%3D%22Human-review%20share%22)%0A%20%20%20%20c_sampling%20%3D%20mo.ui.slider(0.10%2C%201.00%2C%20value%3D0.50%2C%20step%3D0.10%2C%20label%3D%22Eligible%20cases%20sampled%22)%0A%20%20%20%20c_label_delay%20%3D%20mo.ui.slider(1%2C%2080%2C%20value%3D24%2C%20step%3D1%2C%20label%3D%22Label%20delay%20(hours)%22)%0A%20%20%20%20d_profile%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22Cohort%20aggregate%20counts%22%3A%20%22aggregate_counts%22%2C%20%22Pseudonymous%20scored%20events%22%3A%20%22pseudonymous_events%22%2C%0A%20%20%20%20%20%20%20%20%20%22Full%20case-review%20trace%22%3A%20%22full_review_trace%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Pseudonymous%20scored%20events%22%2C%20label%3D%22Evidence%20data%20profile%22%2C%0A%20%20%20%20)%0A%20%20%20%20d_case_review%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22Subgroup%20audit%20only%22%3A%20False%2C%20%22Case-level%20review%20required%22%3A%20True%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Case-level%20review%20required%22%2C%20label%3D%22Evidence%20obligation%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_allowed_gap%2C%0A%20%20%20%20%20%20%20%20a_criterion%2C%0A%20%20%20%20%20%20%20%20a_threshold%2C%0A%20%20%20%20%20%20%20%20b_explanation_share%2C%0A%20%20%20%20%20%20%20%20b_review_share%2C%0A%20%20%20%20%20%20%20%20c_label_delay%2C%0A%20%20%20%20%20%20%20%20c_sampling%2C%0A%20%20%20%20%20%20%20%20d_case_review%2C%0A%20%20%20%20%20%20%20%20d_profile%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20a_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Chosen%20criterion%20passes%22%3A%20%22pass%22%2C%20%22Chosen%20criterion%20fails%22%3A%20%22fail%22%2C%0A%20%20%20%20%20%20%20%20%20%22Chosen%20criterion%20is%20undefined%22%3A%20%22undefined%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22At%20the%20selected%20threshold%2C%20what%20happens%20to%20the%20chosen%20criterion%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20A%20prediction%22)%0A%20%20%20%20b_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Both%20queues%20stay%20within%20capacity%22%3A%20%22both_pass%22%2C%20%22Explanation%20queue%20overloads%22%3A%20%22explanation%22%2C%0A%20%20%20%20%20%20%20%20%20%22Human-review%20queue%20overloads%22%3A%20%22review%22%2C%20%22Both%20queues%20overload%22%3A%20%22both_fail%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20will%20the%20selected%20coverage%20require%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20B%20prediction%22)%0A%20%20%20%20c_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Enough%20evidence%20for%20the%20criterion%22%3A%20%22estimable%22%2C%20%22Sample%20misses%20a%20subgroup%22%3A%20%22missing_group%22%2C%0A%20%20%20%20%20%20%20%20%20%22Class%20counts%20make%20the%20rate%20undefined%22%3A%20%22undefined%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20will%20the%20monitoring%20plan%20reveal%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20C%20prediction%22)%0A%20%20%20%20d_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Aggregate%20counts%22%3A%20%22aggregate_counts%22%2C%20%22Pseudonymous%20events%22%3A%20%22pseudonymous_events%22%2C%0A%20%20%20%20%20%20%20%20%20%22Full%20review%20trace%22%3A%20%22full_review_trace%22%2C%20%22No%20profile%22%3A%20%22none%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20profile%20satisfies%20the%20evidence%20obligation%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20D%20prediction%22)%0A%20%20%20%20e_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22All%20gates%20pass%22%3A%20%22pass%22%2C%20%22Fairness%20blocks%22%3A%20%22fairness%22%2C%20%22Capacity%20blocks%22%3A%20%22capacity%22%2C%0A%20%20%20%20%20%20%20%20%20%22Audit%20evidence%20blocks%22%3A%20%22audit%22%2C%20%22Privacy%20obligations%20block%22%3A%20%22privacy%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20controls%20the%20current%20release%20evidence%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20E%20prediction%22)%0A%20%20%20%20return%20a_prediction%2C%20b_prediction%2C%20c_prediction%2C%20d_prediction%2C%20e_prediction%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20profile%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20e_choice%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Release%22%3A%20%22release%22%2C%20%22Restrict%20deployment%22%3A%20%22restrict%22%2C%20%22Defer%20pending%20evidence%22%3A%20%22defer%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Recorded%20release%20choice%22%2C%0A%20%20%20%20)%0A%20%20%20%20e_rejected%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Release%22%3A%20%22release%22%2C%20%22Restrict%20deployment%22%3A%20%22restrict%22%2C%20%22Defer%20pending%20evidence%22%3A%20%22defer%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Rejected%20alternative%22%2C%0A%20%20%20%20)%0A%20%20%20%20e_owner%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22No%20named%20owner%22%3A%20%22%22%2C%20%22Fleet%20responsibility%20lead%22%3A%20%22fleet%20responsibility%20lead%22%2C%0A%20%20%20%20%20%20%20%20%20%22Cross-functional%20owner%22%3A%20%22cross-functional%20safety%20and%20product%20owner%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Fleet%20responsibility%20lead%22%2C%20label%3D%22Residual-risk%20owner%22%2C%0A%20%20%20%20)%0A%20%20%20%20_remedies%20%3D%20profile%5B%22remedies%22%5D%0A%20%20%20%20e_remedy%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20_remedies%2C%0A%20%20%20%20%20%20%20%20value%3Dnext(iter(_remedies.keys()))%2C%20label%3D%22Remedy%22%2C%0A%20%20%20%20)%0A%20%20%20%20e_trigger%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22Metric%20exceeds%20gap%22%3A%20%22chosen%20metric%20exceeds%20allowed%20gap%22%2C%0A%20%20%20%20%20%20%20%20%20%22Review%20backlog%20appears%22%3A%20%22review%20backlog%20becomes%20nonzero%22%2C%0A%20%20%20%20%20%20%20%20%20%22Audit%20loses%20class%2Fgroup%22%3A%20%22audit%20loses%20one%20class%20or%20subgroup%22%2C%20%22No%20trigger%22%3A%20%22%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Metric%20exceeds%20gap%22%2C%20label%3D%22Reevaluation%20trigger%22%2C%0A%20%20%20%20)%0A%20%20%20%20residual_risk%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Rare%20cohorts%20remain%20sparse%22%3A%20%22rare%20cohorts%20remain%20sparse%22%2C%0A%20%20%20%20%20%20%20%20%20%22Labels%20arrive%20after%20harm%22%3A%20%22labels%20arrive%20after%20harm%20can%20occur%22%2C%0A%20%20%20%20%20%20%20%20%20%22Review%20demand%20outgrows%20staffing%22%3A%20%22review%20demand%20can%20exceed%20staffing%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Remaining%20limitation%22%2C%0A%20%20%20%20)%0A%20%20%20%20rationale%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20label%3D%22Decision%20rationale%22%2C%0A%20%20%20%20%20%20%20%20placeholder%3D%22Use%20saved%20quantities%20to%20justify%20the%20choice%20and%20reject%20one%20alternative.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20e_choice%2C%0A%20%20%20%20%20%20%20%20e_owner%2C%0A%20%20%20%20%20%20%20%20e_rejected%2C%0A%20%20%20%20%20%20%20%20e_remedy%2C%0A%20%20%20%20%20%20%20%20e_trigger%2C%0A%20%20%20%20%20%20%20%20rationale%2C%0A%20%20%20%20%20%20%20%20residual_risk%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20PRIVACY_PROFILES%2C%0A%20%20%20%20Q_%2C%0A%20%20%20%20a_allowed_gap%2C%0A%20%20%20%20a_criterion%2C%0A%20%20%20%20a_threshold%2C%0A%20%20%20%20assess_fairness%2C%0A%20%20%20%20b_explanation_share%2C%0A%20%20%20%20b_review_share%2C%0A%20%20%20%20c_label_delay%2C%0A%20%20%20%20c_sampling%2C%0A%20%20%20%20check_privacy_profile%2C%0A%20%20%20%20d_case_review%2C%0A%20%20%20%20d_profile%2C%0A%20%20%20%20evaluate_capacity%2C%0A%20%20%20%20mechanical_gate%2C%0A%20%20%20%20profile%2C%0A%20%20%20%20simulate_audit_evidence%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20a_base_inputs%20%3D%20dict(track_id%3Dtrack_id%2C%20threshold%3D0.50%2C%20criterion%3Da_criterion.value%2C%20allowed_gap%3Da_allowed_gap.value)%0A%20%20%20%20a_result_inputs%20%3D%20%7B**a_base_inputs%2C%20%22threshold%22%3A%20a_threshold.value%7D%0A%20%20%20%20a_base%2C%20a_result%20%3D%20assess_fairness(**a_base_inputs)%2C%20assess_fairness(**a_result_inputs)%0A%0A%20%20%20%20_capacity_common%20%3D%20dict(%0A%20%20%20%20%20%20%20%20track_id%3Dtrack_id%2C%20horizon%3DQ_(8%2C%20%22hour%22)%2C%0A%20%20%20%20%20%20%20%20explanation_workers%3Dprofile%5B%22explanation_workers%22%5D%2C%20reviewers%3Dprofile%5B%22reviewers%22%5D%2C%0A%20%20%20%20%20%20%20%20explanation_service_time%3Dprofile%5B%22explanation_service_time%22%5D%2C%0A%20%20%20%20%20%20%20%20review_service_time%3Dprofile%5B%22review_service_time%22%5D%2C%20target_utilization%3D0.85%2C%0A%20%20%20%20)%0A%20%20%20%20b_base_inputs%20%3D%20%7B**_capacity_common%2C%20%22explanation_share%22%3A%200.01%2C%20%22review_share%22%3A%200.001%7D%0A%20%20%20%20b_result_inputs%20%3D%20%7B**_capacity_common%2C%20%22explanation_share%22%3A%20b_explanation_share.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22review_share%22%3A%20b_review_share.value%7D%0A%20%20%20%20b_base%2C%20b_result%20%3D%20evaluate_capacity(**b_base_inputs)%2C%20evaluate_capacity(**b_result_inputs)%0A%0A%20%20%20%20_audit_common%20%3D%20dict(track_id%3Dtrack_id%2C%20threshold%3Da_threshold.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20criterion%3Da_criterion.value%2C%20allowed_gap%3Da_allowed_gap.value)%0A%20%20%20%20c_base_inputs%20%3D%20%7B**_audit_common%2C%20%22sampling_fraction%22%3A%201.0%2C%20%22label_delay%22%3A%20Q_(1%2C%20%22hour%22)%7D%0A%20%20%20%20c_result_inputs%20%3D%20%7B**_audit_common%2C%20%22sampling_fraction%22%3A%20c_sampling.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22label_delay%22%3A%20Q_(c_label_delay.value%2C%20%22hour%22)%7D%0A%20%20%20%20c_base%20%3D%20simulate_audit_evidence(**c_base_inputs)%0A%20%20%20%20c_result%20%3D%20simulate_audit_evidence(**c_result_inputs)%0A%0A%20%20%20%20_privacy_common%20%3D%20dict(track_id%3Dtrack_id%2C%20require_case_review%3Dd_case_review.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max_retention%3DQ_(30%2C%20%22day%22)%2C%20max_deletion_window%3DQ_(7%2C%20%22day%22))%0A%20%20%20%20d_base_inputs%20%3D%20%7B%22profile_key%22%3A%20%22aggregate_counts%22%2C%20**_privacy_common%7D%0A%20%20%20%20d_result_inputs%20%3D%20%7B%22profile_key%22%3A%20d_profile.value%2C%20**_privacy_common%7D%0A%20%20%20%20d_base%2C%20d_result%20%3D%20check_privacy_profile(**d_base_inputs)%2C%20check_privacy_profile(**d_result_inputs)%0A%20%20%20%20d_alternatives%20%3D%20%7Bkey%3A%20check_privacy_profile(profile_key%3Dkey%2C%20**_privacy_common)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20key%20in%20PRIVACY_PROFILES%7D%0A%20%20%20%20e_gate%20%3D%20mechanical_gate(a_result%2C%20b_result%2C%20c_result%2C%20d_result)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_base%2C%0A%20%20%20%20%20%20%20%20a_base_inputs%2C%0A%20%20%20%20%20%20%20%20a_result%2C%0A%20%20%20%20%20%20%20%20a_result_inputs%2C%0A%20%20%20%20%20%20%20%20b_base%2C%0A%20%20%20%20%20%20%20%20b_base_inputs%2C%0A%20%20%20%20%20%20%20%20b_result%2C%0A%20%20%20%20%20%20%20%20b_result_inputs%2C%0A%20%20%20%20%20%20%20%20c_base%2C%0A%20%20%20%20%20%20%20%20c_base_inputs%2C%0A%20%20%20%20%20%20%20%20c_result%2C%0A%20%20%20%20%20%20%20%20c_result_inputs%2C%0A%20%20%20%20%20%20%20%20d_alternatives%2C%0A%20%20%20%20%20%20%20%20d_base%2C%0A%20%20%20%20%20%20%20%20d_base_inputs%2C%0A%20%20%20%20%20%20%20%20d_result%2C%0A%20%20%20%20%20%20%20%20d_result_inputs%2C%0A%20%20%20%20%20%20%20%20e_gate%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20def%20quantity_json(value%2C%20unit)%3A%0A%20%20%20%20%20%20%20%20converted%20%3D%20value.to(unit)%0A%20%20%20%20%20%20%20%20return%20%7B%22magnitude%22%3A%20float(converted.magnitude)%2C%20%22unit%22%3A%20unit%7D%0A%0A%20%20%20%20def%20plain_inputs(inputs)%3A%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20key%3A%20(%7B%22magnitude%22%3A%20float(value.magnitude)%2C%20%22unit%22%3A%20str(value.units)%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20hasattr(value%2C%20%22to%22)%20else%20value)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20key%2C%20value%20in%20inputs.items()%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20def%20fairness_json(result%2C%20inputs)%3A%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22inputs%22%3A%20plain_inputs(inputs)%2C%20%22criterion_gap%22%3A%20result.criterion_gap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22criterion_passes%22%3A%20result.criterion_passes%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ground_truth_positive_cases%22%3A%20result.ground_truth_positive_cases%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22predicted_positive_cases%22%3A%20result.predicted_positive_cases%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22false_negative_cases%22%3A%20result.false_negative_cases%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22subgroups%22%3A%20%5B%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22subgroup%22%3A%20item.subgroup%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22counts%22%3A%20%7B%22tp%22%3A%20item.counts.true_positive%2C%20%22fp%22%3A%20item.counts.false_positive%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22tn%22%3A%20item.counts.true_negative%2C%20%22fn%22%3A%20item.counts.false_negative%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22selection_rate%22%3A%20item.selection_rate%2C%20%22true_positive_rate%22%3A%20item.true_positive_rate%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22false_positive_rate%22%3A%20item.false_positive_rate%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22positive_predictive_value%22%3A%20item.positive_predictive_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%20for%20item%20in%20result.subgroup_metrics%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20def%20capacity_json(result%2C%20inputs)%3A%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22inputs%22%3A%20plain_inputs(inputs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22explanation_arrivals%22%3A%20quantity_json(result.explanation_arrivals%2C%20%22count%2Fhour%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22explanation_capacity%22%3A%20quantity_json(result.explanation_capacity%2C%20%22count%2Fhour%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22explanation_backlog%22%3A%20quantity_json(result.explanation_backlog%2C%20%22count%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22review_arrivals%22%3A%20quantity_json(result.review_arrivals%2C%20%22count%2Fhour%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22review_capacity%22%3A%20quantity_json(result.review_capacity%2C%20%22count%2Fhour%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22review_backlog%22%3A%20quantity_json(result.review_backlog%2C%20%22count%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22explanation_utilization%22%3A%20result.explanation_utilization%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22review_utilization%22%3A%20result.review_utilization%2C%20%22feasible%22%3A%20result.feasible%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20def%20audit_json(result%2C%20inputs)%3A%0A%20%20%20%20%20%20%20%20_observed%20%3D%20result.observed_assessment%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22inputs%22%3A%20plain_inputs(inputs)%2C%20%22eligible_cases%22%3A%20result.eligible_cases%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22sampled_cases%22%3A%20result.sampled_cases%2C%20%22sampled_subgroups%22%3A%20list(result.sampled_subgroups)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22observed_gap%22%3A%20None%20if%20_observed%20is%20None%20else%20_observed.criterion_gap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22population_gap%22%3A%20result.population_assessment.criterion_gap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22evidence_complete%22%3A%20result.evidence_complete%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22limitations%22%3A%20list(result.limitations)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22label_delay%22%3A%20quantity_json(result.label_delay%2C%20%22hour%22)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20def%20privacy_json(result%2C%20inputs)%3A%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22inputs%22%3A%20plain_inputs(inputs)%2C%20%22profile%22%3A%20result.profile.key%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22scope%22%3A%20result.scope%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22retained_fields%22%3A%20list(result.profile.retained_fields)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22raw_content_retained%22%3A%20result.profile.raw_content_retained%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22stable_subject_id_retained%22%3A%20result.profile.stable_subject_id_retained%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22retention%22%3A%20quantity_json(result.profile.retention%2C%20%22day%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22deletion_window%22%3A%20quantity_json(result.profile.deletion_window%2C%20%22day%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22supports_subgroup_audit%22%3A%20result.supports_subgroup_audit%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22supports_case_review%22%3A%20result.supports_case_review%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22passes_requirements%22%3A%20result.passes_requirements%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22violations%22%3A%20list(result.violations)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20return%20audit_json%2C%20capacity_json%2C%20fairness_json%2C%20plain_inputs%2C%20privacy_json%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20a_base%2C%0A%20%20%20%20a_base_inputs%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_result%2C%0A%20%20%20%20a_result_inputs%2C%0A%20%20%20%20audit_json%2C%0A%20%20%20%20b_base%2C%0A%20%20%20%20b_base_inputs%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_result%2C%0A%20%20%20%20b_result_inputs%2C%0A%20%20%20%20c_base%2C%0A%20%20%20%20c_base_inputs%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_result%2C%0A%20%20%20%20c_result_inputs%2C%0A%20%20%20%20capacity_json%2C%0A%20%20%20%20capture_evidence%2C%0A%20%20%20%20d_alternatives%2C%0A%20%20%20%20d_base%2C%0A%20%20%20%20d_base_inputs%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_result%2C%0A%20%20%20%20d_result_inputs%2C%0A%20%20%20%20e_choice%2C%0A%20%20%20%20e_gate%2C%0A%20%20%20%20e_owner%2C%0A%20%20%20%20e_prediction%2C%0A%20%20%20%20e_rejected%2C%0A%20%20%20%20e_remedy%2C%0A%20%20%20%20e_trigger%2C%0A%20%20%20%20fairness_json%2C%0A%20%20%20%20mechanical_gate%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20plain_inputs%2C%0A%20%20%20%20privacy_json%2C%0A%20%20%20%20record_release_decision%2C%0A%20%20%20%20set_evidence%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20def%20store(part%2C%20capture)%3A%0A%20%20%20%20%20%20%20%20set_evidence(lambda%20current%3A%20%7B**current%2C%20part%3A%20capture%7D)%0A%0A%20%20%20%20a_upstream%20%3D%20%7B%22baseline%22%3A%20plain_inputs(a_base_inputs)%2C%20%22result%22%3A%20plain_inputs(a_result_inputs)%7D%0A%20%20%20%20b_upstream%20%3D%20%7B%22baseline%22%3A%20plain_inputs(b_base_inputs)%2C%20%22result%22%3A%20plain_inputs(b_result_inputs)%7D%0A%20%20%20%20c_upstream%20%3D%20%7B%22baseline%22%3A%20plain_inputs(c_base_inputs)%2C%20%22result%22%3A%20plain_inputs(c_result_inputs)%7D%0A%20%20%20%20d_upstream%20%3D%20%7B%22baseline%22%3A%20plain_inputs(d_base_inputs)%2C%20%22result%22%3A%20plain_inputs(d_result_inputs)%7D%0A%20%20%20%20e_upstream%20%3D%20%7B%22A%22%3A%20a_upstream%2C%20%22B%22%3A%20b_upstream%2C%20%22C%22%3A%20c_upstream%2C%20%22D%22%3A%20d_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22choice%22%3A%20e_choice.value%2C%20%22rejected%22%3A%20e_rejected.value%2C%20%22owner%22%3A%20e_owner.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22remedy%22%3A%20e_remedy.value%2C%20%22trigger%22%3A%20e_trigger.value%7D%0A%0A%20%20%20%20def%20_capture(part%2C%20prediction%2C%20inputs%2C%20baseline%2C%20result%2C%20upstream%2C%20model_key%2C%20alternatives%3D()%2C%20decision%3DNone)%3A%0A%20%20%20%20%20%20%20%20return%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3Dpart%2C%20prediction%3Dprediction%2C%20inputs%3Dplain_inputs(inputs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Dbaseline%2C%20result%3Dresult%2C%20alternatives%3Dalternatives%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20decision%3Ddecision%2C%20upstream_inputs%3Dupstream%2C%20model_key%3Dmodel_key%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20a_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20threshold%20contrast%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Da_prediction.value%20is%20None%20or%20a_base_inputs%5B%22threshold%22%5D%20%3D%3D%20a_result_inputs%5B%22threshold%22%5D%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22A%22%2C%20_capture(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%22%2C%20a_prediction.value%2C%20a_result_inputs%2C%20fairness_json(a_base%2C%20a_base_inputs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fairness_json(a_result%2C%20a_result_inputs)%2C%20a_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22v2_16_experiments.assess_fairness%22))%2C%0A%20%20%20%20)%0A%20%20%20%20b_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20capacity%20contrast%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3D(b_prediction.value%20is%20None%20or%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(b_base_inputs%5B%22explanation_share%22%5D%20%3D%3D%20b_result_inputs%5B%22explanation_share%22%5D%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20b_base_inputs%5B%22review_share%22%5D%20%3D%3D%20b_result_inputs%5B%22review_share%22%5D))%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22B%22%2C%20_capture(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B%22%2C%20b_prediction.value%2C%20b_result_inputs%2C%20capacity_json(b_base%2C%20b_base_inputs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20capacity_json(b_result%2C%20b_result_inputs)%2C%20b_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22v2_16_experiments.evaluate_capacity%22))%2C%0A%20%20%20%20)%0A%20%20%20%20c_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20audit%20contrast%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3D(c_prediction.value%20is%20None%20or%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(c_base_inputs%5B%22sampling_fraction%22%5D%20%3D%3D%20c_result_inputs%5B%22sampling_fraction%22%5D%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c_base_inputs%5B%22label_delay%22%5D%20%3D%3D%20c_result_inputs%5B%22label_delay%22%5D))%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22C%22%2C%20_capture(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C%22%2C%20c_prediction.value%2C%20c_result_inputs%2C%20audit_json(c_base%2C%20c_base_inputs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20audit_json(c_result%2C%20c_result_inputs)%2C%20c_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22v2_16_experiments.audit_evidence%22))%2C%0A%20%20%20%20)%0A%20%20%20%20d_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20privacy-profile%20contrast%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dd_prediction.value%20is%20None%20or%20d_base_inputs%5B%22profile_key%22%5D%20%3D%3D%20d_result_inputs%5B%22profile_key%22%5D%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22D%22%2C%20_capture(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D%22%2C%20d_prediction.value%2C%20d_result_inputs%2C%20privacy_json(d_base%2C%20d_base_inputs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20privacy_json(d_result%2C%20d_result_inputs)%2C%20d_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22v2_16_experiments.check_privacy_profile%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tuple(privacy_json(value%2C%20%7B**d_result_inputs%2C%20%22profile_key%22%3A%20key%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20key%2C%20value%20in%20d_alternatives.items())))%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_base_gate%20%3D%20mechanical_gate(a_base%2C%20b_base%2C%20c_base%2C%20d_base)%0A%20%20%20%20_base_decision%20%3D%20record_release_decision(%0A%20%20%20%20%20%20%20%20_base_gate%2C%20choice%3D%22defer%22%2C%20rejected_alternative%3D%22release%22%2C%20owner%3D%22%22%2C%20remedy%3D%22%22%2C%0A%20%20%20%20%20%20%20%20reevaluation_trigger%3D%22%22%2C%0A%20%20%20%20)%0A%20%20%20%20_choice%20%3D%20e_choice.value%20or%20%22defer%22%0A%20%20%20%20_rejected%20%3D%20e_rejected.value%20or%20(%22release%22%20if%20_choice%20!%3D%20%22release%22%20else%20%22defer%22)%0A%20%20%20%20e_decision%20%3D%20record_release_decision(%0A%20%20%20%20%20%20%20%20e_gate%2C%20choice%3D_choice%2C%20rejected_alternative%3D_rejected%2C%20owner%3De_owner.value%2C%0A%20%20%20%20%20%20%20%20remedy%3De_remedy.value%2C%20reevaluation_trigger%3De_trigger.value%2C%0A%20%20%20%20)%0A%20%20%20%20_base_gate_inputs%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22assessment%22%3A%20fairness_json(a_base%2C%20a_base_inputs)%2C%0A%20%20%20%20%20%20%20%20%22capacity%22%3A%20capacity_json(b_base%2C%20b_base_inputs)%2C%0A%20%20%20%20%20%20%20%20%22audit%22%3A%20audit_json(c_base%2C%20c_base_inputs)%2C%0A%20%20%20%20%20%20%20%20%22privacy%22%3A%20privacy_json(d_base%2C%20d_base_inputs)%2C%0A%20%20%20%20%7D%0A%20%20%20%20_result_gate_inputs%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22assessment%22%3A%20fairness_json(a_result%2C%20a_result_inputs)%2C%0A%20%20%20%20%20%20%20%20%22capacity%22%3A%20capacity_json(b_result%2C%20b_result_inputs)%2C%0A%20%20%20%20%20%20%20%20%22audit%22%3A%20audit_json(c_result%2C%20c_result_inputs)%2C%0A%20%20%20%20%20%20%20%20%22privacy%22%3A%20privacy_json(d_result%2C%20d_result_inputs)%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20def%20_decision_json(decision%2C%20gate_inputs)%3A%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22inputs%22%3A%20%7B%22gate%22%3A%20gate_inputs%2C%20%22choice%22%3A%20decision.choice%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22rejected_alternative%22%3A%20decision.rejected_alternative%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22owner%22%3A%20decision.owner%2C%20%22remedy%22%3A%20decision.remedy%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reevaluation_trigger%22%3A%20decision.reevaluation_trigger%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22choice%22%3A%20decision.choice%2C%20%22rejected_alternative%22%3A%20decision.rejected_alternative%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22owner%22%3A%20decision.owner%2C%20%22remedy%22%3A%20decision.remedy%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22reevaluation_trigger%22%3A%20decision.reevaluation_trigger%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22mechanical_gate_passes%22%3A%20decision.evidence_gate.passes%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22mechanical_violations%22%3A%20list(decision.evidence_gate.violations)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22decision_record_complete%22%3A%20decision.decision_record_complete%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22missing_fields%22%3A%20list(decision.missing_fields)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20e_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20release%20record%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3D(e_prediction.value%20is%20None%20or%20e_choice.value%20is%20None%20or%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20e_rejected.value%20is%20None%20or%20not%20e_decision.decision_record_complete)%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22E%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22E%22%2C%20prediction%3De_prediction.value%2C%20inputs%3De_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3D_decision_json(_base_decision%2C%20_base_gate_inputs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result%3D_decision_json(e_decision%2C%20_result_gate_inputs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alternatives%3D(_decision_json(_base_decision%2C%20_base_gate_inputs)%2C)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20decision%3De_decision.choice%2C%20upstream_inputs%3De_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v2_16_experiments.record_release_decision%22))%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_capture%2C%0A%20%20%20%20%20%20%20%20a_upstream%2C%0A%20%20%20%20%20%20%20%20b_capture%2C%0A%20%20%20%20%20%20%20%20b_upstream%2C%0A%20%20%20%20%20%20%20%20c_capture%2C%0A%20%20%20%20%20%20%20%20c_upstream%2C%0A%20%20%20%20%20%20%20%20d_capture%2C%0A%20%20%20%20%20%20%20%20d_upstream%2C%0A%20%20%20%20%20%20%20%20e_capture%2C%0A%20%20%20%20%20%20%20%20e_decision%2C%0A%20%20%20%20%20%20%20%20e_upstream%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(ACADEMIC_LAB_CSS%2C%20LAB_CSS%2C%20mo%2C%20profile%2C%20track)%3A%0A%20%20%20%20css%20%3D%20mo.Html(%22%22%22%0A%20%20%20%20%3Cstyle%3E%0A%20%20%20%20.rai-head%7Bbackground%3Alinear-gradient(135deg%2C%2322131b%2C%237f1d35)%3Bcolor%3Awhite%3Bborder-radius%3A14px%3Bpadding%3Aclamp(18px%2C4vw%2C32px)%3Bmargin%3A30px%200%2012px%7D%0A%20%20%20%20.rai-top%7Bdisplay%3Aflex%3Bjustify-content%3Aspace-between%3Bgap%3A8px%3Bflex-wrap%3Awrap%3Bfont%3A700%20.72rem%20ui-monospace%3Bletter-spacing%3A.08em%7D.rai-head%20h1%7Bfont-size%3Aclamp(1.6rem%2C5vw%2C2.6rem)%3Bline-height%3A1.08%3Bmargin%3A16px%200%208px%7D.rai-head%20p%7Bcolor%3A%23ffe4e6%3Bmax-width%3A790px%7D%0A%20%20%20%20.rai-meta%7Bdisplay%3Agrid%3Bgrid-template-columns%3Arepeat(auto-fit%2Cminmax(165px%2C1fr))%3Bgap%3A9px%3Bmargin-top%3A17px%7D.rai-meta%20div%7Bbackground%3A%23ffffff14%3Bborder%3A1px%20solid%20%23ffffff26%3Bpadding%3A9px%2011px%3Bborder-radius%3A8px%7D.rai-note%7Bcolor%3A%23475569%3Bfont-size%3A.9rem%3Bline-height%3A1.5%7D.rai-saved%7Bborder-left%3A4px%20solid%20%232ca02c%3Bbackground%3A%23f0fdf4%3Bpadding%3A9px%2012px%3Bborder-radius%3A7px%7D%0A%20%20%20%20.lab-hud%7Bdisplay%3Aflex%3Balign-items%3Acenter%3Bflex-wrap%3Awrap%3Bgap%3A10px%3Bbackground%3A%23101827!important%3Bcolor%3A%23fff%3Bpadding%3A14px%2018px%3Bborder-radius%3A9px%7D.lab-hud%20.hud-label%7Bcolor%3A%23a7b9cf%7D.lab-hud%20.hud-active%7Bcolor%3A%2386efac%7D%40media(max-width%3A520px)%7B.rai-head%7Bborder-radius%3A9px%7D.rai-meta%7Bgrid-template-columns%3A1fr%7D%7D%0A%20%20%20%20%3C%2Fstyle%3E%22%22%22)%0A%20%20%20%20header%20%3D%20mo.Html(f%22%22%22%3Csection%20class%3D%22rai-head%22%3E%3Cdiv%20class%3D%22rai-top%22%3E%3Cspan%3EVOLUME%20II%20%C2%B7%20LAB%2016%3C%2Fspan%3E%3Cspan%3EABOUT%2050%E2%80%9355%20MIN%3C%2Fspan%3E%3C%2Fdiv%3E%3Ch1%3EEvidence%20for%20Responsible%20Release%3C%2Fh1%3E%3Cp%3EWhen%20do%20subgroup%20outcomes%2C%20audit%20evidence%2C%20and%20review%20capacity%20justify%20a%20fleet%20release%20decision%3F%3C%2Fp%3E%3Cdiv%20class%3D%22rai-meta%22%3E%3Cdiv%3E%3Cb%3ETrack%3C%2Fb%3E%3Cbr%3E%7Bprofile%5B'display'%5D%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3ERole%3C%2Fb%3E%3Cbr%3E%7Bprofile%5B'fleet_role'%5D%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EWorkload%3C%2Fb%3E%3Cbr%3E%7Bprofile%5B'events_per_hour'%5D.m_as('count%2Fhour')%3A%2C.0f%7D%20ev%2Fh%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3ECapacity%3C%2Fb%3E%3Cbr%3E%7Bprofile%5B'explanation_workers'%5D%7D%20exp%20%2F%20%7Bprofile%5B'reviewers'%5D%7D%20rev%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3ECohorts%3C%2Fb%3E%3Cbr%3E%7Bprofile%5B'subgroups'%5D%5B0%5D%7D%20%2F%20%7Bprofile%5B'subgroups'%5D%5B1%5D%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EOutput%3C%2Fb%3E%3Cbr%3EAuditable%20release%20record%3C%2Fdiv%3E%3C%2Fdiv%3E%3C%2Fsection%3E%22%22%22)%0A%20%20%20%20mo.vstack(%5BLAB_CSS%2C%20ACADEMIC_LAB_CSS%2C%20css%2C%20track%2C%20header%2C%20mo.Html(%0A%20%20%20%20%20%20%20%20'%3Cp%20class%3D%22rai-note%22%3EScores%2C%20labels%2C%20workloads%2C%20and%20data%20profiles%20are%20illustrative%20scenario%20assumptions.%20Passing%20a%20data-handling%20profile%20is%20not%20a%20privacy%20guarantee.%3C%2Fp%3E')%5D%2C%20gap%3D0.5).style(%7B%22padding-top%22%3A%20%2232px%22%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.sidebar(%5Bmo.md(%22%23%23%20Lab%20navigation%22)%2C%20mo.outline(label%3D%22Sections%22)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20a_allowed_gap%2C%0A%20%20%20%20a_base%2C%0A%20%20%20%20a_capture%2C%0A%20%20%20%20a_criterion%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_result%2C%0A%20%20%20%20a_threshold%2C%0A%20%20%20%20a_upstream%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20audit_evidence%2C%0A%20%20%20%20b_base%2C%0A%20%20%20%20b_capture%2C%0A%20%20%20%20b_explanation_share%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_result%2C%0A%20%20%20%20b_review_share%2C%0A%20%20%20%20b_upstream%2C%0A%20%20%20%20c_base%2C%0A%20%20%20%20c_capture%2C%0A%20%20%20%20c_label_delay%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_result%2C%0A%20%20%20%20c_sampling%2C%0A%20%20%20%20c_upstream%2C%0A%20%20%20%20d_alternatives%2C%0A%20%20%20%20d_capture%2C%0A%20%20%20%20d_case_review%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_profile%2C%0A%20%20%20%20d_result%2C%0A%20%20%20%20d_upstream%2C%0A%20%20%20%20e_capture%2C%0A%20%20%20%20e_choice%2C%0A%20%20%20%20e_decision%2C%0A%20%20%20%20e_gate%2C%0A%20%20%20%20e_owner%2C%0A%20%20%20%20e_prediction%2C%0A%20%20%20%20e_rejected%2C%0A%20%20%20%20e_remedy%2C%0A%20%20%20%20e_trigger%2C%0A%20%20%20%20e_upstream%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20go%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20profile%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20residual_risk%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_upstream%20%3D%20%7B%22A%22%3A%20a_upstream%2C%20%22B%22%3A%20b_upstream%2C%20%22C%22%3A%20c_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22D%22%3A%20d_upstream%2C%20%22E%22%3A%20e_upstream%7D%0A%20%20%20%20evidence_audit%20%3D%20audit_evidence(%0A%20%20%20%20%20%20%20%20_captures%2C%20track%3Dtrack_id%2C%20required_parts%3Dtuple(%22ABCDE%22)%2C%0A%20%20%20%20%20%20%20%20per_part_upstream_inputs%3D_upstream%2C%20contrast_required_parts%3Dtuple(%22ABCDE%22)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20def%20_table(rows)%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bmo.ui.table(rows%2C%20pagination%3DFalse)%5D).style(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22max-width%22%3A%20%22100%25%22%2C%20%22overflow-x%22%3A%20%22auto%22%7D)%0A%0A%20%20%20%20def%20_saved(part)%3A%0A%20%20%20%20%20%20%20%20capture%20%3D%20_captures.get(part)%0A%20%20%20%20%20%20%20%20if%20capture%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22No%20saved%20evidence%20for%20this%20part.%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20%20%20%20%20if%20part%20in%20evidence_audit.stale%20or%20(part%2C%20part)%20in%20evidence_audit.identical_pairs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22**STALE%20OR%20NON-CONTRASTING%20EVIDENCE.**%20Recapture%20this%20experiment.%22)%2C%20kind%3D%22danger%22)%0A%20%20%20%20%20%20%20%20data%20%3D%20capture.to_dict()%0A%20%20%20%20%20%20%20%20return%20mo.Html(f'%3Cdiv%20class%3D%22rai-saved%22%3E%3Cb%3ESaved%20snapshot%3C%2Fb%3E%20%C2%B7%20prediction%3A%20%7Bdata%5B%22prediction%22%5D%7D%3Cbr%3E%3Csmall%3EThe%20report%20uses%20this%20fixed%20result.%3C%2Fsmall%3E%3C%2Fdiv%3E')%0A%0A%20%20%20%20def%20_gap(value)%3A%0A%20%20%20%20%20%20%20%20return%20%22undefined%22%20if%20value%20is%20None%20else%20f%22%7B100%20*%20value%3A.1f%7D%20pp%22%0A%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20_intro%20%3D%20mo.md(%22%23%23%23%20A%20%C2%B7%20Which%20fairness%20claim%20does%20the%20evidence%20support%3F%20(10%20min)%5CnChoose%20a%20normative%20criterion%2C%20then%20replay%20fixed%20scores%20and%20labels%20at%20a%20new%20threshold.%22)%0A%20%20%20%20%20%20%20%20if%20a_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5B_intro%2C%20a_prediction%5D)%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20for%20item%20in%20a_result.subgroup_metrics%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_bar(name%3Ditem.subgroup%2C%20x%3D%5B%22Selection%22%2C%20%22TPR%22%2C%20%22FPR%22%2C%20%22PPV%22%5D%2C%20y%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20100%20*%20item.selection_rate%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20None%20if%20item.true_positive_rate%20is%20None%20else%20100%20*%20item.true_positive_rate%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20None%20if%20item.false_positive_rate%20is%20None%20else%20100%20*%20item.false_positive_rate%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20None%20if%20item.positive_predictive_value%20is%20None%20else%20100%20*%20item.positive_predictive_value%5D)%0A%20%20%20%20%20%20%20%20_fig.update_layout(barmode%3D%22group%22%2C%20height%3D290%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D%22Rate%20(%25)%22%2C%20legend_orientation%3D%22h%22)%0A%20%20%20%20%20%20%20%20_rows%20%3D%20%5B%7B%22Run%22%3A%20label%2C%20%22Threshold%22%3A%20f%22%7Bresult.threshold%3A.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Chosen%20gap%22%3A%20_gap(result.criterion_gap)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Status%22%3A%20%22PASS%22%20if%20result.criterion_passes%20else%20%22FAIL%20%2F%20INSUFFICIENT%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22True%20labels%22%3A%20result.ground_truth_positive_cases%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22False%20negatives%22%3A%20result.false_negative_cases%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20label%2C%20result%20in%20((%22Baseline%22%2C%20a_base)%2C%20(%22Selected%22%2C%20a_result))%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B_intro%2C%20a_prediction%2C%20mo.hstack(%5Ba_threshold%2C%20a_criterion%2C%20a_allowed_gap%5D%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%2C%20_table(_rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Prediction%3A**%20%7Ba_prediction.value%7D.%20The%20chosen%20gap%20is%20**%7B_gap(a_result.criterion_gap)%7D**.%20The%20allowed%20gap%20classifies%20evidence%3B%20it%20does%20not%20change%20the%20**%7Ba_result.ground_truth_positive_cases%7D**%20true%20labels.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%20if%20a_result.criterion_passes%20else%20%22danger%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20a_capture%2C%20_saved(%22A%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22MLSysIM%20thresholds%20each%20score%2C%20builds%20subgroup%20confusion%20matrices%2C%20and%20derives%20rates%20from%20their%20denominators.%20Empty%20denominators%20remain%20undefined.%20Criterion%20and%20tolerance%20only%20evaluate%20those%20counts.%22)%7D)%5D)%0A%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20_intro%20%3D%20mo.md(f%22%23%23%23%20B%20%C2%B7%20Can%20the%20fleet%20serve%20explanations%20and%20review%3F%20(10%20min)%5Cn**Fleet%20role%3A**%20%7Bprofile%5B'fleet_role'%5D%7D.%20The%20service%20tier%20receives%20**%7Bprofile%5B'events_per_hour'%5D.m_as('count%2Fhour')%3A%2C.0f%7D%20events%2Fhour**.%20Predict%20which%20queue%20binds.%22)%0A%20%20%20%20%20%20%20%20if%20b_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5B_intro%2C%20b_prediction%5D)%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(name%3D%22Arrivals%22%2C%20x%3D%5B%22Explanation%22%2C%20%22Human%20review%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Bb_result.explanation_arrivals.m_as(%22count%2Fhour%22)%2C%20b_result.review_arrivals.m_as(%22count%2Fhour%22)%5D%2C%20marker_color%3DCOLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(name%3D%22Capacity%22%2C%20x%3D%5B%22Explanation%22%2C%20%22Human%20review%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Bb_result.explanation_capacity.m_as(%22count%2Fhour%22)%2C%20b_result.review_capacity.m_as(%22count%2Fhour%22)%5D%2C%20marker_color%3DCOLORS%5B%22BlueLine%22%5D)%5D)%0A%20%20%20%20%20%20%20%20_fig.update_layout(barmode%3D%22group%22%2C%20height%3D280%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D20)%2C%20yaxis_title%3D%22Cases%2Fhour%22)%0A%20%20%20%20%20%20%20%20_rows%20%3D%20%5B%7B%22Run%22%3A%20label%2C%20%22Explanation%20utilization%22%3A%20f%22%7B100*r.explanation_utilization%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Review%20utilization%22%3A%20f%22%7B100*r.review_utilization%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Explanation%20backlog%22%3A%20f%22%7Br.explanation_backlog.m_as('count')%3A%2C.0f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Review%20backlog%22%3A%20f%22%7Br.review_backlog.m_as('count')%3A%2C.0f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Status%22%3A%20%22PASS%22%20if%20r.feasible%20else%20%22FAIL%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20label%2C%20r%20in%20((%22Baseline%22%2C%20b_base)%2C%20(%22Selected%22%2C%20b_result))%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B_intro%2C%20b_prediction%2C%20mo.hstack(%5Bb_explanation_share%2C%20b_review_share%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%2C%20_table(_rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Prediction%3A**%20%7Bb_prediction.value%7D.%20Review%20demand%20is%20**%7Bb_result.review_arrivals.m_as('count%2Fhour')%3A%2C.0f%7D%2Fhour**%20against%20**%7Bb_result.review_capacity.m_as('count%2Fhour')%3A%2C.0f%7D%2Fhour**%20capacity.%20Coverage%20consumes%20capacity%3B%20it%20does%20not%20repair%20Part%20A%20outcomes.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%20if%20b_result.feasible%20else%20%22danger%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20b_capture%2C%20_saved(%22B%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Arrivals%20equal%20fleet%20rate%20%C3%97%20selected%20share%20into%20offloaded%20queues.%20Capacity%20equals%20workers%20%C3%97%20target%20utilization%20%C3%B7%20service%20time.%20Eight-hour%20backlog%20grows%20only%20above%20capacity.%22)%7D)%5D)%0A%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20_intro%20%3D%20mo.md(%22%23%23%23%20C%20%C2%B7%20What%20can%20delayed%20labels%20and%20sampling%20establish%3F%20(9%20min)%5CnKeep%20true%20cases%20fixed.%20Change%20only%20which%20labeled%20cases%20the%20audit%20observes.%22)%0A%20%20%20%20%20%20%20%20if%20c_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5B_intro%2C%20c_prediction%5D)%0A%20%20%20%20%20%20%20%20_observed%20%3D%20c_result.observed_assessment%0A%20%20%20%20%20%20%20%20_observed_gap%20%3D%20%22undefined%22%20if%20_observed%20is%20None%20else%20_gap(_observed.criterion_gap)%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure(%5Bgo.Bar(x%3D%5B%22Fixture%22%2C%20%22Eligible%22%2C%20%22Sampled%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B24%2C%20c_result.eligible_cases%2C%20c_result.sampled_cases%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D%5BCOLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22OrangeLine%22%5D%2C%20COLORS%5B%22GreenLine%22%5D%5D)%5D)%0A%20%20%20%20%20%20%20%20_fig.update_layout(height%3D260%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D20)%2C%20yaxis_title%3D%22Cases%22%2C%20showlegend%3DFalse)%0A%20%20%20%20%20%20%20%20_rows%20%3D%20%5B%7B%22Run%22%3A%20label%2C%20%22Eligible%22%3A%20r.eligible_cases%2C%20%22Sampled%22%3A%20r.sampled_cases%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Observed%20gap%22%3A%20%22undefined%22%20if%20r.observed_assessment%20is%20None%20else%20_gap(r.observed_assessment.criterion_gap)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Population%20gap%22%3A%20_gap(r.population_assessment.criterion_gap)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Limitations%22%3A%20%22%3B%20%22.join(r.limitations)%20or%20%22none%20in%20fixture%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20label%2C%20r%20in%20((%22Full%20prompt%22%2C%20c_base)%2C%20(%22Selected%22%2C%20c_result))%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B_intro%2C%20c_prediction%2C%20mo.hstack(%5Bc_sampling%2C%20c_label_delay%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%2C%20_table(_rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Prediction%3A**%20%7Bc_prediction.value%7D.%20The%20plan%20observes%20**%7Bc_result.sampled_cases%7D**%20cases%20and%20reports%20**%7B_observed_gap%7D**.%20The%20population%20gap%20remains%20**%7B_gap(c_result.population_assessment.criterion_gap)%7D**.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22danger%22%20if%20_observed_gap%20%3D%3D%20%22undefined%22%20else%20%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c_capture%2C%20_saved(%22C%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22MLSysIM%20filters%20labels%20by%20age%2C%20applies%20deterministic%20cohort%20sampling%2C%20and%20computes%20an%20observed%20metric%20separately%20from%20the%20unchanged%20population%20assessment.%22)%7D)%5D)%0A%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20_intro%20%3D%20mo.md(f%22%23%23%23%20D%20%C2%B7%20Which%20evidence%20profile%20meets%20the%20data%20obligation%3F%20(9%20min)%5Cn**Fleet%20scope%3A**%20%7Bprofile%5B'fleet_role'%5D%7D.%20Compare%20retained%20fields%2C%20retention%2C%20and%20deletion%20windows.%20No%20percentage%20represents%20privacy.%22)%0A%20%20%20%20%20%20%20%20if%20d_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5B_intro%2C%20d_prediction%5D)%0A%20%20%20%20%20%20%20%20_rows%20%3D%20%5B%7B%22Profile%22%3A%20r.profile.label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Scope%22%3A%20r.scope%20or%20profile%5B%22fleet_role%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Raw%20content%22%3A%20%22retained%22%20if%20r.profile.raw_content_retained%20else%20%22not%20retained%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Stable%20ID%22%3A%20%22retained%22%20if%20r.profile.stable_subject_id_retained%20else%20%22not%20retained%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Retention%22%3A%20f%22%7Br.profile.retention.m_as('day')%3A.0f%7D%20days%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Deletion%22%3A%20f%22%7Br.profile.deletion_window.m_as('day')%3A.0f%7D%20days%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Case%20review%22%3A%20%22yes%22%20if%20r.supports_case_review%20else%20%22no%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Specified%20checks%22%3A%20%22PASS%22%20if%20r.passes_requirements%20else%20%22FAIL%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20r%20in%20d_alternatives.values()%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B_intro%2C%20d_prediction%2C%20mo.hstack(%5Bd_profile%2C%20d_case_review%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_table(_rows)%2C%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Prediction%3A**%20%7Bd_prediction.value%7D.%20**%7Bd_result.profile.label%7D**%20(%7Bd_result.scope%20or%20profile%5B'fleet_role'%5D%7D)%20%7B'meets'%20if%20d_result.passes_requirements%20else%20'does%20not%20meet'%7D%20the%20specified%20checks.%20This%20is%20not%20a%20privacy%20guarantee.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%20if%20d_result.passes_requirements%20else%20%22danger%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20d_capture%2C%20_saved(%22D%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20backend%20checks%20retained%20cohort%20labels%2C%20required%20case-level%20scored%20events%2C%20and%20explicit%20retention%20and%20deletion%20durations%20against%20the%20active%20fleet%20role.%22)%7D)%5D)%0A%0A%20%20%20%20def%20build_part_e()%3A%0A%20%20%20%20%20%20%20%20_intro%20%3D%20mo.md(%22%23%23%23%20E%20%C2%B7%20What%20decision%20follows%20from%20the%20evidence%3F%20(8%20min)%5CnInspect%20four%20mechanical%20gates%2C%20then%20record%20a%20choice%2C%20owner%2C%20remedy%2C%20and%20trigger.%20The%20policy%20label%20cannot%20change%20a%20metric.%22)%0A%20%20%20%20%20%20%20%20if%20e_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5B_intro%2C%20e_prediction%5D)%0A%20%20%20%20%20%20%20%20_estimable%20%3D%20c_result.observed_assessment%20is%20not%20None%20and%20c_result.observed_assessment.criterion_gap%20is%20not%20None%0A%20%20%20%20%20%20%20%20_rows%20%3D%20%5B%7B%22Gate%22%3A%20%22Fairness%20criterion%22%2C%20%22Status%22%3A%20%22PASS%22%20if%20a_result.criterion_passes%20else%20%22FAIL%20%2F%20INSUFFICIENT%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Gate%22%3A%20%22Service%20capacity%22%2C%20%22Status%22%3A%20%22PASS%22%20if%20b_result.feasible%20else%20%22FAIL%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Gate%22%3A%20%22Audit%20estimate%22%2C%20%22Status%22%3A%20%22PASS%22%20if%20_estimable%20else%20%22INSUFFICIENT%20EVIDENCE%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Gate%22%3A%20%22Privacy%20obligations%22%2C%20%22Status%22%3A%20%22PASS%22%20if%20d_result.passes_requirements%20else%20%22FAIL%22%7D%5D%0A%20%20%20%20%20%20%20%20_message%20%3D%20%22all%20specified%20gates%20pass%22%20if%20e_gate.passes%20else%20%22%20%C2%B7%20%22.join(e_gate.violations)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B_intro%2C%20e_prediction%2C%20_table(_rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Mechanical%20result%3A**%20%7B_message%7D.%20You%20still%20own%20the%20normative%20release%20choice.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%20if%20e_gate.passes%20else%20%22danger%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Be_choice%2C%20e_rejected%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Be_owner%2C%20e_remedy%2C%20e_trigger%5D%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Decision%20record%20complete.%22%20if%20e_decision.decision_record_complete%20else%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Name%20a%20distinct%20alternative%2C%20owner%2C%20remedy%2C%20and%20trigger.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%20if%20e_decision.decision_record_complete%20else%20%22warn%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20e_capture%2C%20_saved(%22E%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20gate%20combines%20observable%20requirements.%20record_release_decision%20stores%20qualitative%20governance%20choices%20without%20bonuses%20or%20metric%20changes.%22)%7D)%5D)%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20_rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20part%20in%20%22ABCDE%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_capture%20%3D%20_captures.get(part)%0A%20%20%20%20%20%20%20%20%20%20%20%20_current%20%3D%20_capture%20and%20part%20not%20in%20evidence_audit.stale%20and%20(part%2C%20part)%20not%20in%20evidence_audit.identical_pairs%0A%20%20%20%20%20%20%20%20%20%20%20%20_rows.append(%7B%22Part%22%3A%20part%2C%20%22Prediction%22%3A%20_capture.to_dict()%5B%22prediction%22%5D%20if%20_capture%20else%20%22%E2%80%94%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Evidence%22%3A%20%22CURRENT%22%20if%20_current%20else%20(%22STALE%22%20if%20_capture%20else%20%22MISSING%22)%7D)%0A%20%20%20%20%20%20%20%20_saved_choice%20%3D%20_captures%5B%22E%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22E%22%20in%20_captures%20else%20None%0A%20%20%20%20%20%20%20%20_complete%20%3D%20evidence_audit.complete%20and%20residual_risk.value%20is%20not%20None%20and%20bool(rationale.value.strip())%20and%20_saved_choice%20%3D%3D%20e_choice.value%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bmo.md(%22%23%23%23%20Synthesis%20%C2%B7%20Defend%20the%20release%20record%20(5%20min)%5CnState%20the%20chosen%20option%2C%20quantify%20the%20rejected%20alternative%2C%20name%20the%20remaining%20limitation%2C%20and%20give%20the%20reevaluation%20trigger.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_table(_rows)%2C%20residual_risk%2C%20rationale%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%22**Ready%20for%20the%20local%20report.**%22%20if%20_complete%20else%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Capture%20five%20current%20contrasts%2C%20keep%20the%20Part%20E%20choice%2C%20choose%20a%20limitation%2C%20and%20write%20the%20quantified%20rationale.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%20if%20_complete%20else%20%22warn%22)%5D)%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%22Part%20A%22%3A%20build_part_a()%2C%20%22Part%20B%22%3A%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Part%20C%22%3A%20build_part_c()%2C%20%22Part%20D%22%3A%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Part%20E%22%3A%20build_part_e()%2C%20%22Synthesis%22%3A%20build_synthesis()%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%20(evidence_audit%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20build_lab_report%2C%0A%20%20%20%20e_choice%2C%0A%20%20%20%20e_rejected%2C%0A%20%20%20%20e_trigger%2C%0A%20%20%20%20evidence_audit%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20profile%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20report_export_panel%2C%0A%20%20%20%20residual_risk%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_saved_choice%20%3D%20_captures%5B%22E%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22E%22%20in%20_captures%20else%20None%0A%20%20%20%20_ready%20%3D%20evidence_audit.complete%20and%20residual_risk.value%20is%20not%20None%20and%20bool(rationale.value.strip())%20and%20_saved_choice%20%3D%3D%20e_choice.value%0A%20%20%20%20mo.stop(not%20_ready)%0A%20%20%20%20_snapshots%20%3D%20%7Bpart%3A%20_captures%5Bpart%5D.to_dict()%20for%20part%20in%20%22ABCDE%22%7D%0A%20%20%20%20_result_snapshot%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22schema_version%22%3A%201%2C%20%22lab_id%22%3A%20%22v2_16%22%2C%20%22track_id%22%3A%20track_id%2C%0A%20%20%20%20%20%20%20%20%22model_id%22%3A%20%22v2_16_experiments%22%2C%20%22evidence%22%3A%20_snapshots%2C%0A%20%20%20%20%20%20%20%20%22recommendation%22%3A%20e_choice.value%2C%20%22rejected_alternative%22%3A%20e_rejected.value%2C%0A%20%20%20%20%20%20%20%20%22reevaluation_trigger%22%3A%20e_trigger.value%2C%20%22residual_risk%22%3A%20residual_risk.value%2C%0A%20%20%20%20%20%20%20%20%22rationale%22%3A%20rationale.value%2C%0A%20%20%20%20%7D%0A%20%20%20%20report%20%3D%20build_lab_report(%0A%20%20%20%20%20%20%20%20get_lab_metadata(%22vol2%2Flab_16_responsible_ai.py%22)%2C%20track%3Dtrack_id%2C%0A%20%20%20%20%20%20%20%20scenario%3Df%22%7Bprofile%5B'display'%5D%7D%20fleet%20(%7Bprofile%5B'fleet_role'%5D%7D)%20subgroup%20evidence%20and%20review%20service%22%2C%0A%20%20%20%20%20%20%20%20learning_objectives%3D%5B%22Compute%20subgroup%20metrics%20from%20scored%20labels%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Separate%20audit%20evidence%20from%20population%20outcomes%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Size%20explanation%20and%20review%20capacity%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Record%20a%20release%20choice%20without%20a%20governance%20score%22%5D%2C%0A%20%20%20%20%20%20%20%20predictions%3D%7Bpart%3A%20_snapshots%5Bpart%5D%5B%22prediction%22%5D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20knob_settings%3D%7Bpart%3A%20_snapshots%5Bpart%5D%5B%22inputs%22%5D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20evidence_summary%3D%7Bpart%3A%20%7B%22baseline%22%3A%20_snapshots%5Bpart%5D%5B%22baseline%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22result%22%3A%20_snapshots%5Bpart%5D%5B%22result%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22alternatives%22%3A%20_snapshots%5Bpart%5D%5B%22alternatives%22%5D%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20binding_constraints%3D%7B%22release_evidence%22%3A%20_snapshots%5B%22E%22%5D%5B%22result%22%5D%5B%22mechanical_violations%22%5D%7D%2C%0A%20%20%20%20%20%20%20%20decisions%3D%7B%22recommendation%22%3A%20e_choice.value%2C%20%22rejected_alternative%22%3A%20e_rejected.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reevaluation_trigger%22%3A%20e_trigger.value%7D%2C%0A%20%20%20%20%20%20%20%20final_decision%3D%7B%22recommendation%22%3A%20e_choice.value%2C%20%22rejected_alternative%22%3A%20e_rejected.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22rationale%22%3A%20rationale.value%7D%2C%0A%20%20%20%20%20%20%20%20big_takeaways%3D%5B%22Fairness%20criteria%20can%20disagree%20on%20identical%20decisions.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Monitoring%20changes%20evidence%2C%20not%20true%20outcomes.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Explanation%20and%20review%20consume%20finite%20capacity.%22%5D%2C%0A%20%20%20%20%20%20%20%20reflections%3D%7B%22rationale%22%3A%20rationale.value%2C%20%22reevaluation_trigger%22%3A%20e_trigger.value%7D%2C%0A%20%20%20%20%20%20%20%20residual_risk%3Dresidual_risk.value%2C%20result_snapshot%3D_result_snapshot%2C%0A%20%20%20%20%20%20%20%20source_trace%3D%7B%22scenario_assumption%22%3A%20f%22Illustrative%20fixtures%20for%20%7Bprofile%5B'fleet_role'%5D%7D%3A%20%7Bprofile%5B'events_per_hour'%5D.m_as('count%2Fhour')%3A%2C.0f%7D%20events%2Fhour%20(%7Bprofile%5B'explanation_workers'%5D%7D%20explanation%2C%20%7Bprofile%5B'reviewers'%5D%7D%20review%20workers)%3B%20not%20measurements%20or%20a%20privacy%20guarantee.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22calculation_boundary%22%3A%20%22The%20simulator%20computes%20scored-label%20metrics%2C%20queues%2C%20audit%20evidence%2C%20and%20categorical%20data%20checks.%22%7D%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%20Local%20evidence%20report%22)%2C%20report_export_panel(report)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Aasync%20def%20_(%0A%20%20%20%20e_choice%2C%0A%20%20%20%20e_rejected%2C%0A%20%20%20%20e_trigger%2C%0A%20%20%20%20evidence_audit%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20ledger%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20residual_risk%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_saved_choice%20%3D%20_captures%5B%22E%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22E%22%20in%20_captures%20else%20None%0A%20%20%20%20_ready%20%3D%20evidence_audit.complete%20and%20residual_risk.value%20is%20not%20None%20and%20bool(rationale.value.strip())%20and%20_saved_choice%20%3D%3D%20e_choice.value%0A%20%20%20%20_save_state%20%3D%20%22EVIDENCE%20IN%20PROGRESS%22%0A%20%20%20%20_save_detail%20%3D%20%22%22%0A%20%20%20%20if%20_ready%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ledger.save(chapter%3D16%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22schema_version%22%3A%201%2C%20%22lab_id%22%3A%20%22v2_16%22%2C%20%22track_id%22%3A%20track_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model_id%22%3A%20%22v2_16_experiments%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22evidence%22%3A%20%7Bpart%3A%20capture.to_dict()%20for%20part%2C%20capture%20in%20_captures.items()%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22recommendation%22%3A%20e_choice.value%2C%20%22rejected_alternative%22%3A%20e_rejected.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reevaluation_trigger%22%3A%20e_trigger.value%2C%20%22residual_risk%22%3A%20residual_risk.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22rationale%22%3A%20rationale.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20await%20ledger.flush()%0A%20%20%20%20%20%20%20%20%20%20%20%20_save_state%20%3D%20%22SAVED%22%0A%20%20%20%20%20%20%20%20except%20Exception%20as%20exc%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_save_state%20%3D%20%22SAVE%20FAILED%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_save_detail%20%3D%20f%22%20%7C%20%7Btype(exc).__name__%7D%22%0A%20%20%20%20mo.Html(f'%3Cdiv%20class%3D%22lab-hud%22%3E%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%3Cspan%3E16%20%7C%20Evidence%20for%20Responsible%20Release%3C%2Fspan%3E%3Cspan%20style%3D%22flex%3A1%22%3E%3C%2Fspan%3E%3Cspan%20class%3D%22hud-label%22%3ESTATUS%3C%2Fspan%3E%3Cspan%20class%3D%22hud-active%22%3E%7B_save_state%7D%3C%2Fspan%3E%3Cspan%3E%7B_save_detail%7D%3C%2Fspan%3E%3C%2Fdiv%3E')%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A