Lab 09: Selection That Pays

Lab 09: Selection That Pays · MLSysBook

import%20marimo%0A%0A__generated_with%20%3D%20%220.25.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22full%22%2C%0A%20%20%20%20app_title%3D%22Lab%2009%3A%20Selection%20That%20Pays%20%C2%B7%20MLSysBook%22%2C%0A)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysim-0.1.2-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysbook_labs-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20labs_dir%20%3D%20Path(__file__).resolve().parents%5B1%5D%0A%20%20%20%20%20%20%20%20if%20str(labs_dir)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(labs_dir))%0A%20%20%20%20%20%20%20%20from%20bootstrap%20import%20native_bootstrap%0A%20%20%20%20%20%20%20%20native_bootstrap(__file__)%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.core.units%20import%20Q_%0A%20%20%20%20from%20mlsysim.engine.v1_09_experiments%20import%20(%0A%20%20%20%20%20%20%20%20MODEL_ID%2C%20TRACKS%2C%20acquisition_option%2C%20compare_policies%2C%0A%20%20%20%20%20%20%20%20full_pool_baseline%2C%20learning_curve%2C%20population_shift%2C%0A%20%20%20%20%20%20%20%20selection_amortization%2C%20serialize_value%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20from%20mlsysbook_labs%20import%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%20build_lab_report%2C%20get_lab_metadata%2C%20report_export_panel%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysbook_labs.experiment_evidence%20import%20audit_evidence%2C%20capture_evidence%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger(volume%3D%22vol1%22)%0A%20%20%20%20if%20ledger.is_wasm%3A%0A%20%20%20%20%20%20%20%20_loaded%20%3D%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20MODEL_ID%2C%0A%20%20%20%20%20%20%20%20Q_%2C%0A%20%20%20%20%20%20%20%20TRACKS%2C%0A%20%20%20%20%20%20%20%20acquisition_option%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20audit_evidence%2C%0A%20%20%20%20%20%20%20%20build_lab_report%2C%0A%20%20%20%20%20%20%20%20capture_evidence%2C%0A%20%20%20%20%20%20%20%20compare_policies%2C%0A%20%20%20%20%20%20%20%20full_pool_baseline%2C%0A%20%20%20%20%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20learning_curve%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20population_shift%2C%0A%20%20%20%20%20%20%20%20report_export_panel%2C%0A%20%20%20%20%20%20%20%20selection_amortization%2C%0A%20%20%20%20%20%20%20%20serialize_value%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20get_evidence%2C%20set_evidence%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20return%20get_evidence%2C%20set_evidence%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20set_evidence)%3A%0A%20%20%20%20track%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22TinyML%22%3A%20%22tinyml%22%2C%20%22Mobile%22%3A%20%22mobile%22%2C%20%22Edge%22%3A%20%22edge%22%2C%20%22Cloud%22%3A%20%22cloud%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22TinyML%22%2C%20label%3D%22Teaching%20track%22%2C%0A%20%20%20%20%20%20%20%20on_change%3Dlambda%20_value%3A%20set_evidence(%7B%7D)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(track%2C)%0A%0A%0A%40app.cell%0Adef%20_(TRACKS%2C%20track)%3A%0A%20%20%20%20track_id%20%3D%20track.value%0A%20%20%20%20profile%20%3D%20TRACKS%5Btrack_id%5D%0A%20%20%20%20return%20profile%2C%20track_id%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20profile%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20b_retained%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%226%20of%2012%22%3A%206%2C%20%228%20of%2012%22%3A%208%2C%20%2210%20of%2012%22%3A%2010%7D%2C%20value%3D%228%20of%2012%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Examples%20retained%22%2C%0A%20%20%20%20)%0A%20%20%20%20b_conclusion%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Uniform%22%3A%20%22uniform%22%2C%20%22Deduplicate%22%3A%20%22deduplicate%22%2C%0A%20%20%20%20%20%20%20%20%20%22Coverage-aware%22%3A%20%22coverage%22%2C%20%22Hold%20for%20more%20evidence%22%3A%20%22none%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Policy%20to%20carry%20forward%22%2C%0A%20%20%20%20)%0A%20%20%20%20b_rejected%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Uniform%22%3A%20%22uniform%22%2C%20%22Deduplicate%22%3A%20%22deduplicate%22%2C%20%22Coverage-aware%22%3A%20%22coverage%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Tested%20alternative%22%2C%0A%20%20%20%20)%0A%20%20%20%20c_scoring%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20int(profile%5B%22scoring_time_min%22%5D.to(%22microsecond%22).magnitude)%2C%0A%20%20%20%20%20%20%20%20int(profile%5B%22scoring_time_max%22%5D.to(%22microsecond%22).magnitude)%2C%0A%20%20%20%20%20%20%20%20value%3Dint(profile%5B%22scoring_time_per_example%22%5D.to(%22microsecond%22).magnitude)%2C%0A%20%20%20%20%20%20%20%20step%3Dint(profile%5B%22scoring_time_step%22%5D.to(%22microsecond%22).magnitude)%2C%0A%20%20%20%20%20%20%20%20label%3D%22Scoring%20time%20per%20example%20(%C2%B5s)%22%2C%0A%20%20%20%20)%0A%20%20%20%20c_runs%20%3D%20mo.ui.slider(1%2C%20100%2C%20value%3D12%2C%20step%3D1%2C%20label%3D%22Repeated%20training%20runs%22)%0A%20%20%20%20c_decision%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Adopt%20for%20this%20run%20count%22%3A%20%22adopt%22%2C%20%22Reuse%20more%20times%20first%22%3A%20%22wait%22%2C%0A%20%20%20%20%20%20%20%20%20%22Reject%20on%20evidence%22%3A%20%22reject%22%7D%2C%20label%3D%22Amortization%20decision%22%2C%0A%20%20%20%20)%0A%20%20%20%20d_budget%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20int(profile%5B%22budget_min%22%5D.to(%22USD%22).magnitude)%2C%0A%20%20%20%20%20%20%20%20int(profile%5B%22budget_max%22%5D.to(%22USD%22).magnitude)%2C%0A%20%20%20%20%20%20%20%20value%3Dint(profile%5B%22budget_default%22%5D.to(%22USD%22).magnitude)%2C%0A%20%20%20%20%20%20%20%20step%3Dint(profile%5B%22budget_step%22%5D.to(%22USD%22).magnitude)%2C%0A%20%20%20%20%20%20%20%20label%3D%22Available%20data%20budget%20(USD)%22%2C%0A%20%20%20%20)%0A%20%20%20%20d_choice%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Expert%20labels%22%3A%20%22labels%22%2C%20%22Generated%20examples%22%3A%20%22generated%22%2C%20%22Neither%22%3A%20%22none%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Next%20data%20purchase%22%2C%0A%20%20%20%20)%0A%20%20%20%20d_rejected%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Expert%20labels%22%3A%20%22labels%22%2C%20%22Generated%20examples%22%3A%20%22generated%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Rejected%20purchase%22%2C%0A%20%20%20%20)%0A%20%20%20%20e_rare_share%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20int(profile%5B%22population_pct%22%5D%5B%22rare%22%5D)%2C%2045%2C%20value%3D35%2C%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Changed%20rare-cohort%20share%20(%25)%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20b_conclusion%2C%0A%20%20%20%20%20%20%20%20b_rejected%2C%0A%20%20%20%20%20%20%20%20b_retained%2C%0A%20%20%20%20%20%20%20%20c_decision%2C%0A%20%20%20%20%20%20%20%20c_runs%2C%0A%20%20%20%20%20%20%20%20c_scoring%2C%0A%20%20%20%20%20%20%20%20d_budget%2C%0A%20%20%20%20%20%20%20%20d_choice%2C%0A%20%20%20%20%20%20%20%20d_rejected%2C%0A%20%20%20%20%20%20%20%20e_rare_share%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20a_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Both%20add%20similar%20value%22%3A%20%22similar%22%2C%20%22Redundant%20data%20saturates%20first%22%3A%20%22redundant_first%22%2C%0A%20%20%20%20%20%20%20%20%20%22Informative%20data%20saturates%20first%22%3A%20%22informative_first%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20pool%20loses%20marginal%20value%20first%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20A%20prediction%22)%0A%20%20%20%20b_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Uniform%20has%20the%20safest%20coverage%22%3A%20%22uniform%22%2C%20%22Deduplication%20is%20safest%22%3A%20%22deduplicate%22%2C%0A%20%20%20%20%20%20%20%20%20%22Coverage-aware%20selection%20is%20safest%22%3A%20%22coverage%22%2C%20%22No%20policy%20can%20pass%22%3A%20%22none%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20equal-size%20policy%20will%20satisfy%20the%20evidence%20checks%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20B%20prediction%22)%0A%20%20%20%20c_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Selection%20pays%20after%201%E2%80%935%20runs%22%3A%20%221-5%22%2C%20%22Selection%20pays%20after%206%E2%80%9320%20runs%22%3A%20%226-20%22%2C%0A%20%20%20%20%20%20%20%20%20%22Selection%20pays%20after%20more%20than%2020%20runs%22%3A%20%22over-20%22%2C%20%22It%20never%20pays%20in%20this%20sweep%22%3A%20%22never%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22When%20will%20selection%20first%20save%20time%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20C%20prediction%22)%0A%20%20%20%20d_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Labels%20preserve%20the%20rare%20cohort%20better%22%3A%20%22labels%22%2C%0A%20%20%20%20%20%20%20%20%20%22Generated%20examples%20preserve%20it%20better%22%3A%20%22generated%22%2C%0A%20%20%20%20%20%20%20%20%20%22The%20rare-cohort%20outcome%20is%20equal%22%3A%20%22equal%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20package%20preserves%20the%20rare%20cohort%20better%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20D%20prediction%22)%0A%20%20%20%20e_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22The%20carried%20policy%20remains%20supported%22%3A%20%22supported%22%2C%20%22Quality%20fails%20first%22%3A%20%22quality%22%2C%0A%20%20%20%20%20%20%20%20%20%22Representation%20fails%20first%22%3A%20%22representation%22%2C%20%22Both%20checks%20fail%22%3A%20%22both%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20happens%20after%20the%20population%20changes%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20E%20prediction%22)%0A%20%20%20%20return%20a_prediction%2C%20b_prediction%2C%20c_prediction%2C%20d_prediction%2C%20e_prediction%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20final_choice%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Uniform%22%3A%20%22uniform%22%2C%20%22Deduplicate%22%3A%20%22deduplicate%22%2C%0A%20%20%20%20%20%20%20%20%20%22Coverage-aware%22%3A%20%22coverage%22%2C%20%22Hold%20for%20more%20evidence%22%3A%20%22none%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Final%20data-selection%20policy%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_rejected%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Uniform%22%3A%20%22uniform%22%2C%20%22Deduplicate%22%3A%20%22deduplicate%22%2C%20%22Coverage-aware%22%3A%20%22coverage%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Quantified%20rejected%20alternative%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_trigger%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Rare%20cohort%20reaches%20tested%20share%22%3A%20%22population%22%2C%20%22Selection%20reuse%20falls%20below%20break-even%22%3A%20%22reuse%22%2C%0A%20%20%20%20%20%20%20%20%20%22Cohort%20outcome%20falls%20below%20its%20floor%22%3A%20%22quality%22%7D%2C%20label%3D%22Reevaluation%20trigger%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_risk%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Unobserved%20population%20change%22%3A%20%22population_shift%22%2C%0A%20%20%20%20%20%20%20%20%20%22Generated-data%20validation%20gap%22%3A%20%22synthetic_validation%22%2C%0A%20%20%20%20%20%20%20%20%20%22Training%20I%2FO%20omitted%20from%20cost%22%3A%20%22training_io%22%7D%2C%20label%3D%22Residual%20risk%22%2C%0A%20%20%20%20)%0A%20%20%20%20rationale%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20label%3D%22Evidence-based%20rationale%22%2C%0A%20%20%20%20%20%20%20%20placeholder%3D%22Use%20saved%20counts%2C%20outcomes%2C%20time%2C%20and%20the%20rejected%20alternative.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20final_choice%2C%20final_rejected%2C%20final_risk%2C%20final_trigger%2C%20rationale%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20Q_%2C%0A%20%20%20%20acquisition_option%2C%0A%20%20%20%20b_conclusion%2C%0A%20%20%20%20b_rejected%2C%0A%20%20%20%20b_retained%2C%0A%20%20%20%20c_runs%2C%0A%20%20%20%20c_scoring%2C%0A%20%20%20%20compare_policies%2C%0A%20%20%20%20d_budget%2C%0A%20%20%20%20e_rare_share%2C%0A%20%20%20%20full_pool_baseline%2C%0A%20%20%20%20learning_curve%2C%0A%20%20%20%20population_shift%2C%0A%20%20%20%20profile%2C%0A%20%20%20%20selection_amortization%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20a_baseline%20%3D%20learning_curve(track_id%2C%20%22redundant%22)%0A%20%20%20%20a_result%20%3D%20learning_curve(track_id%2C%20%22informative%22)%0A%20%20%20%20b_comparison%20%3D%20compare_policies(track_id%2C%20b_retained.value)%0A%20%20%20%20b_results%20%3D%20%7Bitem%5B%22policy_id%22%5D%3A%20item%20for%20item%20in%20b_comparison%5B%22policies%22%5D%7D%0A%20%20%20%20b_full%20%3D%20full_pool_baseline(track_id)%0A%20%20%20%20carried_policy%20%3D%20(%0A%20%20%20%20%20%20%20%20b_conclusion.value%0A%20%20%20%20%20%20%20%20if%20b_conclusion.value%20not%20in%20(None%2C%20%22none%22)%0A%20%20%20%20%20%20%20%20else%20(b_rejected.value%20or%20%22coverage%22)%0A%20%20%20%20)%0A%20%20%20%20c_kwargs%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22track_id%22%3A%20track_id%2C%0A%20%20%20%20%20%20%20%20%22policy_id%22%3A%20carried_policy%2C%0A%20%20%20%20%20%20%20%20%22retained_count%22%3A%20b_retained.value%2C%0A%20%20%20%20%20%20%20%20%22scoring_time_per_example%22%3A%20Q_(c_scoring.value%2C%20%22microsecond%22)%2C%0A%20%20%20%20%20%20%20%20%22repeated_runs%22%3A%20c_runs.value%2C%0A%20%20%20%20%7D%0A%20%20%20%20c_baseline%20%3D%20selection_amortization(**c_kwargs%2C%20comparison_path%3D%22full_pool%22)%0A%20%20%20%20c_result%20%3D%20selection_amortization(**c_kwargs%2C%20comparison_path%3D%22selected_subset%22)%0A%20%20%20%20budget%20%3D%20Q_(d_budget.value%2C%20%22USD%22)%0A%20%20%20%20d_labels%20%3D%20acquisition_option(track_id%2C%20%22labels%22%2C%20budget)%0A%20%20%20%20d_generated%20%3D%20acquisition_option(track_id%2C%20%22generated%22%2C%20budget)%0A%20%20%20%20d_none%20%3D%20acquisition_option(track_id%2C%20%22none%22%2C%20budget)%0A%20%20%20%20baseline_rare%20%3D%20profile%5B%22population_pct%22%5D%5B%22rare%22%5D%0A%20%20%20%20e_baseline%20%3D%20population_shift(track_id%2C%20carried_policy%2C%20b_retained.value%2C%20baseline_rare)%0A%20%20%20%20e_result%20%3D%20population_shift(track_id%2C%20carried_policy%2C%20b_retained.value%2C%20e_rare_share.value)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_baseline%2C%0A%20%20%20%20%20%20%20%20a_result%2C%0A%20%20%20%20%20%20%20%20b_full%2C%0A%20%20%20%20%20%20%20%20b_results%2C%0A%20%20%20%20%20%20%20%20c_baseline%2C%0A%20%20%20%20%20%20%20%20c_result%2C%0A%20%20%20%20%20%20%20%20carried_policy%2C%0A%20%20%20%20%20%20%20%20d_generated%2C%0A%20%20%20%20%20%20%20%20d_labels%2C%0A%20%20%20%20%20%20%20%20d_none%2C%0A%20%20%20%20%20%20%20%20e_baseline%2C%0A%20%20%20%20%20%20%20%20e_result%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20a_baseline%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_result%2C%0A%20%20%20%20b_conclusion%2C%0A%20%20%20%20b_full%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_rejected%2C%0A%20%20%20%20b_results%2C%0A%20%20%20%20b_retained%2C%0A%20%20%20%20c_baseline%2C%0A%20%20%20%20c_decision%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_result%2C%0A%20%20%20%20capture_evidence%2C%0A%20%20%20%20carried_policy%2C%0A%20%20%20%20d_budget%2C%0A%20%20%20%20d_choice%2C%0A%20%20%20%20d_generated%2C%0A%20%20%20%20d_labels%2C%0A%20%20%20%20d_none%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_rejected%2C%0A%20%20%20%20e_baseline%2C%0A%20%20%20%20e_prediction%2C%0A%20%20%20%20e_rare_share%2C%0A%20%20%20%20e_result%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20serialize_value%2C%0A%20%20%20%20set_evidence%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20def%20store(part%2C%20capture)%3A%0A%20%20%20%20%20%20%20%20set_evidence(lambda%20current%3A%20%7B**current%2C%20part%3A%20capture%7D)%0A%0A%20%20%20%20a_upstream%20%3D%20%7B%22track_id%22%3A%20track_id%2C%20%22comparison%22%3A%20%22redundant_vs_informative%22%7D%0A%20%20%20%20b_upstream%20%3D%20%7B%22track_id%22%3A%20track_id%2C%20%22retained_count%22%3A%20b_retained.value%7D%0A%20%20%20%20c_upstream%20%3D%20%7B%0A%20%20%20%20%20%20%20%20**b_upstream%2C%0A%20%20%20%20%20%20%20%20%22carried_policy%22%3A%20carried_policy%2C%0A%20%20%20%20%20%20%20%20%22scoring_time_per_example_us%22%3A%20c_result%5B%22inputs%22%5D%5B%22scoring_time_per_example%22%5D.to(%22microsecond%22).magnitude%2C%0A%20%20%20%20%20%20%20%20%22repeated_runs%22%3A%20c_result%5B%22repeated_runs%22%5D%2C%0A%20%20%20%20%7D%0A%20%20%20%20d_upstream%20%3D%20%7B%22track_id%22%3A%20track_id%2C%20%22budget_usd%22%3A%20d_budget.value%7D%0A%20%20%20%20e_upstream%20%3D%20%7B%0A%20%20%20%20%20%20%20%20**b_upstream%2C%20%22carried_policy%22%3A%20carried_policy%2C%20%22rare_share_pct%22%3A%20e_rare_share.value%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20a_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20learning-curve%20contrast%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Da_prediction.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22A%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22A%22%2C%20prediction%3Da_prediction.value%2C%20inputs%3Da_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Dserialize_value(a_baseline)%2C%20result%3Dserialize_value(a_result)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Da_upstream%2C%20model_key%3Da_result%5B%22model_key%22%5D%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20b_invalid%20%3D%20(%0A%20%20%20%20%20%20%20%20b_prediction.value%20is%20None%20or%20b_conclusion.value%20is%20None%20or%20b_rejected.value%20is%20None%0A%20%20%20%20%20%20%20%20or%20(b_conclusion.value%20!%3D%20%22none%22%20and%20b_conclusion.value%20%3D%3D%20b_rejected.value)%0A%20%20%20%20)%0A%20%20%20%20b_result_policy%20%3D%20b_rejected.value%20if%20b_conclusion.value%20%3D%3D%20%22none%22%20else%20b_conclusion.value%0A%20%20%20%20fallback_policy%20%3D%20%22deduplicate%22%20if%20b_result_policy%20%3D%3D%20%22uniform%22%20else%20%22uniform%22%0A%20%20%20%20b_baseline_policy%20%3D%20b_rejected.value%20if%20b_conclusion.value%20!%3D%20%22none%22%20else%20fallback_policy%0A%20%20%20%20b_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20equal-count%20policy%20decision%22%2C%20kind%3D%22success%22%2C%20disabled%3Db_invalid%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22B%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22B%22%2C%20prediction%3Db_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B**b_upstream%2C%20%22decision%22%3A%20b_conclusion.value%2C%20%22tested_alternative%22%3A%20b_rejected.value%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Dserialize_value(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20b_results%5Bb_baseline_policy%5D%20if%20b_conclusion.value%20!%3D%20%22none%22%20else%20b_full%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result%3Dserialize_value(b_results%5Bb_result_policy%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alternatives%3Dserialize_value(tuple(b_results.values()))%2C%20decision%3Db_conclusion.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20chosen_result%3Dserialize_value(b_full)%20if%20b_conclusion.value%20%3D%3D%20%22none%22%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result_role%3D%22rejected%20alternative%22%20if%20b_conclusion.value%20%3D%3D%20%22none%22%20else%20%22selected%20candidate%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Db_upstream%2C%20model_key%3D%22evaluate_policy%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20c_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20amortization%20contrast%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dc_prediction.value%20is%20None%20or%20c_decision.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22C%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22C%22%2C%20prediction%3Dc_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B**c_upstream%2C%20%22decision%22%3A%20c_decision.value%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Dserialize_value(c_baseline)%2C%20result%3Dserialize_value(c_result)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20decision%3Dc_decision.value%2C%20upstream_inputs%3Dc_upstream%2C%20model_key%3Dc_result%5B%22model_key%22%5D%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20d_invalid%20%3D%20(%0A%20%20%20%20%20%20%20%20d_prediction.value%20is%20None%20or%20d_choice.value%20is%20None%20or%20d_rejected.value%20is%20None%0A%20%20%20%20%20%20%20%20or%20(d_choice.value%20!%3D%20%22none%22%20and%20d_choice.value%20%3D%3D%20d_rejected.value)%0A%20%20%20%20)%0A%20%20%20%20d_options%20%3D%20%7B%22labels%22%3A%20d_labels%2C%20%22generated%22%3A%20d_generated%7D%0A%20%20%20%20d_result_id%20%3D%20d_rejected.value%20if%20d_choice.value%20%3D%3D%20%22none%22%20else%20d_choice.value%0A%20%20%20%20d_baseline_id%20%3D%20%22generated%22%20if%20d_result_id%20%3D%3D%20%22labels%22%20else%20%22labels%22%0A%20%20%20%20d_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20acquisition%20decision%22%2C%20kind%3D%22success%22%2C%20disabled%3Dd_invalid%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22D%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22D%22%2C%20prediction%3Dd_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B**d_upstream%2C%20%22decision%22%3A%20d_choice.value%2C%20%22tested_alternative%22%3A%20d_rejected.value%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Dserialize_value(d_options%5Bd_baseline_id%5D%20if%20d_choice.value%20!%3D%20%22none%22%20else%20d_none)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result%3Dserialize_value(d_options%5Bd_result_id%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alternatives%3Dserialize_value(tuple(d_options.values()))%2C%20decision%3Dd_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20chosen_result%3Dserialize_value(d_none)%20if%20d_choice.value%20%3D%3D%20%22none%22%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result_role%3D%22rejected%20alternative%22%20if%20d_choice.value%20%3D%3D%20%22none%22%20else%20%22selected%20candidate%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Dd_upstream%2C%20model_key%3D%22acquisition_option%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20e_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20population-change%20contrast%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3D(e_prediction.value%20is%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20or%20e_rare_share.value%20%3D%3D%20e_baseline%5B%22baseline_population_pct%22%5D%5B%22rare%22%5D)%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22E%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22E%22%2C%20prediction%3De_prediction.value%2C%20inputs%3De_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Dserialize_value(e_baseline)%2C%20result%3Dserialize_value(e_result)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3De_upstream%2C%20model_key%3De_result%5B%22model_key%22%5D%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_capture%2C%0A%20%20%20%20%20%20%20%20a_upstream%2C%0A%20%20%20%20%20%20%20%20b_capture%2C%0A%20%20%20%20%20%20%20%20b_upstream%2C%0A%20%20%20%20%20%20%20%20c_capture%2C%0A%20%20%20%20%20%20%20%20c_upstream%2C%0A%20%20%20%20%20%20%20%20d_capture%2C%0A%20%20%20%20%20%20%20%20d_upstream%2C%0A%20%20%20%20%20%20%20%20e_capture%2C%0A%20%20%20%20%20%20%20%20e_upstream%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(ACADEMIC_LAB_CSS%2C%20LAB_CSS%2C%20mo%2C%20profile%2C%20track)%3A%0A%20%20%20%20css%20%3D%20mo.Html(%22%22%22%0A%20%20%20%20%3Cstyle%3E%0A%20%20%20%20.pilot-head%7Bbackground%3Alinear-gradient(135deg%2C%23101827%2C%2370411f)%3Bcolor%3Awhite%3Bborder-radius%3A14px%3Bpadding%3Aclamp(18px%2C4vw%2C32px)%3Bmargin%3A30px%200%2014px%7D%0A%20%20%20%20.pilot-top%7Bdisplay%3Aflex%3Bjustify-content%3Aspace-between%3Bgap%3A8px%3Bflex-wrap%3Awrap%3Bfont%3A700%20.72rem%20ui-monospace%3Bletter-spacing%3A.08em%7D%0A%20%20%20%20.pilot-head%20h1%7Bfont-size%3Aclamp(1.65rem%2C5vw%2C2.65rem)%3Bline-height%3A1.05%3Bmargin%3A16px%200%208px%7D.pilot-head%20p%7Bcolor%3A%23ffedd5%3Bmax-width%3A780px%7D%0A%20%20%20%20.pilot-meta%7Bdisplay%3Agrid%3Bgrid-template-columns%3Arepeat(auto-fit%2Cminmax(170px%2C1fr))%3Bgap%3A9px%3Bmargin-top%3A17px%7D.pilot-meta%20div%7Bbackground%3A%23ffffff14%3Bborder%3A1px%20solid%20%23ffffff26%3Bpadding%3A9px%2011px%3Bborder-radius%3A8px%7D%0A%20%20%20%20.pilot-note%7Bcolor%3A%23475569%3Bfont-size%3A.9rem%3Bline-height%3A1.5%3Bmargin%3A0%3Bpadding%3A0%202px%7D.saved%7Bborder-left%3A4px%20solid%20%232ca02c%3Bbackground%3A%23f0fdf4%3Bpadding%3A9px%2012px%3Bborder-radius%3A7px%7D%0A%20%20%20%20.lab-hud%7Bdisplay%3Aflex%3Balign-items%3Acenter%3Bflex-wrap%3Awrap%3Bgap%3A10px%3Bbackground%3A%23101827!important%3Bcolor%3A%23fff%3Bpadding%3A14px%2018px%3Bborder-radius%3A9px%7D.lab-hud%20.hud-label%7Bcolor%3A%23a7b9cf%7D.lab-hud%20.hud-value%7Bcolor%3A%23fff%7D.lab-hud%20.hud-active%7Bcolor%3A%2386efac%7D%0A%20%20%20%20%40media(max-width%3A520px)%7B.pilot-head%7Bborder-radius%3A9px%7D.pilot-meta%7Bgrid-template-columns%3A1fr%7D%7D%0A%20%20%20%20%3C%2Fstyle%3E%22%22%22)%0A%20%20%20%20header%20%3D%20mo.Html(f%22%22%22%0A%20%20%20%20%3Csection%20class%3D%22pilot-head%22%3E%0A%20%20%20%20%20%20%3Cdiv%20class%3D%22pilot-top%22%3E%3Cspan%3EVOLUME%20I%20%C2%B7%20LAB%2009%3C%2Fspan%3E%3Cspan%3EABOUT%2050%E2%80%9355%20MIN%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%3Ch1%3ESelection%20That%20Pays%3C%2Fh1%3E%0A%20%20%20%20%20%20%3Cp%3EWhich%20examples%20should%20we%20retain%20when%20coverage%2C%20selection%20overhead%2C%20and%20changed%20populations%20can%20reverse%20the%20apparent%20win%3F%3C%2Fp%3E%0A%20%20%20%20%20%20%3Cdiv%20class%3D%22pilot-meta%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cb%3ETrack%3C%2Fb%3E%3Cbr%3E%7Bprofile%5B'label'%5D%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cb%3EWorkload%3C%2Fb%3E%3Cbr%3E%7Bprofile%5B'workload'%5D%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cb%3EOutput%3C%2Fb%3E%3Cbr%3EData-selection%20policy%20memo%3C%2Fdiv%3E%0A%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fsection%3E%22%22%22)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%20ACADEMIC_LAB_CSS%2C%20css%2C%20track%2C%20header%2C%0A%20%20%20%20%20%20%20%20mo.Html('%3Cp%20class%3D%22pilot-note%22%3EAll%20pools%20and%20quality%20outcomes%20are%20explicit%20teaching%20scenarios%2C%20not%20benchmark%20measurements.%20Calculation%20Notes%20state%20each%20comparison%20boundary.%3C%2Fp%3E')%2C%0A%20%20%20%20%5D%2C%20gap%3D0.5).style(%7B%22padding-top%22%3A%20%2232px%22%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.sidebar(%5Bmo.md(%22%23%23%20Lab%20navigation%22)%2C%20mo.outline(label%3D%22Sections%22)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20a_baseline%2C%0A%20%20%20%20a_capture%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_result%2C%0A%20%20%20%20a_upstream%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20audit_evidence%2C%0A%20%20%20%20b_capture%2C%0A%20%20%20%20b_conclusion%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_rejected%2C%0A%20%20%20%20b_results%2C%0A%20%20%20%20b_retained%2C%0A%20%20%20%20b_upstream%2C%0A%20%20%20%20c_baseline%2C%0A%20%20%20%20c_capture%2C%0A%20%20%20%20c_decision%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_result%2C%0A%20%20%20%20c_runs%2C%0A%20%20%20%20c_scoring%2C%0A%20%20%20%20c_upstream%2C%0A%20%20%20%20carried_policy%2C%0A%20%20%20%20d_budget%2C%0A%20%20%20%20d_capture%2C%0A%20%20%20%20d_choice%2C%0A%20%20%20%20d_generated%2C%0A%20%20%20%20d_labels%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_rejected%2C%0A%20%20%20%20d_upstream%2C%0A%20%20%20%20e_baseline%2C%0A%20%20%20%20e_capture%2C%0A%20%20%20%20e_prediction%2C%0A%20%20%20%20e_rare_share%2C%0A%20%20%20%20e_result%2C%0A%20%20%20%20e_upstream%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20go%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20profile%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20upstream%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22A%22%3A%20a_upstream%2C%20%22B%22%3A%20b_upstream%2C%20%22C%22%3A%20c_upstream%2C%0A%20%20%20%20%20%20%20%20%22D%22%3A%20d_upstream%2C%20%22E%22%3A%20e_upstream%2C%0A%20%20%20%20%7D%0A%20%20%20%20audit%20%3D%20audit_evidence(%0A%20%20%20%20%20%20%20%20_captures%2C%20track%3Dtrack_id%2C%20required_parts%3Dtuple(%22ABCDE%22)%2C%0A%20%20%20%20%20%20%20%20per_part_upstream_inputs%3Dupstream%2C%20contrast_required_parts%3Dtuple(%22ABCDE%22)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20def%20table(rows)%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bmo.ui.table(rows%2C%20pagination%3DFalse)%5D).style(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22max-width%22%3A%20%22100%25%22%2C%20%22overflow-x%22%3A%20%22auto%22%7D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20saved(part)%3A%0A%20%20%20%20%20%20%20%20capture%20%3D%20_captures.get(part)%0A%20%20%20%20%20%20%20%20if%20capture%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22No%20saved%20evidence%20for%20this%20part.%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20%20%20%20%20if%20part%20in%20audit.stale%20or%20(part%2C%20part)%20in%20audit.identical_pairs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**STALE%20OR%20NON-CONTRASTING%20EVIDENCE.**%20Recapture%20this%20part.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22danger%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20data%20%3D%20capture.to_dict()%0A%20%20%20%20%20%20%20%20return%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20class%3D%22saved%22%3E%3Cb%3ESaved%20snapshot%3C%2Fb%3E%20%C2%B7%20prediction%3A%20%7Bdata%5B%22prediction%22%5D%7D'%0A%20%20%20%20%20%20%20%20%20%20%20%20'%3Cbr%3E%3Csmall%3EThe%20report%20keeps%20this%20result%20even%20if%20live%20controls%20move.%3C%2Fsmall%3E%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20part_a()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%23%23%23%20A%20%C2%B7%20When%20does%20more%20data%20stop%20being%20the%20best%20investment%3F%20(8%20min)%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Compare%20supplied%20learning%20outcomes%20for%20redundant%20and%20informative%20candidate%20pools%20of%20**%7Bprofile%5B'workload'%5D%7D**.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20a_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20a_prediction%5D)%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20for%20result%2C%20label%2C%20color%20in%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20(a_baseline%2C%20%22Redundant%22%2C%20COLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(a_result%2C%20%22Informative%22%2C%20COLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20figure.add_scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Bpoint%5B%22retained_count%22%5D%20for%20point%20in%20result%5B%22points%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Bpoint%5B%22quality_pct%22%5D%20for%20point%20in%20result%5B%22points%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%2Bmarkers%22%2C%20name%3Dlabel%2C%20line%3D%7B%22color%22%3A%20color%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20figure.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D290%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D%22Representative%20examples%20retained%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D%22Supplied%20quality%20outcome%20(%25)%22%2C%20legend_orientation%3D%22h%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20redundant_last%20%3D%20a_baseline%5B%22points%22%5D%5B-1%5D%5B%22marginal_quality_pp%22%5D%0A%20%20%20%20%20%20%20%20informative_last%20%3D%20a_result%5B%22points%22%5D%5B-1%5D%5B%22marginal_quality_pp%22%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20a_prediction%2C%20apply_plotly_theme(figure)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Your%20prediction%3A**%20%7Ba_prediction.value%7D.%20The%20final%20two-example%20increment%20adds%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bredundant_last%3A.1f%7D%20points**%20for%20the%20redundant%20pool%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Binformative_last%3A.1f%7D%20points**%20for%20the%20informative%20pool.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20a_capture%2C%20saved(%22A%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Adjacent%20marginal%20value%20is%20the%20change%20between%20two%20supplied%20quality%20observations.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20simulator%20does%20not%20infer%20quality%20from%20sample%20count.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_b()%3A%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20policy_id%2C%20result%20in%20b_results.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20counts%20%3D%20result%5B%22cohort_counts%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Policy%22%3A%20policy_id.title()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Retained%22%3A%20result%5B%22retained_count%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Size%22%3A%20f%22%7Bresult%5B'retained_bytes'%5D.to('megabyte').magnitude%3A.2f%7D%20MB%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Duplicates%22%3A%20result%5B%22duplicate_records%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Common%20%2F%20rare%20%2F%20edge%22%3A%20f%22%7Bcounts%5B'common'%5D%7D%20%2F%20%7Bcounts%5B'rare'%5D%7D%20%2F%20%7Bcounts%5B'edge_case'%5D%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Quality%22%3A%20f%22%7Bresult%5B'weighted_quality_pct'%5D%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Outcome%22%3A%20%22PASS%22%20if%20result%5B%22feasible%22%5D%20else%20%22FAIL%20%C2%B7%20%22%20%2B%20%22%3B%20%22.join(result%5B%22failures%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%23%23%23%20B%20%C2%B7%20Which%20examples%20can%20we%20safely%20remove%3F%20(10%20min)%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Hold%20retained%20count%20constant%20for%20**%7Bprofile%5B'workload'%5D%7D**.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Inspect%20duplicate%20groups%2C%20cohort%20counts%2C%20and%20supplied%20outcomes%20before%20choosing.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20b_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20b_retained%2C%20b_prediction%5D)%0A%20%20%20%20%20%20%20%20chosen%20%3D%20b_results.get(b_conclusion.value)%20if%20b_conclusion.value%20!%3D%20%22none%22%20else%20None%0A%20%20%20%20%20%20%20%20message%20%3D%20%22No%20policy%20selected.%22%20if%20chosen%20is%20None%20else%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22PASS%22%20if%20chosen%5B%22feasible%22%5D%20else%20%22FAIL%20%C2%B7%20%22%20%2B%20%22%3B%20%22.join(chosen%5B%22failures%22%5D)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20b_prediction%2C%20b_retained%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bb_conclusion%2C%20b_rejected%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Your%20prediction%3A**%20%7Bb_prediction.value%7D.%20**Live%20decision%3A**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bb_conclusion.value%20or%20'not%20chosen'%7D%3B%20%7Bmessage%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22A%20no-feasible%20decision%20must%20name%20the%20policy%20you%20tested.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22danger%22%20if%20chosen%20is%20not%20None%20and%20not%20chosen%5B%22feasible%22%5D%20else%20%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20b_capture%2C%20saved(%22B%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Every%20policy%20retains%20the%20same%20number%20of%20explicit%20records.%20Duplicate%20counts%20come%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22from%20repeated%20duplicate-group%20IDs%3B%20coverage%20comes%20from%20cohort%20membership%3B%20quality%20remains%20supplied%20evidence.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_c()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%23%23%23%20C%20%C2%B7%20Does%20selection%20pay%20for%20itself%3F%20(10%20min)%5CnCarry%20**%7Bcarried_policy%7D**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22into%20a%20complete%20cost%20comparison%20for%20**%7Bprofile%5B'workload'%5D%7D**%3A%20extra%20read%20scan%2C%20scoring%2C%20selection%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22and%20repeated%20fixed-work%20training%20on%20an%20off-device%20development%20host.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20c_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20mo.hstack(%5Bc_scoring%2C%20c_runs%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20c_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Full%20pool%22%2C%20x%3D%5B%22Total%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Bc_baseline%5B%22reported_total%22%5D.to(%22second%22).magnitude%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22OrangeLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Selected%20subset%22%2C%20x%3D%5B%22Total%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Bc_result%5B%22reported_total%22%5D.to(%22second%22).magnitude%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22BlueLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20figure.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D270%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D20%2C%20b%3D20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D%22Elapsed%20time%20(s)%22%2C%20legend_orientation%3D%22h%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20result_word%20%3D%20%22saves%20time%22%20if%20c_result%5B%22selection_pays%22%5D%20else%20%22does%20not%20yet%20save%20time%22%0A%20%20%20%20%20%20%20%20support_word%20%3D%20%22supported%22%20if%20c_result%5B%22decision_supported%22%5D%20else%20%22not%20supported%22%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20c_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bc_scoring%2C%20c_runs%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20apply_plotly_theme(figure)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20table(%5B%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Selection%20scan%22%3A%20f%22%7Bc_result%5B'read_time'%5D.to('second').magnitude%3A.1f%7D%20s%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Scoring%22%3A%20f%22%7Bc_result%5B'scoring_time'%5D.to('second').magnitude%3A.1f%7D%20s%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Selection%22%3A%20f%22%7Bc_result%5B'selection_time'%5D.to('second').magnitude%3A.1f%7D%20s%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22First%20profitable%20run%22%3A%20c_result%5B%22first_profitable_runs%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20c_decision%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Your%20prediction%3A**%20%7Bc_prediction.value%7D.%20At%20**%7Bc_runs.value%7D%20runs**%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22selection%20%7Bresult_word%7D%3B%20the%20combined%20time-and-evidence%20decision%20is%20**%7Bsupport_word%7D**.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22%20if%20c_result%5B%22decision_supported%22%5D%20else%20%22danger%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20c_capture%2C%20saved(%22C%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Total%20selected-path%20time%20%3D%20one%20extra%20read%20scan%20%2B%20scoring%20%2B%20selection%20%2B%20repeated%20subset%20training.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22For%20device%20tracks%2C%20selection%20scanning%2C%20scoring%2C%20and%20training%20occur%20on%20an%20off-device%20development%20host%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22(%7Bprofile%5B'development_peak'%5D.to('teraflop%20%2F%20second').magnitude%3A.1f%7D%20TFLOPS%20peak)%2C%20not%20on%20the%20target%20deployment%20device.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20full-pool%20path%20includes%20repeated%20training.%20Training%20I%2FO%20is%20excluded%2C%20and%20fixed%20epochs%20do%20not%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22establish%20time%20to%20common%20quality.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_d()%3A%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Option%22%3A%20result%5B%22label%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Created%20%2F%20validated%22%3A%20f%22%7Bresult%5B'created_examples'%5D%7D%20%2F%20%7Bresult%5B'validated_examples'%5D%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Cost%22%3A%20f%22%24%7Bresult%5B'total_cost'%5D.to('USD').magnitude%3A%2C.0f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Turnaround%22%3A%20f%22%7Bresult%5B'turnaround'%5D.to('hour').magnitude%3A.0f%7D%20h%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Rare%20outcome%22%3A%20f%22%7Bresult%5B'cohort_outcomes_pct'%5D%5B'rare'%5D%3A.0f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Affordable%22%3A%20%22YES%22%20if%20result%5B%22affordable%22%5D%20else%20%22NO%22%2C%0A%20%20%20%20%20%20%20%20%7D%20for%20result%20in%20(d_labels%2C%20d_generated)%5D%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%23%23%23%20D%20%C2%B7%20Should%20the%20next%20dollar%20buy%20labels%20or%20generated%20examples%3F%20(10%20min)%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Compare%20explicit%20creation%2C%20validation%2C%20turnaround%2C%20and%20supplied%20cohort%20outcomes%20for%20**%7Bprofile%5B'workload'%5D%7D**.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20d_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20d_budget%2C%20d_prediction%5D)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20d_prediction%2C%20d_budget%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bd_choice%2C%20d_rejected%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Your%20prediction%3A**%20%7Bd_prediction.value%7D.%20Labels%20yield%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bd_labels%5B'cohort_outcomes_pct'%5D%5B'rare'%5D%3A.0f%7D%25**%20on%20the%20rare%20cohort%3B%20generated%20examples%20yield%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bd_generated%5B'cohort_outcomes_pct'%5D%5B'rare'%5D%3A.0f%7D%25**.%20Affordability%20is%20shown%20separately%20from%20quality.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20d_capture%2C%20saved(%22D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Total%20package%20cost%20adds%20creation%20and%20validation.%20Each%20outcome%20belongs%20only%20to%20the%20displayed%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fixed%20package%3B%20the%20simulator%20does%20not%20extrapolate%20a%20universal%20generated-data%20quality%20curve.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_e()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%23%23%23%20E%20%C2%B7%20Does%20selection%20survive%20a%20changed%20population%3F%20(8%20min)%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Reweight%20the%20fixed%20**%7Bcarried_policy%7D**%20cohort%20outcomes%20for%20**%7Bprofile%5B'workload'%5D%7D**%20before%20reselection.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20e_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20e_rare_share%2C%20e_prediction%5D)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Population%22%3A%20%22Baseline%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Rare%20share%22%3A%20f%22%7Be_baseline%5B'changed_population_pct'%5D%5B'rare'%5D%3A.0f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Weighted%20quality%22%3A%20f%22%7Be_baseline%5B'changed_quality_pct'%5D%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Underrepresented%22%3A%20%22%2C%20%22.join(e_baseline%5B%22underrepresented_cohorts%22%5D)%20or%20%22none%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Outcome%22%3A%20%22SUPPORTED%22%20if%20e_baseline%5B%22still_supported%22%5D%20else%20%22FAIL%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Population%22%3A%20%22Changed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Rare%20share%22%3A%20f%22%7Be_result%5B'changed_population_pct'%5D%5B'rare'%5D%3A.0f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Weighted%20quality%22%3A%20f%22%7Be_result%5B'changed_quality_pct'%5D%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Underrepresented%22%3A%20%22%2C%20%22.join(e_result%5B%22underrepresented_cohorts%22%5D)%20or%20%22none%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Outcome%22%3A%20%22SUPPORTED%22%20if%20e_result%5B%22still_supported%22%5D%20else%20%22FAIL%20%C2%B7%20%22%20%2B%20%22%3B%20%22.join(e_result%5B%22failures%22%5D)%2C%0A%20%20%20%20%20%20%20%20%7D%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20e_rare_share%2C%20e_prediction%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Your%20prediction%3A**%20%7Be_prediction.value%7D.%20Quality%20changes%20by%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Be_result%5B'quality_change_pp'%5D%3A.1f%7D%20points**.%20The%20selected%20share%20now%20trails%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22the%20changed%20population%20for%20**%7B'%2C%20'.join(e_result%5B'underrepresented_cohorts'%5D)%20or%20'no%20growing%20cohort'%7D**.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22%20if%20e_result%5B%22still_supported%22%5D%20else%20%22danger%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20e_capture%2C%20saved(%22E%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20changed%20population%20reweights%20fixed%20cohort%20outcomes.%20It%20does%20not%20improve%20or%20degrade%20a%20cohort%20rule.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Representation%20fails%20only%20when%20a%20cohort%20grows%20beyond%20its%20selected%20share.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20synthesis()%3A%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20part%20in%20%22ABCDE%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20capture%20%3D%20_captures.get(part)%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Part%22%3A%20part%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Prediction%22%3A%20capture.to_dict()%5B%22prediction%22%5D%20if%20capture%20else%20%22%E2%80%94%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Evidence%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22CURRENT%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20capture%20and%20part%20not%20in%20audit.stale%20and%20(part%2C%20part)%20not%20in%20audit.identical_pairs%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20(%22STALE%22%20if%20capture%20else%20%22MISSING%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20%20%20%20%20saved_b%20%3D%20_captures%5B%22B%22%5D.to_dict()%20if%20%22B%22%20in%20_captures%20else%20None%0A%20%20%20%20%20%20%20%20saved_decision%20%3D%20saved_b%5B%22decision%22%5D%20if%20saved_b%20else%20None%0A%20%20%20%20%20%20%20%20choice_rule%20%3D%20final_choice.value%20%3D%3D%20saved_decision%0A%20%20%20%20%20%20%20%20rejected_rule%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20final_rejected.value%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20saved_b%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20final_choice.value%20%3D%3D%20%22none%22%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20final_rejected.value%20%3D%3D%20saved_b%5B%22inputs%22%5D%5B%22tested_alternative%22%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20final_choice.value%20not%20in%20(None%2C%20%22none%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20rejected_rule%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20saved_b%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20final_rejected.value%20%3D%3D%20saved_b%5B%22baseline%22%5D%5B%22inputs%22%5D%5B%22policy_id%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20complete%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20audit.complete%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20bool(rationale.value.strip())%20and%20choice_rule%20and%20rejected_rule%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%23%23%23%20Synthesis%20%C2%B7%20Defend%20a%20data-selection%20policy%20(5%20min)%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Choose%20one%20saved%20policy%2C%20quantify%20a%20rejected%20alternative%2C%20state%20the%20residual%20limitation%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22and%20name%20the%20trigger%20that%20forces%20reevaluation.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Saved%20snapshots%20remain%20fixed%20while%20live%20controls%20move.%20Recapture%20stale%20evidence%20before%20generating%20the%20report.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bfinal_choice%2C%20final_rejected%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bfinal_trigger%2C%20final_risk%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20rationale%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Ready%20for%20the%20local%20report.**%22%20if%20complete%20else%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Complete%20five%20current%20contrasts%2C%20match%20the%20saved%20Part%20B%20decision%2C%20compare%20a%20tested%20alternative%2C%20and%20add%20the%20rationale.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22%20if%20complete%20else%20%22warn%22)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%22%3A%20part_a()%2C%20%22Part%20B%22%3A%20part_b()%2C%20%22Part%20C%22%3A%20part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%22%3A%20part_d()%2C%20%22Part%20E%22%3A%20part_e()%2C%20%22Synthesis%22%3A%20synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%20(audit%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20audit%2C%0A%20%20%20%20build_lab_report%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20profile%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20report_export_panel%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_saved_b%20%3D%20_captures%5B%22B%22%5D.to_dict()%20if%20%22B%22%20in%20_captures%20else%20None%0A%20%20%20%20_saved_decision%20%3D%20_saved_b%5B%22decision%22%5D%20if%20_saved_b%20else%20None%0A%20%20%20%20_choice_rule%20%3D%20final_choice.value%20%3D%3D%20_saved_decision%0A%20%20%20%20_rejected_rule%20%3D%20(%0A%20%20%20%20%20%20%20%20final_rejected.value%20is%20not%20None%20and%20_saved_b%20is%20not%20None%0A%20%20%20%20%20%20%20%20and%20final_choice.value%20%3D%3D%20%22none%22%0A%20%20%20%20%20%20%20%20and%20final_rejected.value%20%3D%3D%20_saved_b%5B%22inputs%22%5D%5B%22tested_alternative%22%5D%0A%20%20%20%20)%0A%20%20%20%20if%20final_choice.value%20not%20in%20(None%2C%20%22none%22)%3A%0A%20%20%20%20%20%20%20%20_rejected_rule%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20_saved_b%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20final_rejected.value%20%3D%3D%20_saved_b%5B%22baseline%22%5D%5B%22inputs%22%5D%5B%22policy_id%22%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_ready%20%3D%20(%0A%20%20%20%20%20%20%20%20audit.complete%0A%20%20%20%20%20%20%20%20and%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20and%20bool(rationale.value.strip())%20and%20_choice_rule%20and%20_rejected_rule%0A%20%20%20%20)%0A%20%20%20%20mo.stop(not%20_ready)%0A%20%20%20%20snapshots%20%3D%20%7Bpart%3A%20_captures%5Bpart%5D.to_dict()%20for%20part%20in%20%22ABCDE%22%7D%0A%20%20%20%20report%20%3D%20build_lab_report(%0A%20%20%20%20%20%20%20%20get_lab_metadata(%22vol1%2Flab_09_data_selection.py%22)%2C%0A%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%0A%20%20%20%20%20%20%20%20scenario%3Dprofile%5B%22workload%22%5D%2C%0A%20%20%20%20%20%20%20%20learning_objectives%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Distinguish%20redundant%20volume%20from%20informative%20coverage%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Compare%20equal-count%20removal%20policies%20with%20explicit%20records%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Test%20selection%20amortization%20without%20treating%20time%20as%20quality%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Reevaluate%20a%20selected%20cohort%20under%20population%20change%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20predictions%3D%7Bpart%3A%20snapshots%5Bpart%5D%5B%22prediction%22%5D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20knob_settings%3D%7Bpart%3A%20snapshots%5Bpart%5D%5B%22inputs%22%5D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20evidence_summary%3D%7Bpart%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22baseline%22%3A%20snapshots%5Bpart%5D%5B%22baseline%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22result%22%3A%20snapshots%5Bpart%5D%5B%22result%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22alternatives%22%3A%20snapshots%5Bpart%5D%5B%22alternatives%22%5D%2C%0A%20%20%20%20%20%20%20%20%7D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20binding_constraints%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22selection%22%3A%20snapshots%5B%22B%22%5D%5B%22result%22%5D%5B%22failures%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22population%22%3A%20snapshots%5B%22E%22%5D%5B%22result%22%5D%5B%22failures%22%5D%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20decisions%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22recommendation%22%3A%20final_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22rejected_alternative%22%3A%20final_rejected.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22reevaluation_trigger%22%3A%20final_trigger.value%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20final_decision%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22recommendation%22%3A%20final_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22rejected_alternative%22%3A%20final_rejected.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22rationale%22%3A%20rationale.value%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20big_takeaways%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Equal%20sample%20counts%20can%20preserve%20very%20different%20cohort%20coverage.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Selection%20overhead%20must%20be%20amortized%20across%20actual%20reuse.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20changed%20population%20can%20invalidate%20a%20previously%20supported%20subset.%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20reflections%3D%7B%22rationale%22%3A%20rationale.value%2C%20%22reevaluation_trigger%22%3A%20final_trigger.value%7D%2C%0A%20%20%20%20%20%20%20%20residual_risk%3Dfinal_risk.value%2C%0A%20%20%20%20%20%20%20%20result_snapshot%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22track%22%3A%20track_id%2C%20%22captures%22%3A%20snapshots%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22recommendation%22%3A%20final_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22rejected_alternative%22%3A%20final_rejected.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22reevaluation_trigger%22%3A%20final_trigger.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22residual_risk%22%3A%20final_risk.value%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20source_trace%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22scenario%22%3A%20%22Explicit%20illustrative%20candidate%20pools%20and%20supplied%20outcomes.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22calculations%22%3A%20%22Deterministic%20data-selection%20scenario%20calculations.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%20Local%20evidence%20report%22)%2C%20report_export_panel(report)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Aasync%20def%20_(%0A%20%20%20%20MODEL_ID%2C%0A%20%20%20%20audit%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20ledger%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_saved_b%20%3D%20_captures%5B%22B%22%5D.to_dict()%20if%20%22B%22%20in%20_captures%20else%20None%0A%20%20%20%20_saved_decision%20%3D%20_saved_b%5B%22decision%22%5D%20if%20_saved_b%20else%20None%0A%20%20%20%20_choice_rule%20%3D%20final_choice.value%20%3D%3D%20_saved_decision%0A%20%20%20%20_rejected_rule%20%3D%20(%0A%20%20%20%20%20%20%20%20final_rejected.value%20is%20not%20None%20and%20_saved_b%20is%20not%20None%0A%20%20%20%20%20%20%20%20and%20final_choice.value%20%3D%3D%20%22none%22%0A%20%20%20%20%20%20%20%20and%20final_rejected.value%20%3D%3D%20_saved_b%5B%22inputs%22%5D%5B%22tested_alternative%22%5D%0A%20%20%20%20)%0A%20%20%20%20if%20final_choice.value%20not%20in%20(None%2C%20%22none%22)%3A%0A%20%20%20%20%20%20%20%20_rejected_rule%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20_saved_b%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20final_rejected.value%20%3D%3D%20_saved_b%5B%22baseline%22%5D%5B%22inputs%22%5D%5B%22policy_id%22%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_ready%20%3D%20(%0A%20%20%20%20%20%20%20%20audit.complete%0A%20%20%20%20%20%20%20%20and%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20and%20bool(rationale.value.strip())%20and%20_choice_rule%20and%20_rejected_rule%0A%20%20%20%20)%0A%20%20%20%20_saved%20%3D%20False%0A%20%20%20%20_save_error%20%3D%20None%0A%20%20%20%20if%20_ready%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ledger.save(chapter%3D9%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22schema_version%22%3A%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22lab_id%22%3A%20%22v1_09%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22track_id%22%3A%20track_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model_id%22%3A%20MODEL_ID%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22evidence%22%3A%20%7Bpart%3A%20capture.to_dict()%20for%20part%2C%20capture%20in%20get_evidence().items()%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22recommendation%22%3A%20final_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22rejected_alternative%22%3A%20final_rejected.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reevaluation_trigger%22%3A%20final_trigger.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22residual_risk%22%3A%20final_risk.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22rationale%22%3A%20rationale.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20await%20ledger.flush()%0A%20%20%20%20%20%20%20%20%20%20%20%20_saved%20%3D%20True%0A%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_save_error%20%3D%20True%0A%20%20%20%20if%20_save_error%3A%0A%20%20%20%20%20%20%20%20status%20%3D%20%22SAVE%20FAILED%20%C2%B7%20REPORT%20STILL%20AVAILABLE%22%0A%20%20%20%20elif%20_saved%3A%0A%20%20%20%20%20%20%20%20status%20%3D%20%22SAVED%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20status%20%3D%20%22EVIDENCE%20IN%20PROGRESS%22%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f'%3Cdiv%20class%3D%22lab-hud%22%3E%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20f'%3Cspan%20class%3D%22hud-value%22%3E09%20%C2%B7%20Selection%20That%20Pays%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20f'%3Cspan%20class%3D%22hud-label%22%3E%20%C2%B7%20STATUS%3A%20%3C%2Fspan%3E%3Cspan%20class%3D%22hud-active%22%3E%7Bstatus%7D%3C%2Fspan%3E%3C%2Fdiv%3E'%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A