Lab 12: Benchmark Claims That Survive

Lab 12: Benchmark Claims That Survive · MLSysBook

import%20marimo%0A%0A__generated_with%20%3D%20%220.25.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22full%22%2C%0A%20%20%20%20app_title%3D%22Lab%2012%3A%20Benchmark%20Claims%20That%20Survive%20%C2%B7%20MLSysBook%22%2C%0A)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%20%20%20%20from%20dataclasses%20import%20replace%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysim-0.1.2-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysbook_labs-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20labs_dir%20%3D%20Path(__file__).resolve().parents%5B1%5D%0A%20%20%20%20%20%20%20%20if%20str(labs_dir)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(labs_dir))%0A%20%20%20%20%20%20%20%20from%20bootstrap%20import%20native_bootstrap%0A%20%20%20%20%20%20%20%20native_bootstrap(__file__)%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.core.units%20import%20Q_%0A%20%20%20%20from%20mlsysim.engine.v1_12_experiments%20import%20(%0A%20%20%20%20%20%20%20%20TRACKS%2C%20analyze_repeats%2C%20audit_protocols%2C%20compare_quality_slices%2C%0A%20%20%20%20%20%20%20%20compare_scopes%2C%20compare_sustained%2C%20default_protocol%2C%20to_jsonable%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20from%20mlsysbook_labs%20import%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%20build_lab_report%2C%20get_lab_metadata%2C%20report_export_panel%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysbook_labs.experiment_evidence%20import%20audit_evidence%2C%20capture_evidence%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger(volume%3D%22vol1%22)%0A%20%20%20%20if%20ledger.is_wasm%3A%0A%20%20%20%20%20%20%20%20_loaded%20%3D%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20Q_%2C%0A%20%20%20%20%20%20%20%20TRACKS%2C%0A%20%20%20%20%20%20%20%20analyze_repeats%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20audit_evidence%2C%0A%20%20%20%20%20%20%20%20audit_protocols%2C%0A%20%20%20%20%20%20%20%20build_lab_report%2C%0A%20%20%20%20%20%20%20%20capture_evidence%2C%0A%20%20%20%20%20%20%20%20compare_quality_slices%2C%0A%20%20%20%20%20%20%20%20compare_scopes%2C%0A%20%20%20%20%20%20%20%20compare_sustained%2C%0A%20%20%20%20%20%20%20%20default_protocol%2C%0A%20%20%20%20%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20replace%2C%0A%20%20%20%20%20%20%20%20report_export_panel%2C%0A%20%20%20%20%20%20%20%20to_jsonable%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20get_evidence%2C%20set_evidence%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20return%20get_evidence%2C%20set_evidence%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20set_evidence)%3A%0A%20%20%20%20track%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22TinyML%22%3A%20%22tinyml%22%2C%20%22Mobile%22%3A%20%22mobile%22%2C%20%22Edge%22%3A%20%22edge%22%2C%20%22Cloud%22%3A%20%22cloud%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22TinyML%22%2C%20label%3D%22Deployment%20track%22%2C%20on_change%3Dlambda%20_value%3A%20set_evidence(%7B%7D)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(track%2C)%0A%0A%0A%40app.cell%0Adef%20_(TRACKS%2C%20track)%3A%0A%20%20%20%20track_id%20%3D%20track.value%0A%20%20%20%20profile%20%3D%20TRACKS%5Btrack_id%5D%0A%20%20%20%20return%20profile%2C%20track_id%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20profile%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20a_speedup%20%3D%20mo.ui.slider(1.2%2C%204.0%2C%20value%3Dprofile.candidate_kernel_speedup%2C%20step%3D0.2%2C%20label%3D%22Claimed%20kernel%20speedup%22)%0A%20%20%20%20b_warmup%20%3D%20mo.ui.slider(0%2C%2016%2C%20value%3D8%2C%20step%3D2%2C%20label%3D%22Discarded%20warmup%20iterations%22)%0A%20%20%20%20b_samples%20%3D%20mo.ui.slider(10%2C%20100%2C%20value%3D40%2C%20step%3D10%2C%20label%3D%22Measured%20iterations%20per%20run%22)%0A%20%20%20%20b_repeats%20%3D%20mo.ui.slider(2%2C%208%2C%20value%3D5%2C%20step%3D1%2C%20label%3D%22Repeated%20runs%22)%0A%20%20%20%20c_duration%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%222%20minutes%22%3A%20120%2C%20%225%20minutes%22%3A%20300%2C%20%2210%20minutes%22%3A%20600%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%2210%20minutes%22%2C%20label%3D%22Sustained%20duration%22%2C%0A%20%20%20%20)%0A%20%20%20%20c_stress%20%3D%20mo.ui.slider(1.0%2C%204.0%2C%20value%3D2.0%2C%20step%3D0.5%2C%20label%3D%22Variability%20and%20thermal%20stress%22)%0A%20%20%20%20d_mode%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22Quality-preserving%20path%22%3A%20%22quality_preserving%22%2C%20%22Aggressive%20path%22%3A%20%22aggressive%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Aggressive%20path%22%2C%20label%3D%22Efficiency%20candidate%22%2C%0A%20%20%20%20)%0A%20%20%20%20d_slice_floor%20%3D%20mo.ui.slider(30%2C%2090%2C%20value%3D60%2C%20step%3D5%2C%20label%3D%22Worst-slice%20quality%20floor%20(%25)%22)%0A%20%20%20%20d_choice%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Carry%20quality-preserving%20path%22%3A%20%22quality_preserving%22%2C%20%22Carry%20aggressive%20path%22%3A%20%22aggressive%22%2C%20%22Hold%20for%20more%20evidence%20%2F%20no%20reportable%20candidate%22%3A%20%22none%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Candidate%20decision%22%2C%0A%20%20%20%20)%0A%20%20%20%20d_rejected%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Quality-preserving%20path%22%3A%20%22quality_preserving%22%2C%20%22Aggressive%20path%22%3A%20%22aggressive%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Tested%20alternative%22%2C%0A%20%20%20%20)%0A%20%20%20%20e_mismatch%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22Different%20measurement%20scope%22%3A%20%22scope%22%2C%20%22No%20warmup%20discard%22%3A%20%22warmup_iterations%22%2C%20%22Different%20quality%20fixture%22%3A%20%22quality_fixture_id%22%2C%20%22Different%20power%20boundary%22%3A%20%22power_boundary%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Different%20measurement%20scope%22%2C%20label%3D%22Protocol%20mismatch%20to%20inspect%22%2C%0A%20%20%20%20)%0A%20%20%20%20e_decision%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Repair%2C%20then%20include%22%3A%20%22repair%22%2C%20%22Exclude%20the%20mismatched%20result%22%3A%20%22exclude%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Reporting%20decision%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_speedup%2C%0A%20%20%20%20%20%20%20%20b_repeats%2C%0A%20%20%20%20%20%20%20%20b_samples%2C%0A%20%20%20%20%20%20%20%20b_warmup%2C%0A%20%20%20%20%20%20%20%20c_duration%2C%0A%20%20%20%20%20%20%20%20c_stress%2C%0A%20%20%20%20%20%20%20%20d_choice%2C%0A%20%20%20%20%20%20%20%20d_mode%2C%0A%20%20%20%20%20%20%20%20d_rejected%2C%0A%20%20%20%20%20%20%20%20d_slice_floor%2C%0A%20%20%20%20%20%20%20%20e_decision%2C%0A%20%20%20%20%20%20%20%20e_mismatch%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20a_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Almost%20the%20full%20kernel%20gain%22%3A%20%22near-kernel%22%2C%20%22A%20smaller%20but%20real%20gain%22%3A%20%22diluted%22%2C%20%22No%20whole-path%20gain%22%3A%20%22none%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20much%20of%20the%20kernel%20gain%20reaches%20the%20whole%20request%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20A%20prediction%22)%0A%20%20%20%20b_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Warmup%20changes%20the%20reported%20center%22%3A%20%22warmup%22%2C%20%22Only%20sample%20count%20matters%22%3A%20%22samples%22%2C%20%22Every%20protocol%20gives%20the%20same%20result%22%3A%20%22same%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20protocol%20choice%20will%20matter%20most%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20B%20prediction%22)%0A%20%20%20%20c_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Candidate%20wins%20latency%20and%20energy%22%3A%20%22both%22%2C%20%22Candidate%20is%20faster%20but%20costs%20more%20energy%22%3A%20%22energy%22%2C%20%22Candidate%20misses%20more%20deadlines%22%3A%20%22deadline%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20survives%20a%20sustained%20deployment%20trace%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20C%20prediction%22)%0A%20%20%20%20d_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Both%20slices%20preserve%20quality%22%3A%20%22both%22%2C%20%22Ordinary%20passes%3B%20difficult%20fails%22%3A%20%22slice-loss%22%2C%20%22Overall%20accuracy%20alone%20decides%22%3A%20%22aggregate%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20will%20the%20slice%20evidence%20show%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20D%20prediction%22)%0A%20%20%20%20e_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Include%20as-is%22%3A%20%22include%22%2C%20%22Qualify%20but%20keep%20the%20headline%22%3A%20%22qualify%22%2C%20%22Exclude%20until%20repaired%22%3A%20%22exclude%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Can%20the%20mismatched%20comparison%20support%20the%20headline%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20E%20prediction%22)%0A%20%20%20%20return%20a_prediction%2C%20b_prediction%2C%20c_prediction%2C%20d_prediction%2C%20e_prediction%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20final_choice%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Report%20quality-preserving%20candidate%22%3A%20%22quality_preserving%22%2C%20%22Report%20aggressive%20candidate%22%3A%20%22aggressive%22%2C%20%22Hold%20for%20more%20evidence%20%2F%20report%20no%20candidate%22%3A%20%22none%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Recommendation%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_rejected%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Quality-preserving%20candidate%22%3A%20%22quality_preserving%22%2C%20%22Aggressive%20candidate%22%3A%20%22aggressive%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Quantified%20rejected%20alternative%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_trigger%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Worst-slice%20quality%20crosses%20its%20floor%22%3A%20%22slice-quality%22%2C%20%22Sustained%20deadline%20misses%20increase%22%3A%20%22deadline%22%2C%20%22Energy%20per%20request%20exceeds%20the%20budget%22%3A%20%22energy%22%2C%20%22Benchmark%20protocol%20changes%22%3A%20%22protocol%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Reevaluation%20trigger%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_risk%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22The%20seeded%20workload%20may%20miss%20deployment%20cases%22%3A%20%22coverage%22%2C%20%22Longer%20operation%20may%20reveal%20more%20drift%22%3A%20%22drift%22%2C%20%22Power%20boundary%20may%20omit%20components%22%3A%20%22power-boundary%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Remaining%20limitation%22%2C%0A%20%20%20%20)%0A%20%20%20%20rationale%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20label%3D%22Evidence-based%20rationale%22%2C%0A%20%20%20%20%20%20%20%20placeholder%3D%22Use%20saved%20scope%2C%20repeat%2C%20sustained%2C%20slice%2C%20and%20protocol%20evidence%20to%20defend%20the%20choice.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20final_choice%2C%20final_rejected%2C%20final_risk%2C%20final_trigger%2C%20rationale%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20Q_%2C%0A%20%20%20%20a_speedup%2C%0A%20%20%20%20analyze_repeats%2C%0A%20%20%20%20audit_protocols%2C%0A%20%20%20%20b_repeats%2C%0A%20%20%20%20b_samples%2C%0A%20%20%20%20b_warmup%2C%0A%20%20%20%20c_duration%2C%0A%20%20%20%20c_stress%2C%0A%20%20%20%20compare_quality_slices%2C%0A%20%20%20%20compare_scopes%2C%0A%20%20%20%20compare_sustained%2C%0A%20%20%20%20d_mode%2C%0A%20%20%20%20d_slice_floor%2C%0A%20%20%20%20default_protocol%2C%0A%20%20%20%20e_mismatch%2C%0A%20%20%20%20replace%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20a_kernel_result%20%3D%20compare_scopes(%0A%20%20%20%20%20%20%20%20track_id%2C%20kernel_speedup%3Da_speedup.value%2C%20reported_scope%3D%22kernel%22%0A%20%20%20%20)%0A%20%20%20%20a_result%20%3D%20compare_scopes(%0A%20%20%20%20%20%20%20%20track_id%2C%20kernel_speedup%3Da_speedup.value%2C%20reported_scope%3D%22whole_path%22%0A%20%20%20%20)%0A%20%20%20%20b_baseline%20%3D%20analyze_repeats(track_id%2C%20warmup_iterations%3D0%2C%20measured_iterations%3D10%2C%20repeat_count%3D2)%0A%20%20%20%20b_result%20%3D%20analyze_repeats(%0A%20%20%20%20%20%20%20%20track_id%2C%20warmup_iterations%3Db_warmup.value%2C%0A%20%20%20%20%20%20%20%20measured_iterations%3Db_samples.value%2C%20repeat_count%3Db_repeats.value%2C%0A%20%20%20%20)%0A%20%20%20%20c_baseline%20%3D%20compare_sustained(track_id%2C%20duration%3DQ_(30%2C%20%22second%22)%2C%20stress_scale%3Dc_stress.value)%0A%20%20%20%20c_result%20%3D%20compare_sustained(track_id%2C%20duration%3DQ_(c_duration.value%2C%20%22second%22)%2C%20stress_scale%3Dc_stress.value)%0A%20%20%20%20d_results%20%3D%20%7B%0A%20%20%20%20%20%20%20%20mode%3A%20compare_quality_slices(track_id%2C%20candidate_mode%3Dmode%2C%20worst_slice_floor_pct%3Dd_slice_floor.value)%0A%20%20%20%20%20%20%20%20for%20mode%20in%20(%22quality_preserving%22%2C%20%22aggressive%22)%0A%20%20%20%20%7D%0A%20%20%20%20d_baseline%20%3D%20compare_quality_slices(%0A%20%20%20%20%20%20%20%20track_id%2C%20candidate_mode%3D%22baseline%22%2C%20worst_slice_floor_pct%3Dd_slice_floor.value%0A%20%20%20%20)%0A%20%20%20%20d_result%20%3D%20d_results%5Bd_mode.value%5D%0A%20%20%20%20e_reference%20%3D%20default_protocol(track_id)%0A%20%20%20%20e_changes%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22scope%22%3A%20%7B%22scope%22%3A%20%22isolated%20kernel%22%7D%2C%0A%20%20%20%20%20%20%20%20%22warmup_iterations%22%3A%20%7B%22warmup_iterations%22%3A%200%7D%2C%0A%20%20%20%20%20%20%20%20%22quality_fixture_id%22%3A%20%7B%22quality_fixture_id%22%3A%20f%22%7Btrack_id%7D-unmatched-quality%22%7D%2C%0A%20%20%20%20%20%20%20%20%22power_boundary%22%3A%20%7B%22power_boundary%22%3A%20%22accelerator%20only%22%7D%2C%0A%20%20%20%20%7D%0A%20%20%20%20e_candidate%20%3D%20replace(e_reference%2C%20**e_changes%5Be_mismatch.value%5D)%0A%20%20%20%20e_mismatched%20%3D%20audit_protocols(e_reference%2C%20e_candidate)%0A%20%20%20%20e_repaired%20%3D%20audit_protocols(e_reference%2C%20e_mismatched%5B%22repair%22%5D)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_kernel_result%2C%0A%20%20%20%20%20%20%20%20a_result%2C%0A%20%20%20%20%20%20%20%20b_baseline%2C%0A%20%20%20%20%20%20%20%20b_result%2C%0A%20%20%20%20%20%20%20%20c_baseline%2C%0A%20%20%20%20%20%20%20%20c_result%2C%0A%20%20%20%20%20%20%20%20d_baseline%2C%0A%20%20%20%20%20%20%20%20d_result%2C%0A%20%20%20%20%20%20%20%20d_results%2C%0A%20%20%20%20%20%20%20%20e_mismatched%2C%0A%20%20%20%20%20%20%20%20e_repaired%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20a_kernel_result%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_result%2C%0A%20%20%20%20a_speedup%2C%0A%20%20%20%20b_baseline%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_repeats%2C%0A%20%20%20%20b_result%2C%0A%20%20%20%20b_samples%2C%0A%20%20%20%20b_warmup%2C%0A%20%20%20%20c_baseline%2C%0A%20%20%20%20c_duration%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_result%2C%0A%20%20%20%20c_stress%2C%0A%20%20%20%20capture_evidence%2C%0A%20%20%20%20d_baseline%2C%0A%20%20%20%20d_choice%2C%0A%20%20%20%20d_mode%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_rejected%2C%0A%20%20%20%20d_results%2C%0A%20%20%20%20d_slice_floor%2C%0A%20%20%20%20e_decision%2C%0A%20%20%20%20e_mismatch%2C%0A%20%20%20%20e_mismatched%2C%0A%20%20%20%20e_prediction%2C%0A%20%20%20%20e_repaired%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20set_evidence%2C%0A%20%20%20%20to_jsonable%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20def%20store(part%2C%20capture)%3A%0A%20%20%20%20%20%20%20%20set_evidence(lambda%20current%3A%20%7B**current%2C%20part%3A%20capture%7D)%0A%0A%20%20%20%20a_upstream%20%3D%20%7B%22kernel_speedup%22%3A%20a_speedup.value%7D%0A%20%20%20%20b_upstream%20%3D%20%7B%22warmup_iterations%22%3A%20b_warmup.value%2C%20%22measured_iterations%22%3A%20b_samples.value%2C%20%22repeat_count%22%3A%20b_repeats.value%7D%0A%20%20%20%20c_upstream%20%3D%20%7B%22duration_seconds%22%3A%20c_duration.value%2C%20%22stress_scale%22%3A%20c_stress.value%7D%0A%20%20%20%20d_upstream%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22candidate_mode%22%3A%20d_mode.value%2C%20%22worst_slice_floor_pct%22%3A%20d_slice_floor.value%2C%0A%20%20%20%20%20%20%20%20%22choice%22%3A%20d_choice.value%2C%20%22rejected%22%3A%20d_rejected.value%2C%0A%20%20%20%20%7D%0A%20%20%20%20e_upstream%20%3D%20%7B%22mismatch%22%3A%20e_mismatch.value%2C%20%22decision%22%3A%20e_decision.value%7D%0A%0A%20%20%20%20a_kernel%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22inputs%22%3A%20a_kernel_result%5B%22inputs%22%5D%2C%0A%20%20%20%20%20%20%20%20%22sample%22%3A%20to_jsonable(a_kernel_result%5B%22reported_summary%22%5D)%2C%0A%20%20%20%20%20%20%20%20%22speedup%22%3A%20to_jsonable(a_kernel_result%5B%22reported_speedup%22%5D)%2C%0A%20%20%20%20%7D%0A%20%20%20%20a_path%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22inputs%22%3A%20a_result%5B%22inputs%22%5D%2C%0A%20%20%20%20%20%20%20%20%22sample%22%3A%20to_jsonable(a_result%5B%22reported_summary%22%5D)%2C%0A%20%20%20%20%20%20%20%20%22speedup%22%3A%20to_jsonable(a_result%5B%22reported_speedup%22%5D)%2C%0A%20%20%20%20%7D%0A%20%20%20%20a_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20scope%20contrast%22%2C%20kind%3D%22success%22%2C%20disabled%3Da_prediction.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_value%3A%20store(%22A%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22A%22%2C%20prediction%3Da_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3Da_upstream%2C%20baseline%3Da_kernel%2C%20result%3Da_path%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Da_upstream%2C%20decision%3D%22whole-path%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v1_12_experiments.compare_scopes%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20b_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20measurement%20protocol%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Db_prediction.value%20is%20None%20or%20b_result%5B%22inputs%22%5D%20%3D%3D%20b_baseline%5B%22inputs%22%5D%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_value%3A%20store(%22B%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22B%22%2C%20prediction%3Db_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3Db_upstream%2C%20baseline%3Dto_jsonable(b_baseline)%2C%20result%3Dto_jsonable(b_result)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Db_upstream%2C%20decision%3D%22disclose-repeated-runs%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v1_12_experiments.analyze_repeats%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20c_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20sustained%20comparison%22%2C%20kind%3D%22success%22%2C%20disabled%3Dc_prediction.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_value%3A%20store(%22C%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22C%22%2C%20prediction%3Dc_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3Dc_upstream%2C%20baseline%3Dto_jsonable(c_baseline)%2C%20result%3Dto_jsonable(c_result)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Dc_upstream%2C%20decision%3D%22sustained-evidence%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v1_12_experiments.compare_sustained%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20d_invalid%20%3D%20(%0A%20%20%20%20%20%20%20%20d_prediction.value%20is%20None%20or%20d_choice.value%20is%20None%20or%20d_rejected.value%20is%20None%0A%20%20%20%20%20%20%20%20or%20(d_choice.value%20!%3D%20%22none%22%20and%20d_choice.value%20%3D%3D%20d_rejected.value)%0A%20%20%20%20)%0A%20%20%20%20d_selected_mode%20%3D%20d_rejected.value%20if%20d_choice.value%20%3D%3D%20%22none%22%20else%20d_choice.value%0A%20%20%20%20d_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20slice%20decision%22%2C%20kind%3D%22success%22%2C%20disabled%3Dd_invalid%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_value%3A%20store(%22D%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22D%22%2C%20prediction%3Dd_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B**d_upstream%2C%20%22evaluated_mode%22%3A%20d_selected_mode%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Dto_jsonable(d_baseline)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result%3Dto_jsonable(d_results%5Bd_selected_mode%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Dd_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alternatives%3Dtuple(to_jsonable(d_results%5Bmode%5D)%20for%20mode%20in%20d_results)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20decision%3D%7B%22choice%22%3A%20d_choice.value%2C%20%22rejected%22%3A%20d_rejected.value%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v1_12_experiments.compare_quality_slices%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20chosen_result%3Dto_jsonable(d_baseline)%20if%20d_choice.value%20%3D%3D%20%22none%22%20else%20to_jsonable(d_results%5Bd_selected_mode%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result_role%3D%22rejected%20alternative%22%20if%20d_choice.value%20%3D%3D%20%22none%22%20else%20%22chosen%20candidate%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20e_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20protocol%20decision%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3De_prediction.value%20is%20None%20or%20e_decision.value%20is%20None%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_value%3A%20store(%22E%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22E%22%2C%20prediction%3De_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3De_upstream%2C%20baseline%3Dto_jsonable(e_mismatched)%2C%20result%3Dto_jsonable(e_repaired)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3De_upstream%2C%20decision%3De_decision.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v1_12_experiments.audit_protocols%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_capture%2C%0A%20%20%20%20%20%20%20%20a_upstream%2C%0A%20%20%20%20%20%20%20%20b_capture%2C%0A%20%20%20%20%20%20%20%20b_upstream%2C%0A%20%20%20%20%20%20%20%20c_capture%2C%0A%20%20%20%20%20%20%20%20c_upstream%2C%0A%20%20%20%20%20%20%20%20d_capture%2C%0A%20%20%20%20%20%20%20%20d_upstream%2C%0A%20%20%20%20%20%20%20%20e_capture%2C%0A%20%20%20%20%20%20%20%20e_upstream%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(ACADEMIC_LAB_CSS%2C%20LAB_CSS%2C%20mo%2C%20profile%2C%20track)%3A%0A%20%20%20%20css%20%3D%20mo.Html(%22%22%22%0A%20%20%20%20%3Cstyle%3E%0A%20%20%20%20.bench-head%7Bbackground%3Alinear-gradient(135deg%2C%23101827%2C%23194f72)%3Bcolor%3Awhite%3Bborder-radius%3A14px%3Bpadding%3Aclamp(18px%2C4vw%2C32px)%3Bmargin%3A30px%200%2014px%7D%0A%20%20%20%20.bench-top%7Bdisplay%3Aflex%3Bjustify-content%3Aspace-between%3Bgap%3A8px%3Bflex-wrap%3Awrap%3Bfont%3A700%20.72rem%20ui-monospace%3Bletter-spacing%3A.08em%7D%0A%20%20%20%20.bench-head%20h1%7Bfont-size%3Aclamp(1.65rem%2C5vw%2C2.65rem)%3Bline-height%3A1.05%3Bmargin%3A16px%200%208px%7D.bench-head%20p%7Bcolor%3A%23dbeafe%3Bmax-width%3A760px%7D%0A%20%20%20%20.bench-meta%7Bdisplay%3Agrid%3Bgrid-template-columns%3Arepeat(auto-fit%2Cminmax(170px%2C1fr))%3Bgap%3A9px%3Bmargin-top%3A17px%7D.bench-meta%20div%7Bbackground%3A%23ffffff14%3Bborder%3A1px%20solid%20%23ffffff26%3Bpadding%3A9px%2011px%3Bborder-radius%3A8px%7D%0A%20%20%20%20.saved%7Bborder-left%3A4px%20solid%20%232ca02c%3Bbackground%3A%23f0fdf4%3Bpadding%3A9px%2012px%3Bborder-radius%3A7px%7D.table-wrap%7Bmax-width%3A100%25%3Boverflow-x%3Aauto%7D%0A%20%20%20%20.lab-hud%7Bdisplay%3Aflex%3Balign-items%3Acenter%3Bflex-wrap%3Awrap%3Bgap%3A10px%3Bbackground%3A%23101827!important%3Bcolor%3A%23fff%3Bpadding%3A14px%2018px%3Bborder-radius%3A9px%7D.lab-hud%20.hud-label%7Bcolor%3A%23a7b9cf%7D.lab-hud%20.hud-value%7Bcolor%3A%23fff%7D.lab-hud%20.hud-active%7Bcolor%3A%2386efac%7D%0A%20%20%20%20%40media(max-width%3A520px)%7B.bench-head%7Bborder-radius%3A9px%7D.bench-meta%7Bgrid-template-columns%3A1fr%7D%7D%0A%20%20%20%20%3C%2Fstyle%3E%22%22%22)%0A%20%20%20%20header%20%3D%20mo.Html(f%22%22%22%3Csection%20class%3D%22bench-head%22%3E%3Cdiv%20class%3D%22bench-top%22%3E%3Cspan%3EVOLUME%20I%20%C2%B7%20LAB%2012%3C%2Fspan%3E%3Cspan%3EABOUT%2050%E2%80%9355%20MIN%3C%2Fspan%3E%3C%2Fdiv%3E%3Ch1%3EBenchmark%20Claims%20That%20Survive%3C%2Fh1%3E%3Cp%3ECan%20a%20performance%20gain%20survive%20fair%2C%20credible%2C%20representative%20measurement%20while%20preserving%20useful%20behavior%3F%3C%2Fp%3E%3Cdiv%20class%3D%22bench-meta%22%3E%3Cdiv%3E%3Cb%3ETrack%3C%2Fb%3E%3Cbr%3E%7Bprofile.display_name%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EWorkload%3C%2Fb%3E%3Cbr%3E%7Bprofile.workload_id%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EOutput%3C%2Fb%3E%3Cbr%3EAuditable%20benchmark%20recommendation%3C%2Fdiv%3E%3C%2Fdiv%3E%3C%2Fsection%3E%22%22%22)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20track%2C%20css%2C%20LAB_CSS%2C%20ACADEMIC_LAB_CSS%2C%20header%2C%0A%20%20%20%20%20%20%20%20mo.md(%22A%20fast%20component%20is%20only%20a%20hypothesis.%20Test%20scope%2C%20measurement%20amount%2C%20sustained%20behavior%2C%20quality%20slices%2C%20and%20protocol%20parity%20before%20deciding%20what%20can%20be%20reported.%20These%20repeatable%20traces%20are%20teaching%20scenarios%2C%20not%20measurements%20of%20a%20named%20product.%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20a_capture%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_result%2C%0A%20%20%20%20a_speedup%2C%0A%20%20%20%20a_upstream%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20audit_evidence%2C%0A%20%20%20%20b_baseline%2C%0A%20%20%20%20b_capture%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_repeats%2C%0A%20%20%20%20b_result%2C%0A%20%20%20%20b_samples%2C%0A%20%20%20%20b_upstream%2C%0A%20%20%20%20b_warmup%2C%0A%20%20%20%20c_baseline%2C%0A%20%20%20%20c_capture%2C%0A%20%20%20%20c_duration%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_result%2C%0A%20%20%20%20c_stress%2C%0A%20%20%20%20c_upstream%2C%0A%20%20%20%20d_capture%2C%0A%20%20%20%20d_choice%2C%0A%20%20%20%20d_mode%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_rejected%2C%0A%20%20%20%20d_result%2C%0A%20%20%20%20d_results%2C%0A%20%20%20%20d_slice_floor%2C%0A%20%20%20%20d_upstream%2C%0A%20%20%20%20e_capture%2C%0A%20%20%20%20e_decision%2C%0A%20%20%20%20e_mismatch%2C%0A%20%20%20%20e_mismatched%2C%0A%20%20%20%20e_prediction%2C%0A%20%20%20%20e_repaired%2C%0A%20%20%20%20e_upstream%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20go%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20def%20ms(quantity)%3A%0A%20%20%20%20%20%20%20%20return%20quantity.m_as(%22ms%22)%0A%0A%20%20%20%20def%20ratio(value)%3A%0A%20%20%20%20%20%20%20%20return%20value.magnitude%20if%20hasattr(value%2C%20%22magnitude%22)%20else%20value%0A%0A%20%20%20%20def%20table(rows)%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bmo.ui.table(rows%2C%20pagination%3DFalse)%5D).style(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22max-width%22%3A%20%22100%25%22%2C%20%22overflow-x%22%3A%20%22auto%22%7D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20saved(part)%3A%0A%20%20%20%20%20%20%20%20capture%20%3D%20get_evidence().get(part)%0A%20%20%20%20%20%20%20%20return%20mo.Html(f'%3Cdiv%20class%3D%22saved%22%3ESaved%20evidence%20for%20Part%20%7Bpart%7D.%3C%2Fdiv%3E')%20if%20capture%20else%20mo.md(%22%22)%0A%0A%20%20%20%20captures%20%3D%20get_evidence()%0A%20%20%20%20audit%20%3D%20audit_evidence(%0A%20%20%20%20%20%20%20%20captures%2C%20track%3Dtrack_id%2C%20required_parts%3Dtuple(%22ABCDE%22)%2C%0A%20%20%20%20%20%20%20%20contrast_required_parts%3Dtuple(%22ABCDE%22)%2C%0A%20%20%20%20%20%20%20%20per_part_upstream_inputs%3D%7B%22A%22%3A%20a_upstream%2C%20%22B%22%3A%20b_upstream%2C%20%22C%22%3A%20c_upstream%2C%20%22D%22%3A%20d_upstream%2C%20%22E%22%3A%20e_upstream%7D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20def%20part_a()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%22%23%23%23%20A%20%C2%B7%20Does%20local%20speedup%20improve%20the%20user%20path%3F%20(10%20min)%5CnPredict%20how%20much%20of%20an%20isolated%20kernel%20gain%20survives%20preprocessing%2C%20transfer%2C%20postprocessing%2C%20and%20integration%20overhead.%22)%0A%20%20%20%20%20%20%20%20if%20a_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20a_prediction%5D)%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B%22Isolated%20kernel%22%2C%20%22Whole%20request%20path%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Bratio(a_result%5B%22kernel_speedup%22%5D)%2C%20ratio(a_result%5B%22whole_path_speedup%22%5D)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D%5BCOLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22OrangeLine%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20texttemplate%3D%22%25%7By%3A.2f%7D%C3%97%22%2C%20textposition%3D%22outside%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20figure.update_layout(yaxis_title%3D%22Median%20speedup%20(%C3%97)%22%2C%20showlegend%3DFalse)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(figure)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20a_prediction%2C%20a_speedup%2C%20figure%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Prediction%3A**%20%7Ba_prediction.value%7D.%20The%20paired%20trace%20shows%20**%7Bratio(a_result%5B'kernel_speedup'%5D)%3A.2f%7D%C3%97**%20at%20the%20kernel%20boundary%20and%20**%7Bratio(a_result%5B'whole_path_speedup'%5D)%3A.2f%7D%C3%97**%20across%20the%20request.%22)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20a_capture%2C%20saved(%22A%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22Each%20request%20uses%20the%20same%20seeded%20disturbance%20in%20both%20systems.%20Whole-path%20time%20adds%20preprocessing%2C%20kernel%2C%20transfer%2C%20and%20postprocessing%3B%20the%20candidate%20also%20pays%20disclosed%20integration%20overhead.%22)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_b()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%22%23%23%23%20B%20%C2%B7%20How%20much%20measurement%20supports%20the%20claim%3F%20(10%20min)%5CnCompare%20a%20short%20run%20that%20includes%20warmup%20with%20repeated%20runs%20that%20disclose%20warmup%2C%20run%20length%2C%20drift%2C%20and%20run-to-run%20variability.%22)%0A%20%20%20%20%20%20%20%20if%20b_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20b_prediction%5D)%0A%20%20%20%20%20%20%20%20first_trace%20%3D%20b_result%5B%22traces%22%5D%5B0%5D%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dlist(range(len(first_trace)))%2C%20y%3D%5Bms(value)%20for%20value%20in%20first_trace%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%2Bmarkers%22%2C%20name%3D%22Run%201%22%2C%20line%3D%7B%22color%22%3A%20COLORS%5B%22BlueLine%22%5D%7D%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20figure.add_vline(x%3Db_warmup.value%20-%200.5%2C%20line_dash%3D%22dash%22%2C%20annotation_text%3D%22measured%20region%22)%0A%20%20%20%20%20%20%20%20figure.update_layout(xaxis_title%3D%22Iteration%22%2C%20yaxis_title%3D%22Whole-path%20latency%20(ms)%22)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(figure)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Protocol%22%3A%20%22Short%2C%20cold-included%22%2C%20%22Warmup%22%3A%200%2C%20%22Samples%2Frun%22%3A%2010%2C%20%22Runs%22%3A%202%2C%20%22Median%22%3A%20f%22%7Bms(b_baseline%5B'median_of_run_medians'%5D)%3A.2f%7D%20ms%22%2C%20%22Run%20CV%22%3A%20f%22%7Bb_baseline%5B'run_to_run_cv_pct'%5D%3A.2f%7D%25%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Protocol%22%3A%20%22Selected%22%2C%20%22Warmup%22%3A%20b_warmup.value%2C%20%22Samples%2Frun%22%3A%20b_samples.value%2C%20%22Runs%22%3A%20b_repeats.value%2C%20%22Median%22%3A%20f%22%7Bms(b_result%5B'median_of_run_medians'%5D)%3A.2f%7D%20ms%22%2C%20%22Run%20CV%22%3A%20f%22%7Bb_result%5B'run_to_run_cv_pct'%5D%3A.2f%7D%25%22%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20b_prediction%2C%20mo.hstack(%5Bb_warmup%2C%20b_samples%2C%20b_repeats%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20figure%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Prediction%3A**%20%7Bb_prediction.value%7D.%20%7Bb_result%5B'interval_note'%5D%7D%22)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20b_capture%2C%20saved(%22B%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22Every%20run%20has%20disclosed%20warmup%20decay%2C%20run%20offset%2C%20iteration%20noise%2C%20and%20within-run%20drift.%20The%20instrument%20reports%20sample%20medians%2C%20p95%2C%20p99%2C%20and%20variability%20across%20run%20medians.%22)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_c()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%22%23%23%23%20C%20%C2%B7%20Does%20the%20winner%20survive%20deployment%3F%20(10%20min)%5CnRun%20the%20same%20paired%20systems%20long%20enough%20for%20variability%20and%20candidate%20thermal%20drift%20to%20appear.%20Compare%20tail%20latency%2C%20deadline%20misses%2C%20and%20energy%20per%20request.%22)%0A%20%20%20%20%20%20%20%20if%20c_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20c_prediction%5D)%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20figure.add_bar(name%3D%22Baseline%22%2C%20x%3D%5B%22p99%20latency%22%5D%2C%20y%3D%5Bms(c_result%5B%22baseline%22%5D%5B%22p99%22%5D)%5D%2C%20marker_color%3DCOLORS%5B%22BlueLine%22%5D)%0A%20%20%20%20%20%20%20%20figure.add_bar(name%3D%22Candidate%22%2C%20x%3D%5B%22p99%20latency%22%5D%2C%20y%3D%5Bms(c_result%5B%22candidate%22%5D%5B%22p99%22%5D)%5D%2C%20marker_color%3DCOLORS%5B%22OrangeLine%22%5D)%0A%20%20%20%20%20%20%20%20figure.add_hline(y%3Dms(c_result%5B%22deadline%22%5D)%2C%20line_dash%3D%22dash%22%2C%20annotation_text%3D%22deadline%22)%0A%20%20%20%20%20%20%20%20figure.update_layout(barmode%3D%22group%22%2C%20yaxis_title%3D%22Latency%20(ms)%22)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(figure)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Trace%22%3A%20%2230-second%20check%22%2C%20%22Candidate%20p99%22%3A%20f%22%7Bms(c_baseline%5B'candidate'%5D%5B'p99'%5D)%3A.2f%7D%20ms%22%2C%20%22Candidate%20misses%22%3A%20f%22%7Bc_baseline%5B'candidate_deadline_miss_pct'%5D%3A.1f%7D%25%22%2C%20%22Candidate%20energy%22%3A%20f%22%7Bc_baseline%5B'candidate_energy_per_request'%5D.m_as('J')%3A.4f%7D%20J%2Frequest%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Trace%22%3A%20f%22%7Bc_duration.value%7D-second%20sustained%22%2C%20%22Candidate%20p99%22%3A%20f%22%7Bms(c_result%5B'candidate'%5D%5B'p99'%5D)%3A.2f%7D%20ms%22%2C%20%22Candidate%20misses%22%3A%20f%22%7Bc_result%5B'candidate_deadline_miss_pct'%5D%3A.1f%7D%25%22%2C%20%22Candidate%20energy%22%3A%20f%22%7Bc_result%5B'candidate_energy_per_request'%5D.m_as('J')%3A.4f%7D%20J%2Frequest%22%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20consequence%20%3D%20%22The%20candidate%20uses%20more%20median%20energy%20per%20request.%22%20if%20c_result%5B%22candidate_uses_more_energy%22%5D%20else%20%22The%20candidate%20uses%20less%20median%20energy%20per%20request%20in%20this%20scenario.%22%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20c_prediction%2C%20mo.hstack(%5Bc_duration%2C%20c_stress%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20figure%2C%20table(rows)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Prediction%3A**%20%7Bc_prediction.value%7D.%20Sustained%20candidate%20deadline%20misses%20are%20**%7Bc_result%5B'candidate_deadline_miss_pct'%5D%3A.1f%7D%25**%20versus%20**%7Bc_result%5B'baseline_deadline_miss_pct'%5D%3A.1f%7D%25**%20for%20baseline.%20%7Bconsequence%7D%22)%2C%20kind%3D%22warn%22%20if%20c_result%5B%22candidate_deadline_misses%22%5D%20%3E%20c_result%5B%22baseline_deadline_misses%22%5D%20else%20%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20c_capture%2C%20saved(%22C%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22The%20candidate%20accelerates%20only%20the%20kernel%2C%20adds%20integration%20overhead%2C%20and%20draws%20its%20disclosed%20request%20power.%20Energy%20per%20request%20is%20power%20%C3%97%20complete%20request%20time.%20Tail%20metrics%20come%20from%20complete%20simulated%20request%20durations.%22)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_d()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%22%23%23%23%20D%20%C2%B7%20Did%20efficiency%20preserve%20useful%20behavior%3F%20(10%20min)%5CnUse%20the%20same%20fixed%20labels%20and%20paired%20candidate%20scores%20for%20ordinary%20and%20difficult%20slices.%20Aggregate%20and%20worst-slice%20floors%20answer%20different%20questions.%22)%0A%20%20%20%20%20%20%20%20if%20d_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20d_prediction%5D)%0A%20%20%20%20%20%20%20%20figure%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20figure.add_bar(name%3D%22Baseline%22%2C%20x%3D%5B%22Ordinary%22%2C%20%22Difficult%22%5D%2C%20y%3D%5Bd_result%5B%22slices%22%5D%5Bname%5D%5B%22baseline_accuracy_pct%22%5D%20for%20name%20in%20(%22ordinary%22%2C%20%22difficult%22)%5D%2C%20marker_color%3DCOLORS%5B%22BlueLine%22%5D)%0A%20%20%20%20%20%20%20%20figure.add_bar(name%3D%22Candidate%22%2C%20x%3D%5B%22Ordinary%22%2C%20%22Difficult%22%5D%2C%20y%3D%5Bd_result%5B%22slices%22%5D%5Bname%5D%5B%22candidate_accuracy_pct%22%5D%20for%20name%20in%20(%22ordinary%22%2C%20%22difficult%22)%5D%2C%20marker_color%3DCOLORS%5B%22OrangeLine%22%5D)%0A%20%20%20%20%20%20%20%20figure.add_hline(y%3Dd_slice_floor.value%2C%20line_dash%3D%22dash%22%2C%20annotation_text%3D%22worst-slice%20floor%22)%0A%20%20%20%20%20%20%20%20figure.update_layout(barmode%3D%22group%22%2C%20yaxis_title%3D%22Observed%20accuracy%20(%25)%22%2C%20yaxis_range%3D%5B0%2C%20105%5D)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(figure)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Candidate%22%3A%20mode.replace(%22_%22%2C%20%22%20%22).title()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Overall%22%3A%20f%22%7Bresult%5B'candidate_overall_accuracy_pct'%5D%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Worst%20slice%22%3A%20f%22%7Bresult%5B'candidate_worst_slice_accuracy_pct'%5D%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Aggregate%20floor%20(%E2%89%A5%7Bd_result%5B'quality_floor_pct'%5D%3A.0f%7D%25)%22%3A%20%22PASS%22%20if%20result%5B%22candidate_aggregate_eligible%22%5D%20else%20%22FAIL%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Slice%20floor%22%3A%20%22PASS%22%20if%20result%5B%22candidate_worst_slice_eligible%22%5D%20else%20%22FAIL%22%2C%0A%20%20%20%20%20%20%20%20%7D%20for%20mode%2C%20result%20in%20d_results.items()%5D%0A%20%20%20%20%20%20%20%20decision_invalid%20%3D%20d_choice.value%20is%20not%20None%20and%20d_choice.value%20!%3D%20%22none%22%20and%20d_choice.value%20%3D%3D%20d_rejected.value%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20d_prediction%2C%20mo.hstack(%5Bd_mode%2C%20d_slice_floor%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20figure%2C%20table(rows)%2C%20mo.hstack(%5Bd_choice%2C%20d_rejected%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Prediction%3A**%20%7Bd_prediction.value%7D.%20The%20selected%20candidate's%20observed%20overall%20result%20is%20**%7Bd_result%5B'candidate_overall_accuracy_pct'%5D%3A.1f%7D%25**%3B%20its%20difficult%20slice%20is%20**%7Bd_result%5B'slices'%5D%5B'difficult'%5D%5B'candidate_accuracy_pct'%5D%3A.1f%7D%25**.%22)%2C%20kind%3D%22danger%22%20if%20not%20d_result%5B%22candidate_worst_slice_eligible%22%5D%20else%20%22success%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Choose%20a%20different%20tested%20alternative.%22%20if%20decision_invalid%20else%20%22Your%20decision%20will%20carry%20into%20synthesis.%22)%2C%20kind%3D%22warn%22%20if%20decision_invalid%20else%20%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20d_capture%2C%20saved(%22D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22Accuracy%20comes%20from%20fixed%20binary%20labels%20and%20scores.%20The%20aggregate%20floor%20changes%20eligibility%20only%3B%20it%20does%20not%20change%20predictions.%20The%20worst-slice%20floor%20is%20evaluated%20separately.%22)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20part_e()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%22%23%23%23%20E%20%C2%B7%20Which%20comparison%20can%20we%20honestly%20report%3F%20(7%20min)%5CnIntroduce%20one%20protocol%20mismatch%2C%20inspect%20the%20exact%20field%2C%20and%20decide%20whether%20to%20exclude%20the%20result%20or%20repair%20the%20protocol%20before%20inclusion.%22)%0A%20%20%20%20%20%20%20%20if%20e_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20e_prediction%5D)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%7B%22Field%22%3A%20item%5B%22field%22%5D%2C%20%22Reference%22%3A%20item%5B%22reference%22%5D%2C%20%22Candidate%22%3A%20item%5B%22candidate%22%5D%2C%20%22Effect%22%3A%20%22Exclude%20from%20headline%20comparison%22%7D%20for%20item%20in%20e_mismatched%5B%22mismatches%22%5D%5D%0A%20%20%20%20%20%20%20%20status_rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Protocol%22%3A%20%22Mismatched%22%2C%20%22Comparable%22%3A%20%22YES%22%20if%20e_mismatched%5B%22comparable%22%5D%20else%20%22NO%22%2C%20%22Headline%22%3A%20%22INCLUDE%22%20if%20e_mismatched%5B%22include_in_headline_comparison%22%5D%20else%20%22EXCLUDE%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Protocol%22%3A%20%22Repaired%22%2C%20%22Comparable%22%3A%20%22YES%22%20if%20e_repaired%5B%22comparable%22%5D%20else%20%22NO%22%2C%20%22Headline%22%3A%20%22INCLUDE%22%20if%20e_repaired%5B%22include_in_headline_comparison%22%5D%20else%20%22EXCLUDE%22%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20intro%2C%20e_prediction%2C%20e_mismatch%2C%20table(rows)%2C%20table(status_rows)%2C%20e_decision%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Prediction%3A**%20%7Be_prediction.value%7D.%20The%20mismatch%20changes%20inclusion%20directly%3B%20there%20is%20no%20validity%20score.%20Repaired%20status%3A%20**%7Be_repaired%5B'claim_status'%5D%7D**.%22)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20e_capture%2C%20saved(%22E%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22The%20audit%20compares%20workload%2C%20scope%2C%20warmup%2C%20measured%20iterations%2C%20repeats%2C%20trace%20identity%2C%20quality%20fixture%20and%20floor%2C%20and%20power%20boundary%20field%20by%20field.%22)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20def%20synthesis()%3A%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20part%20in%20%22ABCDE%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20capture%20%3D%20captures.get(part)%0A%20%20%20%20%20%20%20%20%20%20%20%20state%20%3D%20%22MISSING%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20capture%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20state%20%3D%20%22STALE%22%20if%20part%20in%20audit.stale%20or%20(part%2C%20part)%20in%20audit.identical_pairs%20else%20%22CURRENT%22%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B%22Part%22%3A%20part%2C%20%22Locked%20prediction%22%3A%20capture.to_dict()%5B%22prediction%22%5D%20if%20capture%20else%20%22%E2%80%94%22%2C%20%22Evidence%22%3A%20state%7D)%0A%20%20%20%20%20%20%20%20d_saved%20%3D%20captures%5B%22D%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22D%22%20in%20captures%20else%20%7B%7D%0A%20%20%20%20%20%20%20%20ready%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20audit.complete%20and%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20bool(rationale.value.strip())%20and%20final_choice.value%20%3D%3D%20d_saved.get(%22choice%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20final_rejected.value%20%3D%3D%20d_saved.get(%22rejected%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20(final_choice.value%20%3D%3D%20%22none%22%20or%20final_choice.value%20!%3D%20final_rejected.value)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Synthesis%20%C2%B7%20Defend%20one%20reportable%20claim%20(5%20min)%5CnChoose%20a%20candidate%20or%20conclude%20that%20none%20is%20reportable.%20Quantify%20the%20tested%20alternative%2C%20name%20the%20remaining%20limitation%2C%20and%20set%20a%20trigger%20that%20would%20reopen%20the%20decision.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20table(rows)%2C%20mo.hstack(%5Bfinal_choice%2C%20final_rejected%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bfinal_risk%2C%20final_trigger%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20rationale%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%22**Ready%20for%20the%20local%20report.**%22%20if%20ready%20else%20%22Capture%20five%20current%20contrasts%20and%20match%20synthesis%20to%20the%20saved%20Part%20D%20candidate%20decision.%22)%2C%20kind%3D%22success%22%20if%20ready%20else%20%22warn%22)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20mo.ui.tabs(%7B%22Part%20A%22%3A%20part_a()%2C%20%22Part%20B%22%3A%20part_b()%2C%20%22Part%20C%22%3A%20part_c()%2C%20%22Part%20D%22%3A%20part_d()%2C%20%22Part%20E%22%3A%20part_e()%2C%20%22Synthesis%22%3A%20synthesis()%7D)%0A%20%20%20%20return%20(audit%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20audit%2C%0A%20%20%20%20build_lab_report%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20profile%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20report_export_panel%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_d_saved%20%3D%20_captures%5B%22D%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22D%22%20in%20_captures%20else%20%7B%7D%0A%20%20%20%20_ready%20%3D%20(%0A%20%20%20%20%20%20%20%20audit.complete%0A%20%20%20%20%20%20%20%20and%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%0A%20%20%20%20%20%20%20%20and%20bool(rationale.value.strip())%0A%20%20%20%20%20%20%20%20and%20final_choice.value%20%3D%3D%20_d_saved.get(%22choice%22)%0A%20%20%20%20%20%20%20%20and%20final_rejected.value%20%3D%3D%20_d_saved.get(%22rejected%22)%0A%20%20%20%20%20%20%20%20and%20(final_choice.value%20%3D%3D%20%22none%22%20or%20final_choice.value%20!%3D%20final_rejected.value)%0A%20%20%20%20)%0A%20%20%20%20mo.stop(not%20_ready)%0A%20%20%20%20_snapshots%20%3D%20%7Bpart%3A%20_captures%5Bpart%5D.to_dict()%20for%20part%20in%20%22ABCDE%22%7D%0A%20%20%20%20report%20%3D%20build_lab_report(%0A%20%20%20%20%20%20%20%20get_lab_metadata(%22vol1%2Flab_12_perf_bench.py%22)%2C%0A%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20scenario%3Dprofile.workload_id%2C%0A%20%20%20%20%20%20%20%20learning_objectives%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Distinguish%20component%20speedup%20from%20whole-path%20benefit%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Design%20repeated%20measurements%20that%20disclose%20warmup%20and%20drift%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Require%20sustained%2C%20slice%2C%20and%20protocol%20evidence%20before%20reporting%20a%20gain%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20predictions%3D%7Bpart%3A%20snapshot%5B%22prediction%22%5D%20for%20part%2C%20snapshot%20in%20_snapshots.items()%7D%2C%0A%20%20%20%20%20%20%20%20knob_settings%3D%7Bpart%3A%20snapshot%5B%22inputs%22%5D%20for%20part%2C%20snapshot%20in%20_snapshots.items()%7D%2C%0A%20%20%20%20%20%20%20%20evidence_summary%3D%7Bpart%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22baseline%22%3A%20snapshot%5B%22baseline%22%5D%2C%20%22result%22%3A%20snapshot%5B%22result%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22result_role%22%3A%20snapshot%5B%22result_role%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22chosen_result%22%3A%20snapshot%5B%22chosen_result%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22alternatives%22%3A%20snapshot%5B%22alternatives%22%5D%2C%0A%20%20%20%20%20%20%20%20%7D%20for%20part%2C%20snapshot%20in%20_snapshots.items()%7D%2C%0A%20%20%20%20%20%20%20%20binding_constraints%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22quality%22%3A%20(_snapshots%5B%22D%22%5D%5B%22chosen_result%22%5D%20or%20_snapshots%5B%22D%22%5D%5B%22result%22%5D).get(%22candidate_worst_slice_eligible%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22protocol%22%3A%20_snapshots%5B%22E%22%5D%5B%22baseline%22%5D.get(%22mismatches%22)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20decisions%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22recommendation%22%3A%20final_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22rejected_alternative%22%3A%20final_rejected.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22reevaluation_trigger%22%3A%20final_trigger.value%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20final_decision%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22recommendation%22%3A%20final_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22rejected_alternative%22%3A%20final_rejected.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22rationale%22%3A%20rationale.value%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20big_takeaways%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20kernel%20gain%20is%20bounded%20by%20unchanged%20whole-path%20work.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Warmup%20and%20drift%20require%20disclosed%20repeated-run%20evidence.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20claim%20must%20preserve%20difficult-slice%20behavior%20and%20protocol%20parity.%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20reflections%3D%7B%22rationale%22%3A%20rationale.value%2C%20%22reevaluation_trigger%22%3A%20final_trigger.value%7D%2C%0A%20%20%20%20%20%20%20%20residual_risk%3Dfinal_risk.value%2C%0A%20%20%20%20%20%20%20%20result_snapshot%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22track%22%3A%20track_id%2C%20%22captures%22%3A%20_snapshots%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22recommendation%22%3A%20final_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22rejected_alternative%22%3A%20final_rejected.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22reevaluation_trigger%22%3A%20final_trigger.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22residual_risk%22%3A%20final_risk.value%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20source_trace%3D%7B%22scenario%22%3A%20%22Disclosed%20illustrative%20seeded%20fixture%22%2C%20%22calculations%22%3A%20%22MLSysIM%22%7D%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%20Local%20evidence%20report%22)%2C%20report_export_panel(report)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Aasync%20def%20_(%0A%20%20%20%20audit%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20ledger%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_d_saved%20%3D%20_captures%5B%22D%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22D%22%20in%20_captures%20else%20%7B%7D%0A%20%20%20%20_ready%20%3D%20(%0A%20%20%20%20%20%20%20%20audit.complete%0A%20%20%20%20%20%20%20%20and%20all(widget.value%20is%20not%20None%20for%20widget%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%0A%20%20%20%20%20%20%20%20and%20bool(rationale.value.strip())%0A%20%20%20%20%20%20%20%20and%20final_choice.value%20%3D%3D%20_d_saved.get(%22choice%22)%0A%20%20%20%20%20%20%20%20and%20final_rejected.value%20%3D%3D%20_d_saved.get(%22rejected%22)%0A%20%20%20%20%20%20%20%20and%20(final_choice.value%20%3D%3D%20%22none%22%20or%20final_choice.value%20!%3D%20final_rejected.value)%0A%20%20%20%20)%0A%20%20%20%20_status%20%3D%20%22EVIDENCE%20IN%20PROGRESS%22%0A%20%20%20%20if%20_ready%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ledger.save(chapter%3D12%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22schema_version%22%3A%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22lab_id%22%3A%20%22v1_12%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22track_id%22%3A%20track_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model_id%22%3A%20%22v1_12_experiments%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22evidence%22%3A%20%7Bpart%3A%20capture.to_dict()%20for%20part%2C%20capture%20in%20_captures.items()%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22recommendation%22%3A%20final_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22rejected_alternative%22%3A%20final_rejected.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reevaluation_trigger%22%3A%20final_trigger.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22residual_risk%22%3A%20final_risk.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22rationale%22%3A%20rationale.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20await%20ledger.flush()%0A%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_status%20%3D%20%22LOCAL%20SAVE%20FAILED%20%C2%B7%20DOWNLOAD%20THE%20REPORT%20TO%20KEEP%20YOUR%20EVIDENCE%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_status%20%3D%20%22SAVED%22%0A%20%20%20%20mo.Html(f'%3Cdiv%20class%3D%22lab-hud%22%3E%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%3Cspan%20class%3D%22hud-value%22%3E12%20%C2%B7%20Benchmark%20Claims%20That%20Survive%20%C2%B7%20STATUS%3A%20%3C%2Fspan%3E%3Cspan%20class%3D%22hud-active%22%3E%7B_status%7D%3C%2Fspan%3E%3C%2Fdiv%3E')%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A