Lab 10: The Inference Economy

Lab 10: The Inference Economy · MLSysBook

import%20marimo%0A%0A__generated_with%20%3D%20%220.25.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22full%22%2C%0A%20%20%20%20app_title%3D%22Lab%2010%3A%20The%20Inference%20Economy%20%C2%B7%20MLSysBook%22%2C%0A)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysim-0.1.2-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysbook_labs-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20labs_dir%20%3D%20Path(__file__).resolve().parents%5B1%5D%0A%20%20%20%20%20%20%20%20if%20str(labs_dir)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(labs_dir))%0A%20%20%20%20%20%20%20%20from%20bootstrap%20import%20native_bootstrap%0A%20%20%20%20%20%20%20%20native_bootstrap(__file__)%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.core.units%20import%20ureg%0A%20%20%20%20from%20mlsysim.engine.v2_10_experiments%20import%20(%0A%20%20%20%20%20%20%20%20MODEL_ID%2C%20admission_snapshot%2C%20compare_equal_budget_placements%2C%0A%20%20%20%20%20%20%20%20cost_snapshot%2C%20illustrative_track_scenario%2C%20lifetime_cost_crossover%2C%0A%20%20%20%20%20%20%20%20replay_requests%2C%20replay_snapshot%2C%20serialize_quantity%2C%20state_admission%2C%0A%20%20%20%20%20%20%20%20unavailable_snapshot%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20from%20mlsysbook_labs%20import%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%20build_lab_report%2C%20get_lab_metadata%2C%20report_export_panel%2C%0A%20%20%20%20)%0A%20%20%20%20from%20mlsysbook_labs.experiment_evidence%20import%20audit_evidence%2C%20capture_evidence%0A%20%20%20%20ledger%20%3D%20DesignLedger(volume%3D%22vol2%22)%0A%20%20%20%20if%20ledger.is_wasm%3A%0A%20%20%20%20%20%20%20%20_loaded%20%3D%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20MODEL_ID%2C%0A%20%20%20%20%20%20%20%20admission_snapshot%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20audit_evidence%2C%0A%20%20%20%20%20%20%20%20build_lab_report%2C%0A%20%20%20%20%20%20%20%20capture_evidence%2C%0A%20%20%20%20%20%20%20%20compare_equal_budget_placements%2C%0A%20%20%20%20%20%20%20%20cost_snapshot%2C%0A%20%20%20%20%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20illustrative_track_scenario%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20lifetime_cost_crossover%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20replay_requests%2C%0A%20%20%20%20%20%20%20%20replay_snapshot%2C%0A%20%20%20%20%20%20%20%20report_export_panel%2C%0A%20%20%20%20%20%20%20%20serialize_quantity%2C%0A%20%20%20%20%20%20%20%20state_admission%2C%0A%20%20%20%20%20%20%20%20ureg%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20get_evidence%2C%20set_evidence%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20return%20get_evidence%2C%20set_evidence%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20set_evidence)%3A%0A%20%20%20%20track%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22TinyML%22%3A%20%22tinyml%22%2C%20%22Mobile%22%3A%20%22mobile%22%2C%20%22Edge%22%3A%20%22edge%22%2C%20%22Cloud%22%3A%20%22cloud%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Cloud%22%2C%20label%3D%22Deployment%20track%22%2C%0A%20%20%20%20%20%20%20%20on_change%3Dlambda%20_value%3A%20set_evidence(%7B%7D)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(track%2C)%0A%0A%0A%40app.cell%0Adef%20_(illustrative_track_scenario%2C%20track)%3A%0A%20%20%20%20track_id%20%3D%20track.value%0A%20%20%20%20scenario%20%3D%20illustrative_track_scenario(track_id)%0A%20%20%20%20return%20scenario%2C%20track_id%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20scenario%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20a_rate%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7Blabel.title()%3A%20label%20for%20label%2C%20_value%20in%20scenario.request_rate_options%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Growth%22%2C%20label%3D%22Request-volume%20case%22%2C%0A%20%20%20%20)%0A%20%20%20%20b_fragmentation%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7Bf%22%7Bvalue%3A.0%25%7D%20unavailable%22%3A%20value%20for%20value%20in%20scenario.fragmentation_options%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%2230%25%20unavailable%22%2C%20label%3D%22Fragmented%20free%20memory%22%2C%0A%20%20%20%20)%0A%20%20%20%20c_window%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7Bf%22%7Bvalue.m_as('millisecond')%3Ag%7D%20ms%22%3A%20value.m_as(%22millisecond%22)%20for%20value%20in%20scenario.batch_window_options%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%2225%20ms%22%2C%20label%3D%22Batch%20collection%20window%22%2C%0A%20%20%20%20)%0A%20%20%20%20c_batch%20%3D%20mo.ui.slider(2%2C%205%2C%20value%3D5%2C%20step%3D1%2C%20label%3D%22Maximum%20batch%20size%22)%0A%20%20%20%20_choice_options%20%3D%20%7B%7D%0A%20%20%20%20if%20%22replicate%22%20in%20scenario.supported_placements%3A%0A%20%20%20%20%20%20%20%20_choice_options%5B%22Replicate%22%5D%20%3D%20%22replicate%22%0A%20%20%20%20if%20%22shard%22%20in%20scenario.supported_placements%3A%0A%20%20%20%20%20%20%20%20_choice_options%5B%22Shard%22%5D%20%3D%20%22shard%22%0A%20%20%20%20if%20%22split_phases%22%20in%20scenario.supported_placements%3A%0A%20%20%20%20%20%20%20%20_choice_options%5B%22Split%20phases%22%5D%20%3D%20%22split_phases%22%0A%20%20%20%20_choice_options%5B%22Hold%20current%20replication%22%5D%20%3D%20%22none%22%0A%20%20%20%20d_choice%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20_choice_options%2C%0A%20%20%20%20%20%20%20%20label%3D%22Placement%20decision%22%2C%0A%20%20%20%20)%0A%20%20%20%20d_rejected%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Replicate%22%3A%20%22replicate%22%2C%20%22Shard%22%3A%20%22shard%22%2C%20%22Split%20phases%22%3A%20%22split_phases%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Rejected%20alternative%22%2C%0A%20%20%20%20)%0A%20%20%20%20e_lost%20%3D%20mo.ui.slider(0%2C%20scenario.baseline_replicas%20-%201%2C%20value%3D1%2C%20step%3D1%2C%20label%3D%22Lost%20replicas%22)%0A%20%20%20%20e_warmup%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7Bf%22%7Bvalue.m_as('millisecond')%3Ag%7D%20ms%22%3A%20value.m_as(%22millisecond%22)%20for%20value%20in%20scenario.warmup_options%7D%2C%0A%20%20%20%20%20%20%20%20value%3Df%22%7Bscenario.warmup_options%5B-1%5D.m_as('millisecond')%3Ag%7D%20ms%22%2C%20label%3Df%22Startup%20delay%20(%7Bscenario.startup_kind%7D)%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_rate%2C%0A%20%20%20%20%20%20%20%20b_fragmentation%2C%0A%20%20%20%20%20%20%20%20c_batch%2C%0A%20%20%20%20%20%20%20%20c_window%2C%0A%20%20%20%20%20%20%20%20d_choice%2C%0A%20%20%20%20%20%20%20%20d_rejected%2C%0A%20%20%20%20%20%20%20%20e_lost%2C%0A%20%20%20%20%20%20%20%20e_warmup%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20a_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Serving%20stays%20below%20training%22%3A%20%22below%22%2C%20%22Serving%20exceeds%20training%22%3A%20%22above%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20lifetime%20cost%20is%20larger%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20A%20prediction%22)%0A%20%20%20%20b_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Weights%20do%20not%20fit%22%3A%20%22weights%22%2C%20%22State%20admission%20fails%22%3A%20%22state%22%2C%20%22Everything%20fits%22%3A%20%22fits%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20binds%20after%20fragmentation%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20B%20prediction%22)%0A%20%20%20%20c_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Lower%20p99%20and%20more%20on%20time%22%3A%20%22both%22%2C%20%22Lower%20work%20span%20but%20worse%20deadlines%22%3A%20%22tradeoff%22%2C%20%22No%20meaningful%20change%22%3A%20%22same%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20will%20batching%20do%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20C%20prediction%22)%0A%20%20%20%20d_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Replicate%22%3A%20%22replicate%22%2C%20%22Shard%22%3A%20%22shard%22%2C%20%22Split%20phases%22%3A%20%22split_phases%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20equal-device%20placement%20has%20the%20lowest%20p99%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20D%20prediction%22)%0A%20%20%20%20e_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22All%20requests%20stay%20on%20time%22%3A%20%22all%22%2C%20%22Some%20requests%20miss%22%3A%20%22some%22%2C%20%22No%20request%20finishes%22%3A%20%22none%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20happens%20after%20loss%20and%20warmup%3F%22%2C%0A%20%20%20%20).form(submit_button_label%3D%22Lock%20Part%20E%20prediction%22)%0A%20%20%20%20return%20a_prediction%2C%20b_prediction%2C%20c_prediction%2C%20d_prediction%2C%20e_prediction%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20scenario%2C%20track_id)%3A%0A%20%20%20%20_track_key%20%3D%20track_id%0A%20%20%20%20_final_choice_options%20%3D%20%7B%7D%0A%20%20%20%20if%20%22replicate%22%20in%20scenario.supported_placements%3A%0A%20%20%20%20%20%20%20%20_final_choice_options%5B%22Replicate%22%5D%20%3D%20%22replicate%22%0A%20%20%20%20if%20%22shard%22%20in%20scenario.supported_placements%3A%0A%20%20%20%20%20%20%20%20_final_choice_options%5B%22Shard%22%5D%20%3D%20%22shard%22%0A%20%20%20%20if%20%22split_phases%22%20in%20scenario.supported_placements%3A%0A%20%20%20%20%20%20%20%20_final_choice_options%5B%22Split%20phases%22%5D%20%3D%20%22split_phases%22%0A%20%20%20%20_final_choice_options%5B%22Hold%20current%20replication%22%5D%20%3D%20%22none%22%0A%20%20%20%20final_choice%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20_final_choice_options%2C%0A%20%20%20%20%20%20%20%20label%3D%22Final%20architecture%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_rejected%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Replicate%22%3A%20%22replicate%22%2C%20%22Shard%22%3A%20%22shard%22%2C%20%22Split%20phases%22%3A%20%22split_phases%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Quantified%20rejected%20architecture%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_trigger%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22p99%20reaches%20the%20SLO%22%3A%20%22p99%22%2C%20%22State%20rejection%20appears%22%3A%20%22state%22%2C%20%22Serving%20cost%20reaches%20training%20cost%22%3A%20%22cost%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Reevaluation%20trigger%22%2C%0A%20%20%20%20)%0A%20%20%20%20final_risk%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Longer%20requests%22%3A%20%22length%22%2C%20%22Correlated%20replica%20loss%22%3A%20%22failure%22%2C%20%22Unvalidated%20quality%20shift%22%3A%20%22quality%22%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Remaining%20limitation%22%2C%0A%20%20%20%20)%0A%20%20%20%20rationale%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20label%3D%22Decision%20rationale%22%2C%0A%20%20%20%20%20%20%20%20placeholder%3D%22Cite%20saved%20numbers%2C%20the%20rejected%20alternative%2C%20limitation%2C%20and%20trigger.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20final_choice%2C%20final_rejected%2C%20final_risk%2C%20final_trigger%2C%20rationale%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20a_rate%2C%0A%20%20%20%20admission_snapshot%2C%0A%20%20%20%20b_fragmentation%2C%0A%20%20%20%20c_batch%2C%0A%20%20%20%20c_window%2C%0A%20%20%20%20compare_equal_budget_placements%2C%0A%20%20%20%20cost_snapshot%2C%0A%20%20%20%20e_lost%2C%0A%20%20%20%20e_warmup%2C%0A%20%20%20%20lifetime_cost_crossover%2C%0A%20%20%20%20replay_requests%2C%0A%20%20%20%20replay_snapshot%2C%0A%20%20%20%20scenario%2C%0A%20%20%20%20serialize_quantity%2C%0A%20%20%20%20state_admission%2C%0A%20%20%20%20ureg%2C%0A)%3A%0A%20%20%20%20def%20request_args()%3A%0A%20%20%20%20%20%20%20%20return%20%5Brequest.to_evaluator_args()%20for%20request%20in%20scenario.requests%5D%0A%20%20%20%20def%20service_args()%3A%0A%20%20%20%20%20%20%20%20return%20scenario.service.to_evaluator_args()%0A%0A%20%20%20%20_rates%20%3D%20dict(scenario.request_rate_options)%0A%20%20%20%20_normal_rate%2C%20_chosen_rate%20%3D%20_rates%5B%22normal%22%5D%2C%20_rates%5Ba_rate.value%5D%0A%20%20%20%20a_base_inputs%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22training_cost%22%3A%20serialize_quantity(scenario.training_cost)%2C%0A%20%20%20%20%20%20%20%20%22request_rate%22%3A%20serialize_quantity(_normal_rate)%2C%0A%20%20%20%20%20%20%20%20%22cost_per_request%22%3A%20serialize_quantity(scenario.cost_per_request)%2C%0A%20%20%20%20%20%20%20%20%22horizon%22%3A%20serialize_quantity(scenario.horizon)%2C%0A%20%20%20%20%7D%0A%20%20%20%20a_result_inputs%20%3D%20%7B**a_base_inputs%2C%20%22request_rate%22%3A%20serialize_quantity(_chosen_rate)%7D%0A%20%20%20%20a_base%20%3D%20lifetime_cost_crossover(%0A%20%20%20%20%20%20%20%20training_cost%3Dscenario.training_cost%2C%20request_rate%3D_normal_rate%2C%0A%20%20%20%20%20%20%20%20cost_per_request%3Dscenario.cost_per_request%2C%20horizon%3Dscenario.horizon%2C%0A%20%20%20%20)%0A%20%20%20%20a_result%20%3D%20lifetime_cost_crossover(%0A%20%20%20%20%20%20%20%20training_cost%3Dscenario.training_cost%2C%20request_rate%3D_chosen_rate%2C%0A%20%20%20%20%20%20%20%20cost_per_request%3Dscenario.cost_per_request%2C%20horizon%3Dscenario.horizon%2C%0A%20%20%20%20)%0A%20%20%20%20a_base_snapshot%20%3D%20cost_snapshot(a_base%2C%20inputs%3Da_base_inputs)%0A%20%20%20%20a_result_snapshot%20%3D%20cost_snapshot(a_result%2C%20inputs%3Da_result_inputs)%0A%0A%20%20%20%20b_base_inputs%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22requests%22%3A%20request_args()%2C%20%22device_memory%22%3A%20serialize_quantity(scenario.service.device_memory)%2C%0A%20%20%20%20%20%20%20%20%22weight_memory%22%3A%20serialize_quantity(scenario.service.weight_memory)%2C%0A%20%20%20%20%20%20%20%20%22reserved_memory%22%3A%20serialize_quantity(scenario.service.reserved_memory)%2C%0A%20%20%20%20%20%20%20%20%22fragmentation_fraction%22%3A%200.0%2C%0A%20%20%20%20%7D%0A%20%20%20%20b_result_inputs%20%3D%20%7B**b_base_inputs%2C%20%22fragmentation_fraction%22%3A%20b_fragmentation.value%7D%0A%20%20%20%20b_base%20%3D%20state_admission(%0A%20%20%20%20%20%20%20%20scenario.requests%2C%20device_memory%3Dscenario.service.device_memory%2C%0A%20%20%20%20%20%20%20%20weight_memory%3Dscenario.service.weight_memory%2C%0A%20%20%20%20%20%20%20%20reserved_memory%3Dscenario.service.reserved_memory%2C%0A%20%20%20%20)%0A%20%20%20%20b_result%20%3D%20state_admission(%0A%20%20%20%20%20%20%20%20scenario.requests%2C%20device_memory%3Dscenario.service.device_memory%2C%0A%20%20%20%20%20%20%20%20weight_memory%3Dscenario.service.weight_memory%2C%0A%20%20%20%20%20%20%20%20reserved_memory%3Dscenario.service.reserved_memory%2C%0A%20%20%20%20%20%20%20%20fragmentation_fraction%3Db_fragmentation.value%2C%0A%20%20%20%20)%0A%20%20%20%20b_base_snapshot%20%3D%20admission_snapshot(b_base%2C%20inputs%3Db_base_inputs)%0A%20%20%20%20b_result_snapshot%20%3D%20admission_snapshot(b_result%2C%20inputs%3Db_result_inputs)%0A%0A%20%20%20%20_zero_ms%2C%20_window%20%3D%200%20*%20ureg.millisecond%2C%20c_window.value%20*%20ureg.millisecond%0A%20%20%20%20c_base_inputs%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22requests%22%3A%20request_args()%2C%20%22service%22%3A%20service_args()%2C%20%22replicas%22%3A%202%2C%0A%20%20%20%20%20%20%20%20%22policy%22%3A%20%22immediate%22%2C%20%22slo%22%3A%20serialize_quantity(scenario.slo)%2C%0A%20%20%20%20%20%20%20%20%22max_batch%22%3A%201%2C%20%22batch_window%22%3A%20serialize_quantity(_zero_ms)%2C%0A%20%20%20%20%20%20%20%20%22warmup%22%3A%20serialize_quantity(_zero_ms)%2C%20%22lost_replicas%22%3A%200%2C%0A%20%20%20%20%7D%0A%20%20%20%20c_result_inputs%20%3D%20%7B**c_base_inputs%2C%20%22policy%22%3A%20%22windowed_batch%22%2C%20%22max_batch%22%3A%20c_batch.value%2C%20%22batch_window%22%3A%20serialize_quantity(_window)%7D%0A%20%20%20%20c_base%20%3D%20replay_requests(%0A%20%20%20%20%20%20%20%20scenario.requests%2C%20service%3Dscenario.service%2C%20replicas%3D2%2C%0A%20%20%20%20%20%20%20%20policy%3D%22immediate%22%2C%20slo%3Dscenario.slo%2C%0A%20%20%20%20)%0A%20%20%20%20c_result%20%3D%20replay_requests(%0A%20%20%20%20%20%20%20%20scenario.requests%2C%20service%3Dscenario.service%2C%20replicas%3D2%2C%0A%20%20%20%20%20%20%20%20policy%3D%22windowed_batch%22%2C%20slo%3Dscenario.slo%2C%20max_batch%3Dc_batch.value%2C%0A%20%20%20%20%20%20%20%20batch_window%3D_window%2C%0A%20%20%20%20)%0A%20%20%20%20c_base_snapshot%20%3D%20replay_snapshot(c_base%2C%20inputs%3Dc_base_inputs)%0A%20%20%20%20c_result_snapshot%20%3D%20replay_snapshot(c_result%2C%20inputs%3Dc_result_inputs)%0A%0A%20%20%20%20d_inputs%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22requests%22%3A%20request_args()%2C%20%22service%22%3A%20service_args()%2C%0A%20%20%20%20%20%20%20%20%22device_budget%22%3A%20scenario.device_budget%2C%20%22slo%22%3A%20serialize_quantity(scenario.slo)%2C%0A%20%20%20%20%20%20%20%20%22handoff_bytes%22%3A%20serialize_quantity(scenario.handoff_bytes)%2C%0A%20%20%20%20%20%20%20%20%22link_bandwidth%22%3A%20serialize_quantity(scenario.link_bandwidth)%2C%0A%20%20%20%20%20%20%20%20%22link_latency%22%3A%20serialize_quantity(scenario.link_latency)%2C%0A%20%20%20%20%20%20%20%20%22track_id%22%3A%20scenario.track_id%2C%0A%20%20%20%20%7D%0A%20%20%20%20d_results%20%3D%20compare_equal_budget_placements(%0A%20%20%20%20%20%20%20%20scenario.requests%2C%20service%3Dscenario.service%2C%0A%20%20%20%20%20%20%20%20device_budget%3Dscenario.device_budget%2C%20slo%3Dscenario.slo%2C%0A%20%20%20%20%20%20%20%20handoff_bytes%3Dscenario.handoff_bytes%2C%20link_bandwidth%3Dscenario.link_bandwidth%2C%0A%20%20%20%20%20%20%20%20link_latency%3Dscenario.link_latency%2C%0A%20%20%20%20%20%20%20%20track_id%3Dscenario.track_id%2C%0A%20%20%20%20)%0A%20%20%20%20d_by_name%20%3D%20%7Bitem.placement%3A%20item%20for%20item%20in%20d_results%7D%0A%20%20%20%20d_snapshots%20%3D%20%7B%0A%20%20%20%20%20%20%20%20name%3A%20replay_snapshot(%0A%20%20%20%20%20%20%20%20%20%20%20%20item.replay%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B**d_inputs%2C%20%22placement%22%3A%20name%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20available%3Ditem.available%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20unsupported_reason%3Ditem.unsupported_reason%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20for%20name%2C%20item%20in%20d_by_name.items()%0A%20%20%20%20%7D%0A%0A%20%20%20%20_warmup%20%3D%20e_warmup.value%20*%20ureg.millisecond%0A%20%20%20%20e_base_inputs%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22requests%22%3A%20request_args()%2C%20%22service%22%3A%20service_args()%2C%0A%20%20%20%20%20%20%20%20%22replicas%22%3A%20scenario.baseline_replicas%2C%20%22policy%22%3A%20%22immediate%22%2C%0A%20%20%20%20%20%20%20%20%22slo%22%3A%20serialize_quantity(scenario.slo)%2C%20%22max_batch%22%3A%201%2C%0A%20%20%20%20%20%20%20%20%22batch_window%22%3A%20serialize_quantity(_zero_ms)%2C%20%22warmup%22%3A%20serialize_quantity(_zero_ms)%2C%0A%20%20%20%20%20%20%20%20%22lost_replicas%22%3A%200%2C%0A%20%20%20%20%7D%0A%20%20%20%20e_result_inputs%20%3D%20%7B**e_base_inputs%2C%20%22warmup%22%3A%20serialize_quantity(_warmup)%2C%20%22lost_replicas%22%3A%20e_lost.value%7D%0A%20%20%20%20e_base%20%3D%20replay_requests(%0A%20%20%20%20%20%20%20%20scenario.requests%2C%20service%3Dscenario.service%2C%20replicas%3Dscenario.baseline_replicas%2C%0A%20%20%20%20%20%20%20%20policy%3D%22immediate%22%2C%20slo%3Dscenario.slo%2C%0A%20%20%20%20)%0A%20%20%20%20e_result%20%3D%20replay_requests(%0A%20%20%20%20%20%20%20%20scenario.requests%2C%20service%3Dscenario.service%2C%20replicas%3Dscenario.baseline_replicas%2C%0A%20%20%20%20%20%20%20%20policy%3D%22immediate%22%2C%20slo%3Dscenario.slo%2C%20warmup%3D_warmup%2C%20lost_replicas%3De_lost.value%2C%0A%20%20%20%20)%0A%20%20%20%20e_base_snapshot%20%3D%20replay_snapshot(e_base%2C%20inputs%3De_base_inputs)%0A%20%20%20%20e_result_snapshot%20%3D%20replay_snapshot(e_result%2C%20inputs%3De_result_inputs)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_base%2C%0A%20%20%20%20%20%20%20%20a_base_snapshot%2C%0A%20%20%20%20%20%20%20%20a_result%2C%0A%20%20%20%20%20%20%20%20a_result_snapshot%2C%0A%20%20%20%20%20%20%20%20b_base%2C%0A%20%20%20%20%20%20%20%20b_base_snapshot%2C%0A%20%20%20%20%20%20%20%20b_result%2C%0A%20%20%20%20%20%20%20%20b_result_snapshot%2C%0A%20%20%20%20%20%20%20%20c_base%2C%0A%20%20%20%20%20%20%20%20c_base_snapshot%2C%0A%20%20%20%20%20%20%20%20c_result%2C%0A%20%20%20%20%20%20%20%20c_result_snapshot%2C%0A%20%20%20%20%20%20%20%20d_by_name%2C%0A%20%20%20%20%20%20%20%20d_snapshots%2C%0A%20%20%20%20%20%20%20%20e_base%2C%0A%20%20%20%20%20%20%20%20e_base_snapshot%2C%0A%20%20%20%20%20%20%20%20e_result%2C%0A%20%20%20%20%20%20%20%20e_result_snapshot%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20a_base_snapshot%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_rate%2C%0A%20%20%20%20a_result_snapshot%2C%0A%20%20%20%20b_base_snapshot%2C%0A%20%20%20%20b_fragmentation%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_result_snapshot%2C%0A%20%20%20%20c_base_snapshot%2C%0A%20%20%20%20c_batch%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_result_snapshot%2C%0A%20%20%20%20c_window%2C%0A%20%20%20%20capture_evidence%2C%0A%20%20%20%20d_choice%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_rejected%2C%0A%20%20%20%20d_snapshots%2C%0A%20%20%20%20e_base_snapshot%2C%0A%20%20%20%20e_lost%2C%0A%20%20%20%20e_prediction%2C%0A%20%20%20%20e_result_snapshot%2C%0A%20%20%20%20e_warmup%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20scenario%2C%0A%20%20%20%20set_evidence%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20def%20store(part%2C%20capture)%3A%0A%20%20%20%20%20%20%20%20set_evidence(lambda%20current%3A%20%7B**current%2C%20part%3A%20capture%7D)%0A%20%20%20%20a_upstream%20%3D%20%7B%22scenario%22%3A%20track_id%7D%0A%20%20%20%20b_upstream%20%3D%20%7B%22scenario%22%3A%20track_id%7D%0A%20%20%20%20c_upstream%20%3D%20%7B%22scenario%22%3A%20track_id%7D%0A%20%20%20%20d_upstream%20%3D%20%7B%22scenario%22%3A%20track_id%7D%0A%20%20%20%20e_upstream%20%3D%20%7B%22scenario%22%3A%20track_id%2C%20%22placement_decision%22%3A%20d_choice.value%7D%0A%20%20%20%20a_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20lifetime%20cost%20contrast%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Da_prediction.value%20is%20None%20or%20a_rate.value%20%3D%3D%20%22normal%22%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22A%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22A%22%2C%20prediction%3Da_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22request_volume_case%22%3A%20a_rate.value%7D%2C%20baseline%3Da_base_snapshot%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20result%3Da_result_snapshot%2C%20upstream_inputs%3Da_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v2_10_experiments.lifetime_cost_crossover%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20b_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20state%20admission%20contrast%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Db_prediction.value%20is%20None%20or%20b_fragmentation.value%20%3D%3D%200%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22B%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22B%22%2C%20prediction%3Db_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22fragmentation_fraction%22%3A%20b_fragmentation.value%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Db_base_snapshot%2C%20result%3Db_result_snapshot%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Db_upstream%2C%20model_key%3D%22v2_10_experiments.state_admission%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20c_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20scheduling%20replay%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dc_prediction.value%20is%20None%20or%20c_window.value%20%3D%3D%200%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22C%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22C%22%2C%20prediction%3Dc_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22batch_window_ms%22%3A%20c_window.value%2C%20%22max_batch%22%3A%20c_batch.value%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Dc_base_snapshot%2C%20result%3Dc_result_snapshot%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Dc_upstream%2C%20model_key%3D%22v2_10_experiments.replay_requests%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20_chosen%20%3D%20d_choice.value%0A%20%20%20%20_contrast%20%3D%20d_rejected.value%20if%20_chosen%20in%20(None%2C%20%22replicate%22%2C%20%22none%22)%20else%20_chosen%0A%20%20%20%20_chosen_snapshot%20%3D%20d_snapshots%5B%22replicate%22%5D%20if%20_chosen%20%3D%3D%20%22none%22%20else%20d_snapshots.get(_chosen%2C%20d_snapshots%5B%22replicate%22%5D)%0A%20%20%20%20_result_role%20%3D%20%22rejected%20alternative%22%20if%20_chosen%20in%20(%22replicate%22%2C%20%22none%22)%20else%20%22chosen%20intervention%22%0A%20%20%20%20_choice_valid%20%3D%20d_choice.value%20in%20scenario.supported_placements%20or%20d_choice.value%20%3D%3D%20%22none%22%0A%20%20%20%20d_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20equal-budget%20placement%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20d_prediction.value%20is%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20or%20d_choice.value%20is%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20or%20d_rejected.value%20is%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20or%20d_choice.value%20%3D%3D%20d_rejected.value%0A%20%20%20%20%20%20%20%20%20%20%20%20or%20not%20_choice_valid%0A%20%20%20%20%20%20%20%20%20%20%20%20or%20_contrast%20%3D%3D%20%22replicate%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22D%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22D%22%2C%20prediction%3Dd_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22choice%22%3A%20d_choice.value%2C%20%22rejected%22%3A%20d_rejected.value%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3Dd_snapshots%5B%22replicate%22%5D%2C%20result%3Dd_snapshots%5B_contrast%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20chosen_result%3D_chosen_snapshot%2C%20result_role%3D_result_role%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alternatives%3Dtuple(d_snapshots.values())%2C%20decision%3Dd_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3Dd_upstream%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20model_key%3D%22v2_10_experiments.compare_equal_budget_placements%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20e_capture%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Capture%20capacity%20stress%22%2C%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3De_prediction.value%20is%20None%20or%20d_choice.value%20is%20None%20or%20(e_lost.value%20%3D%3D%200%20and%20e_warmup.value%20%3D%3D%200)%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20_v%3A%20store(%22E%22%2C%20capture_evidence(%0A%20%20%20%20%20%20%20%20%20%20%20%20track%3Dtrack_id%2C%20part%3D%22E%22%2C%20prediction%3De_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20inputs%3D%7B%22lost_replicas%22%3A%20e_lost.value%2C%20%22warmup_ms%22%3A%20e_warmup.value%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20baseline%3De_base_snapshot%2C%20result%3De_result_snapshot%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20upstream_inputs%3De_upstream%2C%20model_key%3D%22v2_10_experiments.replay_requests%22%2C%0A%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a_capture%2C%0A%20%20%20%20%20%20%20%20a_upstream%2C%0A%20%20%20%20%20%20%20%20b_capture%2C%0A%20%20%20%20%20%20%20%20b_upstream%2C%0A%20%20%20%20%20%20%20%20c_capture%2C%0A%20%20%20%20%20%20%20%20c_upstream%2C%0A%20%20%20%20%20%20%20%20d_capture%2C%0A%20%20%20%20%20%20%20%20d_upstream%2C%0A%20%20%20%20%20%20%20%20e_capture%2C%0A%20%20%20%20%20%20%20%20e_upstream%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(ACADEMIC_LAB_CSS%2C%20LAB_CSS%2C%20mo%2C%20scenario%2C%20track)%3A%0A%20%20%20%20css%20%3D%20mo.Html(%22%22%22%0A%20%20%20%20%3Cstyle%3E%0A%20%20%20%20.pilot-head%7Bbackground%3Alinear-gradient(135deg%2C%23101827%2C%231d4f78)%3Bcolor%3Awhite%3Bborder-radius%3A14px%3Bpadding%3Aclamp(18px%2C4vw%2C32px)%3Bmargin-bottom%3A14px%7D.pilot-top%7Bdisplay%3Aflex%3Bjustify-content%3Aspace-between%3Bgap%3A8px%3Bflex-wrap%3Awrap%3Bfont%3A700%20.72rem%20ui-monospace%3Bletter-spacing%3A.08em%7D.pilot-head%20h1%7Bfont-size%3Aclamp(1.65rem%2C5vw%2C2.65rem)%3Bline-height%3A1.05%3Bmargin%3A16px%200%208px%7D.pilot-head%20p%7Bcolor%3A%23dbeafe%3Bmax-width%3A760px%7D.pilot-meta%7Bdisplay%3Agrid%3Bgrid-template-columns%3Arepeat(auto-fit%2Cminmax(170px%2C1fr))%3Bgap%3A9px%3Bmargin-top%3A17px%7D.pilot-meta%20div%7Bbackground%3A%23ffffff14%3Bborder%3A1px%20solid%20%23ffffff26%3Bpadding%3A9px%2011px%3Bborder-radius%3A8px%7D.pilot-note%7Bcolor%3A%23475569%3Bfont-size%3A.9rem%3Bline-height%3A1.5%3Bmargin%3A0%3Bpadding%3A0%202px%7D.saved%7Bborder-left%3A4px%20solid%20%232ca02c%3Bbackground%3A%23f0fdf4%3Bpadding%3A9px%2012px%3Bborder-radius%3A7px%7D.track-space%7Bmargin-left%3A24px%3Bmax-width%3Acalc(100%25%20-%2024px)%7D.lab-hud%7Bdisplay%3Aflex%3Balign-items%3Acenter%3Bflex-wrap%3Awrap%3Bcolumn-gap%3A14px%3Brow-gap%3A6px%3Bbackground%3A%23101827!important%3Bcolor%3A%23fff%3Bpadding%3A14px%2018px%3Bborder-radius%3A9px%7D.lab-hud%20.hud-label%7Bcolor%3A%23a7b9cf%3Bmargin-right%3A2px%7D.lab-hud%20.hud-value%7Bcolor%3A%23fff%3Bmargin-right%3A10px%7D.lab-hud%20.hud-active%7Bcolor%3A%2386efac%7D%40media(max-width%3A520px)%7B.pilot-head%7Bborder-radius%3A9px%7D.pilot-meta%7Bgrid-template-columns%3A1fr%7D%7D%0A%20%20%20%20%3C%2Fstyle%3E%22%22%22)%0A%20%20%20%20header%20%3D%20mo.Html(f%22%22%22%3Csection%20class%3D%22pilot-head%22%3E%3Cdiv%20class%3D%22pilot-top%22%3E%3Cspan%3EVOLUME%20II%20%C2%B7%20LAB%2010%3C%2Fspan%3E%3Cspan%3EABOUT%2050%E2%80%9355%20MIN%3C%2Fspan%3E%3C%2Fdiv%3E%3Ch1%3EThe%20Inference%20Economy%3C%2Fh1%3E%3Cp%3EWhich%20serving%20design%20minimizes%20cost%20per%20successful%2C%20on-time%20request%20when%20memory%2C%20waiting%2C%20and%20coordination%20all%20count%3F%3C%2Fp%3E%3Cdiv%20class%3D%22pilot-meta%22%3E%3Cdiv%3E%3Cb%3EFleet%20role%3C%2Fb%3E%3Cbr%3E%7Bscenario.backend_role%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EWorkload%3C%2Fb%3E%3Cbr%3E%7Bscenario.workload_kind%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EState%3C%2Fb%3E%3Cbr%3E%7Bscenario.state_kind%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EStartup%20delay%3C%2Fb%3E%3Cbr%3E%7Bscenario.startup_kind%7D%3C%2Fdiv%3E%3Cdiv%3E%3Cb%3EDeliverable%3C%2Fb%3E%3Cbr%3EFleet%20serving%20decision%3C%2Fdiv%3E%3C%2Fdiv%3E%3C%2Fsection%3E%22%22%22)%0A%20%20%20%20mo.vstack(%5BLAB_CSS%2C%20ACADEMIC_LAB_CSS%2C%20css%2C%20track.style(%7B%22margin-top%22%3A%20%2230px%22%2C%20%22margin-left%22%3A%20%2224px%22%2C%20%22max-width%22%3A%20%22calc(100%25%20-%2024px)%22%7D)%2C%20header%2C%20mo.Html('%3Cp%20class%3D%22pilot-note%22%3EAll%20traces%20and%20outcome%20evidence%20are%20illustrative%20scenarios%2C%20not%20production%20measurements.%20Calculation%20Notes%20state%20each%20model%20boundary.%3C%2Fp%3E')%5D%2C%20gap%3D0.5)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.sidebar(%5Bmo.md(%22%23%23%20Lab%20navigation%22)%2C%20mo.outline(label%3D%22Sections%22)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20a_base%2C%0A%20%20%20%20a_capture%2C%0A%20%20%20%20a_prediction%2C%0A%20%20%20%20a_rate%2C%0A%20%20%20%20a_result%2C%0A%20%20%20%20a_upstream%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20audit_evidence%2C%0A%20%20%20%20b_base%2C%0A%20%20%20%20b_capture%2C%0A%20%20%20%20b_fragmentation%2C%0A%20%20%20%20b_prediction%2C%0A%20%20%20%20b_result%2C%0A%20%20%20%20b_upstream%2C%0A%20%20%20%20c_base%2C%0A%20%20%20%20c_batch%2C%0A%20%20%20%20c_capture%2C%0A%20%20%20%20c_prediction%2C%0A%20%20%20%20c_result%2C%0A%20%20%20%20c_upstream%2C%0A%20%20%20%20c_window%2C%0A%20%20%20%20d_by_name%2C%0A%20%20%20%20d_capture%2C%0A%20%20%20%20d_choice%2C%0A%20%20%20%20d_prediction%2C%0A%20%20%20%20d_rejected%2C%0A%20%20%20%20d_upstream%2C%0A%20%20%20%20e_base%2C%0A%20%20%20%20e_capture%2C%0A%20%20%20%20e_lost%2C%0A%20%20%20%20e_prediction%2C%0A%20%20%20%20e_result%2C%0A%20%20%20%20e_upstream%2C%0A%20%20%20%20e_warmup%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20go%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20scenario%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_upstream%20%3D%20%7B%22A%22%3A%20a_upstream%2C%20%22B%22%3A%20b_upstream%2C%20%22C%22%3A%20c_upstream%2C%20%22D%22%3A%20d_upstream%2C%20%22E%22%3A%20e_upstream%7D%0A%20%20%20%20audit%20%3D%20audit_evidence(%0A%20%20%20%20%20%20%20%20_captures%2C%20track%3Dtrack_id%2C%20required_parts%3Dtuple(%22ABCDE%22)%2C%0A%20%20%20%20%20%20%20%20per_part_upstream_inputs%3D_upstream%2C%20contrast_required_parts%3Dtuple(%22ABCDE%22)%2C%0A%20%20%20%20)%0A%20%20%20%20def%20table(rows)%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bmo.ui.table(rows%2C%20pagination%3DFalse)%5D).style(%7B%22max-width%22%3A%20%22100%25%22%2C%20%22overflow-x%22%3A%20%22auto%22%7D)%0A%20%20%20%20def%20saved(part)%3A%0A%20%20%20%20%20%20%20%20capture%20%3D%20_captures.get(part)%0A%20%20%20%20%20%20%20%20if%20capture%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22No%20saved%20evidence%20for%20this%20part.%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20%20%20%20%20if%20part%20in%20audit.stale%20or%20(part%2C%20part)%20in%20audit.identical_pairs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22**STALE%20OR%20NON-CONTRASTING%20EVIDENCE.**%20Review%20and%20recapture.%22)%2C%20kind%3D%22danger%22)%0A%20%20%20%20%20%20%20%20data%20%3D%20capture.to_dict()%0A%20%20%20%20%20%20%20%20return%20mo.Html(f'%3Cdiv%20class%3D%22saved%22%3E%3Cb%3ESaved%20snapshot%3C%2Fb%3E%20%C2%B7%20original%20prediction%3A%20%7Bdata%5B%22prediction%22%5D%7D%3Cbr%3E%3Csmall%3ETrack%20%7Bdata%5B%22track%22%5D%7D%3B%20later%20control%20changes%20do%20not%20rewrite%20this%20record.%3C%2Fsmall%3E%3C%2Fdiv%3E')%0A%20%20%20%20def%20replay_row(label%2C%20result)%3A%0A%20%20%20%20%20%20%20%20if%20result%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B%22Run%22%3A%20label%2C%20%22Submitted%22%3A%20%22%E2%80%94%22%2C%20%22Completed%22%3A%20%22%E2%80%94%22%2C%20%22Rejected%22%3A%20%22%E2%80%94%22%2C%20%22On%20time%22%3A%20%22%E2%80%94%22%2C%20%22Complete-duration%20p99%22%3A%20%22Unavailable%22%7D%0A%20%20%20%20%20%20%20%20_p99%20%3D%20f%22%7Bresult.p99_duration.m_as('millisecond')%3A.1f%7D%20ms%22%20if%20result.completed_count%20else%20%22Unavailable%22%0A%20%20%20%20%20%20%20%20return%20%7B%22Run%22%3A%20label%2C%20%22Submitted%22%3A%20result.request_count%2C%20%22Completed%22%3A%20result.completed_count%2C%20%22Rejected%22%3A%20result.rejected_count%2C%20%22On%20time%22%3A%20result.deadline_compliant_count%2C%20%22Complete-duration%20p99%22%3A%20_p99%7D%0A%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%22%23%23%23%20A%20%C2%B7%20When%20does%20serving%20outweigh%20training%3F%20(8%20min)%5Cn**Driving%20question%3A**%20Does%20recurring%20serving%20exceed%20one-time%20training%20cost%20over%20the%20same%20lifetime%3F%22)%0A%20%20%20%20%20%20%20%20if%20a_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20a_rate%2C%20a_prediction%5D)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Case%22%3A%20%22Normal%22%2C%20%22Serving%22%3A%20f%22%24%7Ba_base.serving_cost.m_as('dollar')%3A%2C.0f%7D%22%2C%20%22Training%22%3A%20f%22%24%7Ba_base.training_cost.m_as('dollar')%3A%2C.0f%7D%22%2C%20%22Crossover%22%3A%20f%22%7Ba_base.crossover_time.m_as('week')%3A.1f%7D%20weeks%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Case%22%3A%20a_rate.value.title()%2C%20%22Serving%22%3A%20f%22%24%7Ba_result.serving_cost.m_as('dollar')%3A%2C.0f%7D%22%2C%20%22Training%22%3A%20f%22%24%7Ba_result.training_cost.m_as('dollar')%3A%2C.0f%7D%22%2C%20%22Crossover%22%3A%20f%22%7Ba_result.crossover_time.m_as('week')%3A.1f%7D%20weeks%22%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20a_rate%2C%20a_prediction%2C%20table(rows)%2C%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Ba_prediction.value%7D.%20**Scenario%20result%3A**%20serving%2Ftraining%20is%20**%7Ba_result.serving_to_training_ratio%3A.2f%7D%C3%97**%20over%20%7Ba_result.horizon.m_as('week')%3A.0f%7D%20weeks.%22)%2C%20kind%3D%22info%22)%2C%20a_capture%2C%20saved(%22A%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22Serving%20cost%20is%20request%20rate%20%C3%97%20the%20same%20horizon%20%C3%97%20cost%20per%20request.%20Crossover%20divides%20training%20cost%20by%20the%20serving%20cost%20rate.%20Results%20are%20analytical%20scenario%20values.%22)%7D)%5D)%0A%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(f%22%23%23%23%20B%20%C2%B7%20Why%20can%20a%20model%20fit%20while%20its%20service%20fails%3F%20(9%20min)%5Cn**Driving%20question%3A**%20How%20many%20concurrent%20%7Bscenario.state_kind%7D%20allocations%20survive%20fragmentation%3F%22)%0A%20%20%20%20%20%20%20%20if%20b_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20b_fragmentation%2C%20b_prediction%5D)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Run%22%3A%20%22Compact%22%2C%20%22Usable%22%3A%20f%22%7Bb_base.usable_state_memory.m_as('megabyte')%3A%2C.0f%7D%20MB%22%2C%20%22Max%20concurrent%22%3A%20b_base.max_concurrent_requests%2C%20%22Rejected%22%3A%20len(b_base.rejected_request_ids)%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Run%22%3A%20f%22%7Bb_fragmentation.value%3A.0%25%7D%20fragmented%22%2C%20%22Usable%22%3A%20f%22%7Bb_result.usable_state_memory.m_as('megabyte')%3A%2C.0f%7D%20MB%22%2C%20%22Max%20concurrent%22%3A%20b_result.max_concurrent_requests%2C%20%22Rejected%22%3A%20len(b_result.rejected_request_ids)%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20b_fragmentation%2C%20b_prediction%2C%20table(rows)%2C%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Bb_prediction.value%7D.%20**Scenario%20result%3A**%20admitted%20requests%20change%20from%20**%7Blen(b_base.admitted_request_ids)%7D**%20to%20**%7Blen(b_result.admitted_request_ids)%7D**.%22)%2C%20kind%3D%22danger%22%20if%20b_result.rejected_request_ids%20else%20%22info%22)%2C%20b_capture%2C%20saved(%22B%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22Free%20memory%20subtracts%20weights%20and%20reserve.%20Fragmentation%20reduces%20usable%20request-state%20memory.%20Requests%20are%20admitted%20in%20trace%20order.%20Device%20tracks%20use%20the%20named%20buffers%2C%20not%20KV-cache%20terminology.%22)%7D)%5D)%0A%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%22%23%23%23%20C%20%C2%B7%20When%20does%20batching%20save%20work%20but%20miss%20deadlines%3F%20(10%20min)%5Cn**Driving%20question%3A**%20What%20changes%20when%20identical%20arrivals%20wait%20for%20a%20batch%20window%3F%22)%0A%20%20%20%20%20%20%20%20if%20c_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20c_window%2C%20c_batch%2C%20c_prediction%5D)%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(name%3D%22Immediate%22%2C%20x%3D%5Bo.request_id%20for%20o%20in%20c_base.outcomes%20if%20o.duration%20is%20not%20None%5D%2C%20y%3D%5Bo.duration.m_as(%22millisecond%22)%20for%20o%20in%20c_base.outcomes%20if%20o.duration%20is%20not%20None%5D%2C%20marker_color%3DCOLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(name%3D%22Windowed%22%2C%20x%3D%5Bo.request_id%20for%20o%20in%20c_result.outcomes%20if%20o.duration%20is%20not%20None%5D%2C%20y%3D%5Bo.duration.m_as(%22millisecond%22)%20for%20o%20in%20c_result.outcomes%20if%20o.duration%20is%20not%20None%5D%2C%20marker_color%3DCOLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20fig.update_layout(barmode%3D%22group%22%2C%20height%3D280%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D25%2C%20b%3D20)%2C%20yaxis_title%3D%22Complete%20request%20duration%20(ms)%22%2C%20legend_orientation%3D%22h%22)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20mo.hstack(%5Bc_window%2C%20c_batch%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20c_prediction%2C%20apply_plotly_theme(fig)%2C%20table(%5Breplay_row(%22Immediate%22%2C%20c_base)%2C%20replay_row(%22Windowed%22%2C%20c_result)%5D)%2C%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Bc_prediction.value%7D.%20**Scenario%20result%3A**%20batching%20finishes%20in%20**%7Bc_result.makespan.m_as('millisecond')%3A.1f%7D%20ms**%20with%20**%7Bc_result.deadline_compliant_count%7D%2F%7Bc_result.request_count%7D**%20on%20time.%22)%2C%20kind%3D%22info%22)%2C%20c_capture%2C%20saved(%22C%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22Both%20policies%20replay%20identical%20arrivals%20and%20lengths.%20A%20batch%20waits%20for%20its%20explicit%20window%2C%20then%20executes%20the%20longest%20input%20and%20output%20work%20in%20the%20batch.%20p99%20is%20the%20empirical%20nearest-rank%20percentile%20of%20complete%20arrival-to-finish%20durations.%20Rejections%20remain%20separate.%22)%7D)%5D)%0A%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%22%23%23%23%20D%20%C2%B7%20Replicate%2C%20shard%2C%20or%20split%20phases%3F%20(10%20min)%5Cn**Driving%20question%3A**%20Which%20placement%20wins%20with%20the%20same%20device%20budget%3F%22)%0A%20%20%20%20%20%20%20%20if%20d_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20d_prediction%5D)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20name%2C%20item%20in%20d_by_name.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20row%20%3D%20replay_row(name.replace(%22_%22%2C%20%22%20%22).title()%2C%20item.replay)%0A%20%20%20%20%20%20%20%20%20%20%20%20handoff%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bitem.transfer_time_per_request.m_as('millisecond')%3A.2f%7D%20ms%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20item.transfer_time_per_request%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Unsupported%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20arch_status%20%3D%20%22Supported%22%20if%20item.available%20else%20f%22Unsupported%3A%20%7Bitem.unsupported_reason%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(row%20%7C%20%7B%22Handoff%2Frequest%22%3A%20handoff%2C%20%22Devices%22%3A%20item.device_budget%2C%20%22Architecture%22%3A%20arch_status%7D)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20d_prediction%2C%20table(rows)%2C%20mo.hstack(%5Bd_choice%2C%20d_rejected%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Bd_prediction.value%7D.%20**Decision%20under%20review%3A**%20%7Bd_choice.value%20or%20'not%20selected'%7D.%20Every%20row%20uses%20the%20same%20workload%2C%20format%2C%20and%20device%20count.%22)%2C%20kind%3D%22info%22)%2C%20d_capture%2C%20saved(%22D%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(%22Replication%20creates%20one%20worker%20per%20device.%20Sharding%20pools%20memory%2C%20divides%20compute%2C%20and%20adds%20a%20transfer%20per%20boundary%20(unsupported%20on%20endpoints%20without%20multi-device%20fabrics).%20Phase%20splitting%20routes%20requests%20through%20separate%20stage%20queues%20and%20one%20handoff%20(unsupported%20for%20the%20frame-perception%20and%20endpoint%20scenarios).%22)%7D)%5D)%0A%0A%20%20%20%20def%20build_part_e()%3A%0A%20%20%20%20%20%20%20%20intro%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%23%23%23%20E%20%C2%B7%20How%20much%20spare%20capacity%20buys%20reliability%3F%20(8%20min)%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Driving%20question%3A**%20Does%20the%20%7Bscenario.backend_role%7D%20meet%20its%20deadline%20after%20replica%20loss%20and%20%7Bscenario.startup_kind%7D%3F%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20e_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20e_lost%2C%20e_warmup%2C%20e_prediction%5D)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bintro%2C%20mo.hstack(%5Be_lost%2C%20e_warmup%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20e_prediction%2C%20table(%5Breplay_row(%22Healthy%20pool%22%2C%20e_base)%2C%20replay_row(f%22Loss%20%2B%20%7Bscenario.startup_kind%7D%22%2C%20e_result)%5D)%2C%20mo.callout(mo.md(f%22**Your%20prediction%3A**%20%7Be_prediction.value%7D.%20**Scenario%20result%3A**%20on-time%20completions%20change%20from%20**%7Be_base.deadline_compliant_count%7D%2F%7Be_base.request_count%7D**%20to%20**%7Be_result.deadline_compliant_count%7D%2F%7Be_result.request_count%7D**.%22)%2C%20kind%3D%22danger%22%20if%20e_result.deadline_compliant_count%20%3C%20e_base.deadline_compliant_count%20else%20%22success%22)%2C%20e_capture%2C%20saved(%22E%22)%2C%20mo.accordion(%7B%22Calculation%20Notes%22%3A%20mo.md(f%22Lost%20replicas%20are%20absent%20for%20the%20replay.%20Surviving%20replicas%20accept%20work%20only%20after%20%7Bscenario.startup_kind%7D.%20Device%20tracks%20reflect%20device%20wake%2Factivation%20while%20backend%20tracks%20reflect%20service%20provisioning.%20Original%20arrivals%20remain%20fixed%2C%20so%20the%20timeline%20exposes%20capacity%20loss%20and%20queueing.%22)%7D)%5D)%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20part%20in%20%22ABCDE%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20capture%20%3D%20_captures.get(part)%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B%22Part%22%3A%20part%2C%20%22Original%20prediction%22%3A%20capture.to_dict()%5B%22prediction%22%5D%20if%20capture%20else%20%22%E2%80%94%22%2C%20%22Evidence%22%3A%20%22CURRENT%22%20if%20capture%20and%20part%20not%20in%20audit.stale%20and%20(part%2C%20part)%20not%20in%20audit.identical_pairs%20else%20(%22STALE%22%20if%20capture%20else%20%22MISSING%22)%7D)%0A%20%20%20%20%20%20%20%20_saved%20%3D%20_captures%5B%22D%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22D%22%20in%20_captures%20else%20None%0A%20%20%20%20%20%20%20%20_choice_valid%20%3D%20final_choice.value%20in%20scenario.supported_placements%20or%20final_choice.value%20%3D%3D%20%22none%22%0A%20%20%20%20%20%20%20%20_complete%20%3D%20audit.complete%20and%20all(w.value%20is%20not%20None%20for%20w%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%20and%20bool(rationale.value.strip())%20and%20final_choice.value%20!%3D%20final_rejected.value%20and%20final_choice.value%20%3D%3D%20_saved%20and%20_choice_valid%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bmo.md(%22%23%23%23%20Synthesis%20%C2%B7%20Defend%20one%20serving%20architecture%20(5%20min)%5CnName%20the%20chosen%20placement%2C%20quantify%20a%20rejected%20alternative%2C%20state%20a%20limitation%2C%20and%20define%20a%20reevaluation%20trigger.%22)%2C%20table(rows)%2C%20mo.callout(mo.md(%22Snapshots%20preserve%20exact%20evaluator%20arguments%20and%20captured%20results.%20Live%20controls%20never%20rewrite%20saved%20evidence.%22)%2C%20kind%3D%22info%22)%2C%20mo.hstack(%5Bfinal_choice%2C%20final_rejected%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20mo.hstack(%5Bfinal_risk%2C%20final_trigger%5D%2C%20widths%3D%22equal%22%2C%20wrap%3DTrue)%2C%20rationale%2C%20mo.callout(mo.md(%22**Ready%20for%20the%20ledger%20and%20report.**%22%20if%20_complete%20else%20%22Complete%20five%20current%20captures%2C%20match%20Part%20D%2C%20reject%20a%20different%20placement%2C%20and%20write%20the%20rationale.%22)%2C%20kind%3D%22success%22%20if%20_complete%20else%20%22warn%22)%5D)%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%22Part%20A%22%3A%20build_part_a()%2C%20%22Part%20B%22%3A%20build_part_b()%2C%20%22Part%20C%22%3A%20build_part_c()%2C%20%22Part%20D%22%3A%20build_part_d()%2C%20%22Part%20E%22%3A%20build_part_e()%2C%20%22Synthesis%22%3A%20build_synthesis()%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%20(audit%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20MODEL_ID%2C%0A%20%20%20%20audit%2C%0A%20%20%20%20build_lab_report%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20report_export_panel%2C%0A%20%20%20%20scenario%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_saved%20%3D%20_captures%5B%22D%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22D%22%20in%20_captures%20else%20None%0A%20%20%20%20_choice_valid%20%3D%20final_choice.value%20in%20scenario.supported_placements%20or%20final_choice.value%20%3D%3D%20%22none%22%0A%20%20%20%20_ready%20%3D%20audit.complete%20and%20all(w.value%20is%20not%20None%20for%20w%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%20and%20bool(rationale.value.strip())%20and%20final_choice.value%20!%3D%20final_rejected.value%20and%20final_choice.value%20%3D%3D%20_saved%20and%20_choice_valid%0A%20%20%20%20mo.stop(not%20_ready)%0A%20%20%20%20snapshots%20%3D%20%7Bpart%3A%20_captures%5Bpart%5D.to_dict()%20for%20part%20in%20%22ABCDE%22%7D%0A%20%20%20%20report%20%3D%20build_lab_report(%0A%20%20%20%20%20%20%20%20get_lab_metadata(%22vol2%2Flab_10_inference.py%22)%2C%20track%3Dtrack_id%2C%0A%20%20%20%20%20%20%20%20scenario%3Dscenario.workload_kind%2C%0A%20%20%20%20%20%20%20%20learning_objectives%3D%5B%22Compare%20training%20and%20serving%20cost%20over%20one%20horizon%22%2C%20%22Replay%20admission%2C%20scheduling%2C%20placement%2C%20and%20failure%22%2C%20%22Defend%20an%20architecture%20using%20complete-request%20tail%20latency%22%5D%2C%0A%20%20%20%20%20%20%20%20predictions%3D%7Bpart%3A%20snapshots%5Bpart%5D%5B%22prediction%22%5D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20knob_settings%3D%7Bpart%3A%20snapshots%5Bpart%5D%5B%22inputs%22%5D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20evidence_summary%3D%7Bpart%3A%20%7B%22baseline%22%3A%20snapshots%5Bpart%5D%5B%22baseline%22%5D%2C%20%22result%22%3A%20snapshots%5Bpart%5D%5B%22result%22%5D%2C%20%22alternatives%22%3A%20snapshots%5Bpart%5D%5B%22alternatives%22%5D%7D%20for%20part%20in%20%22ABCDE%22%7D%2C%0A%20%20%20%20%20%20%20%20binding_constraints%3D%7B%22state_rejections%22%3A%20snapshots%5B%22B%22%5D%5B%22result%22%5D%5B%22rejected_request_ids%22%5D%2C%20%22batch_on_time%22%3A%20snapshots%5B%22C%22%5D%5B%22result%22%5D%5B%22deadline_compliant_count%22%5D%2C%20%22stress_on_time%22%3A%20snapshots%5B%22E%22%5D%5B%22result%22%5D%5B%22deadline_compliant_count%22%5D%7D%2C%0A%20%20%20%20%20%20%20%20decisions%3D%7B%22recommendation%22%3A%20final_choice.value%2C%20%22rejected_alternative%22%3A%20final_rejected.value%2C%20%22reevaluation_trigger%22%3A%20final_trigger.value%7D%2C%0A%20%20%20%20%20%20%20%20final_decision%3D%7B%22recommendation%22%3A%20final_choice.value%2C%20%22rejected_alternative%22%3A%20final_rejected.value%2C%20%22rationale%22%3A%20rationale.value%7D%2C%0A%20%20%20%20%20%20%20%20big_takeaways%3D%5B%22Serving%20cost%20compounds%20across%20the%20operating%20lifetime.%22%2C%20%22A%20fitting%20model%20can%20reject%20concurrent%20state.%22%2C%20%22Tail%20latency%20comes%20from%20complete%20request%20timelines.%22%5D%2C%0A%20%20%20%20%20%20%20%20reflections%3D%7B%22rationale%22%3A%20rationale.value%2C%20%22trigger%22%3A%20final_trigger.value%7D%2C%0A%20%20%20%20%20%20%20%20residual_risk%3Dfinal_risk.value%2C%0A%20%20%20%20%20%20%20%20result_snapshot%3D%7B%22schema_version%22%3A%201%2C%20%22lab_id%22%3A%20%22v2_10%22%2C%20%22track_id%22%3A%20track_id%2C%20%22model_id%22%3A%20MODEL_ID%2C%20%22evidence%22%3A%20snapshots%2C%20%22recommendation%22%3A%20final_choice.value%2C%20%22rejected_alternative%22%3A%20final_rejected.value%2C%20%22reevaluation_trigger%22%3A%20final_trigger.value%2C%20%22residual_risk%22%3A%20final_risk.value%2C%20%22rationale%22%3A%20rationale.value%7D%2C%0A%20%20%20%20%20%20%20%20source_trace%3D%7B%22scenario%22%3A%20%22Illustrative%20request%20traces%20and%20outcome%20fixtures.%22%2C%20%22calculations%22%3A%20%22MLSysIM%20v2_10%20experiment%20models.%22%7D%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%20Local%20evidence%20report%22)%2C%20report_export_panel(report)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Aasync%20def%20_(%0A%20%20%20%20MODEL_ID%2C%0A%20%20%20%20audit%2C%0A%20%20%20%20final_choice%2C%0A%20%20%20%20final_rejected%2C%0A%20%20%20%20final_risk%2C%0A%20%20%20%20final_trigger%2C%0A%20%20%20%20get_evidence%2C%0A%20%20%20%20ledger%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20rationale%2C%0A%20%20%20%20scenario%2C%0A%20%20%20%20track_id%2C%0A)%3A%0A%20%20%20%20_captures%20%3D%20get_evidence()%0A%20%20%20%20_saved%20%3D%20_captures%5B%22D%22%5D.to_dict()%5B%22decision%22%5D%20if%20%22D%22%20in%20_captures%20else%20None%0A%20%20%20%20_choice_valid%20%3D%20final_choice.value%20in%20scenario.supported_placements%20or%20final_choice.value%20%3D%3D%20%22none%22%0A%20%20%20%20_ready%20%3D%20audit.complete%20and%20all(w.value%20is%20not%20None%20for%20w%20in%20(final_choice%2C%20final_rejected%2C%20final_trigger%2C%20final_risk))%20and%20bool(rationale.value.strip())%20and%20final_choice.value%20!%3D%20final_rejected.value%20and%20final_choice.value%20%3D%3D%20_saved%20and%20_choice_valid%0A%20%20%20%20_saved_ok%20%3D%20False%0A%20%20%20%20_save_error%20%3D%20%22%22%0A%20%20%20%20if%20_ready%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ledger.save(chapter%3D10%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22schema_version%22%3A%201%2C%20%22lab_id%22%3A%20%22v2_10%22%2C%20%22track_id%22%3A%20track_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model_id%22%3A%20MODEL_ID%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22evidence%22%3A%20%7Bpart%3A%20capture.to_dict()%20for%20part%2C%20capture%20in%20_captures.items()%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22recommendation%22%3A%20final_choice.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22rejected_alternative%22%3A%20final_rejected.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reevaluation_trigger%22%3A%20final_trigger.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22residual_risk%22%3A%20final_risk.value%2C%20%22rationale%22%3A%20rationale.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20await%20ledger.flush()%0A%20%20%20%20%20%20%20%20%20%20%20%20_saved_ok%20%3D%20True%0A%20%20%20%20%20%20%20%20except%20Exception%20as%20exc%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_save_error%20%3D%20f%22SAVE%20FAILED%20%C2%B7%20%7Btype(exc).__name__%7D%3A%20%7Bexc%7D%22%0A%20%20%20%20_status%20%3D%20%22SAVED%22%20if%20_saved_ok%20else%20(_save_error%20or%20%22EVIDENCE%20IN%20PROGRESS%22)%0A%20%20%20%20mo.Html(f'%3Cdiv%20class%3D%22lab-hud%22%3E%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%3Cspan%20class%3D%22hud-value%22%3E10%20%C2%B7%20The%20Inference%20Economy%3C%2Fspan%3E%3Cspan%20aria-hidden%3D%22true%22%3E%7C%3C%2Fspan%3E%3Cspan%20style%3D%22flex%3A1%22%3E%3C%2Fspan%3E%3Cspan%20class%3D%22hud-label%22%3ESTATUS%3C%2Fspan%3E%3Cspan%20class%3D%22hud-active%22%3E%7B_status%7D%3C%2Fspan%3E%3C%2Fdiv%3E')%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A