lab 10 inference

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.14%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysim-0.1.2-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysbook_labs-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_labs_dir%20%3D%20Path(__file__).resolve().parents%5B1%5D%0A%20%20%20%20%20%20%20%20if%20str(_labs_dir)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_labs_dir))%0A%20%20%20%20%20%20%20%20from%20bootstrap%20import%20native_bootstrap%0A%20%20%20%20%20%20%20%20native_bootstrap(__file__)%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20from%20mlsysim.labs.components%20import%20DecisionLog%0A%20%20%20%20from%20mlsysbook_labs%20import%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%0A%20%20%20%20%20%20%20%20batching_result%2C%0A%20%20%20%20%20%20%20%20build_lab_report%2C%0A%20%20%20%20%20%20%20%20cost_crossover%2C%0A%20%20%20%20%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20%20%20%20%20get_lab_track_variant%2C%0A%20%20%20%20%20%20%20%20get_track_profile%2C%0A%20%20%20%20%20%20%20%20inference_economy_profile%2C%0A%20%20%20%20%20%20%20%20report_export_panel%2C%0A%20%20%20%20%20%20%20%20resolve_mlsysim_ref%2C%0A%20%20%20%20%20%20%20%20serving_plan%2C%0A%20%20%20%20%20%20%20%20state_capacity%2C%0A%20%20%20%20%20%20%20%20track_arc_context%2C%0A%20%20%20%20%20%20%20%20track_context%2C%0A%20%20%20%20%20%20%20%20track_selector%2C%0A%20%20%20%20)%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20_%20%3D%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20DecisionLog%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20batching_result%2C%0A%20%20%20%20%20%20%20%20build_lab_report%2C%0A%20%20%20%20%20%20%20%20cost_crossover%2C%0A%20%20%20%20%20%20%20%20get_lab_metadata%2C%0A%20%20%20%20%20%20%20%20get_lab_track_variant%2C%0A%20%20%20%20%20%20%20%20get_track_profile%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20inference_economy_profile%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20math%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20report_export_panel%2C%0A%20%20%20%20%20%20%20%20resolve_mlsysim_ref%2C%0A%20%20%20%20%20%20%20%20serving_plan%2C%0A%20%20%20%20%20%20%20%20state_capacity%2C%0A%20%20%20%20%20%20%20%20track_arc_context%2C%0A%20%20%20%20%20%20%20%20track_context%2C%0A%20%20%20%20%20%20%20%20track_selector%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(get_lab_metadata)%3A%0A%20%20%20%20v2_10_metadata%20%3D%20get_lab_metadata(%22vol2%2Flab_10_inference.py%22)%0A%20%20%20%20return%20(v2_10_metadata%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ledger%2C%20track_selector)%3A%0A%20%20%20%20_saved_track%20%3D%20ledger.get_track()%0A%20%20%20%20_default_track%20%3D%20_saved_track%20if%20_saved_track%20and%20_saved_track%20!%3D%20%22NONE%22%20else%20%22cloud_fleet%22%0A%20%20%20%20v2_10_track_picker%20%3D%20track_selector(default%3D_default_track)%0A%20%20%20%20v2_10_track_picker%0A%20%20%20%20return%20(v2_10_track_picker%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20get_lab_track_variant%2C%0A%20%20%20%20get_track_profile%2C%0A%20%20%20%20inference_economy_profile%2C%0A%20%20%20%20resolve_mlsysim_ref%2C%0A%20%20%20%20v2_10_track_picker%2C%0A)%3A%0A%20%20%20%20v2_10_track_id%20%3D%20v2_10_track_picker.value%0A%20%20%20%20v2_10_profile%20%3D%20get_track_profile(v2_10_track_id)%0A%20%20%20%20v2_10_variant%20%3D%20get_lab_track_variant(%22v2_10_inference_economy%22%2C%20v2_10_profile.track_id)%0A%20%20%20%20v2_10_hardware%20%3D%20resolve_mlsysim_ref(v2_10_variant.hardware_ref)%0A%20%20%20%20v2_10_model%20%3D%20resolve_mlsysim_ref(v2_10_variant.model_ref)%0A%20%20%20%20v2_10_inference%20%3D%20inference_economy_profile(%0A%20%20%20%20%20%20%20%20v2_10_profile%2C%0A%20%20%20%20%20%20%20%20v2_10_variant%2C%0A%20%20%20%20%20%20%20%20v2_10_hardware%2C%0A%20%20%20%20%20%20%20%20v2_10_model%2C%0A%20%20%20%20)%0A%20%20%20%20return%20v2_10_inference%2C%20v2_10_model%2C%20v2_10_profile%2C%20v2_10_variant%0A%0A%0A%40app.cell%0Adef%20_(COLORS%2C%20math%2C%20mo)%3A%0A%20%20%20%20def%20v2_10_fmt_currency(value%2C%20unit)%3A%0A%20%20%20%20%20%20%20%20if%20unit%20%3D%3D%20%22USD%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20f%22%24%7Bvalue%3A%2C.0f%7D%22%0A%20%20%20%20%20%20%20%20if%20abs(value)%20%3E%3D%201000%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20f%22%7Bvalue%3A%2C.0f%7D%20%7Bunit%7D%22%0A%20%20%20%20%20%20%20%20if%20abs(value)%20%3E%3D%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20f%22%7Bvalue%3A%2C.2f%7D%20%7Bunit%7D%22%0A%20%20%20%20%20%20%20%20return%20f%22%7Bvalue%3A.4f%7D%20%7Bunit%7D%22%0A%0A%20%20%20%20def%20v2_10_fmt_duration_days(days)%3A%0A%20%20%20%20%20%20%20%20if%20not%20math.isfinite(days)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22never%20in%20the%20first%20year%22%0A%20%20%20%20%20%20%20%20if%20days%20%3C%2014%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20f%22%7Bdays%3A.1f%7D%20days%22%0A%20%20%20%20%20%20%20%20if%20days%20%3C%20365%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20f%22%7Bdays%20%2F%207%3A.1f%7D%20weeks%22%0A%20%20%20%20%20%20%20%20return%20f%22%7Bdays%20%2F%20365%3A.1f%7D%20years%22%0A%0A%20%20%20%20def%20v2_10_fmt_ms(value)%3A%0A%20%20%20%20%20%20%20%20if%20not%20math.isfinite(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22not%20feasible%22%0A%20%20%20%20%20%20%20%20if%20abs(value)%20%3E%3D%201000%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20f%22%7Bvalue%20%2F%201000%3A.2f%7D%20s%22%0A%20%20%20%20%20%20%20%20return%20f%22%7Bvalue%3A.1f%7D%20ms%22%0A%0A%20%20%20%20def%20v2_10_crossover_bucket(days)%3A%0A%20%20%20%20%20%20%20%20if%20not%20math.isfinite(days)%20or%20days%20%3E%20365%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22never%22%0A%20%20%20%20%20%20%20%20if%20days%20%3C%3D%2014%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22days%22%0A%20%20%20%20%20%20%20%20if%20days%20%3C%3D%2070%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22weeks%22%0A%20%20%20%20%20%20%20%20return%20%22months%22%0A%0A%20%20%20%20def%20v2_10_prediction_bucket_days(bucket)%3A%0A%20%20%20%20%20%20%20%20return%20%7B%22days%22%3A%207.0%2C%20%22weeks%22%3A%2035.0%2C%20%22months%22%3A%20180.0%2C%20%22never%22%3A%20365.0%7D.get(bucket%2C%2035.0)%0A%0A%20%20%20%20def%20v2_10_capacity_bucket(max_concurrent)%3A%0A%20%20%20%20%20%20%20%20if%20max_concurrent%20%3C%3D%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22one%22%0A%20%20%20%20%20%20%20%20if%20max_concurrent%20%3C%3D%204%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22few%22%0A%20%20%20%20%20%20%20%20if%20max_concurrent%20%3C%3D%2032%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22modest%22%0A%20%20%20%20%20%20%20%20return%20%22many%22%0A%0A%20%20%20%20def%20v2_10_precision_label(precision_bytes)%3A%0A%20%20%20%20%20%20%20%20labels%20%3D%20%7B2.0%3A%20%22FP16%22%2C%201.0%3A%20%22INT8%22%2C%200.5%3A%20%22INT4%22%7D%0A%20%20%20%20%20%20%20%20return%20labels.get(float(precision_bytes)%2C%20f%22%7Bprecision_bytes%3Ag%7D%20bytes%22)%0A%0A%20%20%20%20def%20v2_10_schedule_label(policy)%3A%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22no_batching%22%3A%20%22No%20batching%20%2F%20immediate%20serving%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22static%22%3A%20%22Static%20batching%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22dynamic%22%3A%20%22Dynamic%20batching%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22continuous%22%3A%20%22Continuous%20batching%22%2C%0A%20%20%20%20%20%20%20%20%7D.get(policy%2C%20str(policy))%0A%0A%20%20%20%20def%20v2_10_phase_label(phase)%3A%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22prefill%22%3A%20%22Prefill%20%2F%20input-pass%20amount%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22decode%22%3A%20%22Decode%20%2F%20output-loop%20amount%22%2C%0A%20%20%20%20%20%20%20%20%7D.get(phase%2C%20str(phase))%0A%0A%20%20%20%20def%20v2_10_phase_amounts(profile%2C%20prefill_tokens%2C%20decode_tokens%2C%20precision_bytes)%3A%0A%20%20%20%20%20%20%20%20weight_gb%20%3D%20max(0.001%2C%20profile.model_params_b%20*%20precision_bytes)%0A%20%20%20%20%20%20%20%20bandwidth_gbs%20%3D%20max(1.0%2C%20profile.memory_bandwidth_gbs)%0A%20%20%20%20%20%20%20%20if%20profile.track_id%20%3D%3D%20%22cloud_fleet%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20prefill_ms%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max(1.0%2C%200.10%20*%20profile.slo_ms)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%200.015%20*%20(prefill_tokens%20%2F%201024)%20**%202%20*%20max(1.0%2C%20profile.model_params_b%20%2F%207)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20tpot_ms%20%3D%20weight_gb%20%2F%20bandwidth_gbs%20*%201000%0A%20%20%20%20%20%20%20%20%20%20%20%20decode_ms%20%3D%20decode_tokens%20*%20tpot_ms%0A%20%20%20%20%20%20%20%20%20%20%20%20input_unit%20%3D%20%22prompt%20tokens%22%0A%20%20%20%20%20%20%20%20%20%20%20%20output_unit%20%3D%20%22generated%20tokens%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20track_scalars%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22iphone%22%3A%20(0.010%2C%200.022)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22oura_ring%22%3A%20(0.090%2C%200.180)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22robotaxi%22%3A%20(0.004%2C%200.035)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20input_scale%2C%20output_scale%20%3D%20track_scalars.get(profile.track_id%2C%20(0.010%2C%200.030))%0A%20%20%20%20%20%20%20%20%20%20%20%20prefill_ms%20%3D%20max(1.0%2C%200.18%20*%20profile.slo_ms)%20%2B%20prefill_tokens%20*%20input_scale%0A%20%20%20%20%20%20%20%20%20%20%20%20decode_ms%20%3D%20max(0.5%2C%20decode_tokens%20*%20output_scale%20%2B%20decode_tokens%20*%20weight_gb%20%2F%20bandwidth_gbs%20*%2012)%0A%20%20%20%20%20%20%20%20%20%20%20%20tpot_ms%20%3D%20decode_ms%20%2F%20max(1%2C%20decode_tokens)%0A%20%20%20%20%20%20%20%20%20%20%20%20input_unit%20%3D%20%22input%2Fwindow%20units%22%0A%20%20%20%20%20%20%20%20%20%20%20%20output_unit%20%3D%20%22output%2Fdecision%20steps%22%0A%20%20%20%20%20%20%20%20binding_phase%20%3D%20%22prefill%22%20if%20prefill_ms%20%3E%3D%20decode_ms%20else%20%22decode%22%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22prefill_ms%22%3A%20prefill_ms%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22decode_ms%22%3A%20decode_ms%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22tpot_ms%22%3A%20tpot_ms%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22weight_gb%22%3A%20weight_gb%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22decode_read_gb%22%3A%20decode_tokens%20*%20weight_gb%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22binding_phase%22%3A%20binding_phase%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22input_unit%22%3A%20input_unit%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22output_unit%22%3A%20output_unit%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20def%20v2_10_policy_multiplier(track_id%2C%20policy)%3A%0A%20%20%20%20%20%20%20%20table%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cloud_fleet%22%3A%20%7B%22no_batching%22%3A%200.8%2C%20%22static%22%3A%201.0%2C%20%22dynamic%22%3A%201.8%2C%20%22continuous%22%3A%203.0%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22iphone%22%3A%20%7B%22no_batching%22%3A%201.0%2C%20%22static%22%3A%201.1%2C%20%22dynamic%22%3A%201.5%2C%20%22continuous%22%3A%201.4%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22oura_ring%22%3A%20%7B%22no_batching%22%3A%200.8%2C%20%22static%22%3A%201.0%2C%20%22dynamic%22%3A%201.35%2C%20%22continuous%22%3A%201.05%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22robotaxi%22%3A%20%7B%22no_batching%22%3A%201.0%2C%20%22static%22%3A%200.95%2C%20%22dynamic%22%3A%201.15%2C%20%22continuous%22%3A%201.05%7D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20return%20table.get(track_id%2C%20table%5B%22cloud_fleet%22%5D).get(policy%2C%201.0)%0A%0A%20%20%20%20def%20v2_10_track_schedule_note(track_id)%3A%0A%20%20%20%20%20%20%20%20if%20track_id%20%3D%3D%20%22robotaxi%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22For%20RoboTaxi%2C%20batching%20is%20a%20deadline-sensitive%20streaming%20admission%20decision%2C%20not%20a%20broad%20LLM-style%20batching%20win.%22%0A%20%20%20%20%20%20%20%20if%20track_id%20%3D%3D%20%22oura_ring%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22For%20Oura%20Ring%2C%20the%20schedule%20is%20a%20duty-cycle%20and%20handoff%20policy%3B%20always-on%20scheduling%20can%20waste%20the%20battery%20budget.%22%0A%20%20%20%20%20%20%20%20if%20track_id%20%3D%3D%20%22iphone%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22For%20iPhone%2C%20small%20dynamic%20batches%20can%20help%20background%20work%2C%20but%20interactive%20paths%20often%20prefer%20immediate%20local%20inference.%22%0A%20%20%20%20%20%20%20%20return%20%22For%20Cloud%20Fleet%2C%20continuous%20batching%20can%20help%20when%20mixed%20request%20lengths%20and%20sufficient%20volume%20justify%20scheduler%20overhead.%22%0A%0A%20%20%20%20def%20v2_10_scheduling_rows(track_id%2C%20batch_size%2C%20avg_len%2C%20max_len%2C%20fill_factor%2C%20slo_ms)%3A%0A%20%20%20%20%20%20%20%20ratio%20%3D%20max(1.0%2C%20max_len%20%2F%20max(1%2C%20avg_len))%0A%20%20%20%20%20%20%20%20padding_waste%20%3D%20max(0.0%2C%20min(1.0%2C%201%20-%20avg_len%20%2F%20max(1%2C%20max_len)))%0A%20%20%20%20%20%20%20%20base_ms%20%3D%20max(1.0%2C%200.25%20*%20slo_ms)%0A%20%20%20%20%20%20%20%20overhead%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cloud_fleet%22%3A%20%7B%22no_batching%22%3A%202%2C%20%22static%22%3A%2012%2C%20%22dynamic%22%3A%2018%2C%20%22continuous%22%3A%2026%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22iphone%22%3A%20%7B%22no_batching%22%3A%201%2C%20%22static%22%3A%208%2C%20%22dynamic%22%3A%2012%2C%20%22continuous%22%3A%2024%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22oura_ring%22%3A%20%7B%22no_batching%22%3A%208%2C%20%22static%22%3A%2018%2C%20%22dynamic%22%3A%2028%2C%20%22continuous%22%3A%2072%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22robotaxi%22%3A%20%7B%22no_batching%22%3A%200%2C%20%22static%22%3A%2010%2C%20%22dynamic%22%3A%206%2C%20%22continuous%22%3A%2018%7D%2C%0A%20%20%20%20%20%20%20%20%7D.get(track_id%2C%20%7B%22no_batching%22%3A%202%2C%20%22static%22%3A%2012%2C%20%22dynamic%22%3A%2018%2C%20%22continuous%22%3A%2026%7D)%0A%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20raw_rows%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22no_batching%22%2C%201.0%2C%200.0%2C%20base_ms%20*%201.1%20%2B%20overhead%5B%22no_batching%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22static%22%2C%20float(batch_size)%2C%20padding_waste%2C%20base_ms%20*%20ratio%20%2B%20overhead%5B%22static%22%5D%20%2B%20batch_size%20*%200.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22dynamic%22%2C%20batch_size%20*%20(1%20%2B%20padding_waste%20*%200.70)%20*%20min(0.95%2C%20fill_factor%20%2B%200.10)%2C%20padding_waste%20*%200.45%2C%20base_ms%20*%20math.sqrt(ratio)%20%2B%20overhead%5B%22dynamic%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22continuous%22%2C%20batch_size%20*%20ratio%20*%20fill_factor%2C%200.0%2C%20base_ms%20*%20(1.10%20if%20ratio%20%3E%202%20else%201.25)%20%2B%20overhead%5B%22continuous%22%5D%20%2B%20batch_size%20*%200.25)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20for%20policy%2C%20throughput%2C%20waste%2C%20tail_ms%20in%20raw_rows%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20risk_pct%20%3D%20max(0.0%2C%20(tail_ms%20-%20slo_ms)%20%2F%20max(1.0%2C%20slo_ms)%20*%20100)%0A%20%20%20%20%20%20%20%20%20%20%20%20score%20%3D%20throughput%20%2F%20(1.0%20%2B%20risk_pct%20%2F%2035.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20track_id%20%3D%3D%20%22robotaxi%22%20and%20policy%20%3D%3D%20%22continuous%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20score%20*%3D%200.55%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20track_id%20%3D%3D%20%22robotaxi%22%20and%20policy%20%3D%3D%20%22no_batching%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20score%20*%3D%201.35%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20track_id%20%3D%3D%20%22oura_ring%22%20and%20policy%20%3D%3D%20%22continuous%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20score%20*%3D%200.55%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20track_id%20%3D%3D%20%22oura_ring%22%20and%20policy%20%3D%3D%20%22dynamic%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20score%20*%3D%201.25%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22policy%22%3A%20policy%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22label%22%3A%20v2_10_schedule_label(policy)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22throughput%22%3A%20throughput%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22waste_pct%22%3A%20waste%20*%20100%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22tail_ms%22%3A%20tail_ms%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22risk_pct%22%3A%20risk_pct%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22score%22%3A%20score%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20%20%20%20%20winner%20%3D%20max(rows%2C%20key%3Dlambda%20row%3A%20row%5B%22score%22%5D)%5B%22policy%22%5D%0A%20%20%20%20%20%20%20%20return%20rows%2C%20winner%0A%0A%20%20%20%20def%20v2_10_serving_latency_ms(track_id%2C%20slo_ms%2C%20policy%2C%20utilization%2C%20oom%3DFalse)%3A%0A%20%20%20%20%20%20%20%20if%20oom%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20math.inf%0A%20%20%20%20%20%20%20%20overhead%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22no_batching%22%3A%200.04%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22static%22%3A%200.42%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22dynamic%22%3A%200.22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22continuous%22%3A%200.14%2C%0A%20%20%20%20%20%20%20%20%7D.get(policy%2C%200.22)%0A%20%20%20%20%20%20%20%20if%20track_id%20%3D%3D%20%22robotaxi%22%20and%20policy%20in%20(%22static%22%2C%20%22continuous%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20overhead%20%2B%3D%200.30%0A%20%20%20%20%20%20%20%20if%20track_id%20%3D%3D%20%22oura_ring%22%20and%20policy%20%3D%3D%20%22continuous%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20overhead%20%2B%3D%200.25%0A%20%20%20%20%20%20%20%20return%20slo_ms%20*%20(0.35%20%2B%200.25%20*%20min(0.99%2C%20utilization)%20%2B%20overhead)%0A%0A%20%20%20%20def%20v2_10_binding_constraint(memory_ok%2C%20slo_ok%2C%20cost_ok%2C%20quality_ok)%3A%0A%20%20%20%20%20%20%20%20if%20not%20memory_ok%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22memory%2Fstate%22%0A%20%20%20%20%20%20%20%20if%20not%20slo_ok%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22SLO%2Fdeadline%22%0A%20%20%20%20%20%20%20%20if%20not%20quality_ok%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22quality%20guardrail%22%0A%20%20%20%20%20%20%20%20if%20not%20cost_ok%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22recurring%20cost%22%0A%20%20%20%20%20%20%20%20return%20%22none%20-%20all%20guardrails%20pass%22%0A%0A%20%20%20%20def%20v2_10_rejected_alternative(track_id%2C%20binding_constraint)%3A%0A%20%20%20%20%20%20%20%20if%20binding_constraint%20%3D%3D%20%22memory%2Fstate%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22Rejected%20single-unit%20FP16%20long-context%20policy%3A%20state%2Fcache%20memory%20does%20not%20fit%20beside%20weights.%22%0A%20%20%20%20%20%20%20%20if%20binding_constraint%20%3D%3D%20%22SLO%2Fdeadline%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22Rejected%20minimal%20static%20policy%3A%20queueing%20and%20scheduler%20delay%20spend%20the%20p99%2Fdeadline%20budget.%22%0A%20%20%20%20%20%20%20%20if%20binding_constraint%20%3D%3D%20%22quality%20guardrail%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22Rejected%20lowest-precision%20policy%3A%20quality%20risk%20is%20too%20high%20for%20this%20track.%22%0A%20%20%20%20%20%20%20%20if%20binding_constraint%20%3D%3D%20%22recurring%20cost%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22Rejected%20overprovisioned%20FP16%20policy%3A%20it%20passes%20latency%20by%20spending%20too%20much%20recurring%20cost%20or%20power.%22%0A%20%20%20%20%20%20%20%20defaults%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cloud_fleet%22%3A%20%22Rejected%20single-unit%20FP16%20static%20policy%3A%20KV%2Fcache%20headroom%20is%20fragile%20and%20p99%20risk%20is%20high.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22iphone%22%3A%20%22Rejected%20always-local%20overprovisioned%20policy%3A%20battery%20and%20thermal%20cost%20are%20not%20justified.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22oura_ring%22%3A%20%22Rejected%20always-on%20continuous%20schedule%3A%20duty%20cycle%20and%20battery%20budget%20are%20too%20fragile.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22robotaxi%22%3A%20%22Rejected%20broad%20continuous%20batching%20policy%3A%20the%20safety%20path%20needs%20deadline-first%20streaming%20behavior.%22%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20return%20defaults.get(track_id%2C%20%22Rejected%20alternative%3A%20it%20fails%20the%20selected%20track's%20binding%20guardrail.%22)%0A%0A%20%20%20%20def%20v2_10_edge_implication(track_id%2C%20binding_constraint)%3A%0A%20%20%20%20%20%20%20%20if%20track_id%20%3D%3D%20%22cloud_fleet%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22V2-11%20asks%20which%20parts%20of%20this%20policy%20can%20move%20toward%20edge%20devices%20when%20HBM%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22NVLink%2C%20and%20always-on%20connectivity%20disappear.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20track_id%20%3D%3D%20%22iphone%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22V2-11%20turns%20the%20same%20policy%20into%20an%20on-device%20privacy%2C%20battery%2C%20and%20intermittent-offload%20problem.%22%0A%20%20%20%20%20%20%20%20if%20track_id%20%3D%3D%20%22oura_ring%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22V2-11%20tightens%20the%20same%20policy%20around%20SRAM%2C%20duty%20cycle%2C%20phone%20handoff%2C%20and%20local%20sensing%20quality.%22%0A%20%20%20%20%20%20%20%20if%20track_id%20%3D%3D%20%22robotaxi%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22V2-11%20keeps%20the%20safety%20loop%20local%20and%20asks%20what%20fleet%2Fcloud%20work%20can%20tolerate%20intermittent%20handoff.%22%0A%20%20%20%20%20%20%20%20return%20f%22V2-11%20moves%20the%20binding%20amount%2C%20currently%20%7Bbinding_constraint%7D%2C%20into%20a%20smaller%20edge%20envelope.%22%0A%0A%20%20%20%20def%20v2_10_part_banner(letter%2C%20title%2C%20duration%2C%20why%2C%20color)%3A%0A%20%20%20%20%20%20%20%20return%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin%3A12px%200%2016px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20align-items%3Acenter%3B%20gap%3A12px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7Bcolor%7D%3B%20color%3Awhite%3B%20border-radius%3A50%25%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A32px%3B%20height%3A32px%3B%20display%3Ainline-flex%3B%20align-items%3Acenter%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20justify-content%3Acenter%3B%20font-size%3A0.9rem%3B%20font-weight%3A800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20flex-shrink%3A0%3B%22%3E%7Bletter%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A1%3B%20height%3A2px%3B%20background%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.12em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Part%20%7Bletter%7D%20%26middot%3B%20%7Bduration%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'Text'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-top%3A8px%3B%20line-height%3A1.2%3B%22%3E%7Btitle%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextSec'%5D%7D%3B%20font-size%3A0.92rem%3B%20margin-top%3A6px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A1.55%3B%20max-width%3A760px%3B%22%3E%7Bwhy%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%0A%20%20%20%20def%20v2_10_stakeholder_card(persona%2C%20quote%2C%20color%2C%20background)%3A%0A%20%20%20%20%20%20%20%20return%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7Bcolor%7D%3B%20background%3A%7Bbackground%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%208px%208px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7Bcolor%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20%7Bpersona%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%7Bquote%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%0A%20%20%20%20def%20v2_10_metric_card(label%2C%20value%2C%20subvalue%3D%22%22%2C%20color%3DNone)%3A%0A%20%20%20%20%20%20%20%20_color%20%3D%20color%20or%20COLORS%5B%22BlueLine%22%5D%0A%20%20%20%20%20%20%20%20return%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%2018px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A8px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.76rem%3B%20font-weight%3A700%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%22%3E%7Blabel%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_color%7D%3B%20font-family%3Amonospace%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A1.35%3B%22%3E%7Bvalue%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3E%7Bsubvalue%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%0A%20%20%20%20def%20v2_10_reveal_card(title%2C%20prediction%2C%20actual%2C%20detail%2C%20kind%3D%22info%22)%3A%0A%20%20%20%20%20%20%20%20palette%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22success%22%3A%20(COLORS%5B%22GreenLine%22%5D%2C%20COLORS%5B%22GreenLL%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22warn%22%3A%20(COLORS%5B%22OrangeLine%22%5D%2C%20COLORS%5B%22OrangeLL%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22danger%22%3A%20(COLORS%5B%22RedLine%22%5D%2C%20COLORS%5B%22RedLL%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22info%22%3A%20(COLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22BlueLL%22%5D)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20color%2C%20background%20%3D%20palette.get(kind%2C%20palette%5B%22info%22%5D)%0A%20%20%20%20%20%20%20%20return%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7Bbackground%7D%3B%20border%3A1px%20solid%20%7Bcolor%7D%3B%20border-left%3A5px%20solid%20%7Bcolor%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A8px%3B%20padding%3A14px%2018px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.82rem%3B%20font-weight%3A800%3B%20color%3A%7Bcolor%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.08em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7Btitle%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.9rem%3B%20color%3A%7BCOLORS%5B'Text'%5D%7D%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20You%20predicted%20%3Cstrong%3E%7Bprediction%7D%3C%2Fstrong%3E.%20Actual%3A%20%3Cstrong%3E%7Bactual%7D%3C%2Fstrong%3E.%20%7Bdetail%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%0A%20%20%20%20def%20v2_10_failure_card(active%2C%20title%2C%20detail%2C%20recovery)%3A%0A%20%20%20%20%20%20%20%20if%20active%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22**%7Btitle%7D**%20%20%5Cn%7Bdetail%7D%20%20%5Cn%5CnRecovery%20path%3A%20%7Brecovery%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22danger%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22**Recovered%20boundary%3A%20%7Btitle%7D**%20%20%5CnCurrent%20settings%20pass.%20Boundary%20to%20watch%3A%20%7Bdetail%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20v2_10_math_peek(title%2C%20body)%3A%0A%20%20%20%20%20%20%20%20return%20mo.accordion(%7Btitle%3A%20mo.md(body)%7D)%0A%0A%20%20%20%20def%20v2_10_table_html(headers%2C%20rows)%3A%0A%20%20%20%20%20%20%20%20_head%20%3D%20%22%22.join(f%22%3Cth%3E%7Bheader%7D%3C%2Fth%3E%22%20for%20header%20in%20headers)%0A%20%20%20%20%20%20%20%20_rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20row%20in%20rows%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_cells%20%3D%20%22%22.join(f%22%3Ctd%3E%7Bcell%7D%3C%2Ftd%3E%22%20for%20cell%20in%20row)%0A%20%20%20%20%20%20%20%20%20%20%20%20_rows.append(f%22%3Ctr%3E%7B_cells%7D%3C%2Ftr%3E%22)%0A%20%20%20%20%20%20%20%20return%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22overflow-x%3Aauto%3B%20margin%3A10px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Ctable%20style%3D%22width%3A100%25%3B%20border-collapse%3Acollapse%3B%20font-size%3A0.86rem%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cthead%3E%3Ctr%20style%3D%22background%3A%7BCOLORS%5B'Surface2'%5D%7D%3B%20color%3A%7BCOLORS%5B'Text'%5D%7D%3B%22%3E%7B_head%7D%3C%2Ftr%3E%3C%2Fthead%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctbody%3E%7B''.join(_rows)%7D%3C%2Ftbody%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftable%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cstyle%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20table%20td%2C%20table%20th%20%7B%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A8px%2010px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Aleft%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20vertical-align%3Atop%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%7D%0A%20%20%20%20%20%20%20%20%3C%2Fstyle%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20v2_10_binding_constraint%2C%0A%20%20%20%20%20%20%20%20v2_10_capacity_bucket%2C%0A%20%20%20%20%20%20%20%20v2_10_crossover_bucket%2C%0A%20%20%20%20%20%20%20%20v2_10_edge_implication%2C%0A%20%20%20%20%20%20%20%20v2_10_failure_card%2C%0A%20%20%20%20%20%20%20%20v2_10_fmt_currency%2C%0A%20%20%20%20%20%20%20%20v2_10_fmt_duration_days%2C%0A%20%20%20%20%20%20%20%20v2_10_fmt_ms%2C%0A%20%20%20%20%20%20%20%20v2_10_math_peek%2C%0A%20%20%20%20%20%20%20%20v2_10_metric_card%2C%0A%20%20%20%20%20%20%20%20v2_10_part_banner%2C%0A%20%20%20%20%20%20%20%20v2_10_phase_amounts%2C%0A%20%20%20%20%20%20%20%20v2_10_phase_label%2C%0A%20%20%20%20%20%20%20%20v2_10_policy_multiplier%2C%0A%20%20%20%20%20%20%20%20v2_10_precision_label%2C%0A%20%20%20%20%20%20%20%20v2_10_prediction_bucket_days%2C%0A%20%20%20%20%20%20%20%20v2_10_rejected_alternative%2C%0A%20%20%20%20%20%20%20%20v2_10_reveal_card%2C%0A%20%20%20%20%20%20%20%20v2_10_schedule_label%2C%0A%20%20%20%20%20%20%20%20v2_10_scheduling_rows%2C%0A%20%20%20%20%20%20%20%20v2_10_serving_latency_ms%2C%0A%20%20%20%20%20%20%20%20v2_10_stakeholder_card%2C%0A%20%20%20%20%20%20%20%20v2_10_table_html%2C%0A%20%20%20%20%20%20%20%20v2_10_track_schedule_note%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20ACADEMIC_LAB_CSS%2C%0A%20%20%20%20COLORS%2C%0A%20%20%20%20LAB_CSS%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20track_arc_context%2C%0A%20%20%20%20track_context%2C%0A%20%20%20%20v2_10_inference%2C%0A%20%20%20%20v2_10_metadata%2C%0A%20%20%20%20v2_10_profile%2C%0A%20%20%20%20v2_10_variant%2C%0A)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20ACADEMIC_LAB_CSS%2C%0A%20%20%20%20%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3Alinear-gradient(135deg%2C%20%7BCOLORS%5B'Surface0'%5D%7D%200%25%2C%20%7BCOLORS%5B'Surface1'%5D%7D%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A16px%3B%20padding%3A32px%2040px%3B%20margin-bottom%3A8px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A1px%20solid%20%232d3748%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20justify-content%3Aspace-between%3B%20align-items%3Aflex-start%3B%20flex-wrap%3Awrap%3B%20gap%3A16px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%2394a3b8%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.14em%3B%20margin-bottom%3A8px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Vol%202%20%26middot%3B%20Lab%2010%20%26middot%3B%20Inference%20at%20Scale%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%23f1f5f9%3B%20line-height%3A1.15%3B%20margin-bottom%3A10px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Inference%20Economy%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.95rem%3B%20color%3A%2394a3b8%3B%20max-width%3A680px%3B%20line-height%3A1.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7Bv2_10_variant.workload_summary%7D%20You%20will%20test%20cost%2C%20state%2Fcache%20memory%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20batching%20under%20variance%2C%20and%20release%20guardrails%20for%20%7Bv2_10_inference.label%7D.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20flex-direction%3Acolumn%3B%20gap%3A8px%3B%20flex-shrink%3A0%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3E%7Bv2_10_profile.label%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3E%7Bv2_10_inference.hardware_ref%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3E%7Bv2_10_inference.model_name%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3E45-55%20minutes%20%26middot%3B%204%20Parts%20%2B%20Synthesis%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20track_context(v2_10_profile)%2C%0A%20%20%20%20%20%20%20%20track_arc_context(v2_10_profile%2C%20v2_10_metadata.lab_id)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo%2C%20v2_10_inference%2C%20v2_10_variant)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3Awhite%3B%20border-radius%3A0%208px%208px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A20px%2028px%3B%20margin%3A8px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A0%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A16px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.7rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.12em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.9rem%3B%20color%3A%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A1.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E1.%20%3Cstrong%3EQuantify%20recurring%20serving%20cost%3A%3C%2Fstrong%3E%20calculate%20when%20%7Bv2_10_inference.cost_label%7D%20exceeds%20the%20setup%20budget.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E2.%20%3Cstrong%3EDiagnose%20state%20memory%3A%3C%2Fstrong%3E%20compute%20how%20%7Bv2_10_inference.state_kind%7D%20caps%20concurrent%20sessions.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E3.%20%3Cstrong%3ECompare%20scheduling%20policies%3A%3C%2Fstrong%3E%20explain%20why%20batching%20depends%20on%20variance%2C%20volume%2C%20and%20%7Bv2_10_variant.guardrail_metric%7D.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E4.%20%3Cstrong%3EDesign%20a%20serving%20policy%3A%3C%2Fstrong%3E%20choose%20precision%2C%20scheduling%2C%20routing%2C%20and%20serving%20units%20that%20satisfy%20all%20guardrails.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A0%20-28px%3B%20padding%3A0%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A32px%3B%20margin-top%3A16px%3B%20margin-bottom%3A16px%3B%20flex-wrap%3Awrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A1%3B%20min-width%3A220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.7rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.12em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.85rem%3B%20color%3A%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Inference%20economics%20%26middot%3B%20state%2FKV%20cache%20memory%20%26middot%3B%20static%2C%20dynamic%2C%20and%20iteration-level%20scheduling%20%26middot%3B%20p99%2FSLO%20guardrails%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A0%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.7rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.12em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.85rem%3B%20color%3A%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E45-55%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%204%20parts%20%26middot%3B%20~10-15%20min%20each%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A0%20-28px%3B%20padding%3A0%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-top%3A16px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.7rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.12em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.05rem%3B%20color%3A%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A1.5%3B%20font-style%3Aitalic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22If%20average%20throughput%20looks%20good%2C%20what%20still%20prevents%20%7Bv2_10_inference.label%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20from%20shipping%20under%20%7Bv2_10_variant.guardrail_metric%7D%3F%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20--%20Complete%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20The%20Inference%20at%20Scale%20chapter%20sections%20on%20serving%20economics%20and%20state%2FKV%20cache%20scaling.%0A%20%20%20%20-%20The%20continuous%20batching%20section%20contrasting%20static%20padding%20with%20iteration-level%20scheduling.%0A%20%20%20%20-%20The%20serving%20policy%20discussion%20on%20SLOs%2C%20cost%2Frequest%2C%20quality%2C%20and%20operational%20guardrails.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20v2_10_inference)%3A%0A%20%20%20%20partA_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Days%20--%20recurring%20serving%20crosses%20almost%20immediately%22%3A%20%22days%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Weeks%20--%20serving%20overtakes%20setup%20during%20early%20rollout%22%3A%20%22weeks%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Months%20--%20setup%20cost%20dominates%20for%20a%20quarter%20or%20more%22%3A%20%22months%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Never%20in%20the%20first%20year%20--%20setup%20remains%20dominant%22%3A%20%22never%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bv2_10_inference.label%7D%3A%20when%20does%20cumulative%20%7Bv2_10_inference.cost_label%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22exceed%20the%20one-time%20setup%2Ftraining%20budget%3F%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20partA_phase_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Prefill%20%2F%20input%20pass%20--%20prompt%20or%20window%20processing%20controls%20the%20first%20response%22%3A%20%22prefill%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Decode%20%2F%20output%20loop%20--%20repeated%20output%20steps%20control%20the%20live%20service%22%3A%20%22decode%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bv2_10_inference.label%7D%3A%20which%20amount%20system%20is%20more%20likely%20to%20bind%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22after%20the%20request%20is%20live%3F%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20_qps%20%3D%20v2_10_inference.demand_qps%0A%20%20%20%20_unit_cost%20%3D%20v2_10_inference.cost_per_event%0A%20%20%20%20_prefill_default%20%3D%20max(16%2C%20min(v2_10_inference.context_tokens%2C%208192))%0A%20%20%20%20_prefill_step%20%3D%20max(1%2C%20_prefill_default%20%2F%2F%2016)%0A%20%20%20%20_decode_default%20%3D%20max(1%2C%20min(512%2C%20max(8%2C%20v2_10_inference.context_tokens%20%2F%2F%208)))%0A%20%20%20%20_decode_step%20%3D%20max(1%2C%20_decode_default%20%2F%2F%2016)%0A%20%20%20%20partA_qps%20%3D%20mo.ui.number(%0A%20%20%20%20%20%20%20%20start%3D0.0%2C%0A%20%20%20%20%20%20%20%20stop%3Dmax(_qps%20*%2010%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20value%3D_qps%2C%0A%20%20%20%20%20%20%20%20step%3Dmax(_qps%20%2F%2020%2C%200.01)%2C%0A%20%20%20%20%20%20%20%20label%3D%22Demand%20rate%20(events%2Fs)%22%2C%0A%20%20%20%20)%0A%20%20%20%20partA_cost_per_event%20%3D%20mo.ui.number(%0A%20%20%20%20%20%20%20%20start%3D0.0%2C%0A%20%20%20%20%20%20%20%20stop%3Dmax(_unit_cost%20*%2010%2C%200.001)%2C%0A%20%20%20%20%20%20%20%20value%3D_unit_cost%2C%0A%20%20%20%20%20%20%20%20step%3Dmax(_unit_cost%20%2F%2020%2C%200.000001)%2C%0A%20%20%20%20%20%20%20%20label%3Df%22Cost%20per%20event%20(%7Bv2_10_inference.cost_unit%7D)%22%2C%0A%20%20%20%20)%0A%20%20%20%20partA_horizon_weeks%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%0A%20%20%20%20%20%20%20%20stop%3D52%2C%0A%20%20%20%20%20%20%20%20value%3Dv2_10_inference.horizon_weeks%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Planning%20horizon%20(weeks)%22%2C%0A%20%20%20%20)%0A%20%20%20%20partA_optimization_pct%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0%2C%0A%20%20%20%20%20%20%20%20stop%3D50%2C%0A%20%20%20%20%20%20%20%20value%3D10%2C%0A%20%20%20%20%20%20%20%20step%3D5%2C%0A%20%20%20%20%20%20%20%20label%3D%22Recurring%20optimization%20(%25)%22%2C%0A%20%20%20%20)%0A%20%20%20%20partA_prefill_tokens%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3Dmax(1%2C%20_prefill_step)%2C%0A%20%20%20%20%20%20%20%20stop%3Dmax(_prefill_default%20*%204%2C%20_prefill_default%20%2B%20_prefill_step)%2C%0A%20%20%20%20%20%20%20%20value%3D_prefill_default%2C%0A%20%20%20%20%20%20%20%20step%3D_prefill_step%2C%0A%20%20%20%20%20%20%20%20label%3D%22Prefill%2Finput%20tokens%20or%20window%20units%22%2C%0A%20%20%20%20)%0A%20%20%20%20partA_decode_tokens%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%0A%20%20%20%20%20%20%20%20stop%3Dmax(_decode_default%20*%204%2C%2016)%2C%0A%20%20%20%20%20%20%20%20value%3D_decode_default%2C%0A%20%20%20%20%20%20%20%20step%3D_decode_step%2C%0A%20%20%20%20%20%20%20%20label%3D%22Decode%2Foutput%20tokens%20or%20decision%20steps%22%2C%0A%20%20%20%20)%0A%20%20%20%20partA_checkpoint%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Ignore%20inference%20cost%20until%20next%20year's%20budget%20cycle%22%3A%20%22ignore%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Track%20cost%2Fevent%20and%20prioritize%20recurring%20efficiency%22%3A%20%22optimize%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Only%20reduce%20launch%20setup%20cost%22%3A%20%22setup_only%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Reduce%20demand%20even%20if%20quality%20and%20access%20suffer%22%3A%20%22throttle%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Checkpoint%3A%20what%20design%20lever%20should%20the%20platform%20owner%20carry%20forward%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20partA_checkpoint%2C%0A%20%20%20%20%20%20%20%20partA_cost_per_event%2C%0A%20%20%20%20%20%20%20%20partA_decode_tokens%2C%0A%20%20%20%20%20%20%20%20partA_horizon_weeks%2C%0A%20%20%20%20%20%20%20%20partA_optimization_pct%2C%0A%20%20%20%20%20%20%20%20partA_phase_prediction%2C%0A%20%20%20%20%20%20%20%20partA_prediction%2C%0A%20%20%20%20%20%20%20%20partA_prefill_tokens%2C%0A%20%20%20%20%20%20%20%20partA_qps%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20v2_10_inference%2C%20v2_10_variant)%3A%0A%20%20%20%20partB_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Many%20sessions%20--%20if%20weights%20fit%2C%20serving%20fits%22%3A%20%22many%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Tens%20of%20sessions%20--%20state%20is%20visible%20but%20not%20binding%22%3A%20%22modest%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20A%20few%20sessions%20--%20state%2Fcache%20is%20the%20first%20wall%22%3A%20%22few%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20One%20or%20zero%20sessions%20--%20memory%20fails%20immediately%22%3A%20%22one%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bv2_10_inference.model_name%7D%20on%20%7Bv2_10_inference.hardware_name%7D%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22how%20many%20concurrent%20sessions%20fit%20before%20memory%20fails%3F%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20_precision_default%20%3D%20float(v2_10_variant.defaults.get(%22precision_bytes%22%2C%202.0))%0A%20%20%20%20_precision_label_default%20%3D%20%7B%0A%20%20%20%20%20%20%20%202.0%3A%20%22FP16%20(2%20bytes)%22%2C%0A%20%20%20%20%20%20%20%201.0%3A%20%22INT8%20(1%20byte)%22%2C%0A%20%20%20%20%20%20%20%200.5%3A%20%22INT4%20(0.5%20bytes)%22%2C%0A%20%20%20%20%7D.get(_precision_default%2C%20%22FP16%20(2%20bytes)%22)%0A%20%20%20%20partB_precision%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22FP16%20(2%20bytes)%22%3A%202.0%2C%20%22INT8%20(1%20byte)%22%3A%201.0%2C%20%22INT4%20(0.5%20bytes)%22%3A%200.5%7D%2C%0A%20%20%20%20%20%20%20%20value%3D_precision_label_default%2C%0A%20%20%20%20%20%20%20%20label%3D%22Weight%20precision%22%2C%0A%20%20%20%20)%0A%20%20%20%20_context%20%3D%20v2_10_inference.context_tokens%0A%20%20%20%20_context_step%20%3D%20max(128%2C%20min(4096%2C%20_context%20%2F%2F%208%20if%20_context%20%3E%3D%201024%20else%20_context))%0A%20%20%20%20partB_context_tokens%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3Dmax(128%2C%20_context_step)%2C%0A%20%20%20%20%20%20%20%20stop%3Dmax(_context%20*%202%2C%20_context_step%20*%202)%2C%0A%20%20%20%20%20%20%20%20value%3D_context%2C%0A%20%20%20%20%20%20%20%20step%3D_context_step%2C%0A%20%20%20%20%20%20%20%20label%3D%22Context%2Fstate%20window%22%2C%0A%20%20%20%20)%0A%20%20%20%20partB_devices%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%0A%20%20%20%20%20%20%20%20stop%3Dmax(8%2C%20v2_10_inference.default_devices_per_replica)%2C%0A%20%20%20%20%20%20%20%20value%3Dv2_10_inference.default_devices_per_replica%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Devices%20per%20serving%20unit%22%2C%0A%20%20%20%20)%0A%20%20%20%20partB_checkpoint%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Lower%20weight%20precision%20to%20free%20live%20state%20memory%22%3A%20%22precision%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Add%20compute-only%20accelerators%22%3A%20%22compute%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Ignore%20state%20because%20the%20model%20weights%20fit%22%3A%20%22ignore_state%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Spill%20state%2Fcache%20to%20slow%20off-device%20memory%20first%22%3A%20%22spill%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3Df%22Checkpoint%3A%20what%20is%20the%20first%20capacity%20lever%20for%20%7Bv2_10_inference.state_kind%7D%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20partB_checkpoint%2C%0A%20%20%20%20%20%20%20%20partB_context_tokens%2C%0A%20%20%20%20%20%20%20%20partB_devices%2C%0A%20%20%20%20%20%20%20%20partB_precision%2C%0A%20%20%20%20%20%20%20%20partB_prediction%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20v2_10_inference)%3A%0A%20%20%20%20partC_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20No%20batching%20%2F%20immediate%20serving%22%3A%20%22no_batching%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Static%20batching%22%3A%20%22static%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Dynamic%20batching%22%3A%20%22dynamic%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Continuous%20batching%22%3A%20%22continuous%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20scheduling%20policy%20wins%20for%20this%20workload%20after%20variance%20and%20SLO%20risk%20are%20counted%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20_context%20%3D%20max(64%2C%20v2_10_inference.context_tokens)%0A%20%20%20%20_avg_default%20%3D%20max(64%2C%20min(4096%2C%20_context))%0A%20%20%20%20_max_default%20%3D%20max(_avg_default%20*%204%2C%20_context)%0A%20%20%20%20partC_avg_len%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3Dmax(16%2C%20_avg_default%20%2F%2F%208)%2C%0A%20%20%20%20%20%20%20%20stop%3Dmax(_avg_default%20*%208%2C%20512)%2C%0A%20%20%20%20%20%20%20%20value%3D_avg_default%2C%0A%20%20%20%20%20%20%20%20step%3Dmax(16%2C%20_avg_default%20%2F%2F%2016)%2C%0A%20%20%20%20%20%20%20%20label%3D%22Average%20request%2Fwindow%20length%22%2C%0A%20%20%20%20)%0A%20%20%20%20partC_max_len%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3Dmax(64%2C%20_avg_default)%2C%0A%20%20%20%20%20%20%20%20stop%3Dmax(_max_default%20*%204%2C%20_avg_default%20*%202)%2C%0A%20%20%20%20%20%20%20%20value%3D_max_default%2C%0A%20%20%20%20%20%20%20%20step%3Dmax(64%2C%20_max_default%20%2F%2F%2016)%2C%0A%20%20%20%20%20%20%20%20label%3D%22Max%20request%2Fwindow%20length%22%2C%0A%20%20%20%20)%0A%20%20%20%20partC_batch_size%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%0A%20%20%20%20%20%20%20%20stop%3D32%2C%0A%20%20%20%20%20%20%20%20value%3D8%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Batch%20size%20%2F%20live%20slots%22%2C%0A%20%20%20%20)%0A%20%20%20%20partC_fill_factor%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.50%2C%0A%20%20%20%20%20%20%20%20stop%3D0.95%2C%0A%20%20%20%20%20%20%20%20value%3Dv2_10_inference.batching_fill_factor%2C%0A%20%20%20%20%20%20%20%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20label%3D%22Scheduler%20fill%20factor%22%2C%0A%20%20%20%20)%0A%20%20%20%20partC_slo_ms%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3Dmax(5%2C%20int(v2_10_inference.slo_ms%20*%200.25))%2C%0A%20%20%20%20%20%20%20%20stop%3Dmax(10%2C%20int(v2_10_inference.slo_ms%20*%203))%2C%0A%20%20%20%20%20%20%20%20value%3Dint(v2_10_inference.slo_ms)%2C%0A%20%20%20%20%20%20%20%20step%3Dmax(1%2C%20int(v2_10_inference.slo_ms%20%2F%2020))%2C%0A%20%20%20%20%20%20%20%20label%3D%22SLO%20%2F%20deadline%20(ms)%22%2C%0A%20%20%20%20)%0A%20%20%20%20partC_checkpoint%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Use%20the%20same%20continuous%20scheduler%20for%20every%20workload%22%3A%20%22always_continuous%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Pick%20the%20simplest%20policy%20that%20meets%20SLO%20and%20uses%20capacity%20well%22%3A%20%22conditional%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Always%20avoid%20batching%20because%20it%20adds%20latency%22%3A%20%22never_batch%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Maximize%20batch%20size%20and%20ignore%20tail%20latency%22%3A%20%22max_batch%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Checkpoint%3A%20what%20rule%20should%20be%20used%20in%20production%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20partC_avg_len%2C%0A%20%20%20%20%20%20%20%20partC_batch_size%2C%0A%20%20%20%20%20%20%20%20partC_checkpoint%2C%0A%20%20%20%20%20%20%20%20partC_fill_factor%2C%0A%20%20%20%20%20%20%20%20partC_max_len%2C%0A%20%20%20%20%20%20%20%20partC_prediction%2C%0A%20%20%20%20%20%20%20%20partC_slo_ms%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20v2_10_inference%2C%20v2_10_variant)%3A%0A%20%20%20%20partD_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Overprovisioned%20FP16%20static%20policy%20--%20safe%20but%20expensive%22%3A%20%22overprovisioned%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Single-unit%20FP16%20long-context%20policy%20--%20memory%20fails%22%3A%20%22memory_fail%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Minimal%20static%20policy%20--%20SLO%2Fdeadline%20fails%22%3A%20%22slo_fail%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Guardrail-balanced%20policy%20--%20best%20feasible%20option%22%3A%20%22best_feasible%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Release%20review%3A%20which%20serving%20policy%20survives%20all%20guardrails%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20_target%20%3D%20v2_10_inference.demand_qps%0A%20%20%20%20partD_target_qps%20%3D%20mo.ui.number(%0A%20%20%20%20%20%20%20%20start%3D0.01%2C%0A%20%20%20%20%20%20%20%20stop%3Dmax(_target%20*%2010%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20value%3D_target%2C%0A%20%20%20%20%20%20%20%20step%3Dmax(_target%20%2F%2020%2C%200.01)%2C%0A%20%20%20%20%20%20%20%20label%3D%22Target%20events%2Fs%22%2C%0A%20%20%20%20)%0A%20%20%20%20_precision_default%20%3D%20float(v2_10_variant.defaults.get(%22precision_bytes%22%2C%202.0))%0A%20%20%20%20_precision_label_default%20%3D%20%7B%0A%20%20%20%20%20%20%20%202.0%3A%20%22FP16%20(2%20bytes)%22%2C%0A%20%20%20%20%20%20%20%201.0%3A%20%22INT8%20(1%20byte)%22%2C%0A%20%20%20%20%20%20%20%200.5%3A%20%22INT4%20(0.5%20bytes)%22%2C%0A%20%20%20%20%7D.get(_precision_default%2C%20%22FP16%20(2%20bytes)%22)%0A%20%20%20%20if%20v2_10_inference.track_id%20%3D%3D%20%22cloud_fleet%22%3A%0A%20%20%20%20%20%20%20%20_precision_label_default%20%3D%20%22INT4%20(0.5%20bytes)%22%0A%20%20%20%20partD_precision%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22FP16%20(2%20bytes)%22%3A%202.0%2C%20%22INT8%20(1%20byte)%22%3A%201.0%2C%20%22INT4%20(0.5%20bytes)%22%3A%200.5%7D%2C%0A%20%20%20%20%20%20%20%20value%3D_precision_label_default%2C%0A%20%20%20%20%20%20%20%20label%3D%22Release%20precision%22%2C%0A%20%20%20%20)%0A%20%20%20%20_default_policy%20%3D%20%22Continuous%20batching%22%20if%20v2_10_inference.track_id%20%3D%3D%20%22cloud_fleet%22%20else%20%22Dynamic%20batching%22%0A%20%20%20%20if%20v2_10_inference.track_id%20%3D%3D%20%22robotaxi%22%3A%0A%20%20%20%20%20%20%20%20_default_policy%20%3D%20%22No%20batching%20%2F%20immediate%20serving%22%0A%20%20%20%20partD_schedule%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22No%20batching%20%2F%20immediate%20serving%22%3A%20%22no_batching%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Static%20batching%22%3A%20%22static%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Dynamic%20batching%22%3A%20%22dynamic%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Continuous%20batching%22%3A%20%22continuous%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D_default_policy%2C%0A%20%20%20%20%20%20%20%20label%3D%22Scheduling%20policy%22%2C%0A%20%20%20%20)%0A%20%20%20%20partD_devices%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%0A%20%20%20%20%20%20%20%20stop%3Dmax(8%2C%20v2_10_inference.default_devices_per_replica)%2C%0A%20%20%20%20%20%20%20%20value%3Dv2_10_inference.default_devices_per_replica%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Devices%20per%20serving%20unit%22%2C%0A%20%20%20%20)%0A%20%20%20%20partD_routing%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Single%20route%22%3A%20%22single_route%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Priority%20routing%22%3A%20%22priority_routing%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Warm%20pool%20%2F%20handoff%22%3A%20%22warm_pool%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Priority%20routing%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Routing%20%2F%20handoff%22%2C%0A%20%20%20%20)%0A%20%20%20%20partD_checkpoint%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Minimize%20replicas%20even%20if%20p99%20rises%22%3A%20%22replicas%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Minimize%20recurring%20cost%20subject%20to%20every%20guardrail%22%3A%20%22guardrails%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Maximize%20batch%20size%20first%22%3A%20%22batch%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Use%20the%20largest%20serving%20unit%20available%22%3A%20%22largest%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Checkpoint%3A%20what%20objective%20should%20the%20release%20review%20enforce%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20partD_checkpoint%2C%0A%20%20%20%20%20%20%20%20partD_devices%2C%0A%20%20%20%20%20%20%20%20partD_precision%2C%0A%20%20%20%20%20%20%20%20partD_prediction%2C%0A%20%20%20%20%20%20%20%20partD_routing%2C%0A%20%20%20%20%20%20%20%20partD_schedule%2C%0A%20%20%20%20%20%20%20%20partD_target_qps%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20batching_result%2C%0A%20%20%20%20cost_crossover%2C%0A%20%20%20%20go%2C%0A%20%20%20%20math%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20partA_checkpoint%2C%0A%20%20%20%20partA_cost_per_event%2C%0A%20%20%20%20partA_decode_tokens%2C%0A%20%20%20%20partA_horizon_weeks%2C%0A%20%20%20%20partA_optimization_pct%2C%0A%20%20%20%20partA_phase_prediction%2C%0A%20%20%20%20partA_prediction%2C%0A%20%20%20%20partA_prefill_tokens%2C%0A%20%20%20%20partA_qps%2C%0A%20%20%20%20partB_checkpoint%2C%0A%20%20%20%20partB_context_tokens%2C%0A%20%20%20%20partB_devices%2C%0A%20%20%20%20partB_precision%2C%0A%20%20%20%20partB_prediction%2C%0A%20%20%20%20partC_avg_len%2C%0A%20%20%20%20partC_batch_size%2C%0A%20%20%20%20partC_checkpoint%2C%0A%20%20%20%20partC_fill_factor%2C%0A%20%20%20%20partC_max_len%2C%0A%20%20%20%20partC_prediction%2C%0A%20%20%20%20partC_slo_ms%2C%0A%20%20%20%20partD_checkpoint%2C%0A%20%20%20%20partD_devices%2C%0A%20%20%20%20partD_precision%2C%0A%20%20%20%20partD_prediction%2C%0A%20%20%20%20partD_routing%2C%0A%20%20%20%20partD_schedule%2C%0A%20%20%20%20partD_target_qps%2C%0A%20%20%20%20serving_plan%2C%0A%20%20%20%20state_capacity%2C%0A%20%20%20%20v2_10_binding_constraint%2C%0A%20%20%20%20v2_10_capacity_bucket%2C%0A%20%20%20%20v2_10_crossover_bucket%2C%0A%20%20%20%20v2_10_edge_implication%2C%0A%20%20%20%20v2_10_failure_card%2C%0A%20%20%20%20v2_10_fmt_currency%2C%0A%20%20%20%20v2_10_fmt_duration_days%2C%0A%20%20%20%20v2_10_fmt_ms%2C%0A%20%20%20%20v2_10_inference%2C%0A%20%20%20%20v2_10_math_peek%2C%0A%20%20%20%20v2_10_metric_card%2C%0A%20%20%20%20v2_10_model%2C%0A%20%20%20%20v2_10_part_banner%2C%0A%20%20%20%20v2_10_phase_amounts%2C%0A%20%20%20%20v2_10_phase_label%2C%0A%20%20%20%20v2_10_policy_multiplier%2C%0A%20%20%20%20v2_10_precision_label%2C%0A%20%20%20%20v2_10_prediction_bucket_days%2C%0A%20%20%20%20v2_10_rejected_alternative%2C%0A%20%20%20%20v2_10_reveal_card%2C%0A%20%20%20%20v2_10_schedule_label%2C%0A%20%20%20%20v2_10_scheduling_rows%2C%0A%20%20%20%20v2_10_serving_latency_ms%2C%0A%20%20%20%20v2_10_stakeholder_card%2C%0A%20%20%20%20v2_10_table_html%2C%0A%20%20%20%20v2_10_track_schedule_note%2C%0A%20%20%20%20v2_10_variant%2C%0A)%3A%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_part_banner(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Prefill%2FDecode%20Amount%20Split%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2210-12%20min%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22A%20live%20request%20is%20not%20one%20amount.%20Prefill%2Finput%20work%2C%20decode%2Foutput%20work%2C%20and%20recurring%20event%20cost%20bind%20different%20parts%20of%20the%20service.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22BlueLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_stakeholder_card(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Platform%20finance%20lead%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bv2_10_variant.stakeholder%7D%3A%20separate%20the%20first-response%20input%20work%20from%20the%20recurring%20output%20loop%2C%20then%20tell%20me%20when%20the%20recurring%20side%20becomes%20larger.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22BlueLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22BlueLL%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20The%20selected%20track%20runs%20a%20continuing%20inference%20loop.%20The%20setup%20or%20training%20budget%20is%0A%20%20%20%20**%7Bv2_10_fmt_currency(v2_10_inference.setup_cost%2C%20v2_10_inference.cost_unit)%7D**%2C%20while%20each%20event%20costs%0A%20%20%20%20**%7Bv2_10_inference.cost_per_event%3Ag%7D%20%7Bv2_10_inference.cost_unit%7D**%20before%20optimization.%0A%0A%20%20%20%20Commit%20to%20both%20predictions%20before%20using%20the%20calculator.%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partA_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partA_phase_prediction%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20if%20partA_prediction.value%20is%20None%20or%20partA_phase_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20both%20Part%20A%20predictions%20to%20unlock%20the%20cost%20and%20phase%20evidence.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20_default_cost%20%3D%20cost_crossover(%0A%20%20%20%20%20%20%20%20%20%20%20%20setup_cost%3Dv2_10_inference.setup_cost%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20demand_qps%3Dv2_10_inference.demand_qps%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20cost_per_event%3Dv2_10_inference.cost_per_event%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_cost%20%3D%20cost_crossover(%0A%20%20%20%20%20%20%20%20%20%20%20%20setup_cost%3Dv2_10_inference.setup_cost%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20demand_qps%3DpartA_qps.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20cost_per_event%3DpartA_cost_per_event.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20optimization_pct%3DpartA_optimization_pct.value%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_weeks%20%3D%20partA_horizon_weeks.value%0A%20%20%20%20%20%20%20%20_week_range%20%3D%20np.arange(0%2C%20_weeks%20%2B%201)%0A%20%20%20%20%20%20%20%20_setup_line%20%3D%20%5Bv2_10_inference.setup_cost%5D%20*%20len(_week_range)%0A%20%20%20%20%20%20%20%20_serving_line%20%3D%20%5Bweek%20*%20_cost.weekly_cost%20for%20week%20in%20_week_range%5D%0A%20%20%20%20%20%20%20%20_phase%20%3D%20v2_10_phase_amounts(%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_inference%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partA_prefill_tokens.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partA_decode_tokens.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20float(v2_10_variant.defaults.get(%22precision_bytes%22%2C%202.0))%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_week_range%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D_setup_line%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Setup%2Ftraining%20budget%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2.5%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D%22Week%20%25%7Bx%7D%3A%20%25%7By%3A%2C.0f%7D%3Cextra%3E%3C%2Fextra%3E%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_week_range%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D_serving_line%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Cumulative%20serving%20cost%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fill%3D%22tonexty%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fillcolor%3D%22rgba(203%2C32%2C45%2C0.10)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D%22Week%20%25%7Bx%7D%3A%20%25%7By%3A%2C.0f%7D%3Cextra%3E%3C%2Fextra%3E%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20if%20_cost.crossover_weeks%20%3C%3D%20_weeks%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_vline(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D_cost.crossover_weeks%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20width%3D2%2C%20dash%3D%22dot%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22crossover%20%7Bv2_10_fmt_duration_days(_cost.crossover_days)%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_position%3D%22top%20left%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D340%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Weeks%20since%20deployment%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3Df%22Cumulative%20cost%20(%7Bv2_10_inference.cost_unit%7D)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20yanchor%3D%22bottom%22%2C%20y%3D1.02%2C%20xanchor%3D%22right%22%2C%20x%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D40%2C%20b%3D50%2C%20l%3D70%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20_phase_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_phase_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B%22Prefill%20%2F%20input%20pass%22%2C%20%22Decode%20%2F%20output%20loop%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B_phase%5B%22prefill_ms%22%5D%2C%20_phase%5B%22decode_ms%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22BlueLine%22%5D%20if%20_phase%5B%22binding_phase%22%5D%20%3D%3D%20%22prefill%22%20else%20COLORS%5B%22BlueLL%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22RedLine%22%5D%20if%20_phase%5B%22binding_phase%22%5D%20%3D%3D%20%22decode%22%20else%20COLORS%5B%22RedLL%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bv2_10_fmt_ms(_phase%5B%22prefill_ms%22%5D)%2C%20v2_10_fmt_ms(_phase%5B%22decode_ms%22%5D)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20textposition%3D%22auto%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D%22%25%7Bx%7D%3A%20%25%7By%3A.2f%7D%20ms%3Cextra%3E%3C%2Fextra%3E%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_phase_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D280%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Request%20phase%20amount%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Teaching%20latency%20proxy%20(ms)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D30%2C%20b%3D55%2C%20l%3D70%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_phase_fig)%0A%0A%20%20%20%20%20%20%20%20_actual_bucket%20%3D%20v2_10_crossover_bucket(_default_cost.crossover_days)%0A%20%20%20%20%20%20%20%20_pred_days%20%3D%20v2_10_prediction_bucket_days(partA_prediction.value)%0A%20%20%20%20%20%20%20%20_gap%20%3D%20_default_cost.crossover_days%20%2F%20_pred_days%20if%20_pred_days%20%3E%200%20and%20math.isfinite(_default_cost.crossover_days)%20else%20math.inf%0A%20%20%20%20%20%20%20%20_gap_text%20%3D%20%22The%20category%20matches%20the%20default%20case.%22%20if%20partA_prediction.value%20%3D%3D%20_actual_bucket%20else%20f%22The%20default%20crossover%20is%20about%20%7B_gap%3A.1f%7Dx%20your%20representative%20estimate.%22%0A%20%20%20%20%20%20%20%20_phase_detail%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Prefill%2Finput%20uses%20%7BpartA_prefill_tokens.value%3A%2C%7D%20%7B_phase%5B'input_unit'%5D%7D%3B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22decode%2Foutput%20uses%20%7BpartA_decode_tokens.value%3A%2C%7D%20%7B_phase%5B'output_unit'%5D%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22and%20about%20%7B_phase%5B'decode_read_gb'%5D%3A%2C.1f%7D%20GB%20of%20model-byte%20reads%20in%20this%20proxy.%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20items.extend(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Manipulate%20the%20phase%20amounts%20and%20recurring%20loop%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5BpartA_qps%2C%20partA_cost_per_event%2C%20partA_horizon_weeks%2C%20partA_optimization_pct%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5BpartA_prefill_tokens%2C%20partA_decode_tokens%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22center%22%2C%20gap%3D2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_metric_card(%22Crossover%22%2C%20v2_10_fmt_duration_days(_cost.crossover_days)%2C%20%22serving%20%3E%20setup%22%2C%20COLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_metric_card(%22Daily%20recurring%22%2C%20v2_10_fmt_currency(_cost.daily_cost%2C%20v2_10_inference.cost_unit)%2C%20%22after%20optimization%22%2C%20COLORS%5B%22RedLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_metric_card(%22Annual%20savings%22%2C%20v2_10_fmt_currency(_cost.annual_savings%2C%20v2_10_inference.cost_unit)%2C%20f%22%7BpartA_optimization_pct.value%7D%25%20optimization%22%2C%20COLORS%5B%22GreenLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22center%22%2C%20gap%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_metric_card(%22Binding%20phase%22%2C%20_phase%5B%22binding_phase%22%5D.title()%2C%20%22current%20phase%20controls%22%2C%20COLORS%5B%22BlueLine%22%5D%20if%20_phase%5B%22binding_phase%22%5D%20%3D%3D%20%22prefill%22%20else%20COLORS%5B%22RedLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_metric_card(%22Prefill%2Finput%22%2C%20v2_10_fmt_ms(_phase%5B%22prefill_ms%22%5D)%2C%20f%22%7BpartA_prefill_tokens.value%3A%2C%7D%20%7B_phase%5B'input_unit'%5D%7D%22%2C%20COLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_metric_card(%22Decode%2Foutput%22%2C%20v2_10_fmt_ms(_phase%5B%22decode_ms%22%5D)%2C%20f%22%7BpartA_decode_tokens.value%3A%2C%7D%20%7B_phase%5B'output_unit'%5D%7D%22%2C%20COLORS%5B%22RedLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22center%22%2C%20gap%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(_fig)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(_phase_fig)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_reveal_card(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Prediction%20vs%20actual%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20partA_prediction.value.replace(%22_%22%2C%20%22%20%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_actual_bucket%7D%20(%7Bv2_10_fmt_duration_days(_default_cost.crossover_days)%7D)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_gap_text%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22success%22%20if%20partA_prediction.value%20%3D%3D%20_actual_bucket%20else%20%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_reveal_card(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Phase%20prediction%20vs%20actual%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_phase_label(partA_phase_prediction.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_phase_label(_phase%5B%22binding_phase%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_phase_detail%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22success%22%20if%20partA_phase_prediction.value%20%3D%3D%20_phase%5B%22binding_phase%22%5D%20else%20%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_math_peek(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Math%20Peek%20%2F%20Source%20Model%20-%20phase%20split%20and%20serving%20cost%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%60%60%60%0A%20%20%20%20C_total(t)%20%3D%20C_setup%20%2B%20C_event%20*%20QPS%20*%20seconds%20*%20t%0A%20%20%20%20C_serving_day%20%3D%20QPS%20*%2086400%20*%20C_event%20*%20(1%20-%20optimization_pct)%0A%20%20%20%20t_crossover%20%3D%20C_setup%20%2F%20C_serving_day%0A%0A%20%20%20%20TTFT%20proxy%20~%3D%20f(prompt%2Finput%20amount)%0A%20%20%20%20TPOT%20proxy%20~%3D%20model_bytes%20%2F%20memory_bandwidth%0A%20%20%20%20decode_loop%20~%3D%20output_steps%20*%20TPOT%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20Source%20model%3A%20%60cost_crossover()%60%20from%20%60mlsysbook_labs.inference%60%2C%20using%20the%20selected%20track%20profile%3A%0A%20%20%20%20setup%20cost%20%3D%20%7Bv2_10_inference.setup_cost%3Ag%7D%2C%20demand%20%3D%20%7Bv2_10_inference.demand_qps%3Ag%7D%20events%2Fs%2C%0A%20%20%20%20cost%2Fevent%20%3D%20%7Bv2_10_inference.cost_per_event%3Ag%7D%20%7Bv2_10_inference.cost_unit%7D.%0A%0A%20%20%20%20The%20prefill%2Fdecode%20split%20is%20a%20notebook-local%20teaching%20proxy%20tied%20to%20the%20chapter's%0A%20%20%20%20TTFT%2FTPOT%20and%20prefill%2Fdecode%20source%20claims.%20For%20non-LLM%20tracks%20it%20maps%20to%20input%0A%20%20%20%20window%20processing%20versus%20recurring%20output%20or%20decision-loop%20work.%0A%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partA_checkpoint%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20if%20partA_checkpoint.value%20%3D%3D%20%22optimize%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Checkpoint%20saved%3A%20recurring%20cost%2Fevent%20is%20the%20lever%20to%20carry%20forward.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partA_checkpoint.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Cost%20inversion%20means%20the%20recurring%20term%20deserves%20first-class%20design%20attention.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_part_banner(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22State%2FKV%20Cache%20Wall%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2210-12%20min%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Fitting%20model%20weights%20is%20not%20the%20same%20as%20fitting%20a%20live%20service.%20State%20grows%20with%20context%20and%20concurrency.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22GreenLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_stakeholder_card(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Inference%20platform%20lead%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bv2_10_variant.stakeholder%7D%3A%20the%20model%20artifact%20loads%2C%20but%20live%20%7Bv2_10_inference.state_kind%7D%20grows%20beside%20the%20weights.%20How%20many%20sessions%20fit%20before%20memory%20becomes%20the%20wall%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22GreenLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22GreenLL%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20For%20transformer%20serving%2C%20the%20state%20term%20is%20KV%20cache.%20For%20device%20tracks%2C%20the%20same%0A%20%20%20%20slot%20is%20runtime%20state%20such%20as%20activation%20buffers%2C%20sensor%20windows%2C%20or%20local%20cache.%0A%20%20%20%20The%20lesson%20is%20identical%3A%20**weights%20are%20only%20one%20memory%20term**.%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partB_prediction%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20if%20partB_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20state-capacity%20prediction%20to%20unlock%20Part%20B.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20_state%20%3D%20state_capacity(%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_inference%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_model%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20context_tokens%3DpartB_context_tokens.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20precision_bytes%3DpartB_precision.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20devices_per_replica%3DpartB_devices.value%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_actual_bucket%20%3D%20v2_10_capacity_bucket(_state.max_concurrent)%0A%20%20%20%20%20%20%20%20_oom%20%3D%20_state.oom%0A%20%20%20%20%20%20%20%20_chart_slots%20%3D%20list(range(0%2C%20max(3%2C%20min(_state.max_concurrent%20%2B%204%2C%2024))))%0A%20%20%20%20%20%20%20%20_weight_vals%20%3D%20%5B_state.weight_gb%5D%20*%20len(_chart_slots)%0A%20%20%20%20%20%20%20%20_state_vals%20%3D%20%5Bslot%20*%20_state.state_per_request_gb%20for%20slot%20in%20_chart_slots%5D%0A%20%20%20%20%20%20%20%20_total_vals%20%3D%20%5Bw%20%2B%20s%20for%20w%2C%20s%20in%20zip(_weight_vals%2C%20_state_vals)%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_chart_slots%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D_weight_vals%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Model%20weights%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22BlueLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D%22%25%7Bx%7D%20sessions%3A%20%25%7By%3A.2f%7D%20GB%20weights%3Cextra%3E%3C%2Fextra%3E%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_chart_slots%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D_state_vals%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D_state.state_kind%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D%5BCOLORS%5B%22GreenLine%22%5D%20if%20total%20%3C%3D%20_state.total_memory_gb%20else%20COLORS%5B%22RedLine%22%5D%20for%20total%20in%20_total_vals%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D%22%25%7Bx%7D%20sessions%3A%20%25%7By%3A.2f%7D%20GB%20state%3Cextra%3E%3C%2Fextra%3E%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_hline(%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D_state.total_memory_gb%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D2%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22memory%20limit%20%7B_state.total_memory_gb%3A.2g%7D%20GB%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20annotation_position%3D%22top%20right%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D320%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20barmode%3D%22stack%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Concurrent%20sessions%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Memory%20(GB)%22%2C%20range%3D%5B0%2C%20max(_state.total_memory_gb%20*%201.15%2C%20max(_total_vals%20or%20%5B0%5D)%20*%201.10)%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20yanchor%3D%22bottom%22%2C%20y%3D1.02%2C%20xanchor%3D%22right%22%2C%20x%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D40%2C%20b%3D50%2C%20l%3D55%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20_detail%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_state.weight_gb%3A.3g%7D%20GB%20weights%20%2B%20one%20%7B_state.state_kind%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22(%7B_state.state_per_request_gb%3A.3g%7D%20GB)%20must%20fit%20inside%20%7B_state.total_memory_gb%3A.3g%7D%20GB.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_gap_detail%20%3D%20%22The%20bucket%20matches%20the%20computed%20capacity.%22%20if%20partB_prediction.value%20%3D%3D%20_actual_bucket%20else%20f%22Computed%20max%20concurrency%20is%20%7B_state.max_concurrent%7D%2C%20so%20the%20memory%20wall%20is%20%7B_actual_bucket%7D.%22%0A%0A%20%20%20%20%20%20%20%20items.extend(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Manipulate%20precision%2C%20context%2C%20and%20serving-unit%20memory%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5BpartB_precision%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5BpartB_context_tokens%2C%20partB_devices%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22center%22%2C%20gap%3D2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_failure_card(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_oom%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22OOM%20-%20state%2Fcache%20wall%20reached%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_detail%7D%20Available%20memory%20after%20weights%20is%20%7B_state.available_gb%3A.3g%7D%20GB.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reduce%20context%20length%2C%20lower%20weight%20precision%2C%20or%20add%20devices%20per%20serving%20unit%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_metric_card(%22Max%20concurrent%22%2C%20str(_state.max_concurrent)%2C%20%22sessions%22%2C%20COLORS%5B%22RedLine%22%5D%20if%20_oom%20else%20COLORS%5B%22GreenLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_metric_card(%22Weights%22%2C%20f%22%7B_state.weight_gb%3A.2g%7D%20GB%22%2C%20v2_10_precision_label(partB_precision.value)%2C%20COLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_metric_card(%22State%2Fsession%22%2C%20f%22%7B_state.state_per_request_gb%3A.2g%7D%20GB%22%2C%20_state.state_kind%2C%20COLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_metric_card(%22Available%22%2C%20f%22%7B_state.available_gb%3A.2g%7D%20GB%22%2C%20%22after%20weights%22%2C%20COLORS%5B%22GreenLine%22%5D%20if%20_state.available_gb%20%3E%200%20else%20COLORS%5B%22RedLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22center%22%2C%20gap%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(_fig)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_reveal_card(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Prediction%20vs%20actual%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20partB_prediction.value.replace(%22_%22%2C%20%22%20%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_actual_bucket%7D%20(%7B_state.max_concurrent%7D%20sessions)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_gap_detail%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22success%22%20if%20partB_prediction.value%20%3D%3D%20_actual_bucket%20else%20%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_math_peek(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Math%20Peek%20%2F%20Source%20Model%20-%20state%20and%20KV%20cache%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%60%60%60%0A%20%20%20%20M_KV%20%3D%202%20*%20layers%20*%20hidden_dim%20*%20sequence%20*%20bytes%20*%20batch%0A%20%20%20%20M_total%20%3D%20M_weights%20%2B%20batch%20*%20M_state_per_request%0A%20%20%20%20max_concurrent%20%3D%20floor((M_device%20-%20M_weights)%20%2F%20M_state_per_request)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20For%20non-transformer%20tracks%2C%20the%20profile%20supplies%20a%20fixed%20runtime%2Fstate%20buffer%20per%20request%0A%20%20%20%20instead%20of%20transformer%20KV%20cache.%20Source%20model%3A%20%60state_capacity()%60%20from%0A%20%20%20%20%60mlsysbook_labs.inference%60%2C%20hardware%20ref%20%60%7Bv2_10_inference.hardware_ref%7D%60%2C%0A%20%20%20%20model%20ref%20%60%7Bv2_10_inference.model_ref%7D%60.%0A%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partB_checkpoint%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20if%20partB_checkpoint.value%20%3D%3D%20%22precision%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Checkpoint%20saved%3A%20reduce%20memory%20pressure%20before%20adding%20compute-only%20capacity.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partB_checkpoint.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22The%20first%20question%20is%20whether%20the%20live%20state%20term%20fits%20beside%20weights%3B%20compute%20is%20secondary%20when%20memory%20is%20binding.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_part_banner(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Batching%20Under%20Variance%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2210-12%20min%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Continuous%20batching%20is%20a%20policy%20with%20overheads%20and%20prerequisites%2C%20not%20a%20universal%20production%20answer.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22OrangeLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_stakeholder_card(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Serving%20scheduler%20owner%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bv2_10_variant.stakeholder%7D%3A%20requests%20arrive%20with%20different%20lengths%20and%20deadline%20pressure.%20Which%20scheduling%20policy%20wins%20after%20padding%20waste%20and%20tail%20risk%20are%20both%20counted%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22OrangeLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22OrangeLL%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%7Bv2_10_track_schedule_note(v2_10_inference.track_id)%7D%0A%0A%20%20%20%20Commit%20to%20a%20scheduling%20policy%20before%20seeing%20the%20throughput%20and%20SLO-risk%20table.%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partC_prediction%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20if%20partC_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20scheduling%20prediction%20to%20unlock%20Part%20C.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20_avg%20%3D%20partC_avg_len.value%0A%20%20%20%20%20%20%20%20_max%20%3D%20max(partC_max_len.value%2C%20_avg)%0A%20%20%20%20%20%20%20%20_batch%20%3D%20partC_batch_size.value%0A%20%20%20%20%20%20%20%20_fill%20%3D%20partC_fill_factor.value%0A%20%20%20%20%20%20%20%20_slo%20%3D%20partC_slo_ms.value%0A%20%20%20%20%20%20%20%20_batching%20%3D%20batching_result(avg_len%3D_avg%2C%20max_len%3D_max%2C%20batch_size%3D_batch%2C%20fill_factor%3D_fill)%0A%20%20%20%20%20%20%20%20_rows%2C%20_winner%20%3D%20v2_10_scheduling_rows(v2_10_inference.track_id%2C%20_batch%2C%20_avg%2C%20_max%2C%20_fill%2C%20_slo)%0A%20%20%20%20%20%20%20%20_winner_row%20%3D%20next(row%20for%20row%20in%20_rows%20if%20row%5B%22policy%22%5D%20%3D%3D%20_winner)%0A%0A%20%20%20%20%20%20%20%20_ratios%20%3D%20np.linspace(0.05%2C%201.0%2C%2050)%0A%20%20%20%20%20%20%20%20_static_tp%20%3D%20%5B_batch%20for%20_%20in%20_ratios%5D%0A%20%20%20%20%20%20%20%20_continuous_tp%20%3D%20%5B_batch%20*%20(1%20%2F%20ratio)%20*%20_fill%20for%20ratio%20in%20_ratios%5D%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_ratios%20*%20100%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D_static_tp%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Static%20batching%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D%22%25%7Bx%3A.0f%7D%25%20avg%2Fmax%3A%20%25%7By%3A.1f%7D%3Cextra%3E%3C%2Fextra%3E%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_ratios%20*%20100%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D_continuous_tp%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Continuous%20batching%20formula%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22GreenLine%22%5D%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D%22%25%7Bx%3A.0f%7D%25%20avg%2Fmax%3A%20%25%7By%3A.1f%7D%3Cextra%3E%3C%2Fextra%3E%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_avg%20%2F%20_max%20*%20100%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B_batching.continuous_throughput%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D14%2C%20color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20symbol%3D%22diamond%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Current%20workload%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D%22%25%7Bx%3A.0f%7D%25%20avg%2Fmax%3A%20%25%7By%3A.1f%7D%3Cextra%3E%3C%2Fextra%3E%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D310%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Average%20length%20%2F%20max%20length%20(%25)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Relative%20throughput%20units%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20yanchor%3D%22bottom%22%2C%20y%3D1.02%2C%20xanchor%3D%22right%22%2C%20x%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D40%2C%20b%3D50%2C%20l%3D55%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20_table_rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20row%20in%20_rows%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_status%20%3D%20%22SLO%20risk%22%20if%20row%5B%22risk_pct%22%5D%20%3E%200%20else%20%22passes%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20row%5B%22risk_pct%22%5D%20%3E%200%20else%20COLORS%5B%22GreenLine%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_winner_badge%20%3D%20%22best%20score%22%20if%20row%5B%22policy%22%5D%20%3D%3D%20_winner%20else%20%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_table_rows.append((%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20row%5B%22label%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Brow%5B'throughput'%5D%3A.1f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Brow%5B'waste_pct'%5D%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Brow%5B'tail_ms'%5D%3A.1f%7D%20ms%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Cspan%20style%3D'color%3A%7B_color%7D%3B%20font-weight%3A700%3B'%3E%7B_status%7D%3C%2Fspan%3E%20%7B_winner_badge%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20%20%20%20%20_continuous_row%20%3D%20next(row%20for%20row%20in%20_rows%20if%20row%5B%22policy%22%5D%20%3D%3D%20%22continuous%22)%0A%20%20%20%20%20%20%20%20_continuous_overhead_failure%20%3D%20_continuous_row%5B%22risk_pct%22%5D%20%3E%200%0A%20%20%20%20%20%20%20%20_static_waste_failure%20%3D%20_batching.padding_waste_pct%20%3E%2050%20and%20_winner%20!%3D%20%22static%22%0A%20%20%20%20%20%20%20%20_detail%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22waste%20%3D%201%20-%20avg_len%20%2F%20max_len%20%3D%20%7B_batching.padding_waste_pct%3A.1f%7D%25%3B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22TP_continuous%20%3D%20batch_size%20*%20(max_len%20%2F%20avg_len)%20*%20fill_factor%20%3D%20%7B_batching.continuous_throughput%3A.1f%7D.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_prediction_detail%20%3D%20%22That%20policy%20wins%20for%20the%20current%20settings.%22%20if%20partC_prediction.value%20%3D%3D%20_winner%20else%20%22The%20score%20changes%20because%20throughput%2C%20padding%20waste%2C%20scheduler%20overhead%2C%20and%20deadline%20risk%20interact.%22%0A%0A%20%20%20%20%20%20%20%20items.extend(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Manipulate%20request%20variance%2C%20fill%20factor%2C%20and%20deadline%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5BpartC_avg_len%2C%20partC_max_len%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5BpartC_batch_size%2C%20partC_fill_factor%2C%20partC_slo_ms%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22center%22%2C%20gap%3D2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_failure_card(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_continuous_overhead_failure%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22SLO%2Fdeadline%20violation%20-%20scheduler%20overhead%20dominates%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Continuous%20batching%20estimates%20%7B_continuous_row%5B'tail_ms'%5D%3A.1f%7D%20ms%20against%20a%20%7B_slo%3Ag%7D%20ms%20guardrail.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22use%20dynamic%20or%20immediate%20scheduling%2C%20reduce%20batch%20size%2C%20or%20relax%20the%20deadline%20only%20if%20product%20requirements%20allow%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_failure_card(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_static_waste_failure%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Padding%20waste%20-%20static%20batch%20leaves%20capacity%20idle%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Static%20padding%20waste%20is%20%7B_batching.padding_waste_pct%3A.1f%7D%25%20for%20avg%3D%7B_avg%3A%2C%7D%20and%20max%3D%7B_max%3A%2C%7D.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22bucket%20by%20length%2C%20use%20dynamic%20batching%2C%20or%20use%20continuous%20batching%20when%20volume%20justifies%20it%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_metric_card(%22Winner%22%2C%20v2_10_schedule_label(_winner)%2C%20%22current%20workload%22%2C%20COLORS%5B%22GreenLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_metric_card(%22Speedup%22%2C%20f%22%7B_batching.speedup%3A.1f%7Dx%22%2C%20%22continuous%20formula%20vs%20static%22%2C%20COLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_metric_card(%22Static%20waste%22%2C%20f%22%7B_batching.padding_waste_pct%3A.1f%7D%25%22%2C%20%221%20-%20avg%2Fmax%22%2C%20COLORS%5B%22RedLine%22%5D%20if%20_batching.padding_waste_pct%20%3E%2050%20else%20COLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_metric_card(%22Tail%20estimate%22%2C%20f%22%7B_winner_row%5B'tail_ms'%5D%3A.1f%7D%20ms%22%2C%20f%22%7B_slo%3Ag%7D%20ms%20SLO%22%2C%20COLORS%5B%22GreenLine%22%5D%20if%20_winner_row%5B%22risk_pct%22%5D%20%3D%3D%200%20else%20COLORS%5B%22RedLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22center%22%2C%20gap%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(_fig)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_table_html(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22Policy%22%2C%20%22Throughput%22%2C%20%22Waste%22%2C%20%22Tail%20estimate%22%2C%20%22Status%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_table_rows%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_reveal_card(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Prediction%20vs%20actual%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_schedule_label(partC_prediction.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_schedule_label(_winner)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_prediction_detail%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22success%22%20if%20partC_prediction.value%20%3D%3D%20_winner%20else%20%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_math_peek(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Math%20Peek%20%2F%20Source%20Model%20-%20batching%20under%20variance%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%60%60%60%0A%20%20%20%20waste%20%3D%201%20-%20avg_len%20%2F%20max_len%0A%20%20%20%20TP_continuous%20%3D%20batch_size%20*%20(max_len%20%2F%20avg_len)%20*%20fill_factor%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20The%20helper%20%60batching_result()%60%20computes%20padding%20waste%2C%20static%20throughput%2C%0A%20%20%20%20continuous%20throughput%2C%20and%20speedup.%20The%20policy%20table%20adds%20a%20local%20tail%2Fdeadline%0A%20%20%20%20estimate%20so%20continuous%20batching%20can%20lose%20when%20request%20variance%20is%20low%2C%20volume%20is%0A%20%20%20%20low%2C%20or%20scheduler%20overhead%20violates%20the%20selected%20track's%20guardrail.%0A%0A%20%20%20%20Current%20source%20values%3A%20avg%3D%7B_avg%3A%2C%7D%2C%20max%3D%7B_max%3A%2C%7D%2C%20batch%3D%7B_batch%7D%2C%20fill_factor%3D%7B_fill%3A.2f%7D.%0A%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partC_checkpoint%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20if%20partC_checkpoint.value%20%3D%3D%20%22conditional%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Checkpoint%20saved%3A%20batching%20policy%20is%20workload-%20and%20SLO-dependent.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partC_checkpoint.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22The%20production%20rule%20is%20conditional%3A%20use%20the%20simplest%20policy%20that%20satisfies%20SLO%20and%20recovers%20enough%20capacity.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_part_banner(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Serving%20Design%20Challenge%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2212-15%20min%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22A%20serving%20policy%20ships%20only%20when%20memory%2C%20latency%2C%20quality%2C%20power%20or%20cost%2C%20and%20routing%20guardrails%20pass%20together.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22RedLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_stakeholder_card(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Release%20review%20chair%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bv2_10_variant.stakeholder%7D%3A%20choose%20one%20policy%20for%20%7Bv2_10_inference.label%7D.%20It%20must%20meet%20target%20demand%2C%20%7Bv2_10_variant.guardrail_metric%7D%2C%20memory%2C%20quality%2C%20and%20recurring-cost%20guardrails.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22RedLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22RedLL%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20The%20design%20review%20is%20not%20looking%20for%20the%20cheapest%20single%20number%20or%20the%20fastest%0A%20%20%20%20single%20number.%20It%20is%20looking%20for%20a%20feasible%20policy%3A%0A%0A%20%20%20%20%60memory_ok%20and%20slo_ok%20and%20quality_ok%20and%20cost_ok%60%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partD_prediction%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20if%20partD_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20release-review%20prediction%20to%20unlock%20Part%20D.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20_target%20%3D%20partD_target_qps.value%0A%20%20%20%20%20%20%20%20_precision%20%3D%20partD_precision.value%0A%20%20%20%20%20%20%20%20_policy%20%3D%20partD_schedule.value%0A%20%20%20%20%20%20%20%20_devices%20%3D%20partD_devices.value%0A%20%20%20%20%20%20%20%20_multiplier%20%3D%20v2_10_policy_multiplier(v2_10_inference.track_id%2C%20_policy)%0A%20%20%20%20%20%20%20%20_plan%20%3D%20serving_plan(%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_inference%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_model%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20target_qps%3D_target%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20precision_bytes%3D_precision%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20batching_multiplier%3D_multiplier%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20devices_per_replica%3D_devices%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20context_tokens%3Dv2_10_inference.context_tokens%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_state%20%3D%20state_capacity(%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_inference%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_model%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20context_tokens%3Dv2_10_inference.context_tokens%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20precision_bytes%3D_precision%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20devices_per_replica%3D_devices%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_capacity%20%3D%20max(1e-9%2C%20_plan.replicas_needed%20*%20_plan.per_replica_qps)%0A%20%20%20%20%20%20%20%20_utilization%20%3D%20min(0.999%2C%20_target%20%2F%20_capacity)%0A%20%20%20%20%20%20%20%20_p99_ms%20%3D%20v2_10_serving_latency_ms(v2_10_inference.track_id%2C%20v2_10_inference.slo_ms%2C%20_policy%2C%20_utilization%2C%20_plan.oom)%0A%20%20%20%20%20%20%20%20_memory_ok%20%3D%20not%20_plan.oom%0A%20%20%20%20%20%20%20%20_slo_ok%20%3D%20_p99_ms%20%3C%3D%20v2_10_inference.slo_ms%0A%20%20%20%20%20%20%20%20_quality_ok%20%3D%20not%20(_precision%20%3D%3D%200.5%20and%20v2_10_inference.track_id%20%3D%3D%20%22robotaxi%22)%0A%20%20%20%20%20%20%20%20_cost_ok%20%3D%20_plan.daily_cost%20%3C%3D%20_plan.baseline_daily_cost%20*%201.05%0A%20%20%20%20%20%20%20%20_binding%20%3D%20v2_10_binding_constraint(_memory_ok%2C%20_slo_ok%2C%20_cost_ok%2C%20_quality_ok)%0A%20%20%20%20%20%20%20%20_slo_margin%20%3D%20v2_10_inference.slo_ms%20-%20_p99_ms%20if%20math.isfinite(_p99_ms)%20else%20-math.inf%0A%0A%20%20%20%20%20%20%20%20def%20_candidate(label%2C%20precision%2C%20policy%2C%20devices%2C%20note)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20multiplier%20%3D%20v2_10_policy_multiplier(v2_10_inference.track_id%2C%20policy)%0A%20%20%20%20%20%20%20%20%20%20%20%20plan%20%3D%20serving_plan(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_inference%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_model%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20target_qps%3D_target%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20precision_bytes%3Dprecision%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20batching_multiplier%3Dmultiplier%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20devices_per_replica%3Ddevices%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20context_tokens%3Dv2_10_inference.context_tokens%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20capacity%20%3D%20max(1e-9%2C%20plan.replicas_needed%20*%20plan.per_replica_qps)%0A%20%20%20%20%20%20%20%20%20%20%20%20util%20%3D%20min(0.999%2C%20_target%20%2F%20capacity)%0A%20%20%20%20%20%20%20%20%20%20%20%20p99%20%3D%20v2_10_serving_latency_ms(v2_10_inference.track_id%2C%20v2_10_inference.slo_ms%2C%20policy%2C%20util%2C%20plan.oom)%0A%20%20%20%20%20%20%20%20%20%20%20%20memory_ok%20%3D%20not%20plan.oom%0A%20%20%20%20%20%20%20%20%20%20%20%20slo_ok%20%3D%20p99%20%3C%3D%20v2_10_inference.slo_ms%0A%20%20%20%20%20%20%20%20%20%20%20%20quality_ok%20%3D%20not%20(precision%20%3D%3D%200.5%20and%20v2_10_inference.track_id%20%3D%3D%20%22robotaxi%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20cost_ok%20%3D%20plan.daily_cost%20%3C%3D%20plan.baseline_daily_cost%20*%201.05%0A%20%20%20%20%20%20%20%20%20%20%20%20binding%20%3D%20v2_10_binding_constraint(memory_ok%2C%20slo_ok%2C%20cost_ok%2C%20quality_ok)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22label%22%3A%20label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22precision%22%3A%20precision%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22policy%22%3A%20policy%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22devices%22%3A%20devices%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22plan%22%3A%20plan%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22p99%22%3A%20p99%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22memory_ok%22%3A%20memory_ok%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22slo_ok%22%3A%20slo_ok%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22quality_ok%22%3A%20quality_ok%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22cost_ok%22%3A%20cost_ok%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22binding%22%3A%20binding%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22note%22%3A%20note%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20_candidates%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20_candidate(%22A)%20Overprovisioned%20FP16%20static%22%2C%202.0%2C%20%22static%22%2C%20max(v2_10_inference.default_devices_per_replica%20*%202%2C%202)%2C%20%22usually%20safe%20but%20pays%20for%20excess%20capacity%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_candidate(%22B)%20Single-unit%20FP16%20long-context%22%2C%202.0%2C%20%22static%22%2C%201%2C%20%22primary%20cloud-fleet%20memory%20failure%20case%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_candidate(%22C)%20Minimal%20static%20schedule%22%2C%200.5%2C%20%22static%22%2C%20max(1%2C%20v2_10_inference.default_devices_per_replica)%2C%20%22cheap%20shape%20that%20risks%20deadline%20or%20quality%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_candidate(%22D)%20Guardrail-balanced%20policy%22%2C%20_precision%2C%20_policy%2C%20_devices%2C%20%22your%20selected%20release%20knobs%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20_candidate_rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20candidate%20in%20_candidates%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20status%20%3D%20%22PASS%22%20if%20all((candidate%5B%22memory_ok%22%5D%2C%20candidate%5B%22slo_ok%22%5D%2C%20candidate%5B%22quality_ok%22%5D%2C%20candidate%5B%22cost_ok%22%5D))%20else%20f%22BLOCKED%3A%20%7Bcandidate%5B'binding'%5D%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20status%20%3D%3D%20%22PASS%22%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20p99_text%20%3D%20%22OOM%22%20if%20not%20math.isfinite(candidate%5B%22p99%22%5D)%20else%20f%22%7Bcandidate%5B'p99'%5D%3A.1f%7D%20ms%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_candidate_rows.append((%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20candidate%5B%22label%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bv2_10_precision_label(candidate%5B'precision'%5D)%7D%2C%20%7Bv2_10_schedule_label(candidate%5B'policy'%5D)%7D%2C%20%7Bcandidate%5B'devices'%5D%7D%20device(s)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bcandidate%5B'plan'%5D.replicas_needed%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_fmt_currency(candidate%5B%22plan%22%5D.daily_cost%2C%20v2_10_inference.cost_unit)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20p99_text%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Cspan%20style%3D'color%3A%7Bcolor%7D%3B%20font-weight%3A800%3B'%3E%7Bstatus%7D%3C%2Fspan%3E%3Cbr%3E%3Cspan%20style%3D'color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B'%3E%7Bcandidate%5B'note'%5D%7D%3C%2Fspan%3E%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20%20%20%20%20_costs%20%3D%20%5Bcandidate%5B%22plan%22%5D.daily_cost%20for%20candidate%20in%20_candidates%5D%0A%20%20%20%20%20%20%20%20_names%20%3D%20%5Bcandidate%5B%22label%22%5D.split(%22)%20%22%2C%201)%5B0%5D%20for%20candidate%20in%20_candidates%5D%0A%20%20%20%20%20%20%20%20_colors%20%3D%20%5BCOLORS%5B%22OrangeLine%22%5D%2C%20COLORS%5B%22RedLine%22%5D%2C%20COLORS%5B%22RedLine%22%5D%2C%20COLORS%5B%22BlueLine%22%5D%5D%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_names%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Bcost%20%2F%201000%20for%20cost%20in%20_costs%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_colors%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7Bcost%20%2F%201000%3A.1f%7DK%22%20for%20cost%20in%20_costs%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20textposition%3D%22auto%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D%22Policy%20%25%7Bx%7D%3A%20%25%7By%3A.2f%7DK%2Fday%3Cextra%3E%3C%2Fextra%3E%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D310%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Policy%20candidate%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3Df%22Daily%20cost%20(K%20%7Bv2_10_inference.cost_unit%7D)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D30%2C%20b%3D55%2C%20l%3D70%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20_prediction_actual%20%3D%20%22best%20feasible%22%20if%20all((_memory_ok%2C%20_slo_ok%2C%20_quality_ok%2C%20_cost_ok))%20else%20f%22blocked%20by%20%7B_binding%7D%22%0A%20%20%20%20%20%20%20%20_prediction_detail%20%3D%20%22The%20release%20policy%20must%20pass%20every%20guardrail%2C%20not%20just%20cost%20or%20throughput.%22%0A%0A%20%20%20%20%20%20%20%20items.extend(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Tune%20the%20release%20policy%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5BpartD_target_qps%2C%20partD_precision%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5BpartD_schedule%2C%20partD_devices%2C%20partD_routing%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22center%22%2C%20gap%3D2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_failure_card(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20not%20_memory_ok%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22OOM%20-%20memory%20guardrail%20failed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Weights%20plus%20one%20%7B_state.state_kind%7D%20require%20more%20than%20%7B_state.total_memory_gb%3A.3g%7D%20GB.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22lower%20precision%2C%20add%20devices%20per%20serving%20unit%2C%20shorten%20context%2C%20or%20pick%20a%20smaller%20model%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_failure_card(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20not%20_slo_ok%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22SLA%2Fdeadline%20violation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Estimated%20p99%20is%20%7B'OOM'%20if%20not%20math.isfinite(_p99_ms)%20else%20f'%7B_p99_ms%3A.1f%7D%20ms'%7D%20against%20%7Bv2_10_inference.slo_ms%3Ag%7D%20ms.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reduce%20utilization%2C%20change%20scheduling%2C%20add%20reserve%20capacity%2C%20or%20route%20priority%20traffic%20differently%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_failure_card(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20not%20_cost_ok%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Cost%2Fpower%20guardrail%20violation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Daily%20recurring%20cost%20is%20%7Bv2_10_fmt_currency(_plan.daily_cost%2C%20v2_10_inference.cost_unit)%7D%20versus%20baseline%20%7Bv2_10_fmt_currency(_plan.baseline_daily_cost%2C%20v2_10_inference.cost_unit)%7D.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22improve%20per-unit%20throughput%2C%20right-size%20replicas%2C%20or%20revisit%20the%20policy%20target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_metric_card(%22Replicas%22%2C%20str(_plan.replicas_needed)%2C%20f%22%7B_plan.total_devices%7D%20total%20devices%22%2C%20COLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_metric_card(%22Daily%20cost%22%2C%20v2_10_fmt_currency(_plan.daily_cost%2C%20v2_10_inference.cost_unit)%2C%20f%22%7B_plan.savings_pct%3A.0f%7D%25%20vs%20baseline%22%2C%20COLORS%5B%22GreenLine%22%5D%20if%20_cost_ok%20else%20COLORS%5B%22RedLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_metric_card(%22SLO%20margin%22%2C%20%22OOM%22%20if%20not%20math.isfinite(_slo_margin)%20else%20f%22%7B_slo_margin%3A.1f%7D%20ms%22%2C%20f%22%7Bv2_10_inference.slo_ms%3Ag%7D%20ms%20guardrail%22%2C%20COLORS%5B%22GreenLine%22%5D%20if%20_slo_ok%20else%20COLORS%5B%22RedLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v2_10_metric_card(%22Binding%22%2C%20_binding%2C%20%22release%20review%22%2C%20COLORS%5B%22GreenLine%22%5D%20if%20_binding.startswith(%22none%22)%20else%20COLORS%5B%22RedLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22center%22%2C%20gap%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(_fig)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_table_html(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22Candidate%22%2C%20%22Config%22%2C%20%22Replicas%22%2C%20%22Cost%2Fday%22%2C%20%22p99%20estimate%22%2C%20%22Guardrail%20status%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_candidate_rows%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_reveal_card(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Prediction%20vs%20release%20review%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20partD_prediction.value.replace(%22_%22%2C%20%22%20%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_prediction_actual%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_prediction_detail%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22success%22%20if%20partD_prediction.value%20%3D%3D%20%22best_feasible%22%20and%20_binding.startswith(%22none%22)%20else%20%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_math_peek(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Math%20Peek%20%2F%20Source%20Model%20-%20serving%20policy%20feasibility%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%60%60%60%0A%20%20%20%20feasible%20%3D%20memory_ok%20and%20slo_ok%20and%20quality_ok%20and%20cost_ok%0A%20%20%20%20QPS_per_replica%20%3D%20max_batch%20*%20base_qps%20*%20batching_multiplier%0A%20%20%20%20replicas_needed%20%3D%20ceil(target_qps%20%2F%20QPS_per_replica)%0A%20%20%20%20daily_cost%20%3D%20replicas%20*%20devices_per_replica%20*%20cost_per_device_hour%20*%2024%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20Source%20model%3A%20%60serving_plan()%60%20combines%20%60state_capacity()%60%20with%20track-specific%0A%20%20%20%20QPS%20slots%20and%20recurring%20cost.%20The%20notebook%20adds%20local%20release-review%20indicators%3A%0A%20%20%20%20SLO%20margin%2C%20quality%20guardrail%2C%20routing%20risk%2C%20and%20binding%20constraint.%0A%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partD_checkpoint%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20if%20partD_checkpoint.value%20%3D%3D%20%22guardrails%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Checkpoint%20saved%3A%20the%20objective%20is%20constrained%20cost%20minimization%20under%20all%20guardrails.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partD_checkpoint.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22A%20release%20design%20is%20feasible%20only%20when%20every%20guardrail%20passes%20simultaneously.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20_cost%20%3D%20cost_crossover(%0A%20%20%20%20%20%20%20%20%20%20%20%20setup_cost%3Dv2_10_inference.setup_cost%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20demand_qps%3DpartA_qps.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20cost_per_event%3DpartA_cost_per_event.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20optimization_pct%3DpartA_optimization_pct.value%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_phase%20%3D%20v2_10_phase_amounts(%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_inference%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partA_prefill_tokens.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partA_decode_tokens.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20float(v2_10_variant.defaults.get(%22precision_bytes%22%2C%202.0))%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_state%20%3D%20state_capacity(%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_inference%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_model%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20context_tokens%3DpartB_context_tokens.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20precision_bytes%3DpartB_precision.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20devices_per_replica%3DpartB_devices.value%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_max_len%20%3D%20max(partC_max_len.value%2C%20partC_avg_len.value)%0A%20%20%20%20%20%20%20%20_batching%20%3D%20batching_result(%0A%20%20%20%20%20%20%20%20%20%20%20%20avg_len%3DpartC_avg_len.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20max_len%3D_max_len%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20batch_size%3DpartC_batch_size.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fill_factor%3DpartC_fill_factor.value%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_rows%2C%20_winner%20%3D%20v2_10_scheduling_rows(%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_inference.track_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partC_batch_size.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partC_avg_len.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_max_len%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partC_fill_factor.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partC_slo_ms.value%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_plan%20%3D%20serving_plan(%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_inference%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20v2_10_model%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20target_qps%3DpartD_target_qps.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20precision_bytes%3DpartD_precision.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20batching_multiplier%3Dv2_10_policy_multiplier(v2_10_inference.track_id%2C%20partD_schedule.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20devices_per_replica%3DpartD_devices.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20context_tokens%3Dv2_10_inference.context_tokens%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_capacity%20%3D%20max(1e-9%2C%20_plan.replicas_needed%20*%20_plan.per_replica_qps)%0A%20%20%20%20%20%20%20%20_utilization%20%3D%20min(0.999%2C%20partD_target_qps.value%20%2F%20_capacity)%0A%20%20%20%20%20%20%20%20_p99_ms%20%3D%20v2_10_serving_latency_ms(v2_10_inference.track_id%2C%20v2_10_inference.slo_ms%2C%20partD_schedule.value%2C%20_utilization%2C%20_plan.oom)%0A%20%20%20%20%20%20%20%20_memory_ok%20%3D%20not%20_plan.oom%0A%20%20%20%20%20%20%20%20_slo_ok%20%3D%20_p99_ms%20%3C%3D%20v2_10_inference.slo_ms%0A%20%20%20%20%20%20%20%20_quality_ok%20%3D%20not%20(partD_precision.value%20%3D%3D%200.5%20and%20v2_10_inference.track_id%20%3D%3D%20%22robotaxi%22)%0A%20%20%20%20%20%20%20%20_cost_ok%20%3D%20_plan.daily_cost%20%3C%3D%20_plan.baseline_daily_cost%20*%201.05%0A%20%20%20%20%20%20%20%20_binding%20%3D%20v2_10_binding_constraint(_memory_ok%2C%20_slo_ok%2C%20_cost_ok%2C%20_quality_ok)%0A%20%20%20%20%20%20%20%20_slo_margin%20%3D%20v2_10_inference.slo_ms%20-%20_p99_ms%20if%20math.isfinite(_p99_ms)%20else%20-math.inf%0A%20%20%20%20%20%20%20%20_rejected%20%3D%20v2_10_rejected_alternative(v2_10_inference.track_id%2C%20_binding)%0A%20%20%20%20%20%20%20%20_edge_implication%20%3D%20v2_10_edge_implication(v2_10_inference.track_id%2C%20_binding)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A8px%3B%20padding%3A24px%2028px%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.7rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.12em%3B%20margin-bottom%3A12px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Key%20Takeaways%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.92rem%3B%20color%3A%7BCOLORS%5B'Text'%5D%7D%3B%20line-height%3A1.75%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A10px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E1.%20Prefill%2Finput%20and%20decode%2Foutput%20are%20different%20amount%20systems.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Current%20settings%20bind%20on%20%7Bv2_10_phase_label(_phase%5B%22binding_phase%22%5D)%7D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20prefill%2Finput%20is%20%7Bv2_10_fmt_ms(_phase%5B%22prefill_ms%22%5D)%7D%2C%20decode%2Foutput%20is%20%7Bv2_10_fmt_ms(_phase%5B%22decode_ms%22%5D)%7D.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A10px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E2.%20Recurring%20serving%20cost%20compounds.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Current%20settings%20cross%20the%20setup%20budget%20after%20%7Bv2_10_fmt_duration_days(_cost.crossover_days)%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20a%20%7BpartA_optimization_pct.value%7D%25%20recurring%20optimization%20saves%20%7Bv2_10_fmt_currency(_cost.annual_savings%2C%20v2_10_inference.cost_unit)%7D%20per%20year.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A10px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E3.%20State%2FKV%20memory%20caps%20concurrency.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_state.state_kind%7D%20leaves%20%7B_state.max_concurrent%7D%20live%20session(s)%20at%20the%20selected%20context%20and%20precision.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A10px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E4.%20Batching%20policy%20is%20workload-%20and%20SLO-dependent.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Static%20waste%20is%20%7B_batching.padding_waste_pct%3A.1f%7D%25%2C%20continuous%20formula%20speedup%20is%20%7B_batching.speedup%3A.1f%7Dx%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20the%20current%20policy%20winner%20is%20%7Bv2_10_schedule_label(_winner)%7D.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E5.%20A%20serving%20policy%20ships%20only%20if%20every%20guardrail%20passes.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20current%20release%20plan%20needs%20%7B_plan.replicas_needed%7D%20serving%20unit(s)%20and%20costs%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7Bv2_10_fmt_currency(_plan.daily_cost%2C%20v2_10_inference.cost_unit)%7D%20per%20day.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3Awhite%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A8px%3B%20padding%3A22px%2026px%3B%20margin%3A8px%200%2016px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.7rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.12em%3B%20margin-bottom%3A10px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Inference%20Deployment%20Memo%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.9rem%3B%20color%3A%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A1.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cstrong%3ESelected%20policy%3A%3C%2Fstrong%3E%20%7Bv2_10_precision_label(partD_precision.value)%7D%20with%20%7Bv2_10_schedule_label(partD_schedule.value)%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7BpartD_devices.value%7D%20device(s)%20per%20serving%20unit%2C%20%7BpartD_routing.value%7D%2C%20and%20%7B_plan.replicas_needed%7D%20serving%20unit(s).%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cstrong%3EBinding%20amount%3A%3C%2Fstrong%3E%20%7B_binding%7D%3B%20SLO%20margin%20is%20%7B%22not%20feasible%22%20if%20not%20math.isfinite(_slo_margin)%20else%20f%22%7B_slo_margin%3A.1f%7D%20ms%22%7D.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cstrong%3ERejected%20alternative%3A%3C%2Fstrong%3E%20%7B_rejected%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cstrong%3EV2-11%20edge%20implication%3A%3C%2Fstrong%3E%20%7B_edge_implication%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A16px%3B%20margin%3A8px%200%2016px%200%3B%20flex-wrap%3Awrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A1%3B%20min-width%3A280px%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A8px%3B%20padding%3A20px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.7rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.12em%3B%20margin-bottom%3A8px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20What's%20Next%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.88rem%3B%20color%3A%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A1.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ELab%20V2-11%3A%20Edge%20Intelligence%3C%2Fstrong%3E%20asks%20what%20changes%20when%20the%20same%20inference%20problem%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20moves%20outward%20to%20devices%2C%20intermittent%20connectivity%2C%20privacy%2C%20battery%2C%20and%20local%20feedback%20loops.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A1%3B%20min-width%3A280px%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A8px%3B%20padding%3A20px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.7rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.12em%3B%20margin-bottom%3A8px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Textbook%20%26amp%3B%20TinyTorch%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.88rem%3B%20color%3A%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A1.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ERead%3A%3C%2Fstrong%3E%20the%20Inference%20at%20Scale%20sections%20on%20state%2FKV%20cache%2C%20scheduling%2C%20and%20serving%20economics.%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3EBuild%3A%3C%2Fstrong%3E%20TinyTorch%20inference%20exercises%20on%20cache%2Fstate%20management%20and%20request%20scheduling.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Self-Assessment%22%3A%20mo.md(%22%22%22%0A%20%20%20%201.%20When%20does%20recurring%20serving%20cost%20exceed%20setup%20cost%20for%20your%20selected%20track%3F%0A%20%20%20%202.%20Which%20term%20caps%20concurrency%3A%20weights%2C%20runtime%20state%2FKV%20cache%2C%20or%20devices%3F%0A%20%20%20%203.%20Why%20can%20continuous%20batching%20lose%20when%20variance%2C%20volume%2C%20or%20deadline%20pressure%20changes%3F%0A%20%20%20%204.%20Which%20guardrail%20is%20binding%20in%20your%20final%20serving%20policy%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%20--%20Cost%20Inversion%22%3A%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%20--%20State%2FKV%20Wall%22%3A%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%20--%20Batching%20Variance%22%3A%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%20--%20Design%20Challenge%22%3A%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(DecisionLog)%3A%0A%20%20%20%20decision_input%2C%20decision_ui%20%3D%20DecisionLog()%0A%20%20%20%20return%20decision_input%2C%20decision_ui%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20batching_result%2C%0A%20%20%20%20cost_crossover%2C%0A%20%20%20%20decision_input%2C%0A%20%20%20%20decision_ui%2C%0A%20%20%20%20ledger%2C%0A%20%20%20%20math%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20partA_checkpoint%2C%0A%20%20%20%20partA_cost_per_event%2C%0A%20%20%20%20partA_decode_tokens%2C%0A%20%20%20%20partA_optimization_pct%2C%0A%20%20%20%20partA_phase_prediction%2C%0A%20%20%20%20partA_prediction%2C%0A%20%20%20%20partA_prefill_tokens%2C%0A%20%20%20%20partA_qps%2C%0A%20%20%20%20partB_checkpoint%2C%0A%20%20%20%20partB_context_tokens%2C%0A%20%20%20%20partB_devices%2C%0A%20%20%20%20partB_precision%2C%0A%20%20%20%20partB_prediction%2C%0A%20%20%20%20partC_avg_len%2C%0A%20%20%20%20partC_batch_size%2C%0A%20%20%20%20partC_checkpoint%2C%0A%20%20%20%20partC_fill_factor%2C%0A%20%20%20%20partC_max_len%2C%0A%20%20%20%20partC_prediction%2C%0A%20%20%20%20partD_checkpoint%2C%0A%20%20%20%20partD_devices%2C%0A%20%20%20%20partD_precision%2C%0A%20%20%20%20partD_prediction%2C%0A%20%20%20%20partD_routing%2C%0A%20%20%20%20partD_schedule%2C%0A%20%20%20%20partD_target_qps%2C%0A%20%20%20%20serving_plan%2C%0A%20%20%20%20state_capacity%2C%0A%20%20%20%20v2_10_binding_constraint%2C%0A%20%20%20%20v2_10_edge_implication%2C%0A%20%20%20%20v2_10_inference%2C%0A%20%20%20%20v2_10_model%2C%0A%20%20%20%20v2_10_phase_amounts%2C%0A%20%20%20%20v2_10_phase_label%2C%0A%20%20%20%20v2_10_policy_multiplier%2C%0A%20%20%20%20v2_10_precision_label%2C%0A%20%20%20%20v2_10_profile%2C%0A%20%20%20%20v2_10_rejected_alternative%2C%0A%20%20%20%20v2_10_serving_latency_ms%2C%0A%20%20%20%20v2_10_variant%2C%0A)%3A%0A%20%20%20%20_cost%20%3D%20cost_crossover(%0A%20%20%20%20%20%20%20%20setup_cost%3Dv2_10_inference.setup_cost%2C%0A%20%20%20%20%20%20%20%20demand_qps%3DpartA_qps.value%2C%0A%20%20%20%20%20%20%20%20cost_per_event%3DpartA_cost_per_event.value%2C%0A%20%20%20%20%20%20%20%20optimization_pct%3DpartA_optimization_pct.value%2C%0A%20%20%20%20)%0A%20%20%20%20_phase%20%3D%20v2_10_phase_amounts(%0A%20%20%20%20%20%20%20%20v2_10_inference%2C%0A%20%20%20%20%20%20%20%20partA_prefill_tokens.value%2C%0A%20%20%20%20%20%20%20%20partA_decode_tokens.value%2C%0A%20%20%20%20%20%20%20%20float(v2_10_variant.defaults.get(%22precision_bytes%22%2C%202.0))%2C%0A%20%20%20%20)%0A%20%20%20%20_state%20%3D%20state_capacity(%0A%20%20%20%20%20%20%20%20v2_10_inference%2C%0A%20%20%20%20%20%20%20%20v2_10_model%2C%0A%20%20%20%20%20%20%20%20context_tokens%3DpartB_context_tokens.value%2C%0A%20%20%20%20%20%20%20%20precision_bytes%3DpartB_precision.value%2C%0A%20%20%20%20%20%20%20%20devices_per_replica%3DpartB_devices.value%2C%0A%20%20%20%20)%0A%20%20%20%20_max_len%20%3D%20max(partC_max_len.value%2C%20partC_avg_len.value)%0A%20%20%20%20_batching%20%3D%20batching_result(%0A%20%20%20%20%20%20%20%20avg_len%3DpartC_avg_len.value%2C%0A%20%20%20%20%20%20%20%20max_len%3D_max_len%2C%0A%20%20%20%20%20%20%20%20batch_size%3DpartC_batch_size.value%2C%0A%20%20%20%20%20%20%20%20fill_factor%3DpartC_fill_factor.value%2C%0A%20%20%20%20)%0A%20%20%20%20_plan%20%3D%20serving_plan(%0A%20%20%20%20%20%20%20%20v2_10_inference%2C%0A%20%20%20%20%20%20%20%20v2_10_model%2C%0A%20%20%20%20%20%20%20%20target_qps%3DpartD_target_qps.value%2C%0A%20%20%20%20%20%20%20%20precision_bytes%3DpartD_precision.value%2C%0A%20%20%20%20%20%20%20%20batching_multiplier%3Dv2_10_policy_multiplier(v2_10_inference.track_id%2C%20partD_schedule.value)%2C%0A%20%20%20%20%20%20%20%20devices_per_replica%3DpartD_devices.value%2C%0A%20%20%20%20%20%20%20%20context_tokens%3Dv2_10_inference.context_tokens%2C%0A%20%20%20%20)%0A%20%20%20%20_capacity%20%3D%20max(1e-9%2C%20_plan.replicas_needed%20*%20_plan.per_replica_qps)%0A%20%20%20%20_utilization%20%3D%20min(0.999%2C%20partD_target_qps.value%20%2F%20_capacity)%0A%20%20%20%20_p99_ms%20%3D%20v2_10_serving_latency_ms(v2_10_inference.track_id%2C%20v2_10_inference.slo_ms%2C%20partD_schedule.value%2C%20_utilization%2C%20_plan.oom)%0A%20%20%20%20_memory_ok%20%3D%20not%20_plan.oom%0A%20%20%20%20_slo_ok%20%3D%20_p99_ms%20%3C%3D%20v2_10_inference.slo_ms%0A%20%20%20%20_quality_ok%20%3D%20not%20(partD_precision.value%20%3D%3D%200.5%20and%20v2_10_inference.track_id%20%3D%3D%20%22robotaxi%22)%0A%20%20%20%20_cost_ok%20%3D%20_plan.daily_cost%20%3C%3D%20_plan.baseline_daily_cost%20*%201.05%0A%20%20%20%20_binding%20%3D%20v2_10_binding_constraint(_memory_ok%2C%20_slo_ok%2C%20_cost_ok%2C%20_quality_ok)%0A%20%20%20%20_slo_margin%20%3D%20v2_10_inference.slo_ms%20-%20_p99_ms%20if%20math.isfinite(_p99_ms)%20else%20-math.inf%0A%20%20%20%20_rejected%20%3D%20v2_10_rejected_alternative(v2_10_inference.track_id%2C%20_binding)%0A%20%20%20%20_edge_implication%20%3D%20v2_10_edge_implication(v2_10_inference.track_id%2C%20_binding)%0A%0A%20%20%20%20_complete%20%3D%20all(%0A%20%20%20%20%20%20%20%20widget.value%20is%20not%20None%0A%20%20%20%20%20%20%20%20for%20widget%20in%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20partA_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partA_phase_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partA_checkpoint%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partB_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partB_checkpoint%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partC_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partC_checkpoint%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partD_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20partD_checkpoint%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20_residual_risk%20%3D%20(%0A%20%20%20%20%20%20%20%20%22Validate%20teaching%20estimates%20with%20production%20traces%3A%20real%20token%20distributions%2C%20%22%0A%20%20%20%20%20%20%20%20%22thermal%2Fpower%20replay%2C%20p99%20load%20tests%2C%20quality%20canaries%2C%20routing%20behavior%2C%20and%20current%20pricing.%22%0A%20%20%20%20)%0A%20%20%20%20_ledger_design%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22track_id%22%3A%20v2_10_profile.track_id%2C%0A%20%20%20%20%20%20%20%20%22scenario_id%22%3A%20v2_10_variant.scenario_id%2C%0A%20%20%20%20%20%20%20%20%22partA_predicted_crossover%22%3A%20partA_prediction.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%22partA_actual_crossover_days%22%3A%20round(_cost.crossover_days%2C%203)%2C%0A%20%20%20%20%20%20%20%20%22partA_phase_prediction%22%3A%20partA_phase_prediction.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%22partA_binding_phase%22%3A%20_phase%5B%22binding_phase%22%5D%2C%0A%20%20%20%20%20%20%20%20%22partA_binding_phase_label%22%3A%20v2_10_phase_label(_phase%5B%22binding_phase%22%5D)%2C%0A%20%20%20%20%20%20%20%20%22partA_prefill_tokens%22%3A%20partA_prefill_tokens.value%2C%0A%20%20%20%20%20%20%20%20%22partA_decode_tokens%22%3A%20partA_decode_tokens.value%2C%0A%20%20%20%20%20%20%20%20%22partA_prefill_ms%22%3A%20round(_phase%5B%22prefill_ms%22%5D%2C%203)%2C%0A%20%20%20%20%20%20%20%20%22partA_decode_ms%22%3A%20round(_phase%5B%22decode_ms%22%5D%2C%203)%2C%0A%20%20%20%20%20%20%20%20%22partB_max_concurrent%22%3A%20_state.max_concurrent%2C%0A%20%20%20%20%20%20%20%20%22partB_context_tokens%22%3A%20partB_context_tokens.value%2C%0A%20%20%20%20%20%20%20%20%22partB_precision_bytes%22%3A%20float(partB_precision.value)%2C%0A%20%20%20%20%20%20%20%20%22partB_oom%22%3A%20bool(_state.oom)%2C%0A%20%20%20%20%20%20%20%20%22partC_scheduling_policy%22%3A%20partC_prediction.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%22partC_speedup%22%3A%20round(_batching.speedup%2C%203)%2C%0A%20%20%20%20%20%20%20%20%22partC_padding_waste_pct%22%3A%20round(_batching.padding_waste_pct%2C%203)%2C%0A%20%20%20%20%20%20%20%20%22partD_selected_precision%22%3A%20v2_10_precision_label(partD_precision.value)%2C%0A%20%20%20%20%20%20%20%20%22partD_selected_policy%22%3A%20partD_schedule.value%2C%0A%20%20%20%20%20%20%20%20%22partD_selected_routing%22%3A%20partD_routing.value%2C%0A%20%20%20%20%20%20%20%20%22partD_replicas_needed%22%3A%20_plan.replicas_needed%2C%0A%20%20%20%20%20%20%20%20%22partD_cost_per_day%22%3A%20round(_plan.daily_cost%2C%206)%2C%0A%20%20%20%20%20%20%20%20%22partD_slo_margin_ms%22%3A%20round(_slo_margin%2C%203)%20if%20math.isfinite(_slo_margin)%20else%20%22not_feasible%22%2C%0A%20%20%20%20%20%20%20%20%22partD_binding_constraint%22%3A%20_binding%2C%0A%20%20%20%20%20%20%20%20%22partD_rejected_alternative%22%3A%20_rejected%2C%0A%20%20%20%20%20%20%20%20%22v2_11_edge_implication%22%3A%20_edge_implication%2C%0A%20%20%20%20%20%20%20%20%22residual_risk%22%3A%20_residual_risk%2C%0A%20%20%20%20%20%20%20%20%22student_justification%22%3A%20str(decision_input.value)%2C%0A%20%20%20%20%7D%0A%20%20%20%20if%20_complete%3A%0A%20%20%20%20%20%20%20%20ledger.save(chapter%3D10%2C%20design%3D_ledger_design)%0A%0A%20%20%20%20_status%20%3D%20%22SAVED%22%20if%20_complete%20else%20%22INCOMPLETE%22%0A%20%20%20%20_status_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_complete%20else%20COLORS%5B%22OrangeLine%22%5D%0A%20%20%20%20decision_ui%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%20%3Cspan%20class%3D%22hud-value%22%3EVol2%20%26middot%3B%20Lab%2010%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3ETRACK%3C%2Fspan%3E%20%3Cspan%20class%3D%22hud-value%22%3E%7Bv2_10_profile.label%7D%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3ECROSSOVER%3C%2Fspan%3E%20%3Cspan%20class%3D%22hud-value%22%3E%7B_cost.crossover_days%3A.1f%7D%20days%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3EMAX%20CONCURRENCY%3C%2Fspan%3E%20%3Cspan%20class%3D%22hud-value%22%3E%7B_state.max_concurrent%7D%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3EPOLICY%3C%2Fspan%3E%20%3Cspan%20class%3D%22hud-value%22%3E%7BpartD_schedule.value%7D%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3ESTATUS%3C%2Fspan%3E%20%3Cspan%20style%3D%22color%3A%7B_status_color%7D%3B%20font-family%3Avar(--font-mono)%3B%22%3E%7B_status%7D%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20batching_result%2C%0A%20%20%20%20build_lab_report%2C%0A%20%20%20%20cost_crossover%2C%0A%20%20%20%20decision_input%2C%0A%20%20%20%20math%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20partA_checkpoint%2C%0A%20%20%20%20partA_cost_per_event%2C%0A%20%20%20%20partA_decode_tokens%2C%0A%20%20%20%20partA_optimization_pct%2C%0A%20%20%20%20partA_phase_prediction%2C%0A%20%20%20%20partA_prediction%2C%0A%20%20%20%20partA_prefill_tokens%2C%0A%20%20%20%20partA_qps%2C%0A%20%20%20%20partB_checkpoint%2C%0A%20%20%20%20partB_context_tokens%2C%0A%20%20%20%20partB_devices%2C%0A%20%20%20%20partB_precision%2C%0A%20%20%20%20partB_prediction%2C%0A%20%20%20%20partC_avg_len%2C%0A%20%20%20%20partC_batch_size%2C%0A%20%20%20%20partC_checkpoint%2C%0A%20%20%20%20partC_fill_factor%2C%0A%20%20%20%20partC_max_len%2C%0A%20%20%20%20partC_prediction%2C%0A%20%20%20%20partD_checkpoint%2C%0A%20%20%20%20partD_devices%2C%0A%20%20%20%20partD_precision%2C%0A%20%20%20%20partD_prediction%2C%0A%20%20%20%20partD_routing%2C%0A%20%20%20%20partD_schedule%2C%0A%20%20%20%20partD_target_qps%2C%0A%20%20%20%20report_export_panel%2C%0A%20%20%20%20serving_plan%2C%0A%20%20%20%20state_capacity%2C%0A%20%20%20%20v2_10_binding_constraint%2C%0A%20%20%20%20v2_10_edge_implication%2C%0A%20%20%20%20v2_10_fmt_currency%2C%0A%20%20%20%20v2_10_inference%2C%0A%20%20%20%20v2_10_metadata%2C%0A%20%20%20%20v2_10_model%2C%0A%20%20%20%20v2_10_phase_amounts%2C%0A%20%20%20%20v2_10_phase_label%2C%0A%20%20%20%20v2_10_policy_multiplier%2C%0A%20%20%20%20v2_10_precision_label%2C%0A%20%20%20%20v2_10_profile%2C%0A%20%20%20%20v2_10_rejected_alternative%2C%0A%20%20%20%20v2_10_schedule_label%2C%0A%20%20%20%20v2_10_serving_latency_ms%2C%0A%20%20%20%20v2_10_variant%2C%0A)%3A%0A%20%20%20%20_cost%20%3D%20cost_crossover(%0A%20%20%20%20%20%20%20%20setup_cost%3Dv2_10_inference.setup_cost%2C%0A%20%20%20%20%20%20%20%20demand_qps%3DpartA_qps.value%2C%0A%20%20%20%20%20%20%20%20cost_per_event%3DpartA_cost_per_event.value%2C%0A%20%20%20%20%20%20%20%20optimization_pct%3DpartA_optimization_pct.value%2C%0A%20%20%20%20)%0A%20%20%20%20_phase%20%3D%20v2_10_phase_amounts(%0A%20%20%20%20%20%20%20%20v2_10_inference%2C%0A%20%20%20%20%20%20%20%20partA_prefill_tokens.value%2C%0A%20%20%20%20%20%20%20%20partA_decode_tokens.value%2C%0A%20%20%20%20%20%20%20%20float(v2_10_variant.defaults.get(%22precision_bytes%22%2C%202.0))%2C%0A%20%20%20%20)%0A%20%20%20%20_state%20%3D%20state_capacity(%0A%20%20%20%20%20%20%20%20v2_10_inference%2C%0A%20%20%20%20%20%20%20%20v2_10_model%2C%0A%20%20%20%20%20%20%20%20context_tokens%3DpartB_context_tokens.value%2C%0A%20%20%20%20%20%20%20%20precision_bytes%3DpartB_precision.value%2C%0A%20%20%20%20%20%20%20%20devices_per_replica%3DpartB_devices.value%2C%0A%20%20%20%20)%0A%20%20%20%20_max_len%20%3D%20max(partC_max_len.value%2C%20partC_avg_len.value)%0A%20%20%20%20_batching%20%3D%20batching_result(%0A%20%20%20%20%20%20%20%20avg_len%3DpartC_avg_len.value%2C%0A%20%20%20%20%20%20%20%20max_len%3D_max_len%2C%0A%20%20%20%20%20%20%20%20batch_size%3DpartC_batch_size.value%2C%0A%20%20%20%20%20%20%20%20fill_factor%3DpartC_fill_factor.value%2C%0A%20%20%20%20)%0A%20%20%20%20_plan%20%3D%20serving_plan(%0A%20%20%20%20%20%20%20%20v2_10_inference%2C%0A%20%20%20%20%20%20%20%20v2_10_model%2C%0A%20%20%20%20%20%20%20%20target_qps%3DpartD_target_qps.value%2C%0A%20%20%20%20%20%20%20%20precision_bytes%3DpartD_precision.value%2C%0A%20%20%20%20%20%20%20%20batching_multiplier%3Dv2_10_policy_multiplier(v2_10_inference.track_id%2C%20partD_schedule.value)%2C%0A%20%20%20%20%20%20%20%20devices_per_replica%3DpartD_devices.value%2C%0A%20%20%20%20%20%20%20%20context_tokens%3Dv2_10_inference.context_tokens%2C%0A%20%20%20%20)%0A%20%20%20%20_capacity%20%3D%20max(1e-9%2C%20_plan.replicas_needed%20*%20_plan.per_replica_qps)%0A%20%20%20%20_utilization%20%3D%20min(0.999%2C%20partD_target_qps.value%20%2F%20_capacity)%0A%20%20%20%20_p99_ms%20%3D%20v2_10_serving_latency_ms(v2_10_inference.track_id%2C%20v2_10_inference.slo_ms%2C%20partD_schedule.value%2C%20_utilization%2C%20_plan.oom)%0A%20%20%20%20_memory_ok%20%3D%20not%20_plan.oom%0A%20%20%20%20_slo_ok%20%3D%20_p99_ms%20%3C%3D%20v2_10_inference.slo_ms%0A%20%20%20%20_quality_ok%20%3D%20not%20(partD_precision.value%20%3D%3D%200.5%20and%20v2_10_inference.track_id%20%3D%3D%20%22robotaxi%22)%0A%20%20%20%20_cost_ok%20%3D%20_plan.daily_cost%20%3C%3D%20_plan.baseline_daily_cost%20*%201.05%0A%20%20%20%20_binding%20%3D%20v2_10_binding_constraint(_memory_ok%2C%20_slo_ok%2C%20_cost_ok%2C%20_quality_ok)%0A%20%20%20%20_slo_margin%20%3D%20v2_10_inference.slo_ms%20-%20_p99_ms%20if%20math.isfinite(_p99_ms)%20else%20-math.inf%0A%20%20%20%20_rejected%20%3D%20v2_10_rejected_alternative(v2_10_inference.track_id%2C%20_binding)%0A%20%20%20%20_edge_implication%20%3D%20v2_10_edge_implication(v2_10_inference.track_id%2C%20_binding)%0A%0A%20%20%20%20_incomplete%20%3D%20%5B%5D%0A%20%20%20%20for%20label%2C%20widget%20in%20(%0A%20%20%20%20%20%20%20%20(%22Part%20A%20cost%20inversion%20prediction%22%2C%20partA_prediction)%2C%0A%20%20%20%20%20%20%20%20(%22Part%20A%20prefill%2Fdecode%20phase%20prediction%22%2C%20partA_phase_prediction)%2C%0A%20%20%20%20%20%20%20%20(%22Part%20A%20checkpoint%22%2C%20partA_checkpoint)%2C%0A%20%20%20%20%20%20%20%20(%22Part%20B%20state%2FKV%20prediction%22%2C%20partB_prediction)%2C%0A%20%20%20%20%20%20%20%20(%22Part%20B%20checkpoint%22%2C%20partB_checkpoint)%2C%0A%20%20%20%20%20%20%20%20(%22Part%20C%20scheduling%20prediction%22%2C%20partC_prediction)%2C%0A%20%20%20%20%20%20%20%20(%22Part%20C%20checkpoint%22%2C%20partC_checkpoint)%2C%0A%20%20%20%20%20%20%20%20(%22Part%20D%20policy%20prediction%22%2C%20partD_prediction)%2C%0A%20%20%20%20%20%20%20%20(%22Part%20D%20checkpoint%22%2C%20partD_checkpoint)%2C%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20if%20widget.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_incomplete.append(label)%0A%0A%20%20%20%20_report%20%3D%20build_lab_report(%0A%20%20%20%20%20%20%20%20v2_10_metadata%2C%0A%20%20%20%20%20%20%20%20track%3Dv2_10_profile.label%2C%0A%20%20%20%20%20%20%20%20scenario%3Dv2_10_variant.workload_summary%2C%0A%20%20%20%20%20%20%20%20learning_objectives%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Separate%20prefill%2Finput%20work%20from%20decode%2Foutput%20work%20before%20sizing%20the%20service.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Quantify%20when%20recurring%20serving%20cost%20exceeds%20setup%20or%20training%20cost.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Compute%20the%20selected%20track's%20state%2FKV%20or%20runtime-state%20memory%20wall.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Compare%20scheduling%20policies%20under%20request%20variance%20and%20SLO%20pressure.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Choose%20a%20release%20policy%20under%20memory%2C%20latency%2C%20quality%2C%20and%20cost%20guardrails.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20predictions%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partA_predicted_crossover%22%3A%20partA_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partA_predicted_phase%22%3A%20partA_phase_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partB_predicted_capacity%22%3A%20partB_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partC_predicted_policy%22%3A%20partC_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partD_predicted_release_policy%22%3A%20partD_prediction.value%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20knob_settings%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22demand_qps%22%3A%20partA_qps.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost_per_event%22%3A%20partA_cost_per_event.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22optimization_pct%22%3A%20partA_optimization_pct.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22prefill_tokens%22%3A%20partA_prefill_tokens.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22decode_tokens%22%3A%20partA_decode_tokens.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22context_tokens%22%3A%20partB_context_tokens.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22precision_bytes_partB%22%3A%20partB_precision.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22avg_len%22%3A%20partC_avg_len.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22max_len%22%3A%20_max_len%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22batch_size%22%3A%20partC_batch_size.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22fill_factor%22%3A%20partC_fill_factor.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22release_precision%22%3A%20v2_10_precision_label(partD_precision.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22release_policy%22%3A%20v2_10_schedule_label(partD_schedule.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22release_devices%22%3A%20partD_devices.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22release_routing%22%3A%20partD_routing.value%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20evidence_summary%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22actual_crossover_days%22%3A%20round(_cost.crossover_days%2C%203)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22annual_savings%22%3A%20v2_10_fmt_currency(_cost.annual_savings%2C%20v2_10_inference.cost_unit)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22binding_phase%22%3A%20v2_10_phase_label(_phase%5B%22binding_phase%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22prefill_ms%22%3A%20round(_phase%5B%22prefill_ms%22%5D%2C%203)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22decode_ms%22%3A%20round(_phase%5B%22decode_ms%22%5D%2C%203)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22max_concurrent%22%3A%20_state.max_concurrent%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22state_per_request_gb%22%3A%20round(_state.state_per_request_gb%2C%206)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22padding_waste_pct%22%3A%20round(_batching.padding_waste_pct%2C%203)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22continuous_speedup%22%3A%20round(_batching.speedup%2C%203)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22replicas_needed%22%3A%20_plan.replicas_needed%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22daily_cost%22%3A%20v2_10_fmt_currency(_plan.daily_cost%2C%20v2_10_inference.cost_unit)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22slo_margin_ms%22%3A%20round(_slo_margin%2C%203)%20if%20math.isfinite(_slo_margin)%20else%20%22not_feasible%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22binding_constraint%22%3A%20_binding%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22rejected_alternative%22%3A%20_rejected%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20final_decision%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22selected_precision%22%3A%20v2_10_precision_label(partD_precision.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22selected_policy%22%3A%20partD_schedule.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22selected_routing%22%3A%20partD_routing.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22replicas_needed%22%3A%20_plan.replicas_needed%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost_per_day%22%3A%20round(_plan.daily_cost%2C%206)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22binding_constraint%22%3A%20_binding%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22rejected_alternative%22%3A%20_rejected%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22v2_11_edge_implication%22%3A%20_edge_implication%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20big_takeaways%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Prefill%2Finput%20and%20decode%2Foutput%20are%20different%20amount%20systems.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Recurring%20serving%20cost%20compounds.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22State%2FKV%20memory%20caps%20concurrency.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Batching%20policy%20is%20workload-%20and%20SLO-dependent.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20serving%20policy%20ships%20only%20if%20all%20guardrails%20pass.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20reflections%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost_inversion_checkpoint%22%3A%20partA_checkpoint.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22phase_amount_prediction%22%3A%20partA_phase_prediction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22state_wall_checkpoint%22%3A%20partB_checkpoint.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22batching_checkpoint%22%3A%20partC_checkpoint.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22release_checkpoint%22%3A%20partD_checkpoint.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22student_justification%22%3A%20str(decision_input.value)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20residual_risk%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Validate%20teaching%20estimates%20with%20production%20traces%3A%20real%20token%20distributions%2C%20thermal%2Fpower%20replay%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22p99%20load%20tests%2C%20quality%20canaries%2C%20routing%20behavior%2C%20and%20current%20pricing.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20source_trace%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22track_id%22%3A%20v2_10_profile.track_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22scenario_id%22%3A%20v2_10_variant.scenario_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22hardware_ref%22%3A%20v2_10_variant.hardware_ref%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22model_ref%22%3A%20v2_10_variant.model_ref%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22shared_helper%22%3A%20%22mlsysbook_labs.inference%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22helper_apis%22%3A%20(%22cost_crossover%22%2C%20%22state_capacity%22%2C%20%22batching_result%22%2C%20%22serving_plan%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22source_policy%22%3A%20v2_10_profile.source_policy%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20result_snapshot%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost_crossover%22%3A%20_cost%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22state_capacity%22%3A%20_state%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22batching%22%3A%20_batching%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22serving_plan%22%3A%20_plan%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20incomplete_fields%3Dtuple(_incomplete)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Download%20Report%22)%2C%0A%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20report%20is%20generated%20locally%20from%20the%20selected%20track%2C%20MLSysIM%20hardware%2Fmodel%20refs%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22and%20shared%20%60mlsysbook_labs.inference%60%20calculations.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20report_export_panel(_report)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A