lab 08 inference

import%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22..%2F..%2F..%2Fwheels%2Fmlsysim-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%22mlsysim%22%20not%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20_root%20%3D%20Path(__file__).resolve().parents%5B2%5D%0A%20%20%20%20%20%20%20%20if%20str(_root)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_root))%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20from%20mlsysim.labs.components%20import%20DecisionLog%0A%20%20%20%20from%20mlsysim%20import%20Hardware%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Hardware%20registry%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20H100%20%3D%20Hardware.Cloud.H100%0A%20%20%20%20T4%20%3D%20Hardware.Cloud.T4%0A%20%20%20%20EDGE%20%3D%20Hardware.Edge.JetsonOrinNX%0A%20%20%20%20H100_RAM_GB%20%3D%2080.0%0A%20%20%20%20H100_COST_HR%20%3D%203.0%0A%20%20%20%20T4_COST_HR%20%3D%200.35%0A%20%20%20%20EDGE_RAM_GB%20%3D%20EDGE.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20TRAINING_COST_2M%20%3D%202_000_000%20%20%23%20%242M%20training%20cost%20for%2070B%20model%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20DecisionLog%2C%0A%20%20%20%20%20%20%20%20H100_COST_HR%2C%0A%20%20%20%20%20%20%20%20H100_RAM_GB%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20TRAINING_COST_2M%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20math%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20LAB_CSS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%7BLAB_CSS%7D%0A%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%7BCOLORS%5B'Surface0'%5D%7D%200%25%2C%20%7BCOLORS%5B'Surface1'%5D%7D%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2016px%3B%20padding%3A%2032px%2040px%3B%20margin-bottom%3A%208px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%232d3748%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20justify-content%3A%20space-between%3B%20align-items%3A%20flex-start%3B%20flex-wrap%3A%20wrap%3B%20gap%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%2394a3b8%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.14em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Vol%202%20%26middot%3B%20Lab%2008%20%26middot%3B%20Inference%20at%20Scale%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%202.0rem%3B%20font-weight%3A%20800%3B%20color%3A%20%23f1f5f9%3B%20line-height%3A%201.15%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Inference%20Economy%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.95rem%3B%20color%3A%20%2394a3b8%3B%20max-width%3A%20600px%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20You%20trained%20a%2070B%20model%20for%20%242M.%20Congratulations%20--%20that%20was%20the%20cheap%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20part.%20Serving%20cost%20eclipses%20training%20cost%20within%20weeks.%20The%20KV%20cache%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20memory%20wall%2C%20not%20compute%2C%20caps%20your%20concurrency.%20Continuous%20batching%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20transforms%20the%20economics.%20Design%20a%20fleet%20that%20serves%2010K%20QPS%20at%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20200ms%20P99%20for%20minimum%20cost.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20flex-direction%3A%20column%3B%20gap%3A%208px%3B%20flex-shrink%3A%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EServing%20Cost%20Inversion%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EKV%20Cache%20Memory%20Wall%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EContinuous%20Batching%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EFleet%20Design%20Challenge%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3E35%26ndash%3B40%20minutes%20%26middot%3B%202%20Parts%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3EQuantify%20the%20serving%20cost%20inversion%3A%3C%2Fstrong%3E%20calculate%20when%20cumulative%20serving%20cost%20exceeds%20the%20%242M%20training%20cost%20for%20a%2070B%20LLM%20at%20100%20QPS.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3EDiagnose%20the%20KV%20cache%20memory%20wall%3A%3C%2Fstrong%3E%20compute%20max%20concurrent%20requests%20at%20128K%20context%20on%208xH100%20for%20a%2070B%20model%20and%20explain%20why%20memory%2C%20not%20compute%2C%20is%20the%20binding%20constraint.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3EDesign%20an%20inference%20fleet%3A%3C%2Fstrong%3E%20jointly%20optimize%20quantization%2C%20batch%20size%2C%20and%20replica%20count%20to%20meet%20a%2010K%20QPS%20%2F%20200ms%20P99%20SLO%20at%20minimum%20cost.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20margin-bottom%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20KV%20cache%20formula%20from%20%40sec-inference-at-scale%20%26middot%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Queuing%20theory%20(Kingman's%20formula)%20from%20%40sec-fleet-orchestration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E35-40%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Part%20A%3A%20~12%20min%20%26middot%3B%20Part%20B%3A%20~25%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-top%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22You%20spent%20%242M%20training%20a%2070B%20model.%20After%20how%20many%20weeks%20does%20serving%20cost%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20exceed%20training%20cost%2C%20and%20why%20does%20the%20KV%20cache%20%26mdash%3B%20not%20compute%20%26mdash%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20determine%20whether%20you%20can%20afford%20to%20serve%20it%20at%20all%3F%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20--%20Complete%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20**%40sec-inference-at-scale**%20--%20Serving%20economics%2C%20KV%20cache%20scaling%2C%20continuous%20batching%0A%20%20%20%20-%20The%20KV%20Cache%20section%20--%20%60KV%20%3D%202%20*%20L%20*%20H%20*%20S%20*%20B%20*%20P%60%20bytes%20formula%0A%20%20%20%20-%20The%20Continuous%20Batching%20section%20--%20Static%20vs%20iteration-level%20scheduling%0A%20%20%20%20-%20The%20Queuing%20Theory%20section%20from%20%40sec-fleet-orchestration%20--%20Kingman's%20formula%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20--%20Part%20A%20prediction%20--%0A%20%20%20%20partA_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%206%20months%20--%20training%20dominates%20for%20a%20long%20time%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%203%20months%20--%20serving%20catches%20up%20gradually%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~6%20weeks%20--%20serving%20cost%20grows%20fast%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Never%20--%20training%20is%20always%20more%20expensive%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22You%20spent%20%242M%20training%20a%2070B%20LLM.%20At%20100%20QPS%20and%20%240.01%2Fquery%2C%20when%20does%20cumulative%20serving%20cost%20exceed%20training%20cost%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(partA_prediction%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partA_prediction)%3A%0A%20%20%20%20mo.stop(partA_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20a1_qps%20%3D%20mo.ui.slider(start%3D10%2C%20stop%3D1000%2C%20value%3D100%2C%20step%3D10%2C%20label%3D%22Queries%20per%20second%20(QPS)%22)%0A%20%20%20%20a1_cost_query%20%3D%20mo.ui.slider(start%3D0.001%2C%20stop%3D0.05%2C%20value%3D0.01%2C%20step%3D0.001%2C%20label%3D%22Cost%20per%20query%20(%24)%22)%0A%20%20%20%20a1_weeks%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D52%2C%20value%3D26%2C%20step%3D1%2C%20label%3D%22Deployment%20duration%20(weeks)%22)%0A%20%20%20%20a1_optimization%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D50%2C%20value%3D0%2C%20step%3D5%2C%20label%3D%22Inference%20optimization%20(%25)%22)%0A%0A%20%20%20%20%23%20--%20Part%20A%20reflection%20--%0A%20%20%20%20partA_reflection%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Reduce%20QPS%20by%20throttling%20users%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Optimize%20inference%20efficiency%20(quantization%2C%20batching%2C%20caching)%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Train%20a%20smaller%20model%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Increase%20the%20price%20per%20query%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20is%20the%20highest-ROI%20lever%20for%20controlling%20total%20cost%20of%20ownership%3F%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20--%20Part%20B%20prediction%20--%0A%20%20%20%20partB_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%2016-32%20concurrent%20requests%20--%20GPUs%20have%20plenty%20of%20memory%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%204-8%20concurrent%20requests%20--%20some%20memory%20overhead%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%202-3%20concurrent%20requests%20--%20memory%20is%20tighter%20than%20expected%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Just%201%20--%20the%20KV%20cache%20consumes%20all%20available%20memory%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%2270B%20model%20(FP16)%20on%208xH100%20(640%20GB).%20Weights%20%3D%20140%20GB.%20At%20128K%20context%2C%20how%20many%20concurrent%20requests%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a1_cost_query%2C%0A%20%20%20%20%20%20%20%20a1_optimization%2C%0A%20%20%20%20%20%20%20%20a1_qps%2C%0A%20%20%20%20%20%20%20%20a1_weeks%2C%0A%20%20%20%20%20%20%20%20partA_reflection%2C%0A%20%20%20%20%20%20%20%20partB_prediction%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partB_prediction)%3A%0A%20%20%20%20mo.stop(partB_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20a2_model_size%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%227B%20(32L%2C%204096H)%22%3A%20(7%2C%2032%2C%204096)%2C%20%2270B%20(80L%2C%208192H)%22%3A%20(70%2C%2080%2C%208192)%2C%20%22175B%20(96L%2C%2012288H)%22%3A%20(175%2C%2096%2C%2012288)%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%2270B%20(80L%2C%208192H)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Model%22%2C%0A%20%20%20%20)%0A%20%20%20%20a2_precision%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22FP16%20(2%20bytes)%22%3A%202%2C%20%22INT8%20(1%20byte)%22%3A%201%2C%20%22INT4%20(0.5%20bytes)%22%3A%200.5%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22FP16%20(2%20bytes)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Weight%20precision%22%2C%0A%20%20%20%20)%0A%20%20%20%20a2_context_len%20%3D%20mo.ui.slider(start%3D2048%2C%20stop%3D131072%2C%20value%3D131072%2C%20step%3D2048%2C%20label%3D%22Context%20length%20(tokens)%22)%0A%20%20%20%20a2_n_gpus%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D8%2C%20value%3D8%2C%20step%3D1%2C%20label%3D%22GPUs%20per%20replica%22)%0A%0A%20%20%20%20%23%20--%20Part%20B%20reflection%20--%0A%20%20%20%20partB_reflection%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20INT4%20weight%20quantization%20frees%20HBM%20for%20more%20KV%20cache%2C%20enabling%20larger%20batches%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Add%20more%20compute%20(faster%20GPUs)%20to%20process%20more%20requests%20per%20second%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Reduce%20model%20size%20from%2070B%20to%207B%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Use%20CPU%20offloading%20to%20store%20KV%20cache%20in%20system%20RAM%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20is%20the%20most%20effective%20way%20to%20increase%20concurrent%20serving%20capacity%20at%20128K%20context%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a2_context_len%2C%0A%20%20%20%20%20%20%20%20a2_model_size%2C%0A%20%20%20%20%20%20%20%20a2_n_gpus%2C%0A%20%20%20%20%20%20%20%20a2_precision%2C%0A%20%20%20%20%20%20%20%20partB_reflection%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partB_reflection)%3A%0A%20%20%20%20mo.stop(partB_reflection.value%20is%20None%2C%20mo.md(%22**Complete%20Part%20B%20reflection%20to%20unlock%20Part%20C.**%22))%0A%0A%20%20%20%20partC_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%201.5x%20--%20modest%20improvement%20over%20static%20batching%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%202-4x%20--%20continuous%20batching%20fills%20freed%20slots%20immediately%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%2010x%20--%20batching%20is%20the%20dominant%20optimization%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20No%20improvement%20--%20batching%20does%20not%20affect%20memory-bound%20workloads%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22You%20switch%20from%20static%20batching%20(pad%20all%20requests%20to%20max_len)%20to%20continuous%20batching%20(iteration-level%20scheduling).%20What%20throughput%20improvement%20do%20you%20expect%20for%20a%2070B%20model%20at%20mixed%20context%20lengths%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20c1_avg_len%20%3D%20mo.ui.slider(start%3D256%2C%20stop%3D65536%2C%20value%3D4096%2C%20step%3D256%2C%20label%3D%22Average%20output%20length%20(tokens)%22)%0A%20%20%20%20c1_max_len%20%3D%20mo.ui.slider(start%3D2048%2C%20stop%3D131072%2C%20value%3D32768%2C%20step%3D2048%2C%20label%3D%22Max%20context%20length%20(tokens)%22)%0A%20%20%20%20c1_batch_size%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D32%2C%20value%3D8%2C%20step%3D1%2C%20label%3D%22Static%20batch%20size%22)%0A%20%20%20%20partC_reflection%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Static%20batching%20is%20fine%20--%20just%20increase%20batch%20size%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Continuous%20batching%20is%20strictly%20better%20because%20it%20eliminates%20padding%20waste%20and%20fills%20freed%20slots%20with%20new%20requests%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Continuous%20batching%20only%20helps%20with%20short%20requests%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20The%20choice%20between%20static%20and%20continuous%20batching%20depends%20on%20model%20size%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Why%20is%20continuous%20batching%20the%20standard%20for%20production%20LLM%20serving%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20c1_avg_len%2C%0A%20%20%20%20%20%20%20%20c1_batch_size%2C%0A%20%20%20%20%20%20%20%20c1_max_len%2C%0A%20%20%20%20%20%20%20%20partC_prediction%2C%0A%20%20%20%20%20%20%20%20partC_reflection%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partC_reflection)%3A%0A%20%20%20%20mo.stop(partC_reflection.value%20is%20None%2C%20mo.md(%22**Complete%20Part%20C%20reflection%20to%20unlock%20Part%20D.**%22))%0A%0A%20%20%20%20partD_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20200%20replicas%20of%20FP16%20with%20static%20batching%20--%20brute%20force%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%2050%20replicas%20of%20INT4%20with%20continuous%20batching%20--%20optimized%20per-replica%20throughput%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20100%20replicas%20of%20FP16%20with%20continuous%20batching%20--%20balanced%20approach%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%2025%20replicas%20of%20INT4%20with%20static%20batching%20--%20minimize%20replica%20count%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Design%3A%20serve%2010K%20QPS%20at%20200ms%20P99%20for%20a%2070B%20model%20at%2032K%20context.%20Which%20fleet%20configuration%20achieves%20this%20at%20lowest%20cost%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20d1_target_qps%20%3D%20mo.ui.slider(start%3D1000%2C%20stop%3D20000%2C%20value%3D10000%2C%20step%3D1000%2C%20label%3D%22Target%20QPS%22)%0A%20%20%20%20d1_quant%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22FP16%20(2%20bytes)%22%3A%202.0%2C%20%22INT8%20(1%20byte)%22%3A%201.0%2C%20%22INT4%20(0.5%20bytes)%22%3A%200.5%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22INT4%20(0.5%20bytes)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Weight%20quantization%22%2C%0A%20%20%20%20)%0A%20%20%20%20d1_batching%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Static%22%3A%201.0%2C%20%22Continuous%22%3A%203.0%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Continuous%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Batching%20strategy%22%2C%0A%20%20%20%20)%0A%20%20%20%20d1_gpus_per_replica%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D8%2C%20value%3D4%2C%20step%3D1%2C%20label%3D%22GPUs%20per%20replica%22)%0A%20%20%20%20partD_reflection%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Minimize%20replica%20count%20to%20reduce%20management%20overhead%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Minimize%20cost%20%3D%20replicas%20*%20GPUs_per_replica%20*%20cost_per_GPU_hr%2C%20subject%20to%20QPS%20and%20latency%20constraints%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Maximize%20batch%20size%20per%20replica%20for%20best%20GPU%20utilization%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Use%20the%20largest%20GPU%20count%20per%20replica%20to%20maximize%20memory%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20is%20the%20correct%20objective%20function%20for%20fleet%20design%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20d1_batching%2C%0A%20%20%20%20%20%20%20%20d1_gpus_per_replica%2C%0A%20%20%20%20%20%20%20%20d1_quant%2C%0A%20%20%20%20%20%20%20%20d1_target_qps%2C%0A%20%20%20%20%20%20%20%20partD_prediction%2C%0A%20%20%20%20%20%20%20%20partD_reflection%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20H100_COST_HR%2C%0A%20%20%20%20H100_RAM_GB%2C%0A%20%20%20%20TRAINING_COST_2M%2C%0A%20%20%20%20a1_cost_query%2C%0A%20%20%20%20a1_optimization%2C%0A%20%20%20%20a1_qps%2C%0A%20%20%20%20a1_weeks%2C%0A%20%20%20%20a2_context_len%2C%0A%20%20%20%20a2_model_size%2C%0A%20%20%20%20a2_n_gpus%2C%0A%20%20%20%20a2_precision%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20c1_avg_len%2C%0A%20%20%20%20c1_batch_size%2C%0A%20%20%20%20c1_max_len%2C%0A%20%20%20%20d1_batching%2C%0A%20%20%20%20d1_gpus_per_replica%2C%0A%20%20%20%20d1_quant%2C%0A%20%20%20%20d1_target_qps%2C%0A%20%20%20%20go%2C%0A%20%20%20%20math%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20partA_prediction%2C%0A%20%20%20%20partA_reflection%2C%0A%20%20%20%20partB_prediction%2C%0A%20%20%20%20partB_reflection%2C%0A%20%20%20%20partC_prediction%2C%0A%20%20%20%20partC_reflection%2C%0A%20%20%20%20partD_prediction%2C%0A%20%20%20%20partD_reflection%2C%0A)%3A%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20A%3A%20THE%20SERVING%20COST%20INVERSION%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Stakeholder%20message%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'BlueLL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20VP%20of%20Engineering%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22We%20spent%20%242M%20training%20our%2070B%20LLM.%20Finance%20wants%20to%20know%20the%20total%20cost%20of%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ownership.%20I%20told%20them%20the%20training%20cost%20is%20the%20big%20expense.%20Our%20serving%20team%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20says%20I%20am%20wrong.%20Who%20is%20right%3F%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Concept%20introduction%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20At%20100%20QPS%20with%20a%20cost%20of%20%240.01%20per%20query%20(GPU-hours%20amortized%20per%20request)%2C%0A%20%20%20%20daily%20serving%20cost%20%3D%20100%20QPS%20x%2086%2C400%20s%2Fday%20x%20%240.01%20%3D%20**%2486%2C400%2Fday**.%0A%0A%20%20%20%20The%20%242M%20training%20cost%20is%20a%20one-time%20capital%20expenditure.%20Serving%20cost%20accrues%20daily.%0A%20%20%20%20At%20%2486%2C400%2Fday%2C%20the%20crossover%20occurs%20at%202%2C000%2C000%20%2F%2086%2C400%20%3D%20**~23%20days%20%3D%20~3.3%20weeks**.%0A%0A%20%20%20%20At%20higher%20QPS%20or%20cost-per-query%2C%20the%20crossover%20is%20even%20sooner.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Prediction%20lock%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(partA_prediction)%0A%20%20%20%20%20%20%20%20if%20partA_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20Part%20A%20instruments.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Controls%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Serving%20Cost%20Calculator%22))%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Ba1_qps%2C%20a1_cost_query%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Ba1_weeks%2C%20a1_optimization%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22center%22%2C%20gap%3D2))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Instruments%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_qps%20%3D%20a1_qps.value%0A%20%20%20%20%20%20%20%20_cpq%20%3D%20a1_cost_query.value%0A%20%20%20%20%20%20%20%20_weeks%20%3D%20a1_weeks.value%0A%20%20%20%20%20%20%20%20_opt_pct%20%3D%20a1_optimization.value%20%2F%20100%0A%0A%20%20%20%20%20%20%20%20%23%20Daily%20serving%20cost%0A%20%20%20%20%20%20%20%20_daily_cost%20%3D%20_qps%20*%2086400%20*%20_cpq%20*%20(1%20-%20_opt_pct)%0A%20%20%20%20%20%20%20%20_weekly_cost%20%3D%20_daily_cost%20*%207%0A%0A%20%20%20%20%20%20%20%20%23%20Crossover%20week%0A%20%20%20%20%20%20%20%20_crossover_weeks%20%3D%20TRAINING_COST_2M%20%2F%20_weekly_cost%20if%20_weekly_cost%20%3E%200%20else%20999%0A%20%20%20%20%20%20%20%20_crossover_days%20%3D%20_crossover_weeks%20*%207%0A%0A%20%20%20%20%20%20%20%20%23%20Annual%20savings%20from%20optimization%0A%20%20%20%20%20%20%20%20_annual_savings%20%3D%20_qps%20*%2086400%20*%20365%20*%20_cpq%20*%20_opt_pct%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Cost%20curves%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_week_range%20%3D%20np.arange(0%2C%20_weeks%20%2B%201)%0A%20%20%20%20%20%20%20%20_training_line%20%3D%20%5BTRAINING_COST_2M%5D%20*%20len(_week_range)%0A%20%20%20%20%20%20%20%20_serving_cumulative%20%3D%20%5Bw%20*%20_weekly_cost%20for%20w%20in%20_week_range%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_week_range%2C%20y%3D_training_line%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Training%20cost%20(%242M)%22%2C%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2.5%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_week_range%2C%20y%3D_serving_cumulative%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Cumulative%20serving%20cost%22%2C%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fill%3D%22tonexty%22%2C%20fillcolor%3D%22rgba(203%2C32%2C45%2C0.1)%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20if%20_crossover_weeks%20%3C%3D%20_weeks%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_vline(x%3D_crossover_weeks%2C%20line%3Ddict(color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20width%3D2%2C%20dash%3D%22dot%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22Crossover%3A%20week%20%7B_crossover_weeks%3A.1f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_position%3D%22top%20left%22)%0A%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D340%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Weeks%20Since%20Deployment%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Cumulative%20Cost%20(%24)%22%2C%20tickformat%3D%22%24%2C.0f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20yanchor%3D%22bottom%22%2C%20y%3D1.02%2C%20xanchor%3D%22right%22%2C%20x%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D40%2C%20b%3D50%2C%20l%3D70%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A12px%3B%20padding%3A16px%2020px%3B%20margin%3A8px%200%3B%20font-family%3Amonospace%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A0.83rem%3B%20line-height%3A1.8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A8px%3B%20font-family%3Asans-serif%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Physics%20%26mdash%3B%20Serving%20Cost%20Model%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EDaily%20serving%20cost%20%3D%20%7B_qps%7D%20QPS%20%26times%3B%2086%2C400%20s%2Fday%20%26times%3B%20%24%7B_cpq%3A.3f%7D%2Fquery%20%26times%3B%20(1%20-%20%7B_opt_pct%3A.0%25%7D)%20%3D%20%3Cstrong%3E%24%7B_daily_cost%3A%2C.0f%7D%2Fday%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ECrossover%20at%20week%20%3Cstrong%3E%7B_crossover_weeks%3A.1f%7D%3C%2Fstrong%3E%20(%7B_crossover_days%3A.0f%7D%20days)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EAnnual%20serving%20cost%3A%20%3Cstrong%3E%24%7B_daily_cost%20*%20365%3A%2C.0f%7D%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B'%3Cdiv%3EAnnual%20savings%20from%20'%20%2B%20str(a1_optimization.value)%20%2B%20'%25%20optimization%3A%20%3Cstrong%20style%3Dcolor%3A'%20%2B%20COLORS%5B%22GreenLine%22%5D%20%2B%20'%3B%3E%24'%20%2B%20f%22%7B_annual_savings%3A%2C.0f%7D%22%20%2B%20'%3C%2Fstrong%3E%3C%2Fdiv%3E'%20if%20_opt_pct%20%3E%200%20else%20''%7D%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A16px%3B%20justify-content%3Acenter%3B%20margin%3A8px%200%3B%20flex-wrap%3Awrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3ECrossover%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3Ewk%20%7B_crossover_weeks%3A.0f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Eserving%20%26gt%3B%20training%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EDaily%20Cost%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%24%7B_daily_cost%2F1000%3A.0f%7DK%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Eserving%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EAnnual%20Savings%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%24%7B_annual_savings%2F1e6%3A.1f%7DM%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3E%7Ba1_optimization.value%7D%25%20optimization%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.ui.plotly(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Reveal%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20if%20partA_prediction.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20At%20100%20QPS%20and%20%240.01%2Fquery%2C%20daily%20serving%20cost%20is%20%2486%2C400.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20%242M%20training%20cost%20is%20exceeded%20in%20~23%20days%20%3D%20~3.3%20weeks.%20At%20500%20QPS%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22it%20crosses%20within%20a%20week.%20A%2010%25%20inference%20optimization%20at%20100%20QPS%20saves%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%243.15M%2Fyear%20--%20more%20than%20the%20training%20cost%20itself.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partA_prediction.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Far%20too%20conservative.**%20Students%20anchor%20on%20how%20expensive%20training%20*felt*%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22but%20underestimate%20the%20relentless%20compounding%20of%20per-query%20cost%20at%20scale.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22At%20%2486%2C400%2Fday%2C%20the%20crossover%20is%20in%20weeks%2C%20not%20months.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partA_prediction.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**In%20the%20right%20direction%20but%20too%20slow.**%203%20months%20is%20possible%20at%20very%20low%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22QPS%20(~15%20QPS)%2C%20but%20100%20QPS%20crosses%20in%20under%204%20weeks.%20Production%20LLM%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22services%20typically%20serve%20100-10%2C000%20QPS.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partA_prediction.value%20%3D%3D%20%22D%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Categorically%20wrong.**%20Training%20is%20a%20one-time%20cost%3B%20serving%20is%20a%20continuous%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22operating%20expense.%20At%20any%20non-trivial%20QPS%2C%20serving%20dominates%20within%20weeks.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20is%20why%20inference%20optimization%20is%20the%20highest-ROI%20activity%20for%20deployed%20models.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20MathPeek%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Governing%20equations%20--%20serving%20cost%20model%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20**Serving%20Cost**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20C_serving(t)%20%3D%20QPS%20*%20seconds_per_day%20*%20cost_per_query%20*%20t_days%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20**Crossover%20Condition**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20C_training%20%3D%20C_serving(t_crossover)%0A%20%20%20%20%20%20%20%20t_crossover%20%3D%20C_training%20%2F%20(QPS%20*%2086400%20*%20cost_per_query)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20**ROI%20of%20Inference%20Optimization**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20Annual_savings%20%3D%20QPS%20*%2086400%20*%20365%20*%20cost_per_query%20*%20optimization_fraction%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20At%20100%20QPS%20and%20%240.01%2Fquery%2C%20a%2010%25%20optimization%20saves%20%243.15M%2Fyear.%0A%20%20%20%20%20%20%20%20The%20training%20cost%20was%20%242M.%20The%20optimization%20pays%20for%20itself%20in%208%20months.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Reflection%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(partA_reflection)%0A%20%20%20%20%20%20%20%20if%20partA_reflection.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20an%20answer.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partA_reflection.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20Inference%20optimization%20directly%20reduces%20cost_per_query.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22A%2010%25%20improvement%20at%20100%20QPS%20saves%20%243.15M%2Fyear%20--%20more%20than%20the%20training%20cost.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Quantization%20(INT4%20frees%20KV%20cache%20memory%20for%20larger%20batches)%2C%20continuous%20batching%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22(2-4x%20throughput)%2C%20and%20KV%20cache%20optimization%20are%20the%20primary%20levers.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Inference%20optimization%20is%20the%20highest-ROI%20lever**%20because%20it%20reduces%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22cost_per_query%20without%20reducing%20service%20quality%20or%20user%20access.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Quantization%20%2B%20continuous%20batching%20can%20achieve%202-4x%20cost%20reduction.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20B%3A%20THE%20KV%20CACHE%20WALL%20AND%20FLEET%20DESIGN%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Stakeholder%20message%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'Cloud'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'BlueLL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'Cloud'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Inference%20Platform%20Lead%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22We%20are%20deploying%20a%2070B%20FP16%20model%20on%208xH100%20(640%20GB%20total%20HBM).%20Weights%20take%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20~140%20GB.%20We%20planned%20to%20serve%2016-32%20concurrent%20users%20at%20128K%20context.%20Our%20load%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20test%20failed%20--%20we%20can%20only%20serve%201%20user%20at%20a%20time.%20What%20went%20wrong%3F%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Concept%20introduction%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20The%20KV%20cache%20formula%20for%20a%20transformer%3A%0A%0A%20%20%20%20**KV_cache%20%3D%202%20x%20num_layers%20x%20hidden_dim%20x%20seq_len%20x%20batch_size%20x%20bytes_per_element**%0A%0A%20%20%20%20For%20a%2070B%20model%20(80%20layers%2C%208192%20hidden_dim)%20at%20128K%20context%20in%20FP16%3A%0A%20%20%20%20-%20Per-request%20KV%20cache%20%3D%202%20x%2080%20x%208192%20x%20131%2C072%20x%202%20bytes%20%3D%20~343%20GB%0A%20%20%20%20-%20Available%20HBM%20after%20weights%20%3D%20640%20-%20140%20%3D%20500%20GB%0A%20%20%20%20-%20Max%20concurrent%20requests%20%3D%20floor(500%20%2F%20343)%20%3D%20**1%20request**%0A%0A%20%20%20%20The%20KV%20cache%20alone%20exceeds%20what%20remains%20after%20loading%20the%20model%20weights.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Prediction%20lock%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(partB_prediction)%0A%20%20%20%20%20%20%20%20if%20partB_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20Part%20B%20instruments.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Controls%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20KV%20Cache%20Memory%20Wall%20Explorer%22))%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Ba2_model_size%2C%20a2_precision%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Ba2_context_len%2C%20a2_n_gpus%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22center%22%2C%20gap%3D2))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Instruments%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_params_b%2C%20_layers%2C%20_hidden%20%3D%20a2_model_size.value%0A%20%20%20%20%20%20%20%20_bytes_per_elem%20%3D%20a2_precision.value%0A%20%20%20%20%20%20%20%20_seq_len%20%3D%20a2_context_len.value%0A%20%20%20%20%20%20%20%20_gpus%20%3D%20a2_n_gpus.value%0A%0A%20%20%20%20%20%20%20%20_total_hbm_gb%20%3D%20_gpus%20*%20H100_RAM_GB%0A%20%20%20%20%20%20%20%20_weight_gb%20%3D%20_params_b%20*%201e9%20*%20_bytes_per_elem%20%2F%201e9%0A%20%20%20%20%20%20%20%20_available_gb%20%3D%20max(0%2C%20_total_hbm_gb%20-%20_weight_gb)%0A%0A%20%20%20%20%20%20%20%20%23%20KV%20cache%20per%20request%20(bytes)%0A%20%20%20%20%20%20%20%20%23%20KV%20%3D%202%20*%20layers%20*%20hidden%20*%20seq_len%20*%202%20bytes%20(FP16%20for%20KV%20regardless%20of%20weight%20precision)%0A%20%20%20%20%20%20%20%20_kv_per_req_bytes%20%3D%202%20*%20_layers%20*%20_hidden%20*%20_seq_len%20*%202%20%20%23%20KV%20always%20FP16%0A%20%20%20%20%20%20%20%20_kv_per_req_gb%20%3D%20_kv_per_req_bytes%20%2F%201e9%0A%0A%20%20%20%20%20%20%20%20_max_concurrent%20%3D%20math.floor(_available_gb%20%2F%20_kv_per_req_gb)%20if%20_kv_per_req_gb%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20_oom%20%3D%20_max_concurrent%20%3C%201%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Stacked%20memory%20chart%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_n_requests%20%3D%20list(range(0%2C%20min(_max_concurrent%20%2B%203%2C%2020)))%0A%20%20%20%20%20%20%20%20_weight_vals%20%3D%20%5B_weight_gb%5D%20*%20len(_n_requests)%0A%20%20%20%20%20%20%20%20_kv_vals%20%3D%20%5Bn%20*%20_kv_per_req_gb%20for%20n%20in%20_n_requests%5D%0A%20%20%20%20%20%20%20%20_total_vals%20%3D%20%5Bw%20%2B%20k%20for%20w%2C%20k%20in%20zip(_weight_vals%2C%20_kv_vals)%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(x%3D_n_requests%2C%20y%3D_weight_vals%2C%20name%3D%22Model%20weights%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22BlueLine%22%5D))%0A%20%20%20%20%20%20%20%20_kv_colors%20%3D%20%5BCOLORS%5B%22GreenLine%22%5D%20if%20t%20%3C%3D%20_total_hbm_gb%20else%20COLORS%5B%22RedLine%22%5D%20for%20t%20in%20_total_vals%5D%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(x%3D_n_requests%2C%20y%3D_kv_vals%2C%20name%3D%22KV%20cache%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_kv_colors))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D_total_hbm_gb%2C%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D2%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22Total%20HBM%3A%20%7B_total_hbm_gb%3A.0f%7D%20GB%22%2C%20annotation_position%3D%22top%20right%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D300%2C%20barmode%3D%22stack%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Concurrent%20Requests%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Memory%20(GB)%22%2C%20range%3D%5B0%2C%20max(max(_total_vals)%20*%201.1%2C%20_total_hbm_gb%20*%201.1)%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20yanchor%3D%22bottom%22%2C%20y%3D1.02%2C%20xanchor%3D%22right%22%2C%20x%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D40%2C%20b%3D50%2C%20l%3D50%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20OOM%20banner%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_oom_banner%20%3D%20%22%22%0A%20%20%20%20%20%20%20%20if%20_oom%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_oom_banner%20%3D%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'RedLL'%5D%7D%3B%20border%3A2px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A10px%3B%20padding%3A14px%2018px%3B%20margin%3A10px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.88rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%20margin-bottom%3A4px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20OOM%20%26mdash%3B%20Cannot%20Serve%20Even%201%20Request%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.85rem%3B%20color%3A%237f1d1d%3B%20line-height%3A1.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20KV%20cache%20per%20request%20(%7B_kv_per_req_gb%3A.1f%7D%20GB)%20exceeds%20available%20memory%20(%7B_available_gb%3A.1f%7D%20GB).%3Cbr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Reduce%20context%20length%2C%20add%20GPUs%2C%20or%20use%20weight%20quantization%20to%20free%20HBM.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%0A%20%20%20%20%20%20%20%20_conc_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_max_concurrent%20%3C%3D%201%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_max_concurrent%20%3C%3D%204%20else%20COLORS%5B%22GreenLine%22%5D)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%7B_oom_banner%7D%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A12px%3B%20padding%3A16px%2020px%3B%20margin%3A8px%200%3B%20font-family%3Amonospace%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A0.83rem%3B%20line-height%3A1.8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A8px%3B%20font-family%3Asans-serif%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Physics%20%26mdash%3B%20KV%20Cache%20Memory%20Wall%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EKV%20per%20request%20%3D%202%20%26times%3B%20%7B_layers%7DL%20%26times%3B%20%7B_hidden%7DH%20%26times%3B%20%7B_seq_len%3A%2C%7D%20seq%20%26times%3B%202%20bytes%20%3D%20%3Cstrong%3E%7B_kv_per_req_gb%3A.1f%7D%20GB%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EWeights%20%3D%20%7B_params_b%7DB%20%26times%3B%20%7B_bytes_per_elem%7D%20bytes%20%3D%20%3Cstrong%3E%7B_weight_gb%3A.1f%7D%20GB%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EAvailable%20HBM%20%3D%20%7B_total_hbm_gb%3A.0f%7D%20-%20%7B_weight_gb%3A.1f%7D%20%3D%20%3Cstrong%3E%7B_available_gb%3A.1f%7D%20GB%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EMax%20concurrent%20%3D%20floor(%7B_available_gb%3A.1f%7D%20%2F%20%7B_kv_per_req_gb%3A.1f%7D)%20%3D%20%3Cstrong%20style%3D%22color%3A%7B_conc_color%7D%3B%22%3E%7B_max_concurrent%7D%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A16px%3B%20justify-content%3Acenter%3B%20margin%3A8px%200%3B%20flex-wrap%3Awrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EMax%20Concurrent%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_conc_color%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_max_concurrent%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Erequests%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EKV%2FRequest%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_kv_per_req_gb%3A.0f%7DGB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EWeights%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_weight_gb%3A.0f%7DGB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EAvailable%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_available_gb%3A.0f%7DGB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.ui.plotly(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Reveal%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20if%20partB_prediction.value%20%3D%3D%20%22D%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20At%20128K%20context%2C%20the%20KV%20cache%20per%20request%20is%20~343%20GB%20for%20a%2070B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model.%20After%20loading%20140%20GB%20of%20FP16%20weights%20on%208xH100%20(640%20GB%20total)%2C%20only%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22~500%20GB%20remains.%20500%20%2F%20343%20%3D%201.46%2C%20so%20max%20concurrent%20%3D%201.%20The%20KV%20cache%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22not%20compute%2C%20is%20the%20binding%20constraint.%20INT4%20weights%20(35%20GB)%20free%20605%20GB%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22allowing%201%20concurrent%20request.%20Shorter%20context%20(32K)%20drops%20KV%20to%20~86%20GB%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22allowing%205%2B%20concurrent%20requests.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partB_prediction.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Off%20by%2016x.**%20Students%20think%20of%20GPUs%20as%20'compute%20machines'%20and%20forget%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22KV%20cache.%20At%20128K%20context%2C%20each%20request's%20KV%20cache%20is%20~343%20GB%20--%20larger%20than%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20model%20weights%20themselves.%20Memory%2C%20not%20compute%2C%20is%20the%20wall.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partB_prediction.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Possible%20at%20shorter%20contexts.**%20At%2032K%20context%2C%20KV%20cache%20drops%20to%20~86%20GB%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22allowing%20floor(500%2F86)%20%3D%205%20concurrent%20requests.%20But%20at%20128K%2C%20KV%20is%20343%20GB%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22per%20request%20--%20only%201%20fits.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partB_prediction.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Close%20for%20some%20configurations.**%20At%2064K%20context%2C%20KV%20is%20~172%20GB%2C%20allowing%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22floor(500%2F172)%20%3D%202%20concurrent%20requests.%20But%20at%20128K%2C%20it%20is%20343%20GB%20--%20only%201.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20MathPeek%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Governing%20equations%20--%20KV%20cache%20and%20inference%20fleet%20design%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20**KV%20Cache%20Formula**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20KV_bytes%20%3D%202%20*%20num_layers%20*%20hidden_dim%20*%20seq_len%20*%20batch_size%20*%20bytes_per_elem%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20-%20Factor%202%3A%20one%20K%20tensor%20%2B%20one%20V%20tensor%20per%20layer%0A%20%20%20%20%20%20%20%20-%20KV%20cache%20is%20always%20FP16%20(even%20with%20INT4%20weights)%0A%20%20%20%20%20%20%20%20-%20Grows%20linearly%20with%20seq_len%20and%20batch_size%0A%20%20%20%20%20%20%20%20-%2070B%20at%20128K%3A%202%20*%2080%20*%208192%20*%20131072%20*%202%20%3D%20~343%20GB%20per%20request%0A%0A%20%20%20%20%20%20%20%20**Memory%20Constraint**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20W%20%2B%20B%20*%20KV_per_request%20%3C%3D%20total_HBM%0A%20%20%20%20%20%20%20%20Max_batch%20%3D%20floor((total_HBM%20-%20W)%20%2F%20KV_per_request)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20**Continuous%20Batching%20Throughput**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20Throughput_continuous%20%3D%20Throughput_static%20*%20(avg_len%20%2F%20max_len)%20*%20fill_factor%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20-%20Static%20batching%20wastes%20(1%20-%20avg%2Fmax)%20fraction%20of%20GPU%20cycles%0A%20%20%20%20%20%20%20%20-%20Continuous%20batching%20fills%20freed%20slots%20immediately%3A%20fill_factor%20%3D%202-4x%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Reflection%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(partB_reflection)%0A%20%20%20%20%20%20%20%20if%20partB_reflection.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20an%20answer.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partB_reflection.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20INT4%20quantization%20reduces%20weight%20memory%20from%20140%20GB%20to%2035%20GB%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22freeing%20105%20GB%20of%20HBM%20for%20KV%20cache.%20This%20increases%20max%20concurrent%20requests%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22from%201%20to%20floor(605%2F343)%20%3D%201%20at%20128K%20context%20(still%20memory-bound)%2C%20but%20at%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2232K%20context%3A%20floor(605%2F86)%20%3D%207%20vs%205%20with%20FP16.%20The%20freed%20memory%20directly%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22translates%20to%20higher%20throughput%20through%20larger%20batch%20sizes.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partB_reflection.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Does%20not%20address%20the%20binding%20constraint.**%20The%20bottleneck%20is%20memory%2C%20not%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22compute.%20Faster%20GPUs%20do%20not%20increase%20HBM%20capacity.%20The%20KV%20cache%20fills%20all%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22available%20memory%20regardless%20of%20compute%20speed.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partB_reflection.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Effective%20but%20changes%20the%20product.**%20A%207B%20model%20has%20lower%20quality%20than%2070B.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20goal%20is%20to%20serve%20the%2070B%20model%20efficiently%2C%20not%20to%20serve%20a%20different%20model.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partB_reflection.value%20%3D%3D%20%22D%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Technically%20possible%20but%20too%20slow.**%20CPU%20RAM%20has%20~10x%20lower%20bandwidth%20than%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22HBM.%20Moving%20KV%20cache%20to%20CPU%20adds%2010x%20latency%20to%20every%20attention%20computation%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22violating%20the%20200ms%20P99%20SLO.%20PagedAttention%20uses%20CPU%20offloading%20as%20a%20last%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22resort%2C%20not%20as%20the%20primary%20strategy.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20C%3A%20CONTINUOUS%20BATCHING%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Stakeholder%20message%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'OrangeLL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20ML%20Serving%20Engineer%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Our%20static%20batching%20system%20pads%20all%20requests%20to%2032K%20tokens%20and%20waits%20for%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full%20batch%20of%208.%20Most%20requests%20are%20only%204K%20tokens%20--%2087%25%20of%20GPU%20cycles%20are%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wasted%20on%20padding.%20Someone%20mentioned%20'continuous%20batching.'%20How%20much%20does%20it%20help%3F%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Concept%20framing%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20**Static%20batching**%20pads%20all%20requests%20to%20%60max_len%60%20and%20processes%20them%20together.%0A%20%20%20%20When%20a%20short%20request%20(4K%20tokens)%20finishes%2C%20the%20GPU%20sits%20idle%20until%20all%208%20requests%0A%20%20%20%20in%20the%20batch%20complete.%20Waste%20%3D%20%601%20-%20avg_len%20%2F%20max_len%60.%0A%0A%20%20%20%20**Continuous%20batching**%20(iteration-level%20scheduling)%20processes%20one%20token%20per%20iteration.%0A%20%20%20%20When%20a%20request%20finishes%2C%20its%20slot%20is%20immediately%20filled%20by%20a%20new%20request.%0A%0A%20%20%20%20The%20throughput%20advantage%3A%0A%20%20%20%20-%20Static%3A%20effective%20throughput%20%3D%20batch_size%20%2F%20max_len_time%20(includes%20padding%20waste)%0A%20%20%20%20-%20Continuous%3A%20effective%20throughput%20%3D%20batch_size%20%2F%20avg_len_time%20*%20fill_factor%0A%0A%20%20%20%20The%20fill_factor%20(2-4x)%20comes%20from%3A%0A%20%20%20%201.%20No%20padding%20waste%3A%20compute%20only%20on%20real%20tokens%0A%20%20%20%202.%20Immediate%20slot%20filling%3A%20no%20idle%20GPU%20cycles%20between%20requests%0A%20%20%20%203.%20Higher%20effective%20batch%20occupancy%20over%20time%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20lock%0A%20%20%20%20%20%20%20%20items.append(partC_prediction)%0A%20%20%20%20%20%20%20%20if%20partC_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20Part%20C%20instruments.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20Controls%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Continuous%20vs%20Static%20Batching%20Simulator%22))%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5Bc1_avg_len%2C%20c1_max_len%2C%20c1_batch_size%5D%2C%20justify%3D%22center%22%2C%20gap%3D2))%0A%0A%20%20%20%20%20%20%20%20%23%20Physics%0A%20%20%20%20%20%20%20%20_avg%20%3D%20c1_avg_len.value%0A%20%20%20%20%20%20%20%20_max%20%3D%20c1_max_len.value%0A%20%20%20%20%20%20%20%20_batch%20%3D%20c1_batch_size.value%0A%0A%20%20%20%20%20%20%20%20_padding_waste%20%3D%201%20-%20_avg%20%2F%20_max%20if%20_max%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20_static_throughput%20%3D%20_batch%20%20%23%20requests%20per%20batch%20cycle%0A%20%20%20%20%20%20%20%20_continuous_throughput%20%3D%20_batch%20*%20(_max%20%2F%20_avg)%20*%200.85%20%20%23%20fill%20factor%20~85%25%20of%20theoretical%0A%20%20%20%20%20%20%20%20_speedup%20%3D%20_continuous_throughput%20%2F%20_static_throughput%20if%20_static_throughput%20%3E%200%20else%201%0A%0A%20%20%20%20%20%20%20%20%23%20Chart%3A%20throughput%20vs%20avg_len%20ratio%0A%20%20%20%20%20%20%20%20_ratios%20%3D%20np.linspace(0.05%2C%201.0%2C%2050)%0A%20%20%20%20%20%20%20%20_static_tp%20%3D%20%5B_batch%20for%20_%20in%20_ratios%5D%0A%20%20%20%20%20%20%20%20_continuous_tp%20%3D%20%5B_batch%20*%20(1%20%2F%20r)%20*%200.85%20for%20r%20in%20_ratios%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_ratios%20*%20100%2C%20y%3D_static_tp%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Static%20batching%22%2C%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_ratios%20*%20100%2C%20y%3D_continuous_tp%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Continuous%20batching%22%2C%20line%3Ddict(color%3DCOLORS%5B%22GreenLine%22%5D%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_avg%20%2F%20_max%20*%20100%5D%2C%20y%3D%5B_continuous_throughput%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%20marker%3Ddict(size%3D14%2C%20color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20symbol%3D%22diamond%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Current%20config%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D300%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Avg%20Length%20%2F%20Max%20Length%20(%25)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Effective%20Throughput%20(requests%2Fcycle)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20yanchor%3D%22bottom%22%2C%20y%3D1.02%2C%20xanchor%3D%22right%22%2C%20x%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D40%2C%20b%3D50%2C%20l%3D50%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20_waste_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_padding_waste%20%3E%200.5%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_padding_waste%20%3E%200.2%20else%20COLORS%5B%22GreenLine%22%5D)%0A%20%20%20%20%20%20%20%20_speedup_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_speedup%20%3E%202%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_speedup%20%3E%201.3%20else%20COLORS%5B%22RedLine%22%5D)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A12px%3B%20padding%3A16px%2020px%3B%20margin%3A8px%200%3B%20font-family%3Amonospace%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A0.83rem%3B%20line-height%3A1.8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A8px%3B%20font-family%3Asans-serif%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Physics%20%26mdash%3B%20Batching%20Strategy%20Comparison%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EAvg%20length%3A%20%7B_avg%3A%2C%7D%20tokens%20%26mdash%3B%20Max%20length%3A%20%7B_max%3A%2C%7D%20tokens%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EPadding%20waste%20(static)%3A%20%3Cstrong%20style%3D%22color%3A%7B_waste_color%7D%3B%22%3E%7B_padding_waste*100%3A.1f%7D%25%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EStatic%20throughput%3A%20%3Cstrong%3E%7B_static_throughput%3A.0f%7D%3C%2Fstrong%3E%20req%2Fcycle%20%26mdash%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Continuous%3A%20%3Cstrong%20style%3D%22color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_continuous_throughput%3A.1f%7D%3C%2Fstrong%3E%20req%2Fcycle%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ESpeedup%3A%20%3Cstrong%20style%3D%22color%3A%7B_speedup_color%7D%3B%22%3E%7B_speedup%3A.1f%7Dx%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A16px%3B%20justify-content%3Acenter%3B%20margin%3A8px%200%3B%20flex-wrap%3Awrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3ESpeedup%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_speedup_color%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_speedup%3A.1f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EPadding%20Waste%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_waste_color%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_padding_waste*100%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Estatic%20only%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EContinuous%20TP%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_continuous_throughput%3A.0f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Ereq%2Fcycle%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.ui.plotly(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20reveal%0A%20%20%20%20%20%20%20%20if%20partC_prediction.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20Continuous%20batching%20achieves%202-4x%20throughput%20improvement%20over%20static%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22batching%20when%20avg_len%20%3C%3C%20max_len.%20At%20avg%3D4K%2C%20max%3D32K%2C%20padding%20waste%20is%2087.5%25.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Continuous%20batching%20eliminates%20this%20waste%20and%20immediately%20fills%20freed%20slots%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22achieving%20~3x%20higher%20effective%20throughput%20in%20this%20scenario.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partC_prediction.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Too%20conservative.**%201.5x%20would%20be%20the%20case%20if%20avg_len%20is%20close%20to%20max_len%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22(e.g.%2C%2024K%2F32K).%20When%20avg_len%20is%204K%20vs%20max%3D32K%2C%20the%2087.5%25%20padding%20waste%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22means%20continuous%20batching%20achieves%203-4x%20improvement.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partC_prediction.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Too%20optimistic.**%2010x%20would%20require%20avg_len%20to%20be%20%3C3%25%20of%20max_len%20AND%20perfect%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22slot%20filling.%20In%20practice%2C%20continuous%20batching%20achieves%202-4x%20because%20slot%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22filling%20is%20not%20instantaneous%20and%20prefill%20compute%20is%20non-trivial.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partC_prediction.value%20%3D%3D%20%22D%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Wrong.**%20Memory-bound%20workloads%20benefit%20greatly%20from%20batching%20optimizations.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Continuous%20batching%20increases%20the%20effective%20batch%20occupancy%2C%20which%20improves%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22memory%20bandwidth%20utilization%20(more%20requests%20share%20the%20same%20weight%20reads).%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20%23%20MathPeek%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Governing%20equations%20--%20continuous%20batching%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20**Static%20Batching%20Throughput**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20TP_static%20%3D%20batch_size%20%2F%20T_max_request%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20All%20requests%20padded%20to%20max_len.%20Waste%20%3D%201%20-%20avg_len%2Fmax_len.%0A%0A%20%20%20%20%20%20%20%20**Continuous%20Batching%20Throughput**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20TP_continuous%20%3D%20batch_size%20*%20(max_len%20%2F%20avg_len)%20*%20fill_factor%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20-%20fill_factor%20%3D%200.7-0.9%20(accounts%20for%20prefill%20overhead%20and%20scheduling%20gaps)%0A%20%20%20%20%20%20%20%20-%20Speedup%20%3D%20(max_len%20%2F%20avg_len)%20*%20fill_factor%0A%20%20%20%20%20%20%20%20-%20At%20avg%3D4K%2C%20max%3D32K%3A%20speedup%20%3D%208%20*%200.85%20%3D%206.8x%20theoretical%2C%20~3x%20practical%0A%0A%20%20%20%20%20%20%20%20**Why%20Practical%20%3C%20Theoretical**%0A%0A%20%20%20%20%20%20%20%20-%20Prefill%20phase%20for%20new%20requests%20is%20compute-intensive%0A%20%20%20%20%20%20%20%20-%20Not%20all%20slots%20fill%20instantly%20(scheduling%20latency)%0A%20%20%20%20%20%20%20%20-%20KV%20cache%20management%20overhead%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20%23%20Reflection%0A%20%20%20%20%20%20%20%20items.append(partC_reflection)%0A%20%20%20%20%20%20%20%20if%20partC_reflection.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20an%20answer.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partC_reflection.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20Continuous%20batching%20is%20strictly%20better%20because%3A%20(1)%20no%20padding%20waste%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22(2)%20freed%20slots%20are%20filled%20immediately%20with%20new%20requests%2C%20(3)%20the%20GPU%20processes%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22real%20tokens%20instead%20of%20padding%20tokens.%20This%20is%20why%20every%20production%20LLM%20serving%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22system%20(vLLM%2C%20TensorRT-LLM%2C%20TGI)%20uses%20continuous%20batching.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Not%20the%20full%20picture.**%20Continuous%20batching%20is%20the%20standard%20because%20it%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22eliminates%20padding%20waste%20AND%20fills%20slots%20immediately.%20It%20works%20for%20all%20model%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22sizes%20and%20request%20length%20distributions.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20D%3A%20FLEET%20DESIGN%20CHALLENGE%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Stakeholder%20message%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'RedLL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20VP%20of%20AI%20Infrastructure%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22We%20need%20to%20serve%2010%2C000%20QPS%20at%20200ms%20P99%20for%20our%2070B%20model%20at%2032K%20context.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20naive%20fleet%20(FP16%2C%20static%20batching)%20requires%20200%20replicas%20on%208xH100%20each%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%201%2C600%20H100s%20at%20%24115K%2Fday.%20Can%20we%20do%20better%3F%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Concept%20framing%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20Fleet%20design%20jointly%20optimizes%20three%20levers%3A%0A%20%20%20%201.%20**Quantization**%3A%20INT4%20reduces%20weight%20memory%2C%20freeing%20HBM%20for%20larger%20KV%20cache%20batches%0A%20%20%20%202.%20**Continuous%20batching**%3A%202-4x%20throughput%20per%20replica%0A%20%20%20%203.%20**Replica%20count%20and%20GPU%20count%20per%20replica**%3A%20cost%20%3D%20replicas%20x%20GPUs%20x%20cost%2Fhr%0A%0A%20%20%20%20The%20naive%20fleet%20(FP16%2C%20static%2C%208%20GPUs%2Freplica)%3A%0A%20%20%20%20-%20Per-replica%20throughput%3A%20~50%20QPS%0A%20%20%20%20-%20Replicas%20needed%3A%2010%2C000%20%2F%2050%20%3D%20200%0A%20%20%20%20-%20Cost%3A%20200%20x%208%20x%20%243%2Fhr%20%3D%20%244%2C800%2Fhr%20%3D%20%24115%2C200%2Fday%0A%0A%20%20%20%20The%20optimized%20fleet%20(INT4%2C%20continuous%20batching%2C%204%20GPUs%2Freplica)%3A%0A%20%20%20%20-%20INT4%20weights%3A%2035%20GB%20(vs%20140%20GB%20FP16)%2C%20freeing%20105%20GB%20for%20KV%20cache%0A%20%20%20%20-%20Continuous%20batching%3A%20~3x%20throughput%20%3D%20150%20QPS%2Freplica%0A%20%20%20%20-%20Replicas%20needed%3A%20ceil(10%2C000%20%2F%20150)%20%3D%2067%0A%20%20%20%20-%20Cost%3A%2067%20x%204%20x%20%243%2Fhr%20%3D%20%24804%2Fhr%20%3D%20%2419%2C296%2Fday%0A%0A%20%20%20%20**Savings%3A%20~83%25**%20--%20same%20SLO%2C%20dramatically%20lower%20cost.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20lock%0A%20%20%20%20%20%20%20%20items.append(partD_prediction)%0A%20%20%20%20%20%20%20%20if%20partD_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20Part%20D%20instruments.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20Controls%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Fleet%20Design%20Optimizer%22))%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bd1_target_qps%2C%20d1_quant%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bd1_batching%2C%20d1_gpus_per_replica%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22center%22%2C%20gap%3D2))%0A%0A%20%20%20%20%20%20%20%20%23%20Physics%0A%20%20%20%20%20%20%20%20_target%20%3D%20d1_target_qps.value%0A%20%20%20%20%20%20%20%20_bytes_per_elem%20%3D%20d1_quant.value%0A%20%20%20%20%20%20%20%20_batch_mult%20%3D%20d1_batching.value%0A%20%20%20%20%20%20%20%20_gpus%20%3D%20d1_gpus_per_replica.value%0A%0A%20%20%20%20%20%20%20%20%23%20Memory%20model%0A%20%20%20%20%20%20%20%20_total_hbm%20%3D%20_gpus%20*%20H100_RAM_GB%0A%20%20%20%20%20%20%20%20_weight_gb%20%3D%2070%20*%201e9%20*%20_bytes_per_elem%20%2F%201e9%0A%20%20%20%20%20%20%20%20_available_gb%20%3D%20max(0%2C%20_total_hbm%20-%20_weight_gb)%0A%0A%20%20%20%20%20%20%20%20%23%20KV%20cache%20per%20request%20at%2032K%20context%20(70B%3A%2080%20layers%2C%208192%20hidden)%0A%20%20%20%20%20%20%20%20_kv_per_req_gb%20%3D%202%20*%2080%20*%208192%20*%2032768%20*%202%20%2F%201e9%0A%20%20%20%20%20%20%20%20_max_batch%20%3D%20math.floor(_available_gb%20%2F%20_kv_per_req_gb)%20if%20_kv_per_req_gb%20%3E%200%20else%200%0A%0A%20%20%20%20%20%20%20%20%23%20Per-replica%20throughput%0A%20%20%20%20%20%20%20%20_base_qps_per_req%20%3D%201.5%20%20%23%20tokens%2Fsec%2Frequest%20baseline%0A%20%20%20%20%20%20%20%20_effective_batch%20%3D%20max(1%2C%20_max_batch)%0A%20%20%20%20%20%20%20%20_per_replica_qps%20%3D%20_effective_batch%20*%20_base_qps_per_req%20*%20_batch_mult%0A%0A%20%20%20%20%20%20%20%20%23%20Fleet%20sizing%0A%20%20%20%20%20%20%20%20_replicas_needed%20%3D%20math.ceil(_target%20%2F%20_per_replica_qps)%20if%20_per_replica_qps%20%3E%200%20else%209999%0A%20%20%20%20%20%20%20%20_total_gpus%20%3D%20_replicas_needed%20*%20_gpus%0A%20%20%20%20%20%20%20%20_hourly_cost%20%3D%20_total_gpus%20*%20H100_COST_HR%0A%20%20%20%20%20%20%20%20_daily_cost%20%3D%20_hourly_cost%20*%2024%0A%0A%20%20%20%20%20%20%20%20%23%20Naive%20baseline%0A%20%20%20%20%20%20%20%20_naive_replicas%20%3D%20math.ceil(_target%20%2F%2050)%20%20%23%2050%20QPS%2Freplica%20naive%0A%20%20%20%20%20%20%20%20_naive_gpus%20%3D%20_naive_replicas%20*%208%0A%20%20%20%20%20%20%20%20_naive_daily%20%3D%20_naive_gpus%20*%20H100_COST_HR%20*%2024%0A%20%20%20%20%20%20%20%20_savings_pct%20%3D%20(1%20-%20_daily_cost%20%2F%20_naive_daily)%20*%20100%20if%20_naive_daily%20%3E%200%20else%200%0A%0A%20%20%20%20%20%20%20%20_oom%20%3D%20_max_batch%20%3C%201%0A%0A%20%20%20%20%20%20%20%20%23%20Chart%3A%20cost%20comparison%20across%20configurations%0A%20%20%20%20%20%20%20%20_configs%20%3D%20%5B%22Naive%20FP16%5CnStatic%208GPU%22%2C%20%22FP16%20Cont.%5Cn8GPU%22%2C%20%22INT4%20Cont.%5Cn4GPU%22%2C%20%22Your%20Config%22%5D%0A%20%20%20%20%20%20%20%20_costs%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20_naive_daily%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20math.ceil(_target%20%2F%20(8%20*%201.5%20*%203.0))%20*%208%20*%20H100_COST_HR%20*%2024%2C%20%20%23%20FP16%20continuous%0A%20%20%20%20%20%20%20%20%20%20%20%20math.ceil(_target%20%2F%20(max(1%2C%20math.floor((4%20*%2080%20-%2035)%20%2F%20_kv_per_req_gb))%20*%201.5%20*%203.0))%20*%204%20*%20H100_COST_HR%20*%2024%20if%20_kv_per_req_gb%20%3E%200%20else%200%2C%20%20%23%20INT4%20cont%204GPU%0A%20%20%20%20%20%20%20%20%20%20%20%20_daily_cost%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20_bar_colors_d%20%3D%20%5BCOLORS%5B%22RedLine%22%5D%2C%20COLORS%5B%22OrangeLine%22%5D%2C%20COLORS%5B%22GreenLine%22%5D%2C%20COLORS%5B%22BlueLine%22%5D%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20for%20_i%2C%20(_name%2C%20_cost)%20in%20enumerate(zip(_configs%2C%20_costs))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_name%5D%2C%20y%3D%5B_cost%20%2F%201000%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_bar_colors_d%5B_i%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%24%7B_cost%2F1000%3A.0f%7DK%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20textposition%3D%22auto%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D300%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Configuration%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Daily%20Cost%20(%24K)%22%2C%20tickformat%3D%22%24%2C.0f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D30%2C%20b%3D70%2C%20l%3D70%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20_cost_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_savings_pct%20%3E%2050%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_savings_pct%20%3E%2020%20else%20COLORS%5B%22RedLine%22%5D)%0A%0A%20%20%20%20%20%20%20%20if%20_oom%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'RedLL'%5D%7D%3B%20border%3A2px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A10px%3B%20padding%3A14px%2018px%3B%20margin%3A10px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.88rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%20margin-bottom%3A4px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20OOM%20%26mdash%3B%20Cannot%20Fit%20Any%20Request%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.85rem%3B%20color%3A%237f1d1d%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Weights%20(%7B_weight_gb%3A.0f%7D%20GB)%20%2B%201%20KV%20cache%20(%7B_kv_per_req_gb%3A.1f%7D%20GB)%20exceed%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_total_hbm%3A.0f%7D%20GB%20HBM.%20Increase%20GPUs%20per%20replica%20or%20use%20stronger%20quantization.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A12px%3B%20padding%3A16px%2020px%3B%20margin%3A8px%200%3B%20font-family%3Amonospace%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A0.83rem%3B%20line-height%3A1.8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A8px%3B%20font-family%3Asans-serif%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Physics%20%26mdash%3B%20Fleet%20Design%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EWeights%3A%20%7B_weight_gb%3A.0f%7D%20GB%20%26mdash%3B%20Available%20HBM%3A%20%7B_available_gb%3A.0f%7D%20GB%20%26mdash%3B%20Max%20batch%3A%20%7B_max_batch%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EPer-replica%20QPS%3A%20%7B_per_replica_qps%3A.0f%7D%20%26mdash%3B%20Replicas%20needed%3A%20%7B_replicas_needed%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ETotal%20GPUs%3A%20%3Cstrong%3E%7B_total_gpus%7D%3C%2Fstrong%3E%20%26mdash%3B%20Daily%20cost%3A%20%3Cstrong%3E%24%7B_daily_cost%3A%2C.0f%7D%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ENaive%20baseline%3A%20%7B_naive_replicas%7D%20replicas%20%26times%3B%208%20GPUs%20%3D%20%7B_naive_gpus%7D%20GPUs%20%3D%20%24%7B_naive_daily%3A%2C.0f%7D%2Fday%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ESavings%3A%20%3Cstrong%20style%3D%22color%3A%7B_cost_color%7D%3B%22%3E%7B_savings_pct%3A.0f%7D%25%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A16px%3B%20justify-content%3Acenter%3B%20margin%3A8px%200%3B%20flex-wrap%3Awrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EDaily%20Cost%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_cost_color%7D%3B%20font-family%3Amonospace%3B%22%3E%24%7B_daily_cost%2F1000%3A.0f%7DK%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EReplicas%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_replicas_needed%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3ESavings%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_cost_color%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_savings_pct%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Evs%20naive%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.ui.plotly(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20reveal%0A%20%20%20%20%20%20%20%20if%20partD_prediction.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20INT4%20%2B%20continuous%20batching%20achieves%20~3x%20throughput%20per%20replica%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22while%20using%20only%204%20GPUs%20instead%20of%208.%20The%20combination%20reduces%20fleet%20cost%20by%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22~80%25%20compared%20to%20the%20naive%20FP16%20static%20approach.%20The%20key%20insight%3A%20quantization%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22frees%20memory%20for%20larger%20batches%2C%20and%20continuous%20batching%20maximizes%20throughput%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22per%20batch%20slot.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partD_prediction.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**The%20most%20expensive%20option.**%20200%20replicas%20x%208%20GPUs%20%3D%201%2C600%20H100s%20at%20%24115K%2Fday.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22FP16%20wastes%20HBM%20on%20weight%20precision%20that%20INT4%20can%20deliver.%20Static%20batching%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22wastes%20GPU%20cycles%20on%20padding.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partD_prediction.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Better%20than%20naive%20but%20still%20suboptimal.**%20FP16%20weights%20(140%20GB)%20leave%20less%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22room%20for%20KV%20cache%20than%20INT4%20(35%20GB).%20With%20continuous%20batching%2C%20INT4%20achieves%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22higher%20per-replica%20throughput%20because%20it%20can%20batch%20more%20concurrent%20requests.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partD_prediction.value%20%3D%3D%20%22D%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Static%20batching%20loses%20most%20of%20the%20INT4%20benefit.**%20INT4%20frees%20memory%20for%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22larger%20batches%2C%20but%20static%20batching%20wastes%20those%20larger%20batches%20on%20padding.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22INT4%20%2B%20continuous%20batching%20is%20the%20winning%20combination.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20%23%20MathPeek%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Governing%20equations%20--%20inference%20fleet%20design%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20**Fleet%20Cost%20Objective**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20minimize%3A%20replicas%20*%20GPUs_per_replica%20*%20cost_per_GPU_hour%0A%20%20%20%20%20%20%20%20subject%20to%3A%20replicas%20*%20QPS_per_replica%20%3E%3D%20target_QPS%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20P99_latency%20%3C%3D%20SLO%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20**Per-Replica%20Throughput**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20QPS_per_replica%20%3D%20max_batch%20*%20base_qps%20*%20batching_multiplier%0A%20%20%20%20%20%20%20%20max_batch%20%3D%20floor(available_HBM%20%2F%20KV_per_request)%0A%20%20%20%20%20%20%20%20available_HBM%20%3D%20GPUs%20*%20RAM_per_GPU%20-%20weight_memory%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20**Quantization%20Impact**%0A%0A%20%20%20%20%20%20%20%20INT4%20vs%20FP16%20weights%3A%204x%20memory%20reduction%20-%3E%204x%20more%20KV%20cache%20slots%0A%20%20%20%20%20%20%20%20-%3E%204x%20larger%20batch%20-%3E%20~4x%20higher%20QPS%20per%20replica%20(if%20memory-bound)%0A%0A%20%20%20%20%20%20%20%20Combined%20with%203x%20from%20continuous%20batching%3A%20~12x%20total%20improvement.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20%23%20Reflection%0A%20%20%20%20%20%20%20%20items.append(partD_reflection)%0A%20%20%20%20%20%20%20%20if%20partD_reflection.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20an%20answer.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partD_reflection.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20The%20objective%20is%20minimizing%20total%20cost%20subject%20to%20QPS%20and%20latency%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22constraints.%20This%20is%20a%20constrained%20optimization%3A%20for%20each%20combination%20of%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22(quantization%2C%20batching%2C%20GPUs_per_replica)%2C%20compute%20the%20minimum%20replicas%20needed%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22to%20meet%20the%20QPS%20target%2C%20then%20pick%20the%20cheapest%20configuration%20that%20also%20meets%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20latency%20SLO.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Not%20the%20right%20objective.**%20The%20correct%20objective%20is%20minimizing%20total%20fleet%20cost%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22(replicas%20x%20GPUs%20x%20cost%2Fhr)%20subject%20to%20meeting%20both%20the%20QPS%20target%20and%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22latency%20SLO.%20This%20requires%20jointly%20optimizing%20quantization%2C%20batching%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22replica%20count.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20SYNTHESIS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2024px%2028px%3B%20margin%3A%2016px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%2012px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Key%20Takeaways%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.92rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20line-height%3A%201.75%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E1.%20Serving%20cost%20exceeds%20training%20cost%20within%20weeks%2C%20not%20months.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20At%20100%20QPS%20and%20%240.01%2Fquery%2C%20the%20%242M%20training%20cost%20is%20crossed%20in%20~3%20weeks.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%2010%25%20inference%20optimization%20saves%20%243.15M%2Fyear%20--%20more%20than%20the%20training%20cost.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Inference%20efficiency%20is%20the%20highest-ROI%20investment%20for%20deployed%20models.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E2.%20The%20KV%20cache%2C%20not%20compute%2C%20is%20the%20binding%20constraint%20on%20concurrency.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20At%20128K%20context%2C%20a%2070B%20model's%20KV%20cache%20is%20~343%20GB%20per%20request.%20On%208xH100%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(640%20GB%20total)%2C%20only%201%20concurrent%20request%20fits%20after%20loading%20weights.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Memory%20determines%20how%20many%20users%20you%20can%20serve%2C%20not%20how%20fast%20you%20can%20compute.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E3.%20Quantization%20%2B%20continuous%20batching%20transforms%20the%20economics.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20INT4%20weights%20free%20HBM%20for%20larger%20KV%20cache%20batches.%20Continuous%20batching%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fills%20freed%20slots%20immediately%2C%20achieving%202-4x%20throughput%20over%20static%20batching.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Combined%2C%20they%20enable%20serving%20at%2040%25%20lower%20cost%20per%20query.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2016px%3B%20margin%3A%208px%200%2016px%200%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20What's%20Next%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ELab%20V2-09%3A%20The%20Optimization%20Trap%3C%2Fstrong%3E%20%26mdash%3B%20You%20discovered%20that%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20inference%20is%20memory-bound.%20The%20next%20lab%20asks%3A%20if%20you%20apply%20the%20wrong%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20optimization%20(e.g.%2C%20more%20compute%20for%20a%20memory-bound%20workload)%2C%20what%20happens%3F%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20roofline%20model%20diagnoses%20what%20optimization%20to%20apply%20and%20when.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Textbook%20%26amp%3B%20TinyTorch%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ERead%3A%3C%2Fstrong%3E%20%40sec-inference-at-scale%20for%20the%20full%20KV%20cache%20derivation%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continuous%20batching%20mechanics%2C%20and%20fleet%20design%20principles.%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3EBuild%3A%3C%2Fstrong%3E%20TinyTorch%20inference%20module%20%26mdash%3B%20implement%20KV%20cache%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20management%20and%20continuous%20batching%20in%20%3Ccode%3Etinytorch%2Fsrc%2Finference%2F%3C%2Fcode%3E.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Self-Assessment%22%3A%20mo.md(%22%22%22%0A%20%20%20%201.%20At%20100%20QPS%20and%20%240.01%2Fquery%2C%20after%20how%20many%20weeks%20does%20serving%20cost%20exceed%20a%20%242M%20training%20cost%3F%0A%20%20%20%202.%20For%20a%2070B%20model%20at%20128K%20context%20on%208xH100%2C%20how%20many%20concurrent%20requests%20can%20you%20serve%3F%0A%20%20%20%203.%20Why%20does%20INT4%20weight%20quantization%20increase%20serving%20throughput%2C%20even%20though%20it%20does%20not%20speed%20up%20compute%3F%0A%20%20%20%204.%20What%20is%20the%20throughput%20advantage%20of%20continuous%20batching%20over%20static%20batching%2C%20and%20why%3F%0A%0A%20%20%20%20*If%20you%20cannot%20answer%20all%20four%20from%20memory%2C%20revisit%20Parts%20A%20and%20B.*%0A%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20COMPOSE%20TABS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%20--%20The%20Serving%20Cost%20Inversion%22%3A%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%20--%20The%20KV%20Cache%20Wall%22%3A%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%20--%20Continuous%20Batching%22%3A%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%20--%20Fleet%20Design%20Challenge%22%3A%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(DecisionLog)%3A%0A%20%20%20%20decision_input%2C%20decision_ui%20%3D%20DecisionLog()%0A%20%20%20%20return%20decision_input%2C%20decision_ui%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20decision_input%2C%0A%20%20%20%20decision_ui%2C%0A%20%20%20%20ledger%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20partA_prediction%2C%0A%20%20%20%20partA_reflection%2C%0A%20%20%20%20partB_prediction%2C%0A%20%20%20%20partB_reflection%2C%0A%20%20%20%20partC_prediction%2C%0A%20%20%20%20partC_reflection%2C%0A%20%20%20%20partD_prediction%2C%0A%20%20%20%20partD_reflection%2C%0A)%3A%0A%20%20%20%20ledger.save(%0A%20%20%20%20%20%20%20%20chapter%3D%22v2_08%22%2C%0A%20%20%20%20%20%20%20%20design%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partA_prediction%22%3A%20partA_prediction.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partA_correct%22%3A%20partA_prediction.value%20%3D%3D%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partA_reflection%22%3A%20partA_reflection.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partB_prediction%22%3A%20partB_prediction.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partB_correct%22%3A%20partB_prediction.value%20%3D%3D%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partB_reflection%22%3A%20partB_reflection.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partC_prediction%22%3A%20partC_prediction.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partC_correct%22%3A%20partC_prediction.value%20%3D%3D%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partC_reflection%22%3A%20partC_reflection.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partD_prediction%22%3A%20partD_prediction.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partD_correct%22%3A%20partD_prediction.value%20%3D%3D%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partD_reflection%22%3A%20partD_reflection.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22student_justification%22%3A%20str(decision_input.value)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_a1_ok%20%3D%20partA_prediction.value%20%3D%3D%20%22C%22%0A%20%20%20%20_a2_ok%20%3D%20partB_prediction.value%20%3D%3D%20%22D%22%0A%20%20%20%20_tier%20%3D%20%22Optimal%22%20if%20(_a1_ok%20and%20_a2_ok)%20else%20(%22Partial%22%20if%20(_a1_ok%20or%20_a2_ok)%20else%20%22Developing%22)%0A%20%20%20%20_tier_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_tier%20%3D%3D%20%22Optimal%22%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_tier%20%3D%3D%20%22Partial%22%20else%20COLORS%5B%22TextMuted%22%5D)%0A%0A%20%20%20%20decision_ui%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%20%3Cspan%20class%3D%22hud-value%22%3EVol2%20%26middot%3B%20Lab%2008%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3ECHAPTER%3C%2Fspan%3E%20%3Cspan%20class%3D%22hud-value%22%3Ev2_08%20%26middot%3B%20Inference%20at%20Scale%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3EPART%20A%3C%2Fspan%3E%20%3Cspan%20class%3D%22%7B'hud-active'%20if%20_a1_ok%20else%20'hud-none'%7D%22%3E%7B%22CORRECT%22%20if%20_a1_ok%20else%20%22REVIEW%22%7D%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3EPART%20B%3C%2Fspan%3E%20%3Cspan%20class%3D%22%7B'hud-active'%20if%20_a2_ok%20else%20'hud-none'%7D%22%3E%7B%22CORRECT%22%20if%20_a2_ok%20else%20%22REVIEW%22%7D%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3ETIER%3C%2Fspan%3E%20%3Cspan%20style%3D%22color%3A%7B_tier_color%7D%3B%20font-family%3Avar(--font-mono)%3B%22%3E%7B_tier.upper()%7D%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A