lab 13 model serving

import%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22..%2F..%2F..%2Fwheels%2Fmlsysim-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%22mlsysim%22%20not%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20_root%20%3D%20Path(__file__).resolve().parents%5B2%5D%0A%20%20%20%20%20%20%20%20if%20str(_root)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_root))%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20import%20mlsysim%0A%0A%20%20%20%20H100_TFLOPS_FP16%20%3D%20mlsysim.Hardware.Cloud.H100.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20H100_BW_GBS%20%20%20%20%20%20%3D%20mlsysim.Hardware.Cloud.H100.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20H100_RAM_GB%20%20%20%20%20%20%3D%20mlsysim.Hardware.Cloud.H100.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20H100_TDP_W%20%20%20%20%20%20%20%3D%20mlsysim.Hardware.Cloud.H100.tdp.m_as(%22W%22)%0A%0A%20%20%20%20%23%20Edge%20tier%20%E2%80%94%20contrast%20serving%20constraints%3A%20limited%20memory%2C%20lower%20bandwidth%0A%20%20%20%20JETSON_TFLOPS%20%20%20%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20JETSON_BW_GBS%20%20%20%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20JETSON_RAM_GB%20%20%20%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20JETSON_TDP_W%20%20%20%20%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX.tdp.m_as(%22W%22)%0A%0A%20%20%20%20PCIE_GEN5_GBS%20%3D%2064.0%0A%20%20%20%20PCIE_GEN4_GBS%20%3D%2032.0%0A%20%20%20%20NVME_SEQ_GBS%20%20%3D%207.0%0A%20%20%20%20NET_FS_GBS%20%20%20%20%3D%201.25%0A%0A%20%20%20%20RESNET50_PARAMS%20%3D%20mlsysim.Models.ResNet50.parameters.m_as(%22count%22)%0A%20%20%20%20RESNET50_FLOPS%20%20%3D%20mlsysim.Models.ResNet50.inference_flops.m_as(%22flop%22)%0A%0A%20%20%20%20LLAMA2_70B_PARAMS%20%3D%20mlsysim.Models.Language.Llama2_70B.parameters.m_as(%22count%22)%0A%20%20%20%20LLAMA2_70B_LAYERS%20%3D%20mlsysim.Models.Language.Llama2_70B.layers%0A%20%20%20%20LLAMA2_70B_HIDDEN%20%3D%20mlsysim.Models.Language.Llama2_70B.hidden_dim%0A%20%20%20%20LLAMA2_70B_HEADS%20%20%3D%20mlsysim.Models.Language.Llama2_70B.heads%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20H100_BW_GBS%2C%0A%20%20%20%20%20%20%20%20H100_RAM_GB%2C%0A%20%20%20%20%20%20%20%20JETSON_BW_GBS%2C%0A%20%20%20%20%20%20%20%20JETSON_RAM_GB%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20NET_FS_GBS%2C%0A%20%20%20%20%20%20%20%20NVME_SEQ_GBS%2C%0A%20%20%20%20%20%20%20%20PCIE_GEN4_GBS%2C%0A%20%20%20%20%20%20%20%20PCIE_GEN5_GBS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20mo.Html(%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%230f172a%200%25%2C%20%231e293b%2060%25%2C%20%230c1a2e%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2036px%2044px%3B%20border-radius%3A%2016px%3B%20color%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2032px%20rgba(0%2C0%2C0%2C0.35)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20letter-spacing%3A%200.18em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23475569%3B%20text-transform%3A%20uppercase%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Machine%20Learning%20Systems%20%26middot%3B%20Volume%20I%20%26middot%3B%20Lab%2013%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch1%20style%3D%22margin%3A%200%200%2010px%200%3B%20font-size%3A%202.4rem%3B%20font-weight%3A%20900%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23f8fafc%3B%20line-height%3A%201.1%3B%20letter-spacing%3A%20-0.02em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Tail%20Latency%20Trap%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%206px%200%3B%20font-size%3A%201.15rem%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%2394a3b8%3B%20letter-spacing%3A%200.04em%3B%20font-family%3A%20'SF%20Mono'%2C%20monospace%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Queuing%20%26middot%3B%20Batching%20%26middot%3B%20KV%20Cache%20%26middot%3B%20Cold%20Start%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%2022px%200%3B%20font-size%3A%201.0rem%3B%20color%3A%20%2364748b%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max-width%3A%20680px%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Your%20serving%20system%20looks%20healthy%20at%2050%25%20utilization%20and%20is%20on%20fire%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20at%2080%25%20%26mdash%3B%20and%20the%20fire%20is%20invisible%20to%20every%20metric%20except%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20one%20you%20are%20not%20measuring.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2012px%3B%20flex-wrap%3A%20wrap%3B%20margin-bottom%3A%2020px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(99%2C102%2C241%2C0.18)%3B%20color%3A%20%23a5b4fc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(99%2C102%2C241%2C0.3)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%204%20Parts%20%2B%20Synthesis%20%26middot%3B%20~50%20min%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(203%2C32%2C45%2C0.15)%3B%20color%3A%20%23fca5a5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(203%2C32%2C45%2C0.25)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Chapter%2013%3A%20Model%20Serving%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2010px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EM%2FM%2F1%20Queuing%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3EBatching%20Tax%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-fail%22%3EKV%20Cache%20OOM%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3EQuantify%20the%20P99%2Fmean%20latency%20divergence%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20at%2080%25%20utilization%2C%20P99%20is%2023x%20the%20service%20time%20while%20mean%20is%20only%205x.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3EDiagnose%20the%20batching%20tax%3C%2Fstrong%3E%20%26mdash%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20batch%20formation%20delay%20consumes%2062%25%20of%20a%2050%26nbsp%3Bms%20SLO%20budget%20before%20inference%20starts.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3ECalculate%20KV%20cache%20memory%3C%2Fstrong%3E%20%26mdash%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20at%20128K%20context%2C%20a%20single%20Llama-2%2070B%20request%20fills%20~320%26nbsp%3BGB%20of%20HBM.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Iron%20Law%20equation%20from%20%40sec-introduction%20%26middot%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Memory%20wall%20from%20%40sec-hw-acceleration%20%26middot%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Transformer%20architecture%20from%20%40sec-nn-architectures%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E~50%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%3A%20~12%20%26middot%3B%20B%3A%20~12%20%26middot%3B%20C%3A%20~12%20%26middot%3B%20D%3A%20~8%20min%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%2012px%20-28px%200%20-28px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2016px%2028px%200%2028px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BYour%20inference%20server%20reports%2025%26nbsp%3Bms%20average%20latency.%20Why%20are%201%20in%20100%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20users%20experiencing%20115%26nbsp%3Bms%20%26mdash%3B%20and%20why%20does%20adding%20batching%20make%20it%20worse%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20%26mdash%3B%20Complete%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20**%40sec-model-serving**%20%26mdash%3B%20Queuing%20theory%20for%20inference%2C%20M%2FM%2F1%20model%2C%0A%20%20%20%20%20%20batching%20strategies%2C%20KV%20cache%20management%2C%20and%20cold%20start%20latency.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Part%20A%20widgets%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20partA_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~10%20ms%20(2x%20service%20time)%22%3A%20%2210ms%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~25%20ms%20(5x%2C%20matches%20the%20mean)%22%3A%20%2225ms%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~50%20ms%20(10x%20service%20time)%22%3A%20%2250ms%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~115%20ms%20(23x%20service%20time)%22%3A%20%22115ms%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22ResNet-50%20server%2C%205%20ms%20service%20time%2C%2080%25%20utilization.%20P99%20latency%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(partA_pred%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partA_pred)%3A%0A%20%20%20%20mo.stop(partA_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partA_rho%20%3D%20mo.ui.slider(start%3D0.10%2C%20stop%3D0.95%2C%20value%3D0.80%2C%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Server%20utilization%20(rho)%22)%0A%20%20%20%20partA_svc%20%3D%20mo.ui.slider(start%3D1.0%2C%20stop%3D20.0%2C%20value%3D5.0%2C%20step%3D1.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Service%20time%20(ms)%22)%0A%20%20%20%20partA_slo%20%3D%20mo.ui.slider(start%3D10.0%2C%20stop%3D200.0%2C%20value%3D50.0%2C%20step%3D10.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22SLO%20budget%20(ms)%22)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Part%20B%20widgets%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20partB_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Throughput%20improves%206.4x%2C%20latency%20within%20SLO%22%3A%20%22ok%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Throughput%20improves%20but%20latency%20slightly%20exceeds%20SLO%22%3A%20%22slight%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Formation%20delay%20alone%20(31%20ms)%20consumes%2062%25%20of%20SLO%22%3A%20%22delay%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20System%20crashes%20from%20memory%20overflow%22%3A%20%22crash%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Batch%20size%201%20to%2032%2C%20arrival%20500%20QPS%2C%20SLO%2050%20ms.%20What%20happens%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partA_rho%2C%20partA_slo%2C%20partA_svc%2C%20partB_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partB_pred)%3A%0A%20%20%20%20mo.stop(partB_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partB_batch%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D64%2C%20value%3D1%2C%20step%3D1%2C%20label%3D%22Batch%20size%22)%0A%20%20%20%20partB_arr%20%3D%20mo.ui.slider(start%3D100%2C%20stop%3D2000%2C%20value%3D500%2C%20step%3D50%2C%20label%3D%22Arrival%20rate%20(QPS)%22)%0A%20%20%20%20partB_slo%20%3D%20mo.ui.slider(start%3D10%2C%20stop%3D100%2C%20value%3D50%2C%20step%3D5%2C%20label%3D%22SLO%20budget%20(ms)%22)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Part%20C%20widgets%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20partC_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%208%20(one%20per%20GPU)%22%3A%20%228%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%204%20(split%20model%20and%20cache)%22%3A%20%224%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%201%20(KV%20cache%20fills%20all%20memory)%22%3A%20%221%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%2016%20(tensor%20parallelism)%22%3A%20%2216%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Llama-2%2070B%2C%20128K%20context%2C%208xH100%20(640%20GB).%20Max%20concurrent%20batch%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partB_arr%2C%20partB_batch%2C%20partB_slo%2C%20partC_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partC_pred)%3A%0A%20%20%20%20mo.stop(partC_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partC_model%20%3D%20mo.ui.dropdown(options%3D%7B%227B%22%3A%207%2C%20%2213B%22%3A%2013%2C%20%2270B%22%3A%2070%7D%2C%20value%3D%2270B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Model%20size%22)%0A%20%20%20%20partC_prec%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22FP16%20(2B)%22%3A%202%2C%20%22INT8%20(1B)%22%3A%201%2C%20%22INT4%20(0.5B)%22%3A%200.5%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22FP16%20(2B)%22%2C%20label%3D%22Weight%20precision%20(bytes)%22)%0A%20%20%20%20partC_ctx%20%3D%20mo.ui.slider(start%3D2048%2C%20stop%3D131072%2C%20value%3D131072%2C%20step%3D2048%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Context%20length%20(tokens)%22)%0A%20%20%20%20partC_gpus%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%221%20GPU%20(80%20GB)%22%3A%201%2C%20%224%20GPUs%20(320%20GB)%22%3A%204%2C%20%228%20GPUs%20(640%20GB)%22%3A%208%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%228%20GPUs%20(640%20GB)%22%2C%20label%3D%22GPU%20count%22)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Part%20D%20widgets%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20partD_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~200%20ms%20(normal%20inference%20latency)%22%3A%20%22200ms%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~2%20seconds%20(some%20loading%20overhead)%22%3A%20%222s%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~15%20seconds%20(loading%20140%20GB%20over%20PCIe%20Gen5)%22%3A%20%2215s%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~60%20seconds%20(loading%20from%20network%20storage)%22%3A%20%2260s%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Auto-scaling%20Llama-2%2070B%20during%20traffic%20spike.%20First-user%20wait%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partC_ctx%2C%20partC_gpus%2C%20partC_model%2C%20partC_prec%2C%20partD_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20H100_BW_GBS%2C%0A%20%20%20%20H100_RAM_GB%2C%0A%20%20%20%20JETSON_BW_GBS%2C%0A%20%20%20%20JETSON_RAM_GB%2C%0A%20%20%20%20NET_FS_GBS%2C%0A%20%20%20%20NVME_SEQ_GBS%2C%0A%20%20%20%20PCIE_GEN4_GBS%2C%0A%20%20%20%20PCIE_GEN5_GBS%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20go%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20partA_pred%2C%0A%20%20%20%20partA_rho%2C%0A%20%20%20%20partA_slo%2C%0A%20%20%20%20partA_svc%2C%0A%20%20%20%20partB_arr%2C%0A%20%20%20%20partB_batch%2C%0A%20%20%20%20partB_pred%2C%0A%20%20%20%20partB_slo%2C%0A%20%20%20%20partC_ctx%2C%0A%20%20%20%20partC_gpus%2C%0A%20%20%20%20partC_model%2C%0A%20%20%20%20partC_prec%2C%0A%20%20%20%20partC_pred%2C%0A%20%20%20%20partD_pred%2C%0A)%3A%0A%20%20%20%20mo.stop(partD_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partD_model%20%3D%20mo.ui.dropdown(options%3D%7B%227B%22%3A%207%2C%20%2213B%22%3A%2013%2C%20%2270B%22%3A%2070%7D%2C%20value%3D%2270B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Model%20size%22)%0A%20%20%20%20partD_stor%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22NVMe%20SSD%22%3A%20%22nvme%22%2C%20%22Network%20FS%22%3A%20%22nfs%22%2C%20%22Cached%20in%20RAM%22%3A%20%22ram%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22NVMe%20SSD%22%2C%20label%3D%22Storage%20type%22)%0A%20%20%20%20partD_pcie%20%3D%20mo.ui.dropdown(options%3D%7B%22PCIe%20Gen4%22%3A%20%22gen4%22%2C%20%22PCIe%20Gen5%22%3A%20%22gen5%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D%22PCIe%20Gen5%22%2C%20label%3D%22Interconnect%22)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20A%20%E2%80%94%20The%20Tail%20Latency%20Explosion%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'BlueL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20SRE%20Lead%2C%20InferenceCloud%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BOur%20ResNet-50%20cluster%20reports%2025%20ms%20average%20latency%20at%2080%25%20utilization.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Product%20says%20the%20system%20is%20healthy.%20But%20top-tier%20customers%20are%20complaining%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20about%20timeouts.%20Can%20you%20investigate%3F%26rdquo%3B%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20The%20M%2FM%2F1%20Queuing%20Model%20Predicts%20Tail%20Latency%20Divergence%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Mean%20wait%20%20%3D%20service_time%20%2F%20(1%20-%20rho)%0A%20%20%20%20P99%20wait%20%20%20%3D%20ln(100)%20*%20service_time%20%2F%20(1%20-%20rho)%20%3D%204.6%20*%20service_time%20%2F%20(1%20-%20rho)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20The%20P99%2Fmean%20ratio%20is%20always%20**4.6x**%20for%20M%2FM%2F1%2C%20but%20absolute%20values%20explode%0A%20%20%20%20as%20rho%20approaches%201.0.%20At%20rho%3D0.80%2C%20the%201%2F(1-rho)%20amplifier%20is%205x%2C%20making%0A%20%20%20%20P99%20%3D%204.6%20*%205%20*%20service_time%20%3D%20**23x%20service%20time**.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partA_pred)%0A%20%20%20%20%20%20%20%20if%20partA_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Select%20your%20prediction%20to%20unlock%20the%20P99%20latency%20instruments.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartA_rho%2C%20partA_svc%2C%20partA_slo%5D%2C%20widths%3D%22equal%22))%0A%0A%20%20%20%20%20%20%20%20_rho%20%3D%20partA_rho.value%0A%20%20%20%20%20%20%20%20_svc%20%3D%20partA_svc.value%0A%20%20%20%20%20%20%20%20_slo%20%3D%20partA_slo.value%0A%20%20%20%20%20%20%20%20_mean%20%3D%20_svc%20%2F%20(1%20-%20_rho)%20if%20_rho%20%3C%201.0%20else%209999.0%0A%20%20%20%20%20%20%20%20_p99%20%3D%204.6%20*%20_svc%20%2F%20(1%20-%20_rho)%20if%20_rho%20%3C%201.0%20else%209999.0%0A%20%20%20%20%20%20%20%20_p99_ratio%20%3D%20_p99%20%2F%20_svc%20if%20_svc%20%3E%200%20else%200%0A%0A%20%20%20%20%20%20%20%20%23%20Divergence%20chart%0A%20%20%20%20%20%20%20%20_rhos%20%3D%20np.linspace(0.05%2C%200.95%2C%2050)%0A%20%20%20%20%20%20%20%20_means%20%3D%20%5B_svc%20%2F%20(1%20-%20r)%20for%20r%20in%20_rhos%5D%0A%20%20%20%20%20%20%20%20_p99s%20%3D%20%5B4.6%20*%20_svc%20%2F%20(1%20-%20r)%20for%20r%20in%20_rhos%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D_rhos%2C%20y%3D_means%2C%20mode%3D'lines'%2C%20name%3D'Mean%20Latency'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B'BlueLine'%5D%2C%20width%3D2)))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D_rhos%2C%20y%3D_p99s%2C%20mode%3D'lines'%2C%20name%3D'P99%20Latency'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B'RedLine'%5D%2C%20width%3D3)))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D_slo%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B'GreenLine'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22SLO%20%3D%20%7B_slo%3A.0f%7D%20ms%22)%0A%20%20%20%20%20%20%20%20if%20_rho%20%3C%201.0%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D%5B_rho%5D%2C%20y%3D%5B_p99%5D%2C%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df'P99%20%40%20rho%3D%7B_rho%3A.2f%7D'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3DCOLORS%5B'RedLine'%5D%2C%20size%3D14%2C%20symbol%3D'diamond')))%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D%5B_rho%5D%2C%20y%3D%5B_mean%5D%2C%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df'Mean%20%40%20rho%3D%7B_rho%3A.2f%7D'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3DCOLORS%5B'BlueLine'%5D%2C%20size%3D10)))%0A%20%20%20%20%20%20%20%20_fig.update_layout(height%3D380%2C%20xaxis%3Ddict(title%3D%22Utilization%20(rho)%22%2C%20range%3D%5B0%2C%201%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Latency%20(ms)%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_slo_viol%20%3D%20_p99%20%3E%20_slo%0A%20%20%20%20%20%20%20%20_p99_col%20%3D%20COLORS%5B'RedLine'%5D%20if%20_slo_viol%20else%20COLORS%5B'GreenLine'%5D%0A%20%20%20%20%20%20%20%20_mean_col%20%3D%20COLORS%5B'GreenLine'%5D%20if%20_mean%20%3C%20_slo%20else%20COLORS%5B'OrangeLine'%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7B_mean_col%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EMean%20Latency%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_mean_col%7D%3B%22%3E%7B_mean%3A.1f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_mean%2F_svc%3A.1f%7Dx%20service%20time%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A2px%20solid%20%7B_p99_col%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7B_p99_col%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EP99%20Latency%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_p99_col%7D%3B%22%3E%7B_p99%3A.1f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_p99_ratio%3A.1f%7Dx%20service%20time%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EP99%2FMean%20Ratio%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E4.6x%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3Eln(100)%20for%20M%2FM%2F1%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20_slo_viol%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**SLO%20VIOLATED.**%20P99%20%3D%20%7B_p99%3A.1f%7D%20ms%20%3E%20%7B_slo%3A.0f%7D%20ms%20SLO.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Mean%20looks%20healthy%20(%7B_mean%3A.1f%7D%20ms)%20but%201%20in%20100%20users%20sees%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_p99%2F_mean%3A.1f%7Dx%20worse.%22)%2C%20kind%3D%22danger%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**M%2FM%2F1%20%26mdash%3B%20Live**%20(%60rho%3D%7B_rho%3A.2f%7D%2C%20service%3D%7B_svc%3A.1f%7D%20ms%60)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Mean%20%3D%20%7B_svc%3A.1f%7D%20%2F%20(1%20-%20%7B_rho%3A.2f%7D)%20%3D%20%7B_svc%3A.1f%7D%20%2F%20%7B1-_rho%3A.2f%7D%20%3D%20%7B_mean%3A.1f%7D%20ms%0A%20%20%20%20P99%20%20%3D%204.6%20*%20%7B_svc%3A.1f%7D%20%2F%20%7B1-_rho%3A.2f%7D%20%3D%20%7B_p99%3A.1f%7D%20ms%20%20(%7B_p99_ratio%3A.1f%7Dx%20service)%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20%40eq-mm1-wait%20and%20%40eq-p99-latency*%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_actual_p99%20%3D%204.6%20*%205.0%20%2F%200.2%20%20%23%20115%20ms%0A%20%20%20%20%20%20%20%20if%20partA_pred.value%20%3D%3D%20%22115ms%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Correct.**%20P99%20%3D%204.6%20*%205%20%2F%200.2%20%3D%20%7B_actual_p99%3A.0f%7D%20ms%20(23x%20service%20time).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Most%20engineers%20only%20monitor%20mean%20latency.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partA_pred.value%20%3D%3D%20%2225ms%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**You%20confused%20mean%20with%20P99.**%20Mean%20is%2025%20ms.%20P99%20%3D%204.6%20*%20mean%20%3D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_actual_p99%3A.0f%7D%20ms.%20The%20ln(100)%20multiplier%20is%20the%20gap.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Actual%20P99%20is%20%7B_actual_p99%3A.0f%7D%20ms**%20%26mdash%3B%2023x%20service%20time.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%201%2F(1-rho)%20amplifier%20at%200.80%20is%205x%2C%20times%20ln(100)%3D4.6.%22)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20B%20%E2%80%94%20The%20Batching%20Tax%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'OrangeL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Escalation%20%26middot%3B%20Performance%20Engineer%2C%20InferenceCloud%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20know%20tail%20latency%20is%20the%20problem.%20Throughput%20team%20says%20batching%20is%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fix%20%26mdash%3B%20batch-32%20gives%206.4x%20throughput.%20Will%20this%20fix%20SLO%20violations%3F%26rdquo%3B%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Batching%20Imposes%20a%20Formation%20Delay%20Tax%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Formation%20delay%20%3D%20(B%20-%201)%20%2F%20(2%20*%20lambda)%20%20%20%20%20%5Bseconds%5D%0A%20%20%20%20Total%20latency%20%20%20%3D%20Formation%20delay%20%2B%20Inference(B)%20%2B%20Queuing%20delay%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20Each%20request%20waits%20for%20the%20batch%20to%20fill.%20This%20delay%20is%20consumed%20**before**%0A%20%20%20%20the%20GPU%20fires%20a%20single%20kernel.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partB_pred)%0A%20%20%20%20%20%20%20%20if%20partB_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Select%20your%20prediction%20to%20unlock%20the%20batching%20instruments.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartB_batch%2C%20partB_arr%2C%20partB_slo%5D%2C%20widths%3D%22equal%22))%0A%0A%20%20%20%20%20%20%20%20_B%20%3D%20partB_batch.value%0A%20%20%20%20%20%20%20%20_lam%20%3D%20partB_arr.value%0A%20%20%20%20%20%20%20%20_slo%20%3D%20partB_slo.value%0A%20%20%20%20%20%20%20%20_form%20%3D%20(_B%20-%201)%20%2F%20(2%20*%20_lam)%20*%201000%20%20%23%20ms%0A%20%20%20%20%20%20%20%20_infer%20%3D%200.5%20%2B%200.1%20*%20(_B%20-%201)%20%20%23%20ms%20(ResNet-50%20on%20H100)%0A%20%20%20%20%20%20%20%20_eff_svc%20%3D%20_form%20%2B%20_infer%0A%20%20%20%20%20%20%20%20_eff_arr%20%3D%20_lam%20%2F%20max(_B%2C%201)%0A%20%20%20%20%20%20%20%20_eff_rho%20%3D%20_eff_arr%20*%20(_eff_svc%20%2F%201000)%20if%20_eff_svc%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20_q_del%20%3D%20_eff_svc%20*%20_eff_rho%20%2F%20(1%20-%20_eff_rho)%20if%200%20%3C%20_eff_rho%20%3C%201%20else%20999.0%0A%20%20%20%20%20%20%20%20_total%20%3D%20_form%20%2B%20_infer%20%2B%20min(_q_del%2C%20999)%0A%20%20%20%20%20%20%20%20_slo_viol%20%3D%20_total%20%3E%20_slo%0A%20%20%20%20%20%20%20%20_form_pct%20%3D%20_form%20%2F%20_slo%20*%20100%20if%20_slo%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20_tput%20%3D%20_B%20%2F%20(_eff_svc%20%2F%201000)%20if%20_eff_svc%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20_tput_ratio%20%3D%20_tput%20%2F%20(1%20%2F%20(0.5%20%2F%201000))%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20for%20_name%2C%20_val%2C%20_col%20in%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Formation%20Delay%22%2C%20_form%2C%20COLORS%5B'OrangeLine'%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Inference%22%2C%20_infer%2C%20COLORS%5B'BlueLine'%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Queuing%22%2C%20min(_q_del%2C%20500)%2C%20COLORS%5B'RedLine'%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D_name%2C%20x%3D%5B_name%5D%2C%20y%3D%5B_val%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_col%2C%20opacity%3D0.88))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D_slo%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B'GreenLine'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22SLO%20%3D%20%7B_slo%7D%20ms%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(height%3D340%2C%20yaxis%3Ddict(title%3D%22Latency%20(ms)%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_form_col%20%3D%20COLORS%5B'RedLine'%5D%20if%20_form_pct%20%3E%2050%20else%20COLORS%5B'OrangeLine'%5D%0A%20%20%20%20%20%20%20%20_tot_col%20%3D%20COLORS%5B'RedLine'%5D%20if%20_slo_viol%20else%20COLORS%5B'GreenLine'%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7B_form_col%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EFormation%20Delay%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_form_col%7D%3B%22%3E%7B_form%3A.1f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_form_pct%3A.0f%7D%25%20of%20SLO%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EThroughput%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_tput%3A.0f%7D%20QPS%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_tput_ratio%3A.1f%7Dx%20over%20batch%3D1%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A2px%20solid%20%7B_tot_col%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7B_tot_col%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ETotal%20Latency%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_tot_col%7D%3B%22%3E%7Bmin(_total%2C999)%3A.1f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B%22SLO%20VIOLATED%22%20if%20_slo_viol%20else%20%22Within%20SLO%22%7D%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20_slo_viol%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**SLO%20VIOLATED.**%20%7B_form%3A.1f%7D%20%2B%20%7B_infer%3A.1f%7D%20%2B%20%7Bmin(_q_del%2C999)%3A.1f%7D%20%3D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bmin(_total%2C999)%3A.1f%7D%20ms%20%3E%20%7B_slo%7D%20ms.%20Formation%20delay%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_form_pct%3A.0f%7D%25%20of%20the%20SLO.%22)%2C%20kind%3D%22danger%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Batching%20Tax%20%26mdash%3B%20Live**%20(%60B%3D%7B_B%7D%2C%20lambda%3D%7B_lam%7D%20QPS%2C%20SLO%3D%7B_slo%7D%20ms%60)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Formation%20delay%20%3D%20(%7B_B%7D-1)%20%2F%20(2*%7B_lam%7D)%20*%201000%20%3D%20%7B_form%3A.1f%7D%20ms%20%20(%7B_form_pct%3A.0f%7D%25%20of%20SLO)%0A%20%20%20%20Inference%20%20%20%20%20%20%20%3D%20%7B_infer%3A.1f%7D%20ms%20%20(batch%3D%7B_B%7D%20on%20H100)%0A%20%20%20%20Queuing%20delay%20%20%20%3D%20%7Bmin(_q_del%2C999)%3A.1f%7D%20ms%20%20(rho_eff%3D%7B_eff_rho%3A.2f%7D)%0A%20%20%20%20Total%20%20%20%20%20%20%20%20%20%20%20%3D%20%7Bmin(_total%2C999)%3A.1f%7D%20ms%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20formation%20delay%20from%20%40sec-model-serving-batching*%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_ref_form%20%3D%20(32%20-%201)%20%2F%20(2%20*%20500)%20*%201000%0A%20%20%20%20%20%20%20%20if%20partB_pred.value%20%3D%3D%20%22delay%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Correct.**%20Formation%20delay%20for%20B%3D32%20at%20500%20QPS%20%3D%20%7B_ref_form%3A.0f%7D%20ms%20%3D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%2262%25%20of%20a%2050%20ms%20SLO.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Formation%20delay%20kills%20the%20SLO.**%20B%3D32%20at%20500%20QPS%3A%20%7B_ref_form%3A.0f%7D%20ms%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22of%20waiting%20before%20the%20GPU%20fires.%22)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20C%20%E2%80%94%20The%20LLM%20Memory%20Wall%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'RedL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Head%20of%20ML%20Infrastructure%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20need%20to%20serve%20Llama-2%2070B%20with%20128K%20context%20on%208xH100.%20Compute%20team%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20says%20we%20can%20batch%208%20requests%20%26mdash%3B%20one%20per%20GPU.%20Can%20you%20verify%3F%26rdquo%3B%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20KV%20Cache%20Capacity%20Determines%20LLM%20Concurrency%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20KV%20cache%20(bytes)%20%3D%202%20*%20layers%20*%20heads%20*%20head_dim%20*%20seq_len%20*%20batch%20*%20bytes_per_elem%0A%20%20%20%20Total%20memory%20%20%20%20%20%3D%20model_weights%20%2B%20KV_cache%0A%20%20%20%20Max%20batch%20%20%20%20%20%20%20%20%3D%20floor((HBM%20-%20weights)%20%2F%20KV_per_request)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20At%20long%20context%2C%20KV%20cache%20exceeds%20model%20weights.%20Compute%20parallelism%20is%20irrelevant%0A%20%20%20%20when%20memory%20capacity%20is%20the%20binding%20constraint.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partC_pred)%0A%20%20%20%20%20%20%20%20if%20partC_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Select%20your%20prediction%20to%20unlock%20the%20KV%20cache%20calculator.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartC_model%2C%20partC_prec%2C%20partC_ctx%2C%20partC_gpus%5D%2C%20widths%3D%22equal%22))%0A%0A%20%20%20%20%20%20%20%20_pb%20%3D%20partC_model.value%0A%20%20%20%20%20%20%20%20_bpp%20%3D%20partC_prec.value%0A%20%20%20%20%20%20%20%20_ctx%20%3D%20partC_ctx.value%0A%20%20%20%20%20%20%20%20_ng%20%3D%20partC_gpus.value%0A%0A%20%20%20%20%20%20%20%20_cfgs%20%3D%20%7B7%3A%20(32%2C%2032%2C%204096)%2C%2013%3A%20(40%2C%2040%2C%205120)%2C%2070%3A%20(80%2C%2064%2C%208192)%7D%0A%20%20%20%20%20%20%20%20_layers%2C%20_heads%2C%20_hidden%20%3D%20_cfgs%5B_pb%5D%0A%20%20%20%20%20%20%20%20_hdim%20%3D%20_hidden%20%2F%2F%20_heads%0A%20%20%20%20%20%20%20%20_w_gb%20%3D%20_pb%20*%201e9%20*%20_bpp%20%2F%20(1024**3)%0A%20%20%20%20%20%20%20%20_kv_gb%20%3D%20(2%20*%20_layers%20*%20_heads%20*%20_hdim%20*%20_ctx%20*%20_bpp)%20%2F%20(1024**3)%0A%20%20%20%20%20%20%20%20_hbm%20%3D%20_ng%20*%20H100_RAM_GB%0A%20%20%20%20%20%20%20%20_avail%20%3D%20_hbm%20-%20_w_gb%0A%20%20%20%20%20%20%20%20_max_b%20%3D%20max(0%2C%20int(_avail%20%2F%20_kv_gb))%20if%20_kv_gb%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20_bw%20%3D%20_ng%20*%20H100_BW_GBS%0A%20%20%20%20%20%20%20%20_tok_ms%20%3D%20(_w_gb%20%2B%20_kv_gb)%20%2F%20_bw%20*%201000%20if%20_bw%20%3E%200%20else%200%0A%0A%20%20%20%20%20%20%20%20_br%20%3D%20list(range(1%2C%20min(_max_b%20%2B%203%2C%2020)))%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Weights%22%2C%20x%3D%5Bstr(b)%20for%20b%20in%20_br%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B_w_gb%5D*len(_br)%2C%20marker_color%3DCOLORS%5B'BlueLine'%5D%2C%20opacity%3D0.88))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22KV%20Cache%22%2C%20x%3D%5Bstr(b)%20for%20b%20in%20_br%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B_kv_gb*b%20for%20b%20in%20_br%5D%2C%20marker_color%3DCOLORS%5B'OrangeLine'%5D%2C%20opacity%3D0.88))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D_hbm%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B'RedLine'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22HBM%20%3D%20%7B_hbm%3A.0f%7D%20GB%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(barmode%3D%22stack%22%2C%20height%3D380%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Concurrent%20Batch%20Size%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Memory%20(GB)%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_oom%20%3D%20_max_b%20%3D%3D%200%0A%20%20%20%20%20%20%20%20_mem_col%20%3D%20COLORS%5B'RedLine'%5D%20if%20_oom%20else%20COLORS%5B'GreenLine'%5D%0A%20%20%20%20%20%20%20%20_kv_col%20%3D%20COLORS%5B'RedLine'%5D%20if%20_kv_gb%20%3E%20_avail%20else%20COLORS%5B'OrangeLine'%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EWeights%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_w_gb%3A.0f%7D%20GB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_pb%7DB%20x%20%7B_bpp%7D%20B%2Fparam%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7B_kv_col%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EKV%20%2F%20Request%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_kv_col%7D%3B%22%3E%7B_kv_gb%3A.1f%7D%20GB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_ctx%3A%2C%7D%20tokens%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A2px%20solid%20%7B_mem_col%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7B_mem_col%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EMax%20Batch%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_mem_col%7D%3B%22%3E%7B_max_b%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_hbm%3A.0f%7D%20GB%20HBM%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EToken%20Time%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_tok_ms%3A.1f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3Emem-BW%20bound%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20_oom%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**OOM.**%20Weights%20(%7B_w_gb%3A.0f%7D%20GB)%20%2B%20KV%20(%7B_kv_gb%3A.1f%7D%20GB)%20%3D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_w_gb%2B_kv_gb%3A.0f%7D%20GB%20%3E%20%7B_hbm%3A.0f%7D%20GB.%20Reduce%20context%20or%20quantize.%22)%2C%20kind%3D%22danger%22))%0A%20%20%20%20%20%20%20%20elif%20_max_b%20%3C%3D%202%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Severe%20concurrency%20limit.**%20Max%20%7B_max_b%7D%20concurrent%20request(s).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22KV%20cache%20dominates%20memory.%22)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**KV%20Cache%20%26mdash%3B%20Live**%20(%60%7B_pb%7DB%2C%20%7B_bpp%7DB%2Fparam%2C%20%7B_ctx%3A%2C%7D%20tokens%2C%20%7B_ng%7D%20GPUs%60)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Weights%20%20%20%20%20%20%3D%20%7B_pb%7DB%20*%20%7B_bpp%7D%20%3D%20%7B_w_gb%3A.0f%7D%20GB%0A%20%20%20%20KV%2Frequest%20%20%20%3D%202*%7B_layers%7D*%7B_heads%7D*%7B_hdim%7D*%7B_ctx%3A%2C%7D*%7B_bpp%7D%20%3D%20%7B_kv_gb%3A.1f%7D%20GB%0A%20%20%20%20Available%20%20%20%20%3D%20%7B_hbm%3A.0f%7D%20-%20%7B_w_gb%3A.0f%7D%20%3D%20%7B_avail%3A.0f%7D%20GB%0A%20%20%20%20Max%20batch%20%20%20%20%3D%20floor(%7B_avail%3A.0f%7D%20%2F%20%7B_kv_gb%3A.1f%7D)%20%3D%20%7B_max_b%7D%0A%20%20%20%20T_token%20%20%20%20%20%20%3D%20(%7B_w_gb%3A.0f%7D%2B%7B_kv_gb%3A.1f%7D)%20%2F%20%7B_bw%3A.0f%7D%20GB%2Fs%20%3D%20%7B_tok_ms%3A.1f%7D%20ms%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20%40sec-model-serving-kv-cache*%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Edge%20comparison%3A%20same%20model%20on%20Jetson%20Orin%20NX%0A%20%20%20%20%20%20%20%20_edge_hbm%20%3D%20JETSON_RAM_GB%0A%20%20%20%20%20%20%20%20_edge_fits%20%3D%20_w_gb%20%3C%3D%20_edge_hbm%0A%20%20%20%20%20%20%20%20_edge_max_b%20%3D%20max(0%2C%20int((_edge_hbm%20-%20_w_gb)%20%2F%20_kv_gb))%20if%20_edge_fits%20and%20_kv_gb%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20_edge_tok_ms%20%3D%20_w_gb%20%2F%20JETSON_BW_GBS%20*%201000%20if%20JETSON_BW_GBS%20%3E%200%20else%20float('inf')%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Edge%20comparison%20(Jetson%20Orin%20NX%2C%20%7B_edge_hbm%3A.0f%7D%20GB)%3A**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(f%22OOM%20%E2%80%94%20weights%20alone%20(%7B_w_gb%3A.0f%7D%20GB)%20exceed%20%7B_edge_hbm%3A.0f%7D%20GB%20memory.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20_edge_fits%20else%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Max%20batch%20%3D%20%7B_edge_max_b%7D%2C%20token%20time%20%3D%20%7B_edge_tok_ms%3A.0f%7D%20ms%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22(%7B_edge_tok_ms%2F_tok_ms%3A.0f%7Dx%20slower).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Edge%20serving%20requires%20aggressive%20quantization%20and%20small%20context%20windows.%22)%0A%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20if%20partC_pred.value%20%3D%3D%20%221%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%2070B%20FP16%20at%20128K%3A%20KV%20%3D%20~320%20GB%20per%20request.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Weights%20%3D%20140%20GB.%20Total%20%3D%20460%20GB.%20Only%20180%20GB%20remains%20of%20640%20GB.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partC_pred.value%20%3D%3D%20%228%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Memory%2C%20not%20compute%2C%20sets%20concurrency.**%208%20GPUs%20give%208-way%20parallelism%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22but%20a%20single%20128K%20request%20needs%20~320%20GB%20of%20KV%20cache.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**KV%20cache%20at%20128K%20is%20~320%20GB%20per%20request.**%20Only%201%20fits%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22after%20model%20weights%20in%20640%20GB%20HBM.%22)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20D%20%E2%80%94%20The%20Cold%20Start%20Tax%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'OrangeL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20DevOps%20Lead%2C%20ServerlessLLM%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20auto-scale%20Llama-2%2070B%20on%20Kubernetes.%20During%20traffic%20spikes%2C%20new%20pods%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20take%20forever.%20Users%20complain%20about%20first-request%20timeouts.%20What%20is%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20theoretical%20minimum%20cold%20start%20time%3F%26rdquo%3B%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Cold%20Start%20%3D%20Data%20Movement%20%2B%20Initialization%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20T_cold%20%3D%20model_size%20%2F%20min(storage_BW%2C%20interconnect_BW)%0A%20%20%20%20%20%20%20%2B%20deserialization%20%2B%20CUDA_init%20%2B%20warmup%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20For%20large%20models%20this%20is%20seconds%20to%20minutes%2C%20experienced%20by%20real%20users.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partD_pred)%0A%20%20%20%20%20%20%20%20if%20partD_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Select%20your%20prediction%20to%20unlock%20the%20cold%20start%20calculator.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartD_model%2C%20partD_stor%2C%20partD_pcie%5D%2C%20widths%3D%22equal%22))%0A%0A%20%20%20%20%20%20%20%20_pb%20%3D%20partD_model.value%0A%20%20%20%20%20%20%20%20_stor%20%3D%20partD_stor.value%0A%20%20%20%20%20%20%20%20_ic%20%3D%20partD_pcie.value%0A%20%20%20%20%20%20%20%20_m_gb%20%3D%20_pb%20*%201e9%20*%202%20%2F%20(1024**3)%0A%20%20%20%20%20%20%20%20_s_bw%20%3D%20%7B%22nvme%22%3A%20NVME_SEQ_GBS%2C%20%22nfs%22%3A%20NET_FS_GBS%2C%20%22ram%22%3A%2050.0%7D%5B_stor%5D%0A%20%20%20%20%20%20%20%20_s_lbl%20%3D%20%7B%22nvme%22%3A%20%22NVMe%20SSD%22%2C%20%22nfs%22%3A%20%22Network%20FS%22%2C%20%22ram%22%3A%20%22Host%20RAM%22%7D%5B_stor%5D%0A%20%20%20%20%20%20%20%20_p_bw%20%3D%20PCIE_GEN5_GBS%20if%20_ic%20%3D%3D%20%22gen5%22%20else%20PCIE_GEN4_GBS%0A%20%20%20%20%20%20%20%20_p_lbl%20%3D%20%22PCIe%20Gen5%22%20if%20_ic%20%3D%3D%20%22gen5%22%20else%20%22PCIe%20Gen4%22%0A%20%20%20%20%20%20%20%20_eff%20%3D%20min(_s_bw%2C%20_p_bw)%0A%20%20%20%20%20%20%20%20_t_read%20%3D%20_m_gb%20%2F%20_eff%0A%20%20%20%20%20%20%20%20_t_deser%20%3D%20_m_gb%20%2F%2020.0%0A%20%20%20%20%20%20%20%20_t_cuda%20%3D%200.8%0A%20%20%20%20%20%20%20%20_t_warm%20%3D%200.5%0A%20%20%20%20%20%20%20%20_t_total%20%3D%20_t_read%20%2B%20_t_deser%20%2B%20_t_cuda%20%2B%20_t_warm%0A%20%20%20%20%20%20%20%20_patience%20%3D%203.0%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_cum%20%3D%200%0A%20%20%20%20%20%20%20%20for%20_nm%2C%20_dur%2C%20_cl%20in%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Disk%20Read%22%2C%20_t_read%2C%20COLORS%5B'BlueLine'%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Deserialization%22%2C%20_t_deser%2C%20COLORS%5B'OrangeLine'%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22CUDA%20Init%22%2C%20_t_cuda%2C%20%22%2364748b%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Warmup%22%2C%20_t_warm%2C%20COLORS%5B'GreenLine'%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D_nm%2C%20x%3D%5B_dur%5D%2C%20y%3D%5B%22Cold%20Start%22%5D%2C%20orientation%3D'h'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_cl%2C%20opacity%3D0.88%2C%20base%3D_cum))%0A%20%20%20%20%20%20%20%20%20%20%20%20_cum%20%2B%3D%20_dur%0A%20%20%20%20%20%20%20%20_fig.add_vline(x%3D_patience%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B'RedLine'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%22User%20patience%20(3s)%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(height%3D200%2C%20barmode%3D%22stack%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Time%20(seconds)%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.3%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D80%2C%20r%3D20%2C%20t%3D50%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_t_col%20%3D%20COLORS%5B'RedLine'%5D%20if%20_t_total%20%3E%20_patience%20else%20COLORS%5B'GreenLine'%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EModel%20(FP16)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_m_gb%3A.0f%7D%20GB%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EEffective%20BW%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_eff%3A.1f%7D%20GB%2Fs%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3Emin(%7B_s_lbl%7D%2C%20%7B_p_lbl%7D)%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A2px%20solid%20%7B_t_col%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7B_t_col%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ECold%20Start%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_t_col%7D%3B%22%3E%7B_t_total%3A.1f%7D%20s%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B%22EXCEEDS%20PATIENCE%22%20if%20_t_total%20%3E%20_patience%20else%20%22OK%22%7D%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20_t_total%20%3E%20_patience%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Cold%20start%20exceeds%20patience.**%20%7B_t_total%3A.1f%7Ds%20%3E%203s.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Pre-warm%20instances%20or%20cache%20models.%22)%2C%20kind%3D%22danger%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Cold%20Start%20%26mdash%3B%20Live**%20(%60%7B_pb%7DB%20FP16%2C%20%7B_s_lbl%7D%2C%20%7B_p_lbl%7D%60)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Disk%20read%20%20%20%20%3D%20%7B_m_gb%3A.0f%7D%20%2F%20%7B_eff%3A.1f%7D%20%3D%20%7B_t_read%3A.1f%7D%20s%0A%20%20%20%20Deserialize%20%20%3D%20%7B_m_gb%3A.0f%7D%20%2F%2020%20%3D%20%7B_t_deser%3A.1f%7D%20s%0A%20%20%20%20CUDA%20init%20%20%20%20%3D%20%7B_t_cuda%3A.1f%7D%20s%0A%20%20%20%20Warmup%20%20%20%20%20%20%20%3D%20%7B_t_warm%3A.1f%7D%20s%0A%20%20%20%20Total%20%20%20%20%20%20%20%20%3D%20%7B_t_total%3A.1f%7D%20s%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20%40sec-model-serving-cold-start*%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_ref%20%3D%20130%2F7.0%20%2B%20130%2F20.0%20%2B%200.8%20%2B%200.5%0A%20%20%20%20%20%20%20%20if%20partD_pred.value%20%3D%3D%20%2215s%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Correct.**%20140%20GB%20from%20NVMe%20over%20Gen5%3A%20~%7B_ref%3A.0f%7Ds%20total.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partD_pred.value%20%3D%3D%20%22200ms%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**200%20ms%20is%20inference%20latency%2C%20not%20cold%20start.**%20140%20GB%20must%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22load%20first%3A%20~%7B_ref%3A.0f%7Ds.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Cold%20start%20dominated%20by%20data%20movement.**%20140%20GB%20at%207%20GB%2Fs%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%3D%20~%7B130%2F7%3A.0f%7Ds%20transfer%20alone.%20Total%3A%20~%7B_ref%3A.0f%7Ds.%22)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20SYNTHESIS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Key%20Takeaways%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**1.%20P99%20diverges%20from%20mean%20by%204.6x%20at%20every%20utilization%20level.**%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22At%2080%25%20utilization%2C%20P99%20is%2023x%20service%20time%20while%20mean%20is%205x.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Monitor%20P99%2C%20not%20mean.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**2.%20Batching%20taxes%20latency%20before%20inference%20starts.**%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Formation%20delay%20%3D%20(B-1)%2F(2*lambda).%20At%20B%3D32%2C%20500%20QPS%3A%2031%20ms%20%3D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2262%25%20of%20a%2050%20ms%20SLO.%20Find%20the%20Pareto%20knee.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**3.%20KV%20cache%2C%20not%20compute%2C%20limits%20LLM%20concurrency.**%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22At%20128K%20context%2C%2070B%20needs%20~320%20GB%20KV%20per%20request.%20On%208xH100%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22max%20concurrency%20%3D%201.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Connections%0A%0A%20%20%20%20**Textbook%3A**%20%40sec-model-serving%20%26mdash%3B%20queuing%20theory%2C%20batching%2C%20KV%20cache%2C%20cold%20start.%0A%0A%20%20%20%20**TinyTorch%3A**%20Module%2013%20%26mdash%3B%20build%20a%20batched%20inference%20server%20with%20dynamic%20batching.%0A%0A%20%20%20%20**Next%20Lab%3A**%20Lab%2014%20asks%20what%20happens%20after%20deployment%20%26mdash%3B%20when%20the%20model%20silently%0A%20%20%20%20degrades%20while%20all%20infrastructure%20metrics%20stay%20green.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%20%5Cu2014%20Tail%20Latency%20Explosion%22%3A%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%20%5Cu2014%20The%20Batching%20Tax%22%3A%20%20%20%20%20%20%20%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%20%5Cu2014%20The%20LLM%20Memory%20Wall%22%3A%20%20%20%20%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%20%5Cu2014%20The%20Cold%20Start%20Tax%22%3A%20%20%20%20%20%20%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ledger%2C%20mo)%3A%0A%20%20%20%20_ch%20%3D%20ledger._state.history.get(13%2C%20%7B%7D)%0A%20%20%20%20_track%20%3D%20ledger.get_track()%0A%20%20%20%20ledger.save(chapter%3D13%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%22chapter%22%3A%20%22v1_13%22%2C%0A%20%20%20%20%20%20%20%20%22completed%22%3A%20True%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%3Cspan%20class%3D%22hud-value%22%3E13%20%26mdash%3B%20Model%20Serving%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ETRACK%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22%7B'hud-active'%20if%20_track%20!%3D%20'NONE'%20else%20'hud-none'%7D%22%3E%7B_track%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ESTATUS%3C%2Fspan%3E%3Cspan%20class%3D%22hud-active%22%3EACTIVE%3C%2Fspan%3E%0A%20%20%20%20%3C%2Fdiv%3E%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A