lab 08 fleet orch

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.8%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysim-0.1.2-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_labs_dir%20%3D%20Path(__file__).resolve().parents%5B1%5D%0A%20%20%20%20%20%20%20%20if%20str(_labs_dir)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_labs_dir))%0A%20%20%20%20%20%20%20%20from%20bootstrap%20import%20native_bootstrap%0A%20%20%20%20%20%20%20%20native_bootstrap(__file__)%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20from%20mlsysim.labs.components%20import%20DecisionLog%0A%20%20%20%20from%20mlsysim%20import%20Hardware%2C%20Systems%2C%20Infrastructure%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Hardware%20registry%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20H100%20%3D%20Hardware.Cloud.H100%0A%20%20%20%20T4%20%3D%20Hardware.Cloud.T4%0A%20%20%20%20EDGE%20%3D%20Hardware.Edge.JetsonOrinNX%0A%20%20%20%20GPUS_PER_NODE%20%3D%20Systems.Nodes.DGX_H100.accelerators_per_node%0A%20%20%20%20GPU_COST_HR%20%3D%20Infrastructure.Pricing.Fleet.GpuHourRef.rate.m_as(%22USD%2Fhour%22)%0A%20%20%20%20EDGE_TFLOPS%20%3D%20EDGE.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20_%20%3D%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20DecisionLog%2C%0A%20%20%20%20%20%20%20%20GPU_COST_HR%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20LAB_CSS%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%7BCOLORS%5B'Surface0'%5D%7D%200%25%2C%20%7BCOLORS%5B'Surface1'%5D%7D%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2016px%3B%20padding%3A%2032px%2040px%3B%20margin-bottom%3A%208px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%232d3748%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20justify-content%3A%20space-between%3B%20align-items%3A%20flex-start%3B%20flex-wrap%3A%20wrap%3B%20gap%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%2394a3b8%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.14em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Vol%202%20%26middot%3B%20Lab%2008%20%26middot%3B%20Fleet%20Orchestration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%202.0rem%3B%20font-weight%3A%20800%3B%20color%3A%20%23f1f5f9%3B%20line-height%3A%201.15%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Scheduling%20Trap%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.95rem%3B%20color%3A%20%2394a3b8%3B%20max-width%3A%20600px%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20GPU%20scheduling%20is%20not%20CPU%20scheduling.%20Heavy-tailed%20job%20distributions%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20multi-dimensional%20packing%2C%20and%20topology%20constraints%20create%20a%20world%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20where%2080%25%20utilization%20feels%20like%20gridlock%20and%20free%20GPUs%20cannot%20run%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pending%20jobs.%20You%20cannot%20optimize%20everything%20simultaneously.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20flex-direction%3A%20column%3B%20gap%3A%208px%3B%20flex-shrink%3A%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EPollaczek-Khinchine%20Formula%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EGPU%20Fragmentation%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EUtilization%20Paradox%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3E45%26ndash%3B55%20minutes%20%26middot%3B%204%20Parts%20%2B%20Synthesis%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3EQuantify%20the%20queuing%20wall%3A%3C%2Fstrong%3E%20apply%20the%20Pollaczek-Khinchine%20formula%20to%20show%20that%20ML%20heavy-tailed%20workloads%20(C_s%3D3-5)%20cause%205x%20worse%20queue%20wait%20at%2080%25%20utilization%20compared%20to%20uniform%20workloads.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3EDiagnose%20GPU%20fragmentation%3A%3C%2Fstrong%3E%20explain%20why%2077%20idle%20GPUs%20scattered%20across%2012%20nodes%20cannot%20schedule%20a%2064-GPU%20gang-scheduled%20job.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3ERecognize%20the%20utilization%20paradox%3A%3C%2Fstrong%3E%20demonstrate%20that%20maximizing%20utilization%2C%20fairness%2C%20and%20latency%20simultaneously%20is%20impossible.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20margin-bottom%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Queuing%20theory%20basics%20from%20the%20Fleet%20Orchestration%20chapter%20%26middot%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Bandwidth%20hierarchy%20from%20the%20Communication%20chapter%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E35-40%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Part%20A%3A%20~12%20min%20%26middot%3B%20Part%20B%3A%20~25%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-top%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Your%20GPU%20cluster%20is%2080%25%20utilized%20and%20web%20engineers%20say%20that%20is%20comfortable.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Why%20do%20ML%20researchers%20experience%2025-minute%20queue%20waits%2C%20and%20why%20can%20a%20cluster%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20with%2077%20free%20GPUs%20not%20schedule%20a%2064-GPU%20job%3F%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20--%20Complete%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20**The%20Fleet%20Orchestration%20chapter**%20--%20GPU%20scheduling%2C%20heavy-tailed%20distributions%0A%20%20%20%20-%20The%20Queuing%20Theory%20section%20--%20Pollaczek-Khinchine%20formula%2C%20coefficient%20of%20variation%0A%20%20%20%20-%20The%20Fragmentation%20section%20--%20Gang%20scheduling%2C%20multi-dimensional%20bin%20packing%0A%20%20%20%20-%20The%20Scheduling%20Policy%20section%20--%20Utilization%20vs%20fairness%20vs%20latency%20trade-off%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20partA_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~5%20minutes%20--%20similar%20to%20web%20service%20queuing%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~25%20minutes%20--%205x%20worse%20than%20uniform%20workloads%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~1%20hour%20--%20significant%20delay%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~2%20minutes%20--%20GPUs%20are%20fast%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Your%20GPU%20cluster%20runs%20at%2080%25%20utilization.%20ML%20workloads%20have%20C_s%3D3%20(heavy%20tail).%20What%20is%20the%20average%20queue%20wait%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20a1_utilization%20%3D%20mo.ui.slider(start%3D0.10%2C%20stop%3D0.99%2C%20value%3D0.80%2C%20step%3D0.01%2C%20label%3D%22Cluster%20utilization%20(rho)%22)%0A%20%20%20%20a1_workload%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Uniform%20(C_s%3D1)%22%3A%201.0%2C%20%22ML%20Mixed%20(C_s%3D3)%22%3A%203.0%2C%20%22Research%20(C_s%3D5)%22%3A%205.0%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22ML%20Mixed%20(C_s%3D3)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Workload%20type%22%2C%0A%20%20%20%20)%0A%20%20%20%20a1_service_min%20%3D%20mo.ui.slider(start%3D5%2C%20stop%3D120%2C%20value%3D30%2C%20label%3D%22Mean%20service%20time%20(minutes)%22)%0A%20%20%20%20partA_reflection%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Run%20the%20cluster%20at%20lower%20utilization%20--%2050-60%25%20keeps%20wait%20times%20manageable%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Preempt%20long-running%20jobs%20to%20serve%20short%20experiments%20faster%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Add%20more%20GPUs%20until%20utilization%20drops%20below%2070%25%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Use%20priority%20queues%20to%20separate%20long%20and%20short%20jobs%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20is%20the%20most%20effective%20way%20to%20reduce%20queue%20wait%20for%20ML%20workloads%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a1_service_min%2C%0A%20%20%20%20%20%20%20%20a1_utilization%2C%0A%20%20%20%20%20%20%20%20a1_workload%2C%0A%20%20%20%20%20%20%20%20partA_prediction%2C%0A%20%20%20%20%20%20%20%20partA_reflection%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20partB_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Yes%20--%20a%20good%20scheduler%20can%20achieve%20all%20three%20simultaneously%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20No%20--%20these%20goals%20are%20fundamentally%20in%20conflict%3B%20improving%20one%20degrades%20another%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Yes%2C%20but%20only%20with%20preemption%20enabled%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Yes%2C%20but%20only%20at%2050%25%20utilization%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Can%20you%20achieve%20%3E90%25%20utilization%20AND%20%3C10%20min%20wait%20AND%20fair%20access%20across%205%20teams%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20a2_w_throughput%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D100%2C%20value%3D40%2C%20step%3D5%2C%20label%3D%22Priority%3A%20Throughput%20(%25)%22)%0A%20%20%20%20a2_w_fairness%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D100%2C%20value%3D30%2C%20step%3D5%2C%20label%3D%22Priority%3A%20Fairness%20(%25)%22)%0A%20%20%20%20a2_w_latency%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D100%2C%20value%3D30%2C%20step%3D5%2C%20label%3D%22Priority%3A%20Low%20Latency%20(%25)%22)%0A%20%20%20%20a2_n_teams%20%3D%20mo.ui.slider(start%3D2%2C%20stop%3D10%2C%20value%3D5%2C%20step%3D1%2C%20label%3D%22Number%20of%20teams%22)%0A%20%20%20%20partB_reflection%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Implement%20a%20single%20'optimal'%20scheduling%20algorithm%20that%20maximizes%20all%20metrics%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Accept%20the%20trade-off%20and%20provide%20transparency%20--%20let%20stakeholders%20choose%20which%20metric%20to%20sacrifice%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Use%20AI%20to%20predict%20optimal%20scheduling%20decisions%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Increase%20cluster%20size%20until%20all%20metrics%20are%20satisfied%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Given%20the%20impossibility%20of%20simultaneous%20optimization%2C%20what%20is%20the%20best%20operational%20approach%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20a2_n_teams%2C%0A%20%20%20%20%20%20%20%20a2_w_fairness%2C%0A%20%20%20%20%20%20%20%20a2_w_latency%2C%0A%20%20%20%20%20%20%20%20a2_w_throughput%2C%0A%20%20%20%20%20%20%20%20partB_prediction%2C%0A%20%20%20%20%20%20%20%20partB_reflection%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20partC_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Zero%20cost%20--%20preemption%20just%20moves%20jobs%20around%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~2%20hours%20of%20GPU-time%20wasted%20per%20preemption%20(rework%20since%20last%20checkpoint)%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Minimal%20--%20just%20the%20context%20switch%20overhead%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20The%20preempted%20job%20fails%20permanently%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22A%2064-GPU%20training%20job%20has%20been%20running%20for%202%20hours%20since%20its%20last%20checkpoint.%20You%20preempt%20it%20to%20schedule%20a%20higher-priority%20job.%20What%20is%20the%20cost%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20c1_preempt_interval_h%20%3D%20mo.ui.slider(start%3D0.5%2C%20stop%3D8%2C%20value%3D2.0%2C%20step%3D0.5%2C%20label%3D%22Hours%20since%20last%20checkpoint%22)%0A%20%20%20%20c1_job_gpus%20%3D%20mo.ui.slider(start%3D8%2C%20stop%3D128%2C%20value%3D64%2C%20step%3D8%2C%20label%3D%22Preempted%20job%20GPUs%22)%0A%20%20%20%20c1_preemptions_day%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D20%2C%20value%3D5%2C%20step%3D1%2C%20label%3D%22Preemptions%20per%20day%22)%0A%20%20%20%20partC_reflection%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Never%20preempt%20--%20let%20all%20jobs%20run%20to%20completion%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Checkpoint%20before%20preemption%20to%20minimize%20rework%2C%20but%20accept%20the%20checkpoint%20write%20cost%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Preempt%20freely%20--%20rework%20cost%20is%20negligible%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Only%20preempt%20jobs%20smaller%20than%208%20GPUs%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20is%20the%20correct%20preemption%20strategy%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20c1_job_gpus%2C%0A%20%20%20%20%20%20%20%20c1_preempt_interval_h%2C%0A%20%20%20%20%20%20%20%20c1_preemptions_day%2C%0A%20%20%20%20%20%20%20%20partC_prediction%2C%0A%20%20%20%20%20%20%20%20partC_reflection%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20partD_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%2030%25%20--%20same%20as%20single%20cluster%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%2010-15%25%20--%20heterogeneous%20packing%20fills%20gaps%20left%20by%20gang%20scheduling%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%200%25%20--%20heterogeneous%20clusters%20eliminate%20fragmentation%20entirely%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%2050%25%20--%20mixing%20GPU%20types%20makes%20scheduling%20harder%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22You%20add%20a%20pool%20of%20T4%20GPUs%20(%240.35%2Fhr)%20for%20inference%2Fsmall%20jobs%20alongside%20your%20H100%20training%20cluster.%20What%20happens%20to%20the%20H100%20fragmentation%20rate%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20d1_h100_count%20%3D%20mo.ui.slider(start%3D64%2C%20stop%3D512%2C%20value%3D256%2C%20step%3D8%2C%20label%3D%22H100%20GPUs%20(training)%22)%0A%20%20%20%20d1_t4_count%20%3D%20mo.ui.slider(start%3D32%2C%20stop%3D256%2C%20value%3D128%2C%20step%3D8%2C%20label%3D%22T4%20GPUs%20(inference%2Fsmall%20jobs)%22)%0A%20%20%20%20d1_small_job_pct%20%3D%20mo.ui.slider(start%3D10%2C%20stop%3D60%2C%20value%3D30%2C%20step%3D5%2C%20label%3D%22Small%20job%20fraction%20(%25)%22)%0A%20%20%20%20partD_reflection%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Use%20one%20homogeneous%20cluster%20type%20for%20simplicity%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Use%20heterogeneous%20pools%3A%20route%20large%20training%20to%20H100s%2C%20inference%2Fsmall%20jobs%20to%20T4s%2C%20reducing%20H100%20fragmentation%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Buy%20only%20T4s%20--%20they%20are%20cheaper%20per%20GPU%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Hardware%20type%20does%20not%20affect%20scheduling%20efficiency%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22What%20is%20the%20correct%20fleet%20composition%20strategy%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20d1_h100_count%2C%0A%20%20%20%20%20%20%20%20d1_small_job_pct%2C%0A%20%20%20%20%20%20%20%20d1_t4_count%2C%0A%20%20%20%20%20%20%20%20partD_prediction%2C%0A%20%20%20%20%20%20%20%20partD_reflection%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(DecisionLog)%3A%0A%20%20%20%20decision_input%2C%20decision_ui%20%3D%20DecisionLog()%0A%20%20%20%20return%20decision_input%2C%20decision_ui%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20GPU_COST_HR%2C%0A%20%20%20%20a1_service_min%2C%0A%20%20%20%20a1_utilization%2C%0A%20%20%20%20a1_workload%2C%0A%20%20%20%20a2_n_teams%2C%0A%20%20%20%20a2_w_fairness%2C%0A%20%20%20%20a2_w_latency%2C%0A%20%20%20%20a2_w_throughput%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20c1_job_gpus%2C%0A%20%20%20%20c1_preempt_interval_h%2C%0A%20%20%20%20c1_preemptions_day%2C%0A%20%20%20%20d1_h100_count%2C%0A%20%20%20%20d1_small_job_pct%2C%0A%20%20%20%20d1_t4_count%2C%0A%20%20%20%20go%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20partA_prediction%2C%0A%20%20%20%20partA_reflection%2C%0A%20%20%20%20partB_prediction%2C%0A%20%20%20%20partB_reflection%2C%0A%20%20%20%20partC_prediction%2C%0A%20%20%20%20partC_reflection%2C%0A%20%20%20%20partD_prediction%2C%0A%20%20%20%20partD_reflection%2C%0A)%3A%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20A%3A%20THE%20QUEUING%20WALL%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Stakeholder%20message%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'BlueLL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Cluster%20Operations%20Manager%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Our%20GPU%20cluster%20runs%20at%2080%25%20utilization.%20We%20used%20to%20run%20web%20services%20at%2080%25%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20no%20complaints.%20But%20ML%20researchers%20say%20they%20wait%2025%20minutes%20for%20a%20job%20to%0A%20%20%20%20%20%20%20%20%20%20%20%20start.%20Our%20web%20service%20engineers%20say%2080%25%20is%20comfortable.%20Who%20is%20right%3F%22%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Concept%20framing%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20The%20Pollaczek-Khinchine%20(P-K)%20formula%20for%20average%20wait%20time%20in%20an%20M%2FG%2F1%20queue%3A%0A%0A%20%20%20%20**W_q%20%3D%20(rho%20%2F%20(1%20-%20rho))%20*%20((1%20%2B%20C_s%5E2)%20%2F%20(2%20*%20mu))**%0A%0A%20%20%20%20Where%3A%0A%20%20%20%20-%20rho%20%3D%20utilization%20(0%20to%201)%0A%20%20%20%20-%20C_s%20%3D%20coefficient%20of%20variation%20(std_dev%20%2F%20mean)%20of%20service%20time%0A%20%20%20%20-%20mu%20%3D%20service%20rate%20(1%20%2F%20mean%20service%20time)%0A%0A%20%20%20%20For%20web%20services%3A%20C_s%20%3D%201%20(roughly%20exponential%2C%20well-behaved)%0A%20%20%20%20For%20ML%20workloads%3A%20C_s%20%3D%203-5%20(heavy-tailed%3A%20rare%20month-long%20training%20runs%0A%20%20%20%20coexist%20with%20thousands%20of%201-hour%20experiments)%0A%0A%20%20%20%20The%20amplification%20factor%20(1%20%2B%20C_s%5E2)%20%2F%202%3A%0A%20%20%20%20-%20C_s%20%3D%201%3A%20factor%20%3D%201.0%20(baseline)%0A%20%20%20%20-%20C_s%20%3D%203%3A%20factor%20%3D%205.0%20(5x%20worse%20wait)%0A%20%20%20%20-%20C_s%20%3D%205%3A%20factor%20%3D%2013.0%20(13x%20worse%20wait)%0A%0A%20%20%20%20At%20rho%20%3D%200.80%2C%20this%20turns%20a%205-minute%20web%20wait%20into%20a%2025-minute%20ML%20wait.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Prediction%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(partA_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partA_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20Part%20A%20instruments.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Controls%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Queuing%20Wall%20Explorer%22))%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5Ba1_utilization%2C%20a1_workload%2C%20a1_service_min%5D%2C%20justify%3D%22center%22%2C%20gap%3D2))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Instruments%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_rho%20%3D%20a1_utilization.value%0A%20%20%20%20%20%20%20%20_cs%20%3D%20a1_workload.value%0A%20%20%20%20%20%20%20%20_service_min%20%3D%20a1_service_min.value%0A%20%20%20%20%20%20%20%20_mu%20%3D%201.0%20%2F%20_service_min%20%20%23%20jobs%20per%20minute%0A%0A%20%20%20%20%20%20%20%20%23%20P-K%20formula%3A%20W_q%20%3D%20(rho%2F(1-rho))%20*%20((1%2BCs%5E2)%2F(2*mu))%0A%20%20%20%20%20%20%20%20_amplification%20%3D%20(1%20%2B%20_cs%20**%202)%20%2F%202%0A%20%20%20%20%20%20%20%20_wait_min%20%3D%20(_rho%20%2F%20(1%20-%20_rho))%20*%20(_amplification%20%2F%20_mu)%20if%20_rho%20%3C%201.0%20else%20float('inf')%0A%20%20%20%20%20%20%20%20_wait_uniform%20%3D%20(_rho%20%2F%20(1%20-%20_rho))%20*%20(1.0%20%2F%20_mu)%20if%20_rho%20%3C%201.0%20else%20float('inf')%0A%20%20%20%20%20%20%20%20_ratio%20%3D%20_amplification%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Wait%20vs%20utilization%20curves%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_rho_range%20%3D%20np.linspace(0.1%2C%200.98%2C%20100)%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20for%20_csv%2C%20_label%2C%20_clr%20in%20%5B(1.0%2C%20%22Uniform%20(C_s%3D1)%22%2C%20COLORS%5B%22GreenLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(3.0%2C%20%22ML%20Mixed%20(C_s%3D3)%22%2C%20COLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(5.0%2C%20%22Research%20(C_s%3D5)%22%2C%20COLORS%5B%22RedLine%22%5D)%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_amp%20%3D%20(1%20%2B%20_csv%20**%202)%20%2F%202%0A%20%20%20%20%20%20%20%20%20%20%20%20_waits%20%3D%20%5B(_r%20%2F%20(1%20-%20_r))%20*%20(_amp%20%2F%20_mu)%20for%20_r%20in%20_rho_range%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D_rho_range%20*%20100%2C%20y%3D_waits%2C%20mode%3D%22lines%22%2C%20name%3D_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D_clr%2C%20width%3D2.5%20if%20_csv%20%3D%3D%20_cs%20else%201.5)))%0A%20%20%20%20%20%20%20%20%23%20Mark%20current%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D%5B_rho%20*%20100%5D%2C%20y%3D%5Bmin(_wait_min%2C%20500)%5D%2C%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Current%22%2C%20marker%3Ddict(size%3D14%2C%20color%3DCOLORS%5B%22RedLine%22%5D%2C%20symbol%3D%22diamond%22)))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D10%2C%20line%3Ddict(color%3DCOLORS%5B%22TextMuted%22%5D%2C%20width%3D1%2C%20dash%3D%22dot%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%2210%20min%20threshold%22%2C%20annotation_position%3D%22top%20right%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D340%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Cluster%20Utilization%20(%25)%22%2C%20range%3D%5B10%2C%20100%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Average%20Wait%20Time%20(minutes)%22%2C%20range%3D%5B0%2C%20min(max(_wait_min%20*%201.5%2C%2060)%2C%20500)%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20yanchor%3D%22bottom%22%2C%20y%3D1.02%2C%20xanchor%3D%22right%22%2C%20x%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D40%2C%20b%3D50%2C%20l%3D50%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20_wait_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_wait_min%20%3C%2010%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_wait_min%20%3C%2030%20else%20COLORS%5B%22RedLine%22%5D)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A12px%3B%20padding%3A16px%2020px%3B%20margin%3A8px%200%3B%20font-family%3Amonospace%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A0.83rem%3B%20line-height%3A1.8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A8px%3B%20font-family%3Asans-serif%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Physics%20%26mdash%3B%20Pollaczek-Khinchine%20Queuing%20Model%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EUtilization%3A%20rho%20%3D%20%7B_rho%3A.2f%7D%20%26mdash%3B%20C_s%20%3D%20%7B_cs%3A.0f%7D%20%26mdash%3B%20mean%20service%20%3D%20%7B_service_min%7D%20min%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EAmplification%20factor%20%3D%20(1%20%2B%20%7B_cs%3A.0f%7D%5E2)%20%2F%202%20%3D%20%3Cstrong%3E%7B_amplification%3A.1f%7Dx%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EW_q%20%3D%20(%7B_rho%3A.2f%7D%20%2F%20%7B1-_rho%3A.2f%7D)%20%26times%3B%20(%7B_amplification%3A.1f%7D%20%2F%20%7B_mu%3A.4f%7D)%20%3D%20%3Cstrong%20style%3D%22color%3A%7B_wait_color%7D%3B%22%3E%7Bmin(_wait_min%2C%20999)%3A.1f%7D%20min%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EUniform%20wait%20at%20same%20rho%3A%20%7Bmin(_wait_uniform%2C%20999)%3A.1f%7D%20min%20%26mdash%3B%20ML%20is%20%3Cstrong%3E%7B_ratio%3A.1f%7Dx%20worse%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A16px%3B%20justify-content%3Acenter%3B%20margin%3A8px%200%3B%20flex-wrap%3Awrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EWait%20Time%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_wait_color%7D%3B%20font-family%3Amonospace%3B%22%3E%7Bmin(_wait_min%2C%20999)%3A.0f%7Dm%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3EML%20workload%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EAmplification%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_ratio%3A.0f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Evs%20uniform%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EUtilization%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_rho*100%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Ecluster%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.ui.plotly(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Reveal%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20if%20partA_prediction.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20At%20C_s%3D3%2C%20the%20amplification%20factor%20is%20(1%2B9)%2F2%20%3D%205.%20This%20turns%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22a%205-minute%20uniform%20wait%20into%20a%2025-minute%20ML%20wait%20at%2080%25%20utilization.%20The%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22heavy%20tail%20means%20rare%20but%20massive%20training%20jobs%20(months-long)%20coexist%20with%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22thousands%20of%201-hour%20experiments%2C%20creating%20extreme%20variance.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partA_prediction.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**That%20is%20the%20web%20service%20answer.**%205%20minutes%20is%20correct%20for%20C_s%3D1%20(uniform).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22But%20ML%20workloads%20have%20C_s%3D3-5%2C%20which%20amplifies%20wait%20by%205-13x.%20The%20heavy%20tail%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22--%20rare%20large%20jobs%20blocking%20many%20small%20ones%20--%20is%20what%20makes%20ML%20scheduling%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fundamentally%20harder%20than%20web%20service%20scheduling.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partA_prediction.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Possible%20at%20C_s%3D5%2C%20but%20C_s%3D3%20gives%20~25%20min.**%20At%20C_s%3D5%2C%20the%20amplification%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22is%2013x%2C%20and%20wait%20time%20at%2080%25%20utilization%20would%20be%20~65%20minutes.%20But%20typical%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ML%20mixed%20workloads%20have%20C_s%3D3%2C%20giving%20~25%20minutes.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partA_prediction.value%20%3D%3D%20%22D%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Far%20too%20optimistic.**%202%20minutes%20would%20require%20very%20low%20utilization%20(~30%25)%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22for%20ML%20workloads.%20At%2080%25%20with%20C_s%3D3%2C%20the%20P-K%20formula%20gives%20~25%20minutes.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20MathPeek%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Governing%20equations%20--%20Pollaczek-Khinchine%20formula%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20**Pollaczek-Khinchine%20Mean%20Wait%20(M%2FG%2F1)**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20W_q%20%3D%20(rho%20%2F%20(1%20-%20rho))%20*%20((1%20%2B%20C_s%5E2)%20%2F%20(2%20*%20mu))%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20-%20rho%3A%20server%20utilization%20(arrival_rate%20%2F%20service_rate)%0A%20%20%20%20%20%20%20%20-%20C_s%3A%20coefficient%20of%20variation%20of%20service%20time%20%3D%20sigma%20%2F%20mu_service%0A%20%20%20%20%20%20%20%20-%20mu%3A%20service%20rate%20%3D%201%20%2F%20mean_service_time%0A%20%20%20%20%20%20%20%20-%20The%20term%20(1%20%2B%20C_s%5E2)%20%2F%202%20is%20the%20%22heavy-tail%20amplification%20factor%22%0A%0A%20%20%20%20%20%20%20%20**Why%20ML%20Workloads%20Have%20Heavy%20Tails**%0A%0A%20%20%20%20%20%20%20%20A%20research%20cluster%20runs%20jobs%20spanning%206%20orders%20of%20magnitude%3A%0A%20%20%20%20%20%20%20%20-%20Quick%20experiments%3A%201-10%20GPU-minutes%0A%20%20%20%20%20%20%20%20-%20Hyperparameter%20sweeps%3A%2010-100%20GPU-hours%0A%20%20%20%20%20%20%20%20-%20Full%20training%20runs%3A%201%2C000-100%2C000%20GPU-hours%0A%0A%20%20%20%20%20%20%20%20This%20creates%20C_s%20%3D%203-5%2C%20amplifying%20queue%20wait%20by%205-13x%20vs%20uniform.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Reflection%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(partA_reflection)%0A%0A%20%20%20%20%20%20%20%20if%20partA_reflection.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20partA_reflection.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct%2C%20but%20expensive.**%20The%20P-K%20formula%20shows%20that%20wait%20time%20is%20rho%2F(1-rho)%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22which%20diverges%20as%20rho%20-%3E%201.%20Dropping%20from%2080%25%20to%2060%25%20reduces%20the%20rho%2F(1-rho)%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22factor%20from%204%20to%201.5%20--%20a%202.7x%20reduction.%20But%20you%20are%20paying%20for%2020%25%20more%20idle%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22GPUs.%20This%20is%20the%20utilization%20paradox%3A%20you%20must%20choose%20between%20GPU%20efficiency%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22and%20researcher%20productivity.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20partA_reflection.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Effective%20but%20costly.**%20Preempting%20a%20long%20training%20job%20means%20killing%20it%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22restarting%20from%20the%20last%20checkpoint.%20If%20the%20job%20has%20been%20running%20for%202%20hours%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22since%20the%20last%20checkpoint%2C%20you%20lose%202%20hours%20x%20N%20GPUs%20of%20compute.%20Preemption%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reduces%20wait%20time%20but%20increases%20total%20compute%20waste.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20partA_reflection.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct%20in%20principle%2C%20expensive%20in%20practice.**%20Adding%20GPUs%20reduces%20utilization%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22which%20reduces%20wait.%20But%20each%20GPU%20costs%20~%243%2Fhour.%20Adding%20100%20GPUs%20%3D%20%247%2C200%2Fday.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20real%20question%20is%20whether%20researcher%20time%20saved%20justifies%20GPU%20cost%20--%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22that%20depends%20on%20researcher%20salary%20vs%20GPU%20cost.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20partA_reflection.value%20%3D%3D%20%22D%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Helpful%20but%20does%20not%20solve%20the%20fundamental%20problem.**%20Priority%20queues%20can%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reduce%20wait%20for%20high-priority%20short%20jobs%2C%20but%20they%20increase%20wait%20for%20low-priority%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22jobs.%20The%20total%20wait%20across%20all%20jobs%20is%20still%20governed%20by%20the%20P-K%20formula.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22You%20are%20redistributing%20pain%2C%20not%20eliminating%20it.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20B%3A%20FRAGMENTATION%20%2B%20THE%20UTILIZATION%20PARADOX%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Stakeholder%20message%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'Cloud'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'BlueLL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'Cloud'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20ML%20Platform%20Team%20Lead%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20dashboard%20shows%2030%25%20free%20capacity%20--%2077%20GPUs%20idle%20across%20the%20cluster.%0A%20%20%20%20%20%20%20%20%20%20%20%20A%20researcher%20submitted%20a%2064-GPU%20training%20job%2030%20minutes%20ago.%20It%20still%20has%20not%0A%20%20%20%20%20%20%20%20%20%20%20%20started.%20The%20dashboard%20is%20green.%20The%20researcher%20is%20furious.%20What%20is%20happening%3F%22%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Concept%20framing%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20The%2077%20idle%20GPUs%20are%20scattered%20across%2012%20nodes%20in%20fragments%20of%201-4%20GPUs%20each.%0A%20%20%20%20Gang%20scheduling%20requires%20all%2064%20GPUs%20to%20be%20allocated%20**simultaneously**%20in%0A%20%20%20%20**contiguous**%208-GPU%20nodes.%20With%20fragments%20scattered%20across%20the%20cluster%2C%0A%20%20%20%20no%20contiguous%20block%20of%208%20nodes%20(64%20GPUs)%20exists.%0A%0A%20%20%20%20This%20is%20the%20**fragmentation%20tax**%3A%20physical%20capacity%20!%3D%20effective%20capacity.%0A%0A%20%20%20%20The%20second%20challenge%20is%20the%20**utilization%20paradox**%3A%20you%20operate%20a%20shared%20cluster%0A%20%20%20%20and%20must%20satisfy%20three%20stakeholders%20simultaneously%3A%0A%20%20%20%20-%20**Operations**%3A%20maximize%20GPU%20utilization%20(%3E%2090%25)%0A%20%20%20%20-%20**Researchers**%3A%20minimize%20queue%20wait%20time%20(%3C%2010%20min)%0A%20%20%20%20-%20**Management**%3A%20ensure%20fair%20access%20across%205%20teams%0A%0A%20%20%20%20These%20goals%20are%20**fundamentally%20in%20conflict**.%20Improving%20one%20necessarily%20degrades%20another.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Prediction%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(partB_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partB_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20Part%20B%20instruments.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Controls%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Scheduling%20Policy%20Simulator%22))%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Ba2_w_throughput%2C%20a2_w_fairness%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Ba2_w_latency%2C%20a2_n_teams%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22center%22%2C%20gap%3D2))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Instruments%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20%23%20Normalize%20weights%0A%20%20%20%20%20%20%20%20_wt%20%3D%20a2_w_throughput.value%0A%20%20%20%20%20%20%20%20_wf%20%3D%20a2_w_fairness.value%0A%20%20%20%20%20%20%20%20_wl%20%3D%20a2_w_latency.value%0A%20%20%20%20%20%20%20%20_total_w%20%3D%20max(_wt%20%2B%20_wf%20%2B%20_wl%2C%201)%0A%20%20%20%20%20%20%20%20_nt%20%3D%20_wt%20%2F%20_total_w%0A%20%20%20%20%20%20%20%20_nf%20%3D%20_wf%20%2F%20_total_w%0A%20%20%20%20%20%20%20%20_nl%20%3D%20_wl%20%2F%20_total_w%0A%20%20%20%20%20%20%20%20_teams%20%3D%20a2_n_teams.value%0A%0A%20%20%20%20%20%20%20%20%23%20Simulate%20metrics%20based%20on%20policy%20weights%0A%20%20%20%20%20%20%20%20%23%20Throughput-biased%3A%20high%20utilization%2C%20long%20waits%2C%20unfair%20(big%20jobs%20favored)%0A%20%20%20%20%20%20%20%20%23%20Fairness-biased%3A%20equal%20shares%2C%20moderate%20util%2C%20long%20waits%20for%20productive%20teams%0A%20%20%20%20%20%20%20%20%23%20Latency-biased%3A%20short%20jobs%20first%2C%20low%20util%2C%20unfair%20to%20large%20jobs%0A%0A%20%20%20%20%20%20%20%20_utilization%20%3D%2065%20%2B%2030%20*%20_nt%20-%2010%20*%20_nl%20%20%23%20throughput%20boosts%20util%2C%20latency%20hurts%20it%0A%20%20%20%20%20%20%20%20_utilization%20%3D%20max(40%2C%20min(98%2C%20_utilization))%0A%0A%20%20%20%20%20%20%20%20_avg_wait%20%3D%205%20%2B%2040%20*%20_nt%20-%2025%20*%20_nl%20%2B%2010%20*%20_nf%20%20%23%20throughput%20hurts%20wait%2C%20latency%20helps%0A%20%20%20%20%20%20%20%20_avg_wait%20%3D%20max(2%2C%20min(120%2C%20_avg_wait))%0A%0A%20%20%20%20%20%20%20%20_max_wait%20%3D%20_avg_wait%20*%20(2.5%20%2B%203%20*%20_nt)%20%20%23%20throughput%20creates%20extreme%20max%20waits%0A%20%20%20%20%20%20%20%20_max_wait%20%3D%20max(5%2C%20min(480%2C%20_max_wait))%0A%0A%20%20%20%20%20%20%20%20%23%20Jain's%20fairness%20index%3A%201.0%20%3D%20perfectly%20fair%2C%201%2FN%20%3D%20maximally%20unfair%0A%20%20%20%20%20%20%20%20_fairness%20%3D%200.5%20%2B%200.45%20*%20_nf%20-%200.3%20*%20_nt%20-%200.1%20*%20_nl%0A%20%20%20%20%20%20%20%20_fairness%20%3D%20max(1.0%20%2F%20_teams%2C%20min(1.0%2C%20_fairness))%0A%0A%20%20%20%20%20%20%20%20%23%20Fragmentation%3A%20percentage%20of%20GPUs%20stranded%0A%20%20%20%20%20%20%20%20_fragmentation%20%3D%2015%20%2B%2020%20*%20_nt%20-%2010%20*%20_nl%20%20%23%20throughput%20causes%20more%20fragmentation%0A%20%20%20%20%20%20%20%20_fragmentation%20%3D%20max(5%2C%20min(45%2C%20_fragmentation))%0A%0A%20%20%20%20%20%20%20%20%23%20Check%20if%20all%20metrics%20meet%20targets%0A%20%20%20%20%20%20%20%20_util_ok%20%3D%20_utilization%20%3E%2090%0A%20%20%20%20%20%20%20%20_wait_ok%20%3D%20_avg_wait%20%3C%2010%0A%20%20%20%20%20%20%20%20_fair_ok%20%3D%20_fairness%20%3E%200.85%0A%20%20%20%20%20%20%20%20_all_green%20%3D%20_util_ok%20and%20_wait_ok%20and%20_fair_ok%0A%0A%20%20%20%20%20%20%20%20%23%20Colors%0A%20%20%20%20%20%20%20%20_util_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_util_ok%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_utilization%20%3E%2075%20else%20COLORS%5B%22RedLine%22%5D)%0A%20%20%20%20%20%20%20%20_wait_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_wait_ok%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_avg_wait%20%3C%2030%20else%20COLORS%5B%22RedLine%22%5D)%0A%20%20%20%20%20%20%20%20_fair_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_fair_ok%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_fairness%20%3E%200.7%20else%20COLORS%5B%22RedLine%22%5D)%0A%20%20%20%20%20%20%20%20_frag_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_fragmentation%20%3C%2015%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_fragmentation%20%3C%2030%20else%20COLORS%5B%22RedLine%22%5D)%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Radar%20chart%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20_categories%20%3D%20%5B%22Utilization%22%2C%20%22Low%20Wait%22%2C%20%22Fairness%22%2C%20%22Low%20Fragmentation%22%5D%0A%20%20%20%20%20%20%20%20_values%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20_utilization%20%2F%20100%2C%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20normalize%20to%200-1%0A%20%20%20%20%20%20%20%20%20%20%20%20max(0%2C%201%20-%20_avg_wait%20%2F%2060)%2C%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20invert%3A%20lower%20wait%20%3D%20better%0A%20%20%20%20%20%20%20%20%20%20%20%20_fairness%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20max(0%2C%201%20-%20_fragmentation%20%2F%2050)%2C%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20invert%3A%20lower%20frag%20%3D%20better%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20_values.append(_values%5B0%5D)%20%20%23%20close%20the%20polygon%0A%20%20%20%20%20%20%20%20_categories.append(_categories%5B0%5D)%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatterpolar(%0A%20%20%20%20%20%20%20%20%20%20%20%20r%3D_values%2C%20theta%3D_categories%2C%20fill%3D%22toself%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fillcolor%3D%22rgba(0%2C99%2C149%2C0.15)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Current%20policy%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%23%20Target%20overlay%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatterpolar(%0A%20%20%20%20%20%20%20%20%20%20%20%20r%3D%5B0.9%2C%200.83%2C%200.85%2C%200.7%2C%200.9%5D%2C%20theta%3D_categories%2C%20fill%3D%22none%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22GreenLine%22%5D%2C%20width%3D1.5%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Target%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D320%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20polar%3Ddict(radialaxis%3Ddict(range%3D%5B0%2C%201%5D%2C%20tickvals%3D%5B0.25%2C%200.5%2C%200.75%2C%201.0%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20yanchor%3D%22bottom%22%2C%20y%3D-0.15%2C%20xanchor%3D%22center%22%2C%20x%3D0.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D30%2C%20b%3D60%2C%20l%3D60%2C%20r%3D60)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Impossibility%20banner%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20if%20not%20_all_green%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_failing%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20_util_ok%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_failing.append(f%22Utilization%20(%7B_utilization%3A.0f%7D%25%20%3C%2090%25)%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20_wait_ok%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_failing.append(f%22Wait%20(%7B_avg_wait%3A.0f%7Dm%20%3E%2010m)%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20_fair_ok%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_failing.append(f%22Fairness%20(%7B_fairness%3A.2f%7D%20%3C%200.85)%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_impossible_banner%20%3D%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'OrangeLL'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A10px%3B%20padding%3A14px%2018px%3B%20margin%3A10px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.88rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20margin-bottom%3A4px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20TRADE-OFF%20ACTIVE%20%26mdash%3B%20Not%20All%20Targets%20Met%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.85rem%3B%20color%3A%237c2d12%3B%20line-height%3A1.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Failing%20metrics%3A%20%7B'%2C%20'.join(_failing)%7D%3Cbr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3EAdjust%20priority%20weights%20to%20explore%20the%20trade-off%20space.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20You%20will%20find%20that%20turning%20all%20four%20metrics%20green%20simultaneously%20is%20impossible.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_impossible_banner%20%3D%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'GreenLL'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A10px%3B%20padding%3A14px%2018px%3B%20margin%3A10px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.88rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20All%20metrics%20green!%20But%20verify%3A%20is%20this%20sustainable%2C%20or%20did%20the%20model%20reach%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20a%20fragile%20equilibrium%3F%20Try%20increasing%20teams%20or%20throughput%20priority.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%7B_impossible_banner%7D%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A12px%3B%20padding%3A16px%2020px%3B%20margin%3A8px%200%3B%20font-family%3Amonospace%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A0.83rem%3B%20line-height%3A1.8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A8px%3B%20font-family%3Asans-serif%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Physics%20%26mdash%3B%20Scheduling%20Policy%20Trade-off%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EWeights%3A%20Throughput%3D%7B_wt%7D%25%20Fairness%3D%7B_wf%7D%25%20Latency%3D%7B_wl%7D%25%20(normalized%3A%20%7B_nt%3A.2f%7D%2F%7B_nf%3A.2f%7D%2F%7B_nl%3A.2f%7D)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ETeams%3A%20%7B_teams%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A16px%3B%20justify-content%3Acenter%3B%20margin%3A8px%200%3B%20flex-wrap%3Awrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EUtilization%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_util_color%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_utilization%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Etarget%3A%20%26gt%3B90%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EAvg%20Wait%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_wait_color%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_avg_wait%3A.0f%7Dm%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Etarget%3A%20%26lt%3B10m%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EFairness%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_fair_color%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_fairness%3A.2f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Etarget%3A%20%26gt%3B0.85%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EFragmentation%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_frag_color%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_fragmentation%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Estranded%20GPUs%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.ui.plotly(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Reveal%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20if%20partB_prediction.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20High%20utilization%20requires%20keeping%20GPUs%20busy%20with%20large%20jobs%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22which%20blocks%20queues%20for%20small%20jobs%20(high%20wait).%20Low%20latency%20requires%20serving%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22small%20jobs%20first%2C%20which%20fragments%20the%20cluster%20(low%20utilization).%20Fairness%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22requires%20equal%20access%2C%20which%20may%20starve%20the%20most%20productive%20teams.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Every%20scheduling%20policy%20is%20a%20point%20in%20this%20three-dimensional%20trade-off%20space.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partB_prediction.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**This%20is%20the%20trap.**%20Students%20from%20OS%20courses%20believe%20scheduling%20is%20solved.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22But%20ML%20scheduling%20has%20unique%20properties%3A%20gang%20scheduling%20(all-or-nothing%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22allocation)%2C%20topology%20sensitivity%20(NVLink%20boundaries)%2C%20and%20heavy-tailed%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22durations.%20These%20create%20conflicts%20that%20no%20single%20policy%20resolves.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partB_prediction.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Preemption%20helps%20but%20introduces%20new%20costs.**%20Preempting%20a%20job%20that%20has%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22been%20running%20for%202%20hours%20since%20its%20last%20checkpoint%20loses%202%20hours%20of%20compute.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Preemption%20reduces%20wait%20for%20short%20jobs%20but%20increases%20total%20waste%20and%20hurts%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22long-job%20throughput.%20It%20shifts%20the%20trade-off%2C%20not%20eliminates%20it.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partB_prediction.value%20%3D%3D%20%22D%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**50%25%20utilization%20eases%20wait%20times%20but%20fails%20the%20utilization%20target.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22At%20%243%2FGPU-hour%2C%2050%25%20utilization%20on%20a%20256-GPU%20cluster%20wastes%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%243%20x%20128%20x%2024%20%3D%20%249%2C216%2Fday%20in%20idle%20GPUs.%20Operations%20will%20not%20accept%20this.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20MathPeek%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Governing%20equations%20--%20fragmentation%20and%20the%20scheduling%20impossibility%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20**Fragmentation%20Ratio**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20F%20%3D%20stranded_GPUs%20%2F%20total_GPUs%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20-%20%22Stranded%22%20GPUs%20are%20idle%20but%20not%20schedulable%20due%20to%20topology%20constraints%0A%20%20%20%20%20%20%20%20-%20Gang%20scheduling%20requires%20contiguous%208-GPU%20nodes%0A%20%20%20%20%20%20%20%20-%20Fragments%20of%201-4%20GPUs%20per%20node%20cannot%20form%20complete%20blocks%0A%20%20%20%20%20%20%20%20-%20F%20can%20exceed%2030%25%20even%20at%2070%25%20physical%20utilization%0A%0A%20%20%20%20%20%20%20%20**Effective%20Capacity**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20C_effective%20%3D%20(1%20-%20F)%20*%20C_physical%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20-%20A%20256-GPU%20cluster%20with%20F%3D30%25%20has%20effective%20capacity%20of%20only%20179%20GPUs%0A%20%20%20%20%20%20%20%20-%20This%20explains%20why%2077%20%22free%22%20GPUs%20cannot%20schedule%20a%2064-GPU%20job%0A%0A%20%20%20%20%20%20%20%20**Jain's%20Fairness%20Index**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20J%20%3D%20(sum(x_i))%5E2%20%2F%20(N%20*%20sum(x_i%5E2))%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20-%20J%20%3D%201.0%3A%20perfectly%20fair%20(all%20teams%20get%20equal%20share)%0A%20%20%20%20%20%20%20%20-%20J%20%3D%201%2FN%3A%20maximally%20unfair%20(one%20team%20gets%20everything)%0A%20%20%20%20%20%20%20%20-%20Throughput-optimal%20policies%20push%20J%20toward%201%2FN%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20%23%20%E2%94%80%E2%94%80%20Reflection%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%20%20%20%20items.append(partB_reflection)%0A%0A%20%20%20%20%20%20%20%20if%20partB_reflection.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20partB_reflection.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20The%20impossibility%20is%20mathematical%2C%20not%20engineering.%20The%20best%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22approach%20is%20to%20make%20the%20trade-off%20explicit%3A%20provide%20dashboards%20showing%20all%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22three%20metrics%2C%20let%20stakeholders%20decide%20which%20to%20sacrifice%2C%20and%20implement%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22policy%20knobs%20(preemption%20thresholds%2C%20fairshare%20weights%2C%20backfill%20aggressiveness)%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22that%20map%20to%20understandable%20trade-offs.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**The%20impossibility%20is%20fundamental.**%20No%20algorithm%20--%20AI%20or%20otherwise%20--%20can%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22simultaneously%20maximize%20utilization%2C%20minimize%20wait%2C%20and%20ensure%20fairness.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20best%20approach%20is%20transparency%3A%20make%20the%20trade-off%20visible%20and%20let%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22stakeholders%20choose%20which%20metric%20to%20sacrifice.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20C%3A%20PREEMPTION%20COST%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Stakeholder%20message%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'OrangeLL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Scheduling%20Policy%20Engineer%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22We%20want%20to%20implement%20preemption%20to%20reduce%20queue%20wait%20times.%20The%20idea%20is%20simple%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20when%20a%20high-priority%20job%20arrives%2C%20we%20preempt%20a%20lower-priority%20large%20job.%20But%20our%0A%20%20%20%20%20%20%20%20%20%20%20%20training%20team%20says%20this%20wastes%20compute.%20How%20much%20does%20preemption%20actually%20cost%3F%22%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Concept%20framing%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20Preemption%20kills%20a%20running%20job%20and%20restarts%20it%20later.%20The%20cost%20is%20**rework**%3A%0A%20%20%20%20all%20compute%20since%20the%20last%20checkpoint%20is%20lost.%0A%0A%20%20%20%20For%20a%2064-GPU%20job%20running%202%20hours%20since%20its%20last%20checkpoint%3A%0A%20%20%20%20-%20Lost%20compute%20%3D%2064%20GPUs%20x%202%20hours%20%3D%20**128%20GPU-hours%20%3D%20%24384**%20(at%20%243%2FGPU-hr)%0A%0A%20%20%20%20If%20the%20scheduler%20preempts%205%20jobs%20per%20day%20with%20similar%20rework%3A%0A%20%20%20%20-%20Daily%20waste%20%3D%205%20x%20%24384%20%3D%20**%241%2C920%2Fday%20%3D%20%2457%2C600%2Fmonth**%0A%0A%20%20%20%20The%20preemption%20paradox%3A%20preempting%20reduces%20**wait%20time**%20for%20new%20jobs%0A%20%20%20%20but%20increases%20**total%20compute%20waste**.%20The%20net%20benefit%20depends%20on%20whether%0A%20%20%20%20saved%20researcher%20time%20(from%20shorter%20queues)%20exceeds%20the%20rework%20cost.%0A%0A%20%20%20%20The%20fix%3A%20**checkpoint-before-preempt**%20reduces%20rework%20to%20just%20the%20checkpoint%0A%20%20%20%20write%20time.%20But%20this%20adds%202-40%20minutes%20of%20delay%20before%20the%20slot%20is%20freed.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20lock%0A%20%20%20%20%20%20%20%20items.append(partC_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partC_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20Part%20C%20instruments.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20Controls%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Preemption%20Cost%20Calculator%22))%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5Bc1_preempt_interval_h%2C%20c1_job_gpus%2C%20c1_preemptions_day%5D%2C%20justify%3D%22center%22%2C%20gap%3D2))%0A%0A%20%20%20%20%20%20%20%20%23%20Physics%0A%20%20%20%20%20%20%20%20_hours_since_ckpt%20%3D%20c1_preempt_interval_h.value%0A%20%20%20%20%20%20%20%20_gpus%20%3D%20c1_job_gpus.value%0A%20%20%20%20%20%20%20%20_preemptions_day%20%3D%20c1_preemptions_day.value%0A%0A%20%20%20%20%20%20%20%20_gpu_hours_lost%20%3D%20_gpus%20*%20_hours_since_ckpt%0A%20%20%20%20%20%20%20%20_cost_per_preempt%20%3D%20_gpu_hours_lost%20*%20GPU_COST_HR%0A%20%20%20%20%20%20%20%20_daily_waste%20%3D%20_cost_per_preempt%20*%20_preemptions_day%0A%20%20%20%20%20%20%20%20_monthly_waste%20%3D%20_daily_waste%20*%2030%0A%0A%20%20%20%20%20%20%20%20%23%20Compare%3A%20preemption%20savings%20(reduced%20wait%20time%20-%3E%20researcher%20productivity)%0A%20%20%20%20%20%20%20%20%23%20Assume%20each%20preemption%20saves%2030%20minutes%20of%20researcher%20wait%20x%20downstream%20team%0A%20%20%20%20%20%20%20%20_researcher_hr_saved%20%3D%20_preemptions_day%20*%200.5%20%20%23%2030%20min%20per%20preemption%0A%20%20%20%20%20%20%20%20_researcher_value%20%3D%20_researcher_hr_saved%20*%20150%20%20%23%20%24150%2Fhr%20loaded%20cost%0A%20%20%20%20%20%20%20%20_net_daily%20%3D%20_researcher_value%20-%20_daily_waste%0A%0A%20%20%20%20%20%20%20%20%23%20Chart%3A%20cost%20vs%20rework%20hours%0A%20%20%20%20%20%20%20%20_hours_range%20%3D%20np.linspace(0.25%2C%208%2C%2020)%0A%20%20%20%20%20%20%20%20_costs%20%3D%20%5B_gpus%20*%20h%20*%20GPU_COST_HR%20for%20h%20in%20_hours_range%5D%0A%20%20%20%20%20%20%20%20_daily_costs%20%3D%20%5Bc%20*%20_preemptions_day%20for%20c%20in%20_costs%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_hours_range%2C%20y%3D_daily_costs%2C%20mode%3D%22lines%2Bmarkers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Daily%20preemption%20waste%20(%24)%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D_researcher_value%2C%20line%3Ddict(color%3DCOLORS%5B%22GreenLine%22%5D%2C%20width%3D2%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22Researcher%20value%20saved%3A%20%24%7B_researcher_value%3A.0f%7D%2Fday%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_position%3D%22top%20right%22)%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_hours_since_ckpt%5D%2C%20y%3D%5B_daily_waste%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%20marker%3Ddict(size%3D14%2C%20color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20symbol%3D%22diamond%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Current%20config%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D300%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Hours%20Since%20Last%20Checkpoint%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Daily%20Cost%20(%24)%22%2C%20tickformat%3D%22%24%2C.0f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20yanchor%3D%22bottom%22%2C%20y%3D1.02%2C%20xanchor%3D%22right%22%2C%20x%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D40%2C%20b%3D50%2C%20l%3D70%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20_waste_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_daily_waste%20%3C%20_researcher_value%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20_net_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_net_daily%20%3E%200%20else%20COLORS%5B%22RedLine%22%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A12px%3B%20padding%3A16px%2020px%3B%20margin%3A8px%200%3B%20font-family%3Amonospace%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A0.83rem%3B%20line-height%3A1.8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A8px%3B%20font-family%3Asans-serif%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Physics%20%26mdash%3B%20Preemption%20Cost%20Model%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ERework%20per%20preemption%3A%20%7B_gpus%7D%20GPUs%20%26times%3B%20%7B_hours_since_ckpt%7Dh%20%3D%20%3Cstrong%3E%7B_gpu_hours_lost%3A.0f%7D%20GPU-hours%20%3D%20%24%7B_cost_per_preempt%3A%2C.0f%7D%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EDaily%20waste%3A%20%7B_preemptions_day%7D%20preemptions%20%26times%3B%20%24%7B_cost_per_preempt%3A%2C.0f%7D%20%3D%20%3Cstrong%20style%3D%22color%3A%7B_waste_color%7D%3B%22%3E%24%7B_daily_waste%3A%2C.0f%7D%2Fday%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EResearcher%20value%20saved%3A%20%3Cstrong%20style%3D%22color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%24%7B_researcher_value%3A%2C.0f%7D%2Fday%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ENet%20daily%3A%20%3Cstrong%20style%3D%22color%3A%7B_net_color%7D%3B%22%3E%24%7B_net_daily%3A%2B%2C.0f%7D%2Fday%3C%2Fstrong%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A16px%3B%20justify-content%3Acenter%3B%20margin%3A8px%200%3B%20flex-wrap%3Awrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EPer%20Preempt%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%24%7B_cost_per_preempt%3A%2C.0f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EDaily%20Waste%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_waste_color%7D%3B%20font-family%3Amonospace%3B%22%3E%24%7B_daily_waste%2F1000%3A.1f%7DK%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3ENet%2FDay%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_net_color%7D%3B%20font-family%3Amonospace%3B%22%3E%24%7B_net_daily%3A%2B%2C.0f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.ui.plotly(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20reveal%0A%20%20%20%20%20%20%20%20if%20partC_prediction.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20The%20preempted%20job%20loses%2064%20GPUs%20x%202%20hours%20%3D%20128%20GPU-hours%20of%20compute.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22At%20%243%2FGPU-hour%2C%20that%20is%20%24384%20per%20preemption.%20This%20is%20pure%20waste%20--%20the%20compute%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22produced%20no%20useful%20training%20progress.%20Checkpoint-before-preempt%20reduces%20this%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22just%20the%20checkpoint%20write%20time%20(minutes)%2C%20but%20delays%20freeing%20the%20slot.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partC_prediction.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Wrong.**%20Preemption%20kills%20the%20running%20process.%20All%20compute%20since%20the%20last%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22checkpoint%20is%20lost%20and%20must%20be%20redone.%20'Moving%20jobs%20around'%20implies%20migration%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22which%20is%20not%20preemption.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partC_prediction.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Underestimates%20dramatically.**%20Context%20switch%20overhead%20is%20milliseconds.%20The%20real%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22cost%20is%20the%20lost%20compute%3A%20hours%20of%20GPU-time%20that%20produced%20no%20checkpoint.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partC_prediction.value%20%3D%3D%20%22D%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Not%20true.**%20Preempted%20jobs%20restart%20from%20their%20last%20checkpoint.%20They%20do%20not%20fail%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22permanently%2C%20but%20they%20lose%20all%20progress%20since%20the%20last%20save%20point.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20%23%20MathPeek%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Governing%20equations%20--%20preemption%20cost%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20**Rework%20Cost**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20C_rework%20%3D%20N_gpus%20*%20T_since_checkpoint%20*%20cost_per_GPU_hour%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20**Daily%20Preemption%20Waste**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20W_daily%20%3D%20n_preemptions%20*%20C_rework%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20**Checkpoint-Before-Preempt**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20C_rework_reduced%20%3D%20N_gpus%20*%20T_checkpoint_write%20*%20cost_per_GPU_hour%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20With%20async%20checkpointing%3A%20T_checkpoint_write%20%3D%20~1%20second%0A%20%20%20%20%20%20%20%20Rework%20drops%20from%20hours%20to%20seconds%20of%20GPU-time.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20%23%20Reflection%0A%20%20%20%20%20%20%20%20items.append(partC_reflection)%0A%20%20%20%20%20%20%20%20if%20partC_reflection.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20partC_reflection.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20Checkpoint-before-preempt%20triggers%20a%20checkpoint%20write%20before%20killing%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20job%2C%20reducing%20rework%20to%20near-zero.%20The%20trade-off%3A%20the%20preempted%20slot%20is%20not%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22freed%20until%20the%20checkpoint%20completes%20(2-40%20minutes%20depending%20on%20storage).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22With%20async%20checkpointing%2C%20this%20delay%20drops%20to%20under%201%20second.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Not%20the%20best%20strategy.**%20The%20optimal%20approach%20is%20checkpoint-before-preempt%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22trigger%20a%20checkpoint%20write%2C%20then%20kill%20the%20job.%20This%20minimizes%20rework%20while%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22still%20enabling%20preemption-based%20scheduling.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20D%3A%20HETEROGENEOUS%20FLEET%20COMPOSITION%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Stakeholder%20message%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'GreenLL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Fleet%20Capacity%20Planner%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Our%20H100%20cluster%20runs%20at%2080%25%20utilization%20but%2030%25%20of%20GPUs%20are%20stranded%20by%20fragmentation.%0A%20%20%20%20%20%20%20%20%20%20%20%20Meanwhile%2C%2030%25%20of%20our%20workloads%20are%20small%20inference%20jobs%20and%20experiments%20that%20do%20not%0A%20%20%20%20%20%20%20%20%20%20%20%20need%20H100s.%20What%20if%20we%20added%20a%20pool%20of%20cheaper%20T4%20GPUs%20(%240.35%2Fhr%20vs%20%243%2Fhr)%20to%0A%20%20%20%20%20%20%20%20%20%20%20%20offload%20small%20jobs%20and%20reduce%20H100%20fragmentation%3F%22%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Concept%20framing%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20A%20homogeneous%20H100%20cluster%20forces%20ALL%20jobs%20--%20from%201-GPU%20inference%20tests%20to%20256-GPU%0A%20%20%20%20training%20runs%20--%20onto%20the%20same%20expensive%20hardware.%20Small%20jobs%20create%20fragmentation%0A%20%20%20%20by%20occupying%20partial%20nodes%20and%20blocking%20gang-scheduled%20large%20jobs.%0A%0A%20%20%20%20A%20**heterogeneous%20fleet**%20routes%20jobs%20to%20the%20cheapest%20hardware%20that%20meets%20their%20requirements%3A%0A%20%20%20%20-%20**H100%20pool**%3A%20Large%20training%20jobs%20(64%2B%20GPUs%2C%20NVLink%20required)%0A%20%20%20%20-%20**T4%20pool**%3A%20Inference%2C%20small%20experiments%2C%20hyperparameter%20sweeps%20(1-8%20GPUs)%0A%0A%20%20%20%20Benefits%3A%0A%20%20%20%201.%20Small%20jobs%20leave%20H100%20nodes%2C%20reducing%20fragmentation%0A%20%20%20%202.%20Small%20jobs%20run%20on%208.6x%20cheaper%20hardware%20(T4%3A%20%240.35%2Fhr%20vs%20H100%3A%20%243%2Fhr)%0A%20%20%20%203.%20H100%20fragmentation%20drops%20because%20nodes%20have%20fewer%20partial%20allocations%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20lock%0A%20%20%20%20%20%20%20%20items.append(partD_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partD_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20Part%20D%20instruments.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20Controls%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Heterogeneous%20Fleet%20Simulator%22))%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bd1_h100_count%2C%20d1_t4_count%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bd1_small_job_pct%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22center%22%2C%20gap%3D2))%0A%0A%20%20%20%20%20%20%20%20%23%20Physics%0A%20%20%20%20%20%20%20%20_h100s%20%3D%20d1_h100_count.value%0A%20%20%20%20%20%20%20%20_t4s%20%3D%20d1_t4_count.value%0A%20%20%20%20%20%20%20%20_small_pct%20%3D%20d1_small_job_pct.value%20%2F%20100%0A%0A%20%20%20%20%20%20%20%20%23%20Baseline%3A%20all%20on%20H100%0A%20%20%20%20%20%20%20%20_baseline_frag%20%3D%2030.0%20%20%23%2030%25%20fragmentation%20baseline%0A%20%20%20%20%20%20%20%20_baseline_cost_day%20%3D%20_h100s%20*%20GPU_COST_HR%20*%2024%0A%0A%20%20%20%20%20%20%20%20%23%20Heterogeneous%3A%20small%20jobs%20offloaded%20to%20T4%0A%20%20%20%20%20%20%20%20_h100_frag_reduction%20%3D%20_small_pct%20*%200.7%20%20%23%2070%25%20of%20small-job%20fragmentation%20removed%0A%20%20%20%20%20%20%20%20_hetero_frag%20%3D%20max(5%2C%20_baseline_frag%20*%20(1%20-%20_h100_frag_reduction))%0A%20%20%20%20%20%20%20%20_t4_cost_hr%20%3D%200.35%0A%20%20%20%20%20%20%20%20_hetero_cost_day%20%3D%20(_h100s%20*%20GPU_COST_HR%20%2B%20_t4s%20*%20_t4_cost_hr)%20*%2024%0A%20%20%20%20%20%20%20%20_savings_day%20%3D%20_baseline_cost_day%20-%20_hetero_cost_day%20%2B%20(_baseline_frag%20-%20_hetero_frag)%20%2F%20100%20*%20_h100s%20*%20GPU_COST_HR%20*%2024%0A%0A%20%20%20%20%20%20%20%20%23%20Effective%20capacity%20comparison%0A%20%20%20%20%20%20%20%20_baseline_effective%20%3D%20_h100s%20*%20(1%20-%20_baseline_frag%20%2F%20100)%0A%20%20%20%20%20%20%20%20_hetero_h100_effective%20%3D%20_h100s%20*%20(1%20-%20_hetero_frag%20%2F%20100)%0A%20%20%20%20%20%20%20%20_hetero_total_effective%20%3D%20_hetero_h100_effective%20%2B%20_t4s%20*%200.9%20%20%23%20T4s%20have%20less%20fragmentation%0A%0A%20%20%20%20%20%20%20%20%23%20Chart%3A%20fragmentation%20comparison%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B%22Homogeneous%20H100%22%5D%2C%20y%3D%5B_baseline_frag%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22RedLine%22%5D%2C%20text%3D%5Bf%22%7B_baseline_frag%3A.0f%7D%25%22%5D%2C%20textposition%3D%22auto%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22H100%20only%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B%22Heterogeneous%20(H100%2BT4)%22%5D%2C%20y%3D%5B_hetero_frag%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22GreenLine%22%5D%2C%20text%3D%5Bf%22%7B_hetero_frag%3A.1f%7D%25%22%5D%2C%20textposition%3D%22auto%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22H100%2BT4%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D280%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22H100%20Fragmentation%20(%25)%22%2C%20range%3D%5B0%2C%2050%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D30%2C%20b%3D50%2C%20l%3D50%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20_frag_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_hetero_frag%20%3C%2015%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_hetero_frag%20%3C%2025%20else%20COLORS%5B%22RedLine%22%5D)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A12px%3B%20padding%3A16px%2020px%3B%20margin%3A8px%200%3B%20font-family%3Amonospace%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A0.83rem%3B%20line-height%3A1.8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A8px%3B%20font-family%3Asans-serif%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Physics%20%26mdash%3B%20Heterogeneous%20Fleet%20Analysis%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EH100%20pool%3A%20%7B_h100s%7D%20GPUs%20%26mdash%3B%20T4%20pool%3A%20%7B_t4s%7D%20GPUs%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3ESmall%20job%20fraction%20offloaded%3A%20%7B_small_pct*100%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EH100%20fragmentation%3A%20%3Cstrong%3E%7B_baseline_frag%3A.0f%7D%25%3C%2Fstrong%3E%20(homogeneous)%20%26rarr%3B%20%3Cstrong%20style%3D%22color%3A%7B_frag_color%7D%3B%22%3E%7B_hetero_frag%3A.1f%7D%25%3C%2Fstrong%3E%20(heterogeneous)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EEffective%20H100%20capacity%3A%20%7B_baseline_effective%3A.0f%7D%20%26rarr%3B%20%3Cstrong%3E%7B_hetero_h100_effective%3A.0f%7D%3C%2Fstrong%3E%20GPUs%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3EDaily%20fleet%20cost%3A%20%24%7B_baseline_cost_day%3A%2C.0f%7D%20(homo)%20vs%20%24%7B_hetero_cost_day%3A%2C.0f%7D%20(hetero)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A16px%3B%20justify-content%3Acenter%3B%20margin%3A8px%200%3B%20flex-wrap%3Awrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EH100%20Frag%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7B_frag_color%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_hetero_frag%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Ewas%20%7B_baseline_frag%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3ET4%20Cost%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%24%7B_t4_cost_hr%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3Evs%20%243%2Fhr%20H100%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A18px%2024px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A160px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.82rem%3B%20font-weight%3A600%3B%20text-transform%3Auppercase%3B%22%3EEffective%20Cap%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A2rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%20font-family%3Amonospace%3B%22%3E%7B_hetero_h100_effective%3A.0f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%22%3EH100%20effective%20GPUs%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.ui.plotly(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20reveal%0A%20%20%20%20%20%20%20%20if%20partD_prediction.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20Offloading%20small%20jobs%20to%20T4s%20reduces%20H100%20fragmentation%20from%20~30%25%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22to%20~10-15%25.%20Small%20jobs%20no%20longer%20occupy%20partial%20H100%20nodes%2C%20leaving%20contiguous%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22blocks%20available%20for%20large%20gang-scheduled%20training%20runs.%20The%20T4%20pool%20runs%20small%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22jobs%20at%208.6x%20lower%20cost%20per%20GPU-hour.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partD_prediction.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Not%20if%20you%20offload%20small%20jobs.**%20Fragmentation%20on%20H100s%20is%20caused%20partly%20by%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22small%20jobs%20occupying%20partial%20nodes.%20Removing%20them%20to%20a%20T4%20pool%20frees%20those%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22partial%20allocations%2C%20reducing%20H100%20fragmentation%20significantly.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partD_prediction.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Too%20optimistic.**%20Some%20fragmentation%20remains%20because%20training%20jobs%20themselves%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22create%20partial-node%20allocations%20(e.g.%2C%2048-GPU%20jobs%20leave%202%20GPUs%20stranded%20per%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%226-node%20block).%20But%20removing%20small-job%20fragmentation%20is%20the%20largest%20single%20lever.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20elif%20partD_prediction.value%20%3D%3D%20%22D%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Opposite%20of%20the%20truth.**%20Heterogeneous%20scheduling%20is%20more%20complex%2C%20but%20it%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reduces%20fragmentation%20because%20each%20job%20class%20runs%20on%20its%20natural%20hardware.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Mixing%20all%20workloads%20onto%20one%20tier%20is%20what%20causes%20high%20fragmentation.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20%23%20MathPeek%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Governing%20equations%20--%20heterogeneous%20fleet%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20**Fragmentation%20Reduction**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20F_hetero%20%3D%20F_baseline%20*%20(1%20-%20small_job_fraction%20*%20offload_efficiency)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20-%20offload_efficiency%20%3D%20~70%25%20(not%20all%20small%20jobs%20can%20be%20offloaded)%0A%20%20%20%20%20%20%20%20-%2030%25%20small%20jobs%20offloaded%20at%2070%25%20efficiency%3A%20F%20reduces%20by%2021%25%0A%0A%20%20%20%20%20%20%20%20**Cost%20Comparison**%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20C_homo%20%3D%20N_h100%20*%20%243%2Fhr%20*%2024%0A%20%20%20%20%20%20%20%20C_hetero%20%3D%20N_h100%20*%20%243%2Fhr%20*%2024%20%2B%20N_t4%20*%20%240.35%2Fhr%20*%2024%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20The%20T4%20pool%20costs%208.6x%20less%20per%20GPU-hour.%20If%20it%20handles%2030%25%20of%0A%20%20%20%20%20%20%20%20workloads%2C%20the%20total%20fleet%20cost%20may%20decrease%20even%20though%20you%20added%20GPUs.%0A%0A%20%20%20%20%20%20%20%20**Hardware-Workload%20Matching**%0A%0A%20%20%20%20%20%20%20%20%7C%20Workload%20%7C%20Best%20Tier%20%7C%20Why%20%7C%0A%20%20%20%20%20%20%20%20%7C----------%7C-----------%7C-----%7C%0A%20%20%20%20%20%20%20%20%7C%2064%2B%20GPU%20training%20%7C%20H100%20%7C%20NVLink%2C%20high%20bandwidth%20%7C%0A%20%20%20%20%20%20%20%20%7C%201-8%20GPU%20inference%20%7C%20T4%20%7C%20INT8%20inference%2C%20low%20cost%20%7C%0A%20%20%20%20%20%20%20%20%7C%20HP%20sweeps%20%7C%20T4%20%7C%20Short%2C%20parallelizable%20%7C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20%23%20Reflection%0A%20%20%20%20%20%20%20%20items.append(partD_reflection)%0A%20%20%20%20%20%20%20%20if%20partD_reflection.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20partD_reflection.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20Heterogeneous%20pools%20route%20each%20workload%20to%20its%20cheapest%20viable%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22hardware.%20Large%20training%20needs%20H100%20(NVLink%2C%20high%20bandwidth).%20Inference%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22small%20experiments%20need%20only%20T4%20(INT8%2C%20low%20cost).%20This%20reduces%20H100%20fragmentation%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22AND%20total%20fleet%20cost%20simultaneously.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Not%20the%20optimal%20strategy.**%20Heterogeneous%20pools%20with%20workload-aware%20routing%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reduce%20fragmentation%20on%20expensive%20hardware%20and%20lower%20total%20cost%20by%20running%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22small%20jobs%20on%20cheaper%20GPUs.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20SYNTHESIS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2024px%2028px%3B%20margin%3A%2016px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%2012px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Key%20Takeaways%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.92rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20line-height%3A%201.75%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E1.%20The%20heavy-tail%20amplification%20factor%20(1%2BC_s%5E2)%2F2%20makes%20ML%20queue%20wait%205x%20worse%20than%20web%20services.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20At%2080%25%20utilization%20with%20C_s%3D3%2C%20average%20wait%20is%20~25%20minutes%20vs%205%20minutes%20for%20uniform%20workloads.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20rare%20but%20massive%20training%20jobs%20create%20extreme%20variance%20that%20the%20P-K%20formula%20captures%20precisely.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E2.%20Physical%20capacity%20!%3D%20effective%20capacity%20due%20to%20fragmentation.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Gang%20scheduling%20requires%20contiguous%208-GPU%20blocks.%20Fragments%20of%201-4%20GPUs%20per%20node%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20create%2030%25%2B%20stranded%20capacity.%2077%20free%20GPUs%20scattered%20across%20nodes%20cannot%20schedule%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20a%2064-GPU%20job%20because%20no%20contiguous%20block%20exists.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E3.%20Utilization%2C%20fairness%2C%20and%20latency%20form%20an%20impossible%20triangle.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20High%20utilization%20requires%20large%20jobs%20(high%20wait).%20Low%20latency%20requires%20small%20jobs%20first%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(low%20utilization).%20Fairness%20requires%20equal%20shares%20(reduced%20throughput%20for%20productive%20teams).%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Every%20scheduling%20policy%20is%20a%20trade-off%20point%2C%20never%20an%20optimum.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2016px%3B%20margin%3A%208px%200%2016px%200%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20What's%20Next%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ELab%20V2-08%3A%20The%20Inference%20Economy%3C%2Fstrong%3E%20%26mdash%3B%20You%20scheduled%20training%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20jobs%20on%20your%20cluster.%20Now%20discover%20that%20serving%20those%20trained%20models%20costs%20more%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20than%20training%20them%20--%20and%20the%20KV%20cache%20memory%20wall%2C%20not%20compute%2C%20determines%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20how%20many%20users%20you%20can%20serve.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Textbook%20%26amp%3B%20TinyTorch%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ERead%3A%3C%2Fstrong%3E%20the%20Fleet%20Orchestration%20chapter%20for%20queuing%20theory%2C%20fragmentation%20analysis%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20scheduling%20policy%20trade-offs.%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3EBuild%3A%3C%2Fstrong%3E%20TinyTorch%20scheduler%20module%20%26mdash%3B%20implement%20a%20basic%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gang%20scheduler%20with%20backfill%20in%20%3Ccode%3Etinytorch%2Fsrc%2Fscheduler%2F%3C%2Fcode%3E.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Self-Assessment%22%3A%20mo.md(%22%22%22%0A%20%20%20%201.%20At%2080%25%20utilization%2C%20how%20much%20worse%20is%20ML%20queue%20wait%20(C_s%3D3)%20vs%20web%20service%20wait%20(C_s%3D1)%3F%0A%20%20%20%202.%20Why%20can%2077%20idle%20GPUs%20scattered%20across%2012%20nodes%20not%20schedule%20a%2064-GPU%20gang-scheduled%20job%3F%0A%20%20%20%203.%20Why%20is%20it%20impossible%20to%20simultaneously%20maximize%20utilization%20AND%20minimize%20wait%20AND%20ensure%20fairness%3F%0A%0A%20%20%20%20*If%20you%20cannot%20answer%20all%20three%20from%20memory%2C%20revisit%20Parts%20A%20and%20B.*%0A%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Tab%20composition%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%20--%20The%20Queuing%20Wall%22%3A%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%20--%20Fragmentation%20%26%20Utilization%20Paradox%22%3A%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%20--%20Preemption%20Cost%22%3A%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%20--%20Heterogeneous%20Fleet%22%3A%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20decision_input%2C%0A%20%20%20%20decision_ui%2C%0A%20%20%20%20ledger%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20partA_prediction%2C%0A%20%20%20%20partA_reflection%2C%0A%20%20%20%20partB_prediction%2C%0A%20%20%20%20partB_reflection%2C%0A%20%20%20%20partC_prediction%2C%0A%20%20%20%20partC_reflection%2C%0A%20%20%20%20partD_prediction%2C%0A%20%20%20%20partD_reflection%2C%0A)%3A%0A%20%20%20%20ledger.save(%0A%20%20%20%20%20%20%20%20chapter%3D7%2C%0A%20%20%20%20%20%20%20%20design%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partA_prediction%22%3A%20partA_prediction.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partA_correct%22%3A%20partA_prediction.value%20%3D%3D%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partB_prediction%22%3A%20partB_prediction.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partB_correct%22%3A%20partB_prediction.value%20%3D%3D%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partC_prediction%22%3A%20partC_prediction.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partC_correct%22%3A%20partC_prediction.value%20%3D%3D%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partD_prediction%22%3A%20partD_prediction.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partD_correct%22%3A%20partD_prediction.value%20%3D%3D%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partA_reflection%22%3A%20partA_reflection.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partB_reflection%22%3A%20partB_reflection.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partC_reflection%22%3A%20partC_reflection.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22partD_reflection%22%3A%20partD_reflection.value%20or%20%22no_selection%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22student_justification%22%3A%20str(decision_input.value)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_a1_ok%20%3D%20partA_prediction.value%20%3D%3D%20%22B%22%0A%20%20%20%20_a2_ok%20%3D%20partB_prediction.value%20%3D%3D%20%22B%22%0A%20%20%20%20_tier%20%3D%20%22Optimal%22%20if%20(_a1_ok%20and%20_a2_ok)%20else%20(%22Partial%22%20if%20(_a1_ok%20or%20_a2_ok)%20else%20%22Developing%22)%0A%20%20%20%20_tier_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_tier%20%3D%3D%20%22Optimal%22%20else%20(COLORS%5B%22OrangeLine%22%5D%20if%20_tier%20%3D%3D%20%22Partial%22%20else%20COLORS%5B%22TextMuted%22%5D)%0A%0A%20%20%20%20decision_ui%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%20%3Cspan%20class%3D%22hud-value%22%3EVol2%20%26middot%3B%20Lab%2008%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3ECHAPTER%3C%2Fspan%3E%20%3Cspan%20class%3D%22hud-value%22%3Ev2_07%20%26middot%3B%20Fleet%20Orchestration%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3EPART%20A%3C%2Fspan%3E%20%3Cspan%20class%3D%22%7B'hud-active'%20if%20_a1_ok%20else%20'hud-none'%7D%22%3E%7B%22CORRECT%22%20if%20_a1_ok%20else%20%22REVIEW%22%7D%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3EPART%20B%3C%2Fspan%3E%20%3Cspan%20class%3D%22%7B'hud-active'%20if%20_a2_ok%20else%20'hud-none'%7D%22%3E%7B%22CORRECT%22%20if%20_a2_ok%20else%20%22REVIEW%22%7D%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cspan%20class%3D%22hud-label%22%3ETIER%3C%2Fspan%3E%20%3Cspan%20style%3D%22color%3A%7B_tier_color%7D%3B%20font-family%3Avar(--font-mono)%3B%22%3E%7B_tier.upper()%7D%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A