lab 07 ml frameworks

import%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22..%2F..%2F..%2Fwheels%2Fmlsysim-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%22mlsysim%22%20not%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20_root%20%3D%20Path(__file__).resolve().parents%5B2%5D%0A%20%20%20%20%20%20%20%20if%20str(_root)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_root))%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20import%20mlsysim%0A%20%20%20%20from%20mlsysim.core.engine%20import%20Engine%0A%0A%20%20%20%20H100%20%3D%20mlsysim.Hardware.Cloud.H100%0A%20%20%20%20ESP32%20%3D%20mlsysim.Hardware.Tiny.ESP32_S3%0A%0A%20%20%20%20H100_BW_GBS%20%3D%20H100.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20H100_DISPATCH%20%3D%20H100.dispatch_tax.m_as(%22ms%22)%0A%20%20%20%20H100_RAM_GB%20%3D%20H100.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20ESP32_RAM_KB%20%3D%20ESP32.memory.capacity.m_as(%22KiB%22)%0A%0A%20%20%20%20%23%20Framework%20runtime%20overheads%20(MB)%20--%20from%20textbook%20Table%207.x%0A%20%20%20%20FRAMEWORK_RUNTIMES_MB%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22PyTorch%22%3A%20%20%20%20%20%20%201800%2C%0A%20%20%20%20%20%20%20%20%22TensorFlow%22%3A%20%20%20%201200%2C%0A%20%20%20%20%20%20%20%20%22ONNX%20Runtime%22%3A%20%20300%2C%0A%20%20%20%20%20%20%20%20%22TF%20Lite%22%3A%20%20%20%20%20%20%205%2C%0A%20%20%20%20%20%20%20%20%22TensorRT%22%3A%20%20%20%20%20%20800%2C%0A%20%20%20%20%20%20%20%20%22TF%20Lite%20Micro%22%3A%200.05%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20%23%20Framework%20relative%20latency%20multipliers%20(vs%20TensorRT%20baseline)%0A%20%20%20%20FRAMEWORK_LATENCY_MULT%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22PyTorch%22%3A%20%20%20%20%20%20%2017.3%2C%0A%20%20%20%20%20%20%20%20%22TensorFlow%22%3A%20%20%20%2012.0%2C%0A%20%20%20%20%20%20%20%20%22ONNX%20Runtime%22%3A%20%204.5%2C%0A%20%20%20%20%20%20%20%20%22TF%20Lite%22%3A%20%20%20%20%20%20%208.0%2C%0A%20%20%20%20%20%20%20%20%22TensorRT%22%3A%20%20%20%20%20%201.0%2C%0A%20%20%20%20%20%20%20%20%22TF%20Lite%20Micro%22%3A%2025.0%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20ESP32_RAM_KB%2C%0A%20%20%20%20%20%20%20%20FRAMEWORK_RUNTIMES_MB%2C%0A%20%20%20%20%20%20%20%20H100_BW_GBS%2C%0A%20%20%20%20%20%20%20%20H100_RAM_GB%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20math%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20mo.Html(%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%230f172a%200%25%2C%20%231e293b%2060%25%2C%20%230c1a2e%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2036px%2044px%3B%20border-radius%3A%2016px%3B%20color%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2032px%20rgba(0%2C0%2C0%2C0.35)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20letter-spacing%3A%200.18em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23475569%3B%20text-transform%3A%20uppercase%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Machine%20Learning%20Systems%20%26middot%3B%20Volume%20I%20%26middot%3B%20Lab%2007%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch1%20style%3D%22margin%3A%200%200%2010px%200%3B%20font-size%3A%202.4rem%3B%20font-weight%3A%20900%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23f8fafc%3B%20line-height%3A%201.1%3B%20letter-spacing%3A%20-0.02em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Framework%20Tax%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%206px%200%3B%20font-size%3A%201.15rem%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%2394a3b8%3B%20letter-spacing%3A%200.04em%3B%20font-family%3A%20'SF%20Mono'%2C%20monospace%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Dispatch%20Tax%20%26middot%3B%20Kernel%20Fusion%20%26middot%3B%20Compilation%20Break-Even%20%26middot%3B%20Deployment%20Spectrum%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%2022px%200%3B%20font-size%3A%201.0rem%3B%20color%3A%20%2364748b%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max-width%3A%20680px%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Frameworks%20are%20not%20just%20programming%20conveniences%20--%20they%20are%20execution%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20engines%20whose%20architectural%20decisions%20determine%20whether%20the%20same%20model%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20runs%2017x%20faster%20or%20fails%20entirely%2C%20without%20changing%20a%20single%20weight.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2012px%3B%20flex-wrap%3A%20wrap%3B%20margin-bottom%3A%2020px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(99%2C102%2C241%2C0.18)%3B%20color%3A%20%23a5b4fc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(99%2C102%2C241%2C0.3)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%204%20Parts%20%2B%20Synthesis%20%26middot%3B%20~50%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(203%2C32%2C45%2C0.15)%3B%20color%3A%20%23fca5a5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(203%2C32%2C45%2C0.25)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Chapter%207%3A%20ML%20Frameworks%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2010px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EDispatch%3A%20~10%20us%2Fop%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3EFusion%3A%203x%20speedup%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-fail%22%3ERuntime%3A%203%2C600x%20device%20memory%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3EQuantify%20the%20dispatch%20tax%3C%2Fstrong%3E%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20a%20model%20with%201%2C000%20tiny%20kernels%20achieves%20%3C1%25%20GPU%20utilization%20because%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dispatch%20overhead%20exceeds%20compute%20time%20for%20every%20kernel.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3ECalculate%20the%20fusion%20dividend%3C%2Fstrong%3E%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fusing%203%20element-wise%20operations%20eliminates%20intermediate%20HBM%20writes%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yielding%20a%20~3x%20speedup%20for%20memory-bound%20operations.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3EFind%20the%20compilation%20break-even%3C%2Fstrong%3E%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20torch.compile%20takes%2030s%20upfront%20but%20saves%20~2%20ms%20per%20inference%20--%20requiring%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20~15%2C000%20inferences%20before%20net%20positive.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E4.%20%3Cstrong%3EDiagnose%20framework%20feasibility%3C%2Fstrong%3E%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20the%20PyTorch%20runtime%20(1%2C800%20MB)%20exceeds%20ESP32%20memory%20(512%20KB)%20by%203%2C600x%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20making%20framework%20choice%20a%20feasibility%20constraint%2C%20not%20just%20a%20speed%20choice.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Dispatch%20overhead%20from%20%40sec-frameworks-dispatch-overhead%20%26middot%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Kernel%20fusion%20from%20%40sec-frameworks-kernel-fusion%20%26middot%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Memory%20hierarchy%20from%20%40sec-nn-computation-memory-hierarchy%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E~50%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Part%20A%3A%20~10%20min%20%26middot%3B%20Part%20B%3A%20~10%20min%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Part%20C%3A%20~12%20min%20%26middot%3B%20Part%20D%3A%20~8%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%2012px%20-28px%200%20-28px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2016px%2028px%200%2028px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BThe%20model%20weights%20are%20identical.%20The%20hardware%20is%20identical.%20So%20why%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20does%20the%20same%20model%20run%2017x%20faster%20in%20one%20framework%20than%20another%20--%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20why%20does%20the%20fastest%20framework%20not%20even%20fit%20on%20the%20target%20device%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20--%20Complete%20the%20following%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20**Chapter%207%3A%20Dispatch%20Overhead**%20--%20Python%20dispatch%20tax%20per%20operation%2C%0A%20%20%20%20%20%20kernel%20launch%20overhead%2C%20and%20the%20utilization%20equation.%0A%20%20%20%20-%20**Chapter%207%3A%20Kernel%20Fusion**%20--%20fusing%20element-wise%20operations%2C%20HBM%20traffic%0A%20%20%20%20%20%20reduction%2C%20and%20the%20memory-bound%20speedup%20model.%0A%20%20%20%20-%20**Chapter%207%3A%20Compilation**%20--%20torch.compile%2C%20JIT%20compilation%2C%20amortization%0A%20%20%20%20%20%20and%20break-even%20analysis.%0A%20%20%20%20-%20**Chapter%207%3A%20Framework%20Deployment%20Spectrum**%20--%20runtime%20memory%20footprints%0A%20%20%20%20%20%20from%20PyTorch%20(1%2C800%20MB)%20to%20TF%20Lite%20Micro%20(50%20KB).%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20SHARED%20WIDGET%20STATE%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20%23%20Part%20A%20widgets%0A%20%20%20%20partA_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Model%20A%20(1%2C000%20ops)%20--%20more%20operations%20means%20busier%20GPU%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Model%20B%20(20%20ops)%20--%20fewer%20but%20larger%20operations%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20About%20the%20same%20--%20same%20GPU%22%3A%20%22same%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Depends%20on%20batch%20size%22%3A%20%22depends%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Two%20models%20on%20the%20same%20GPU.%20Model%20A%20(KWS)%20has%201%2C000%20operations%20of%205%20us%20each.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Model%20B%20(GPT-2-like)%20has%2020%20operations%20of%20500%20us%20each.%20Which%20achieves%20higher%20GPU%20utilization%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(partA_prediction%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partA_prediction)%3A%0A%20%20%20%20mo.stop(partA_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partA_kernels%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D10%2C%20stop%3D2000%2C%20value%3D1000%2C%20step%3D10%2C%20label%3D%22Number%20of%20kernels%22%2C%0A%20%20%20%20)%0A%20%20%20%20partA_compute_us%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D10000%2C%20value%3D5%2C%20step%3D1%2C%20label%3D%22Compute%20per%20kernel%20(us)%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Part%20B%20widgets%0A%20%20%20%20partB_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~1.2x%20(minor%20improvement)%22%3A%20%221.2x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~1.5x%20(noticeable)%22%3A%20%221.5x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~3x%20(significant)%22%3A%20%223x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~10x%22%3A%20%2210x%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Fusing%203%20element-wise%20operations%20into%20one%20kernel%20eliminates%20intermediate%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22HBM%20writes.%20What%20speedup%20do%20you%20expect%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partA_compute_us%2C%20partA_kernels%2C%20partB_prediction%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partB_prediction)%3A%0A%20%20%20%20mo.stop(partB_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partB_num_ops%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D2%2C%20stop%3D8%2C%20value%3D3%2C%20step%3D1%2C%20label%3D%22Operations%20to%20fuse%22%2C%0A%20%20%20%20)%0A%20%20%20%20partB_tensor_mb%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D1000%2C%20value%3D100%2C%20step%3D10%2C%20label%3D%22Tensor%20size%20(MB)%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Part%20C%20widgets%0A%20%20%20%20partC_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~100%20(almost%20immediately)%22%3A%20%22100%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~1%2C000%22%3A%20%221000%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~10%2C000%22%3A%20%2210000%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~15%2C000%2B%22%3A%20%2215000%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22torch.compile%20gives%2048%25%20speedup%20on%20ResNet-50%20but%20takes%2030s%20to%20compile.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22How%20many%20inferences%20before%20compilation%20pays%20off%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partB_num_ops%2C%20partB_tensor_mb%2C%20partC_prediction%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partC_prediction)%3A%0A%20%20%20%20mo.stop(partC_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partC_compile_time%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D5%2C%20stop%3D300%2C%20value%3D30%2C%20step%3D5%2C%20label%3D%22Compile%20time%20(seconds)%22%2C%0A%20%20%20%20)%0A%20%20%20%20partC_volume%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D10%2C%20stop%3D1000000%2C%20value%3D10000%2C%20step%3D100%2C%20label%3D%22Deployment%20volume%20(req%2Fhour)%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Part%20D%20widgets%0A%20%20%20%20partD_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~10x%22%3A%20%2210x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~100x%22%3A%20%22100x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~3%2C500x%22%3A%20%223500x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20It%20fits%20with%20optimization%22%3A%20%22fits%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22PyTorch%20runtime%20alone%20requires%20~1%2C800%20MB.%20The%20ESP32%20has%20512%20KB.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22By%20what%20factor%20does%20the%20runtime%20exceed%20device%20memory%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partC_compile_time%2C%20partC_volume%2C%20partD_prediction%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20ESP32_RAM_KB%2C%0A%20%20%20%20FRAMEWORK_RUNTIMES_MB%2C%0A%20%20%20%20H100_BW_GBS%2C%0A%20%20%20%20H100_RAM_GB%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20go%2C%0A%20%20%20%20math%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20partA_compute_us%2C%0A%20%20%20%20partA_kernels%2C%0A%20%20%20%20partA_prediction%2C%0A%20%20%20%20partB_num_ops%2C%0A%20%20%20%20partB_prediction%2C%0A%20%20%20%20partB_tensor_mb%2C%0A%20%20%20%20partC_compile_time%2C%0A%20%20%20%20partC_prediction%2C%0A%20%20%20%20partC_volume%2C%0A%20%20%20%20partD_prediction%2C%0A)%3A%0A%20%20%20%20mo.stop(partD_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partD_framework%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22PyTorch%22%3A%20%22PyTorch%22%2C%20%22TensorFlow%22%3A%20%22TensorFlow%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ONNX%20Runtime%22%3A%20%22ONNX%20Runtime%22%2C%20%22TF%20Lite%22%3A%20%22TF%20Lite%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22TensorRT%22%3A%20%22TensorRT%22%2C%20%22TF%20Lite%20Micro%22%3A%20%22TF%20Lite%20Micro%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22PyTorch%22%2C%20label%3D%22Framework%22%2C%0A%20%20%20%20)%0A%20%20%20%20partD_target%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Cloud%20(H100)%22%3A%20%22cloud%22%2C%20%22Edge%20(Jetson%2016GB)%22%3A%20%22edge%22%2C%20%22MCU%20(ESP32%20512KB)%22%3A%20%22mcu%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22MCU%20(ESP32%20512KB)%22%2C%20label%3D%22Deployment%20target%3A%22%2C%20inline%3DTrue%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20A%20BUILDER%3A%20The%20Dispatch%20Tax%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'BlueL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20ML%20Platform%20Engineer%2C%20SoundSense%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BOur%20keyword%20spotting%20model%20has%201%2C000%20tiny%20operations%20and%20achieves%20less%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20than%201%25%20GPU%20utilization.%20Our%20language%20model%20has%20only%2020%20operations%20but%20hits%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2090%25.%20Both%20run%20on%20the%20same%20H100.%20The%20intern%20says%20more%20operations%20should%20mean%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20higher%20utilization.%20What%20is%20going%20on%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20Kevin%20Park%2C%20ML%20Platform%20Engineer%20%26middot%3B%20SoundSense%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20The%20Dispatch%20Tax%3A%20Every%20Kernel%20Launch%20Costs%20~10%20us%0A%0A%20%20%20%20Python%20dispatch%20overhead%20is%20approximately%20**10%20us%20per%20operation**%2C%20regardless%20of%0A%20%20%20%20how%20much%20compute%20the%20operation%20performs.%20GPU%20utilization%20depends%20on%20the%20ratio%3A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Utilization%20%3D%20total_compute%20%2F%20(total_compute%20%2B%20total_dispatch)%0A%20%20%20%20%20%20%20%20%20%20%20%20%3D%20(N%20*%20T_compute)%20%2F%20(N%20*%20T_compute%20%2B%20N%20*%20T_dispatch)%0A%20%20%20%20%20%20%20%20%20%20%20%20%3D%20T_compute%20%2F%20(T_compute%20%2B%20T_dispatch)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20A%20kernel%20with%205%20us%20of%20compute%20and%2010%20us%20of%20dispatch%20achieves%20only%2033%25%20utilization.%0A%20%20%20%20A%20kernel%20with%20500%20us%20of%20compute%20and%2010%20us%20of%20dispatch%20achieves%2098%25%20utilization.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partA_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partA_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20dispatch%20tax%20simulator.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartA_kernels%2C%20partA_compute_us%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_n%20%3D%20partA_kernels.value%0A%20%20%20%20%20%20%20%20_compute_us%20%3D%20partA_compute_us.value%0A%20%20%20%20%20%20%20%20_dispatch_us%20%3D%2010.0%20%20%23%20Fixed%20dispatch%20overhead%0A%0A%20%20%20%20%20%20%20%20_total_compute%20%3D%20_n%20*%20_compute_us%0A%20%20%20%20%20%20%20%20_total_dispatch%20%3D%20_n%20*%20_dispatch_us%0A%20%20%20%20%20%20%20%20_total_time%20%3D%20_total_compute%20%2B%20_total_dispatch%0A%20%20%20%20%20%20%20%20_utilization%20%3D%20(_total_compute%20%2F%20_total_time)%20*%20100%20if%20_total_time%20%3E%200%20else%200%0A%0A%20%20%20%20%20%20%20%20%23%20Presets%20for%20comparison%0A%20%20%20%20%20%20%20%20_kws%20%3D%20%7B%22name%22%3A%20%22KWS%20(1000%20kernels%2C%205%20us)%22%2C%20%22n%22%3A%201000%2C%20%22c%22%3A%205%7D%0A%20%20%20%20%20%20%20%20_gpt%20%3D%20%7B%22name%22%3A%20%22GPT-2-like%20(20%20kernels%2C%20500%20us)%22%2C%20%22n%22%3A%2020%2C%20%22c%22%3A%20500%7D%0A%20%20%20%20%20%20%20%20_kws_util%20%3D%20(_kws%5B%22c%22%5D%20%2F%20(_kws%5B%22c%22%5D%20%2B%20_dispatch_us))%20*%20100%0A%20%20%20%20%20%20%20%20_gpt_util%20%3D%20(_gpt%5B%22c%22%5D%20%2F%20(_gpt%5B%22c%22%5D%20%2B%20_dispatch_us))%20*%20100%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Compute%22%2C%20x%3D%5B%22KWS-like%22%2C%20%22GPT-2-like%22%2C%20%22Your%20Setting%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B_kws%5B%22n%22%5D%20*%20_kws%5B%22c%22%5D%20%2F%201000%2C%20_gpt%5B%22n%22%5D%20*%20_gpt%5B%22c%22%5D%20%2F%201000%2C%20_total_compute%20%2F%201000%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22GreenLine%22%5D%2C%20opacity%3D0.88%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Dispatch%20Overhead%22%2C%20x%3D%5B%22KWS-like%22%2C%20%22GPT-2-like%22%2C%20%22Your%20Setting%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B_kws%5B%22n%22%5D%20*%20_dispatch_us%20%2F%201000%2C%20_gpt%5B%22n%22%5D%20*%20_dispatch_us%20%2F%201000%2C%20_total_dispatch%20%2F%201000%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20opacity%3D0.88%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20barmode%3D%22stack%22%2C%20height%3D340%2C%20yaxis_title%3D%22Time%20(ms)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Compute%20vs.%20Dispatch%20Overhead%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_util_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_utilization%20%3E%2070%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_utilization%20%3E%2030%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_util_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EGPU%20Utilization%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_util_color%7D%3B%22%3E%7B_utilization%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EKWS%20Utilization%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%7B_kws_util%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EGPT-2%20Utilization%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_gpt_util%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partA_prediction.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%22b%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Correct.**%20Model%20B's%2020%20large%20kernels%20(500%20us%20each)%20amortize%20the%2010%20us%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22dispatch%20overhead%2C%20achieving%20%7B_gpt_util%3A.0f%7D%25%20utilization.%20Model%20A's%201%2C000%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22tiny%20kernels%20(5%20us%20each)%20spend%20more%20time%20on%20dispatch%20than%20compute%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22only%20%7B_kws_util%3A.0f%7D%25%20utilization.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%22a%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**More%20operations%20does%20not%20mean%20higher%20utilization.**%20Each%20of%20Model%20A's%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%221%2C000%20kernels%20takes%20only%205%20us%20to%20compute%20but%2010%20us%20to%20launch%20--%20the%20GPU%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22is%20idle%2067%25%20of%20the%20time.%20Model%20B's%2020%20large%20kernels%20achieve%20%7B_gpt_util%3A.0f%7D%25.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**The%20key%20factor%20is%20compute-per-kernel%2C%20not%20total%20operations.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22KWS%3A%20%7B_kws_util%3A.0f%7D%25%20utilization.%20GPT-2%3A%20%7B_gpt_util%3A.0f%7D%25.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20dispatch%20tax%20is%20fixed%20(~10%20us)%20regardless%20of%20kernel%20compute%20time.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MathPeek%3A%20Dispatch%20Tax%22%3A%20mo.md(f%22%22%22%0A%20%20%20%20%60%60%60%0A%20%20%20%20Utilization%20%3D%20T_compute%20%2F%20(T_compute%20%2B%20T_dispatch)%0A%20%20%20%20KWS%3A%20%205%20%2F%20(5%20%2B%2010)%20%3D%20%7B_kws_util%3A.1f%7D%25%0A%20%20%20%20GPT2%3A%20500%20%2F%20(500%20%2B%2010)%20%3D%20%7B_gpt_util%3A.1f%7D%25%0A%20%20%20%20%60%60%60%0A%20%20%20%20Source%3A%20%40sec-frameworks-dispatch-overhead%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20B%20BUILDER%3A%20The%20Fusion%20Dividend%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'OrangeL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Compiler%20Engineer%2C%20SoundSense%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BI%20fused%20LayerNorm%20%2B%20Dropout%20%2B%20ReLU%20into%20a%20single%20kernel.%20The%20compute%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20is%20identical.%20But%20inference%20is%203x%20faster.%20How%20can%20removing%20zero%20compute%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20operations%20give%20a%203x%20speedup%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20Dr.%20Yuki%20Tanaka%2C%20Compiler%20Engineer%20%26middot%3B%20SoundSense%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Kernel%20Fusion%3A%20The%20Speedup%20Comes%20from%20Memory%2C%20Not%20Compute%0A%0A%20%20%20%20Element-wise%20operations%20(ReLU%2C%20Dropout%2C%20LayerNorm)%20have%20arithmetic%20intensity%0A%20%20%20%20%3C%201%20FLOP%2Fbyte%20--%20they%20are%20**permanently%20memory-bound**.%20Each%20unfused%20operation%3A%0A%20%20%20%201.%20Reads%20the%20entire%20tensor%20from%20HBM%0A%20%20%20%202.%20Performs%20a%20trivial%20computation%0A%20%20%20%203.%20Writes%20the%20entire%20tensor%20back%20to%20HBM%0A%0A%20%20%20%20Fusing%20N%20operations%20into%20one%20kernel%3A%20**1%20read%20%2B%201%20write**%20instead%20of%20N%20reads%20%2B%20N%20writes.%0A%20%20%20%20Memory%20traffic%20drops%20by%20~Nx.%20Since%20these%20ops%20are%20memory-bound%2C%20latency%20drops%20proportionally.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partB_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partB_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20fusion%20simulator.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartB_num_ops%2C%20partB_tensor_mb%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_n_ops%20%3D%20partB_num_ops.value%0A%20%20%20%20%20%20%20%20_tensor_mb%20%3D%20partB_tensor_mb.value%0A%20%20%20%20%20%20%20%20_bw%20%3D%20H100_BW_GBS%20%20%23%20GB%2Fs%0A%0A%20%20%20%20%20%20%20%20%23%20Unfused%3A%20each%20op%20does%201%20read%20%2B%201%20write%20%3D%202%20*%20tensor_size%0A%20%20%20%20%20%20%20%20_unfused_traffic_mb%20%3D%202%20*%20_tensor_mb%20*%20_n_ops%0A%20%20%20%20%20%20%20%20_unfused_time_ms%20%3D%20_unfused_traffic_mb%20%2F%20(_bw%20*%201000)%20*%201000%20%20%23%20MB%20%2F%20(GB%2Fs%20*%201000%20MB%2FGB)%20*%201000%20ms%0A%0A%20%20%20%20%20%20%20%20%23%20Fused%3A%201%20read%20%2B%201%20write%20%3D%202%20*%20tensor_size%0A%20%20%20%20%20%20%20%20_fused_traffic_mb%20%3D%202%20*%20_tensor_mb%0A%20%20%20%20%20%20%20%20_fused_time_ms%20%3D%20_fused_traffic_mb%20%2F%20(_bw%20*%201000)%20*%201000%0A%0A%20%20%20%20%20%20%20%20_speedup%20%3D%20_unfused_time_ms%20%2F%20_fused_time_ms%20if%20_fused_time_ms%20%3E%200%20else%201%0A%20%20%20%20%20%20%20%20_traffic_reduction%20%3D%20_unfused_traffic_mb%20%2F%20_fused_traffic_mb%20if%20_fused_traffic_mb%20%3E%200%20else%201%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22HBM%20Traffic%20(MB)%22%2C%20x%3D%5B%22Eager%20(unfused)%22%2C%20%22Fused%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B_unfused_traffic_mb%2C%20_fused_traffic_mb%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D%5BCOLORS%5B%22RedLine%22%5D%2C%20COLORS%5B%22GreenLine%22%5D%5D%2C%20opacity%3D0.88%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7B_unfused_traffic_mb%3A%2C.0f%7D%20MB%22%2C%20f%22%7B_fused_traffic_mb%3A%2C.0f%7D%20MB%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20textposition%3D%22outside%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D320%2C%20yaxis_title%3D%22HBM%20Traffic%20(MB)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Memory%20Traffic%3A%20Eager%20vs.%20Fused%20(%7B_n_ops%7D%20ops%2C%20%7B_tensor_mb%7D%20MB%20tensor)%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ESpeedup%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_speedup%3A.1f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ETraffic%20Reduction%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%7B_traffic_reduction%3A.1f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EUnfused%20AI%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E~0.5%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partB_prediction.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%223x%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Correct.**%20Fusing%20%7B_n_ops%7D%20ops%20reduces%20HBM%20traffic%20by%20%7B_traffic_reduction%3A.0f%7Dx.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Since%20element-wise%20ops%20are%20entirely%20memory-bound%20(AI%20%3C%201)%2C%20latency%20drops%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22proportionally%3A%20%7B_speedup%3A.1f%7Dx%20speedup%20with%20zero%20compute%20reduction.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%221.2x%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**You%20are%20thinking%20about%20compute%20savings%20--%20but%20there%20are%20none.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20speedup%20comes%20entirely%20from%20memory%20traffic%20reduction.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Fusing%20%7B_n_ops%7D%20ops%3A%20%7B_unfused_traffic_mb%3A%2C.0f%7D%20MB%20-%3E%20%7B_fused_traffic_mb%3A%2C.0f%7D%20MB%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%3D%20%7B_speedup%3A.1f%7Dx%20speedup.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Close.**%20Fusing%20%7B_n_ops%7D%20ops%20gives%20exactly%20%7B_speedup%3A.1f%7Dx%20speedup%20because%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22memory%20traffic%20drops%20by%20%7B_traffic_reduction%3A.0f%7Dx%20and%20these%20ops%20are%20100%25%20memory-bound.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MathPeek%3A%20Fusion%20Traffic%20Model%22%3A%20mo.md(f%22%22%22%0A%20%20%20%20%60%60%60%0A%20%20%20%20Unfused%3A%202%20*%20tensor%20*%20N_ops%20%3D%202%20*%20%7B_tensor_mb%7D%20*%20%7B_n_ops%7D%20%3D%20%7B_unfused_traffic_mb%3A%2C%7D%20MB%0A%20%20%20%20Fused%3A%20%20%202%20*%20tensor%20%20%20%20%20%20%20%20%20%3D%202%20*%20%7B_tensor_mb%7D%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%20%7B_fused_traffic_mb%3A%2C%7D%20MB%0A%20%20%20%20Speedup%3A%20%7B_unfused_traffic_mb%7D%20%2F%20%7B_fused_traffic_mb%7D%20%3D%20%7B_speedup%3A.1f%7Dx%0A%20%20%20%20%60%60%60%0A%20%20%20%20Source%3A%20%40sec-frameworks-kernel-fusion%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20C%20BUILDER%3A%20The%20Compilation%20Break-Even%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'GreenL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20DevOps%20Lead%2C%20SoundSense%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3Btorch.compile%20gives%20us%20a%2048%25%20speedup.%20Our%20research%20team%20wants%20to%20use%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20it%20for%20every%20experiment.%20But%20each%20compilation%20takes%2030%20seconds.%20For%20a%20quick%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2010-run%20experiment%2C%20that%20is%2030%20seconds%20of%20compilation%20for%200.04%20seconds%20of%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20inference.%20Is%20this%20actually%20worth%20it%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20Chen%20Li%2C%20DevOps%20Lead%20%26middot%3B%20SoundSense%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Compilation%20Has%20a%20Fixed%20Upfront%20Cost%20That%20Must%20Be%20Amortized%0A%0A%20%20%20%20torch.compile%20(and%20similar%20JIT%20compilers)%20optimize%20the%20computation%20graph%2C%0A%20%20%20%20fuse%20kernels%2C%20and%20generate%20specialized%20code.%20This%20takes%20**30%20seconds**%20for%0A%20%20%20%20ResNet-50%20(minutes%20for%20larger%20models).%0A%0A%20%20%20%20The%20savings%20per%20inference%20are%20small%3A%20from%20~4.2%20ms%20(eager)%20to%20~2.2%20ms%20(compiled)%0A%20%20%20%20%3D%20**2.0%20ms%20saved%20per%20inference**.%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Break-even%20%3D%20compile_time%20%2F%20savings_per_inference%0A%20%20%20%20%20%20%20%20%20%20%20%3D%2030%2C000%20ms%20%2F%202.0%20ms%20%3D%2015%2C000%20inferences%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20For%20a%20research%20notebook%20with%2010%20runs%3A%20compilation%20makes%20things%20**slower**.%0A%20%20%20%20For%20a%20production%20endpoint%20with%201M%20requests%2Fday%3A%20it%20pays%20off%20in%20seconds.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partC_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partC_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20break-even%20simulator.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartC_compile_time%2C%20partC_volume%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_compile_s%20%3D%20partC_compile_time.value%0A%20%20%20%20%20%20%20%20_compile_ms%20%3D%20_compile_s%20*%201000%0A%20%20%20%20%20%20%20%20_volume%20%3D%20partC_volume.value%0A%0A%20%20%20%20%20%20%20%20_eager_ms%20%3D%204.2%0A%20%20%20%20%20%20%20%20_compiled_ms%20%3D%202.2%0A%20%20%20%20%20%20%20%20_saving_ms%20%3D%20_eager_ms%20-%20_compiled_ms%0A%20%20%20%20%20%20%20%20_breakeven%20%3D%20int(math.ceil(_compile_ms%20%2F%20_saving_ms))%20if%20_saving_ms%20%3E%200%20else%20float(%22inf%22)%0A%20%20%20%20%20%20%20%20_breakeven_hours%20%3D%20_breakeven%20%2F%20_volume%20if%20_volume%20%3E%200%20else%20float(%22inf%22)%0A%0A%20%20%20%20%20%20%20%20%23%20Cumulative%20time%20curves%0A%20%20%20%20%20%20%20%20_inferences%20%3D%20np.arange(0%2C%20min(_breakeven%20*%203%2C%20100001)%2C%20max(1%2C%20min(_breakeven%20*%203%2C%20100001)%20%2F%2F%20500))%0A%20%20%20%20%20%20%20%20_eager_cum%20%3D%20_inferences%20*%20_eager_ms%0A%20%20%20%20%20%20%20%20_compiled_cum%20%3D%20_compile_ms%20%2B%20_inferences%20*%20_compiled_ms%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_inferences.tolist()%2C%20y%3D(_eager_cum%20%2F%201000).tolist()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%20name%3D%22Eager%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_inferences.tolist()%2C%20y%3D(_compiled_cum%20%2F%201000).tolist()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%20name%3D%22Compiled%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22GreenLine%22%5D%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20if%20_breakeven%20%3C%20_inferences%5B-1%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_vline(x%3D_breakeven%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22RedLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22Break-even%3A%20%7B_breakeven%3A%2C%7D%20inferences%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D380%2C%20xaxis_title%3D%22Inferences%22%2C%20yaxis_title%3D%22Cumulative%20Time%20(seconds)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Compilation%20Break-Even%20Analysis%20(compile%3D%7B_compile_s%7Ds%2C%20saving%3D%7B_saving_ms%3A.1f%7Dms%2Finf)%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_roi_positive%20%3D%20_volume%20%3E%200%20and%20_breakeven_hours%20%3C%201%0A%20%20%20%20%20%20%20%20_roi_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_roi_positive%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EBreak-Even%20Point%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_breakeven%3A%2C%7D%20inferences%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_roi_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ETime%20to%20Break-Even%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_roi_color%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_breakeven_hours%3A.1f%7D%20hours%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ESaving%20per%20Inference%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_saving_ms%3A.1f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partC_prediction.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%2215000%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Correct.**%20At%20%7B_saving_ms%3A.1f%7D%20ms%20savings%20per%20inference%2C%20recovering%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_compile_s%7D%20seconds%20requires%20%7B_breakeven%3A%2C%7D%20inferences.%20For%20research%20(10%20runs)%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22compilation%20is%20a%20net%20loss.%20For%20production%20(1M%2Fday)%3A%20break-even%20in%20seconds.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%22100%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**The%20saving%20per%20inference%20is%20smaller%20than%20you%20think.**%20Each%20inference%20saves%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22only%20%7B_saving_ms%3A.1f%7D%20ms.%20To%20recover%20%7B_compile_s%7D%20seconds%2C%20you%20need%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_breakeven%3A%2C%7D%20inferences%2C%20not%20100.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Close.**%20The%20actual%20break-even%20is%20%7B_breakeven%3A%2C%7D%20inferences.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20key%20insight%3A%20compilation%20is%20an%20investment%20that%20only%20pays%20off%20at%20scale.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MathPeek%3A%20Break-Even%20Analysis%22%3A%20mo.md(f%22%22%22%0A%20%20%20%20%60%60%60%0A%20%20%20%20Eager%20latency%3A%20%20%20%20%7B_eager_ms%7D%20ms%0A%20%20%20%20Compiled%20latency%3A%20%7B_compiled_ms%7D%20ms%0A%20%20%20%20Saving%3A%20%20%20%20%20%20%20%20%20%20%20%7B_saving_ms%3A.1f%7D%20ms%2Finference%0A%20%20%20%20Compile%20cost%3A%20%20%20%20%20%7B_compile_ms%3A%2C.0f%7D%20ms%20(%7B_compile_s%7Ds)%0A%20%20%20%20Break-even%3A%20%20%20%20%20%20%20%7B_compile_ms%3A%2C.0f%7D%20%2F%20%7B_saving_ms%3A.1f%7D%20%3D%20%7B_breakeven%3A%2C%7D%20inferences%0A%20%20%20%20%60%60%60%0A%20%20%20%20At%20%7B_volume%3A%2C%7D%20req%2Fhour%3A%20break-even%20in%20%7B_breakeven_hours%3A.1f%7D%20hours.%0A%0A%20%20%20%20Source%3A%20%40sec-frameworks-compilation%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20D%20BUILDER%3A%20The%20Deployment%20Spectrum%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'RedL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Embedded%20Engineer%2C%20SoundSense%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BManagement%20wants%20us%20to%20run%20our%20PyTorch%20model%20on%20ESP32%20microcontrollers.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20I%20tried%20explaining%20the%20memory%20gap%20but%20they%20think%20I%20am%20being%20difficult.%20Can%20you%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20give%20me%20the%20exact%20number%20for%20how%20much%20the%20runtime%20exceeds%20device%20memory%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20Ana%20Santos%2C%20Embedded%20Engineer%20%26middot%3B%20SoundSense%20AI%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Framework%20Selection%20Determines%20Feasibility%2C%20Not%20Just%20Speed%0A%0A%20%20%20%20The%20same%20ResNet-50%20--%20identical%20weights%20--%20spans%20**17x%20latency**%20and%20**56x%20memory**%0A%20%20%20%20across%20frameworks.%20On%20a%20512%20KB%20microcontroller%2C%20the%20question%20is%20not%20%22which%20framework%0A%20%20%20%20is%20fastest%22%20but%20%22which%20framework%20fits%20at%20all.%22%0A%0A%20%20%20%20%7C%20Framework%20%7C%20Runtime%20Memory%20%7C%20Relative%20%7C%0A%20%20%20%20%7C-----------%7C---------------%7C----------%7C%0A%20%20%20%20%7C%20PyTorch%20%7C%20~1%2C800%20MB%20%7C%203%2C600x%20ESP32%20%7C%0A%20%20%20%20%7C%20TensorFlow%20%7C%20~1%2C200%20MB%20%7C%202%2C400x%20ESP32%20%7C%0A%20%20%20%20%7C%20ONNX%20Runtime%20%7C%20~300%20MB%20%7C%20600x%20ESP32%20%7C%0A%20%20%20%20%7C%20TF%20Lite%20%7C%20~5%20MB%20%7C%2010x%20ESP32%20%7C%0A%20%20%20%20%7C%20TensorRT%20%7C%20~800%20MB%20%7C%201%2C600x%20ESP32%20%7C%0A%20%20%20%20%7C%20TF%20Lite%20Micro%20%7C%20~0.05%20MB%20%7C%20Fits!%20%7C%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partD_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partD_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20framework%20comparison.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartD_framework%2C%20partD_target%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_fw%20%3D%20partD_framework.value%0A%20%20%20%20%20%20%20%20_target%20%3D%20partD_target.value%0A%20%20%20%20%20%20%20%20_target_ram_mb%20%3D%20%7B%22cloud%22%3A%20H100_RAM_GB%20*%201024%2C%20%22edge%22%3A%2016%20*%201024%2C%20%22mcu%22%3A%20ESP32_RAM_KB%20%2F%201024%7D%5B_target%5D%0A%20%20%20%20%20%20%20%20_target_name%20%3D%20%7B%22cloud%22%3A%20f%22H100%20(%7BH100_RAM_GB%3A.0f%7D%20GB)%22%2C%20%22edge%22%3A%20%22Jetson%20(16%20GB)%22%2C%20%22mcu%22%3A%20f%22ESP32%20(%7BESP32_RAM_KB%3A.0f%7D%20KB)%22%7D%5B_target%5D%0A%0A%20%20%20%20%20%20%20%20_runtime_mb%20%3D%20FRAMEWORK_RUNTIMES_MB%5B_fw%5D%0A%20%20%20%20%20%20%20%20_fits%20%3D%20_runtime_mb%20%3C%3D%20_target_ram_mb%0A%20%20%20%20%20%20%20%20_ratio%20%3D%20_runtime_mb%20%2F%20_target_ram_mb%20if%20_target_ram_mb%20%3E%200%20else%20float(%22inf%22)%0A%0A%20%20%20%20%20%20%20%20%23%20All%20frameworks%20comparison%0A%20%20%20%20%20%20%20%20_fw_names%20%3D%20list(FRAMEWORK_RUNTIMES_MB.keys())%0A%20%20%20%20%20%20%20%20_fw_runtimes%20%3D%20%5BFRAMEWORK_RUNTIMES_MB%5Bf%5D%20for%20f%20in%20_fw_names%5D%0A%20%20%20%20%20%20%20%20_fw_fits%20%3D%20%5Br%20%3C%3D%20_target_ram_mb%20for%20r%20in%20_fw_runtimes%5D%0A%20%20%20%20%20%20%20%20_fw_colors%20%3D%20%5BCOLORS%5B%22GreenLine%22%5D%20if%20f%20else%20COLORS%5B%22RedLine%22%5D%20for%20f%20in%20_fw_fits%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_fw_names%2C%20y%3D_fw_runtimes%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_fw_colors%2C%20opacity%3D0.88%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7Br%3A%2C.1f%7D%20MB%22%20if%20r%20%3E%3D%201%20else%20f%22%7Br*1024%3A.0f%7D%20KB%22%20for%20r%20in%20_fw_runtimes%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20textposition%3D%22outside%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D_target_ram_mb%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22BlueLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22%7B_target_name%7D%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D380%2C%20yaxis_title%3D%22Runtime%20Memory%20(MB)%22%2C%20yaxis_type%3D%22log%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Framework%20Runtime%20Memory%20vs.%20%7B_target_name%7D%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_status_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_fits%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_status_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EStatus%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_status_color%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22FITS%22%20if%20_fits%20else%20%22OOM%22%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3E%7B_fw%7D%20Runtime%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_runtime_mb%3A%2C.1f%7D%20MB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%20if%20_ratio%20%3E%2010%20else%20COLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ERuntime%2FDevice%20Ratio%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%7BCOLORS%5B'RedLine'%5D%20if%20_ratio%20%3E%2010%20else%20COLORS%5B'GreenLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_ratio%3A%2C.0f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20not%20_fits%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**OOM%20--%20Framework%20runtime%20alone%20exceeds%20device%20memory%20by%20%7B_ratio%3A%2C.0f%7Dx.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_fw%7D%20requires%20%7B_runtime_mb%3A%2C.1f%7D%20MB.%20%7B_target_name%7D%20has%20%7B_target_ram_mb%3A%2C.1f%7D%20MB.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22This%20is%20not%20a%20model%20size%20problem%20--%20the%20**framework%20itself**%20does%20not%20fit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22danger%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partD_prediction.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%223500x%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20PyTorch%20runtime%20(1%2C800%20MB)%20%2F%20ESP32%20memory%20(0.5%20MB)%20%3D%203%2C600x.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Framework%20selection%20is%20a%20feasibility%20constraint%20on%20microcontrollers.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Only%20TF%20Lite%20Micro%20(50%20KB%20runtime)%20fits%20on%20an%20ESP32.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%22fits%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**No%20amount%20of%20optimization%20makes%20PyTorch%20fit%20on%20512%20KB.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20runtime%20alone%20--%20before%20loading%20any%20model%20--%20requires%201%2C800%20MB.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22That%20is%203%2C600x%20the%20ESP32's%20total%20memory.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**The%20gap%20is%20larger%20than%20expected.**%201%2C800%20MB%20%2F%200.5%20MB%20%3D%203%2C600x.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Most%20engineers%20never%20think%20about%20framework%20runtime%20footprint%20because%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22on%20cloud%20hardware%2C%201%2C800%20MB%20is%20negligible.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MathPeek%3A%20Framework%20Feasibility%22%3A%20mo.md(f%22%22%22%0A%20%20%20%20%60%60%60%0A%20%20%20%20PyTorch%20runtime%3A%20%201%2C800%20MB%0A%20%20%20%20ESP32%20memory%3A%20%20%20%20%20%7BESP32_RAM_KB%3A.0f%7D%20KB%20%3D%20%7BESP32_RAM_KB%2F1024%3A.2f%7D%20MB%0A%20%20%20%20Ratio%3A%20%20%20%20%20%20%20%20%20%20%20%201%2C800%20%2F%20%7BESP32_RAM_KB%2F1024%3A.2f%7D%20%3D%20%7B1800%2F(ESP32_RAM_KB%2F1024)%3A%2C.0f%7Dx%0A%20%20%20%20%60%60%60%0A%20%20%20%20Only%20TF%20Lite%20Micro%20(0.05%20MB)%20fits%20on%20the%20ESP32.%0A%0A%20%20%20%20Source%3A%20%40sec-frameworks-deployment-spectrum%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20SYNTHESIS%20BUILDER%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Synthesis%3A%20Two%20Deployments%2C%20Two%20Frameworks%0A%0A%20%20%20%20You%20manage%20two%20deployments%3A%0A%20%20%20%201.%20A%20KWS%20model%20(1%2C000%20small%20kernels%2C%205%20us%20each)%20on%20an%20ESP32%0A%20%20%20%202.%20ResNet-50%20on%20a%20cloud%20endpoint%20serving%20500K%20requests%2Fday%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22%22%22%0A%20%20%20%20For%20each%20deployment%2C%20specify%3A%0A%20%20%20%20-%20**Framework%20choice**%20and%20why%0A%20%20%20%20-%20**Whether%20to%20compile**%20(will%20compilation%20pay%20off%3F)%0A%20%20%20%20-%20**Whether%20kernel%20fusion%20helps**%20(are%20the%20kernels%20memory-bound%3F)%0A%20%20%20%20-%20**Expected%20GPU%2FNPU%20utilization**%0A%0A%20%20%20%20Justify%20each%20choice%20with%20specific%20numbers%20from%20the%20lab.%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2024px%2028px%3B%20margin%3A%2016px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%2012px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Key%20Takeaways%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.92rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20line-height%3A%201.75%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E1.%20The%20dispatch%20tax%20punishes%20small%20kernels.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20At%2010%20us%20dispatch%20overhead%2C%20a%205%20us%20kernel%20achieves%20only%2033%25%20utilization.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Models%20with%20many%20tiny%20operations%20(KWS)%20suffer%20far%20more%20than%20models%20with%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20few%20large%20operations%20(LLMs).%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E2.%20Fusion%20speeds%20up%20memory-bound%20ops%20proportionally.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Fusing%203%20element-wise%20operations%20yields%20~3x%20speedup%20by%20eliminating%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20intermediate%20HBM%20traffic.%20The%20compute%20is%20identical%20--%20all%20savings%20come%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20from%20memory.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E3.%20Compilation%20is%20an%20investment%20with%20a%20break-even%20point.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2030s%20compile%20time%20%2F%202ms%20savings%20%3D%2015%2C000%20inferences%20to%20break%20even.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Production%20endpoints%20amortize%20instantly.%20Research%20notebooks%20lose%20time.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E4.%20Framework%20selection%20is%20a%20feasibility%20constraint.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20PyTorch%20runtime%20(1%2C800%20MB)%20exceeds%20ESP32%20memory%20(512%20KB)%20by%203%2C600x.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20On%20microcontrollers%2C%20framework%20choice%20determines%20whether%20deployment%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20is%20physically%20possible.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2016px%3B%20margin%3A%208px%200%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20What's%20Next%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ELab%2008%3A%20Model%20Training%3C%2Fstrong%3E%20--%20Frameworks%20execute%20the%20model.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20But%20training%20adds%20four%20new%20costs%3A%20optimizer%20state%20memory%2C%20pipeline%20bubbles%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mixed-precision%20traps%2C%20and%20communication%20overhead.%20Lab%2008%20reveals%20why%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20a%207B%20model%20needs%20112%20GB%20before%20storing%20a%20single%20activation.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Textbook%20%26amp%3B%20TinyTorch%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ERead%3A%3C%2Fstrong%3E%20%40sec-frameworks%20for%20dispatch%20overhead%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kernel%20fusion%2C%20and%20compilation%20trade-offs.%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3EBuild%3A%3C%2Fstrong%3E%20TinyTorch%20Module%2007%20--%20implement%20a%20simple%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20computation%20graph%20executor%20with%20eager%20and%20compiled%20modes.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20COMPOSE%20TABS%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%20%5Cu2014%20The%20Dispatch%20Tax%22%3A%20%20%20%20%20%20%20%20%20%20%20%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%20%5Cu2014%20The%20Fusion%20Dividend%22%3A%20%20%20%20%20%20%20%20%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%20%5Cu2014%20Compilation%20Break-Even%22%3A%20%20%20%20%20%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%20%5Cu2014%20The%20Deployment%20Spectrum%22%3A%20%20%20%20%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20ledger%2C%20mo)%3A%0A%20%20%20%20_track%20%3D%20ledger._state.track%20or%20%22not%20set%22%0A%20%20%20%20ledger.save(chapter%3D7%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%22chapter%22%3A%20%22v1_07%22%2C%0A%20%20%20%20%20%20%20%20%22completed%22%3A%20True%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3E07%20%26middot%3B%20The%20Framework%20Tax%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ETRACK%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22%7B'hud-active'%20if%20_track%20!%3D%20'not%20set'%20else%20'hud-none'%7D%22%3E%7B_track%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ECHAPTER%26nbsp%3B7%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3EML%20Frameworks%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ESTATUS%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-active%22%3Eactive%3C%2Fspan%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A