lab 11 hw accel

import%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22..%2F..%2F..%2Fwheels%2Fmlsysim-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%22mlsysim%22%20not%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20_root%20%3D%20Path(__file__).resolve().parents%5B2%5D%0A%20%20%20%20%20%20%20%20if%20str(_root)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_root))%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20import%20mlsysim%0A%0A%20%20%20%20H100_TFLOPS%20%3D%20mlsysim.Hardware.Cloud.H100.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20H100_BW%20%20%20%20%20%3D%20mlsysim.Hardware.Cloud.H100.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20H100_RAM%20%20%20%20%3D%20mlsysim.Hardware.Cloud.H100.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20H100_TDP%20%20%20%20%3D%20mlsysim.Hardware.Cloud.H100.tdp.m_as(%22W%22)%0A%0A%20%20%20%20JETSON_TFLOPS%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20JETSON_BW%20%20%20%20%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20JETSON_RAM%20%20%20%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20JETSON_TDP%20%20%20%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX.tdp.m_as(%22W%22)%0A%0A%20%20%20%20IPHONE_TFLOPS%20%3D%20mlsysim.Hardware.Mobile.iPhone15Pro.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20IPHONE_BW%20%20%20%20%20%3D%20mlsysim.Hardware.Mobile.iPhone15Pro.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20IPHONE_TDP%20%20%20%20%3D%20mlsysim.Hardware.Mobile.iPhone15Pro.tdp.m_as(%22W%22)%0A%0A%20%20%20%20%23%20Ridge%20points%3A%20peak_flops%20%2F%20memory_bandwidth%20(FLOP%2Fbyte)%0A%20%20%20%20H100_RIDGE%20%20%20%3D%20H100_TFLOPS%20*%201e12%20%2F%20(H100_BW%20*%201e9)%0A%20%20%20%20JETSON_RIDGE%20%3D%20JETSON_TFLOPS%20*%201e12%20%2F%20(JETSON_BW%20*%201e9)%0A%20%20%20%20IPHONE_RIDGE%20%3D%20IPHONE_TFLOPS%20*%201e12%20%2F%20(IPHONE_BW%20*%201e9)%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20H100_BW%2C%0A%20%20%20%20%20%20%20%20H100_RIDGE%2C%0A%20%20%20%20%20%20%20%20H100_TFLOPS%2C%0A%20%20%20%20%20%20%20%20IPHONE_BW%2C%0A%20%20%20%20%20%20%20%20IPHONE_RIDGE%2C%0A%20%20%20%20%20%20%20%20IPHONE_TFLOPS%2C%0A%20%20%20%20%20%20%20%20JETSON_BW%2C%0A%20%20%20%20%20%20%20%20JETSON_RIDGE%2C%0A%20%20%20%20%20%20%20%20JETSON_TFLOPS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20math%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20mo.Html(%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%230f172a%200%25%2C%20%231e293b%2060%25%2C%20%230c1a2e%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2036px%2044px%3B%20border-radius%3A%2016px%3B%20color%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2032px%20rgba(0%2C0%2C0%2C0.35)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20letter-spacing%3A%200.18em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23475569%3B%20text-transform%3A%20uppercase%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Machine%20Learning%20Systems%20%26middot%3B%20Volume%20I%20%26middot%3B%20Lab%2011%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch1%20style%3D%22margin%3A%200%200%2010px%200%3B%20font-size%3A%202.4rem%3B%20font-weight%3A%20900%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23f8fafc%3B%20line-height%3A%201.1%3B%20letter-spacing%3A%20-0.02em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Hardware%20Roofline%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%206px%200%3B%20font-size%3A%201.15rem%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%2394a3b8%3B%20letter-spacing%3A%200.04em%3B%20font-family%3A%20'SF%20Mono'%2C%20monospace%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Roofline%20%26middot%3B%20Kernel%20Fusion%20%26middot%3B%20Balance%20Shift%20%26middot%3B%20Energy%20%26middot%3B%20Tiling%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%2022px%200%3B%20font-size%3A%201.0rem%3B%20color%3A%20%2364748b%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max-width%3A%20680px%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Your%20code%20is%20not%20broken%20%26mdash%3B%20your%20hardware%20has%20a%20ceiling%2C%20and%20that%20ceiling%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20changes%20shape%20depending%20on%20the%20chip%2C%20the%20operation%2C%20and%20whether%20you%20fuse%20your%20kernels.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2012px%3B%20flex-wrap%3A%20wrap%3B%20margin-bottom%3A%2020px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(99%2C102%2C241%2C0.18)%3B%20color%3A%20%23a5b4fc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(99%2C102%2C241%2C0.3)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%205%20Parts%20%26middot%3B%20~52%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(203%2C32%2C45%2C0.15)%3B%20color%3A%20%23fca5a5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(203%2C32%2C45%2C0.25)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Chapter%2011%3A%20Hardware%20Acceleration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2010px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3ERoofline%20Model%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3EKernel%20Fusion%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-fail%22%3EMemory%20Wall%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3EDiagnose%20the%20Roofline%20regime%3C%2Fstrong%3E%20%26mdash%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20determine%20whether%20a%20GEMM%20kernel%20is%20memory-bound%20or%20compute-bound%20by%20comparing%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arithmetic%20intensity%20to%20the%20hardware%20ridge%20point.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3EQuantify%20kernel%20fusion%20speedup%3C%2Fstrong%3E%20%26mdash%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fusing%20LayerNorm%20%2B%20Dropout%20%2B%20ReLU%20eliminates%202%20HBM%20round-trips%2C%20yielding%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%203-5x%20speedup%20for%20memory-bound%20elementwise%20sequences.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3EPredict%20the%20balance%20shift%3C%2Fstrong%3E%20%26mdash%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20the%20same%20operation%20changes%20regime%20when%20moving%20from%20edge%20(low%20ridge)%20to%20cloud%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(high%20ridge)%20because%20compute%20grows%20faster%20than%20bandwidth.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Iron%20Law%20latency%20decomposition%20from%20%40sec-ml-systems%20%26middot%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Memory%20hierarchy%20from%20%40sec-neural-computation%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E~52%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%3A%20~12%20%26middot%3B%20B%3A%20~12%20%26middot%3B%20C%3A%20~10%20%26middot%3B%20D%3A%20~10%20%26middot%3B%20E%3A%20~8%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%2012px%20-28px%200%20-28px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2016px%2028px%200%2028px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BA%20GEMM%20kernel%20achieves%20only%2031%25%20of%20peak%20TFLOPS.%20Is%20the%20code%20broken%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20or%20is%20the%20hardware%20ceiling%20lower%20than%20you%20think%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20--%20Complete%20the%20following%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20**Chapter%2011%3A%20Hardware%20Acceleration**%20--%20Roofline%20model%2C%20arithmetic%20intensity%2C%0A%20%20%20%20%20%20ridge%20point%2C%20kernel%20fusion%2C%20and%20tiling%20strategies.%0A%20%20%20%20-%20**Chapter%202%3A%20ML%20Systems**%20--%20Iron%20Law%20latency%20decomposition.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Widgets%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20pA_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Bug%20--%20should%20be%2090%25%2B%22%3A%20%22bug%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Thermal%20throttling%22%3A%20%22thermal%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Memory-bandwidth-bound%20--%20hitting%20the%20Roofline%20correctly%22%3A%20%22roofline%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20FP16%20reduces%20peak%20throughput%22%3A%20%22fp16%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22GEMM%20(N%3D512%2C%20FP16)%20on%20H100%20achieves%2031.5%25%20of%20peak%20TFLOPS.%20What%20is%20the%20problem%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(pA_pred%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pA_pred)%3A%0A%20%20%20%20mo.stop(pA_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pA_dim%20%3D%20mo.ui.slider(start%3D128%2C%20stop%3D8192%2C%20value%3D512%2C%20step%3D128%2C%20label%3D%22Matrix%20dimension%20N%22)%0A%20%20%20%20pA_prec%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%22FP32%22%3A%20%22fp32%22%2C%20%22FP16%22%3A%20%22fp16%22%2C%20%22INT8%22%3A%20%22int8%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22FP16%22%2C%20label%3D%22Precision%3A%22%2C%20inline%3DTrue%2C%0A%20%20%20%20)%0A%0A%20%20%20%20pB_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~1.3x%20(modest)%22%3A%20%221_3%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~2x%20(half%20the%20work)%22%3A%20%222x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~3-5x%20(eliminated%20memory%20traffic)%22%3A%20%223_5%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~10x%20(nearly%20all%20overhead)%22%3A%20%2210x%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Fuse%20LayerNorm%20%2B%20Dropout%20%2B%20ReLU%20into%20one%20kernel%2C%20eliminating%202%20HBM%20writes.%20Speedup%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pA_dim%2C%20pA_prec%2C%20pB_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pB_pred)%3A%0A%20%20%20%20mo.stop(pB_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pB_mode%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Eager%20(separate%20kernels)%22%3A%20%22eager%22%2C%20%22Fused%20(single%20kernel)%22%3A%20%22fused%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Eager%20(separate%20kernels)%22%2C%20label%3D%22Execution%20mode%3A%22%2C%20inline%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20pB_batch%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D128%2C%20value%3D1%2C%20step%3D1%2C%20label%3D%22Batch%20size%22)%0A%0A%20%20%20%20pC_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Yes%20--%20compute-bound%20on%20weak%20hw%20means%20compute-bound%20on%20strong%22%3A%20%22yes%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20No%20--%20H100%20has%20higher%20ridge%20point%2C%20now%20memory-bound%22%3A%20%22no%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Depends%20on%20precision%22%3A%20%22depends%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Memory-bound%20on%20both%22%3A%20%22both%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22GEMM%20at%20N%3D1024%20is%20compute-bound%20on%20Jetson%20Orin%20NX.%20Is%20it%20compute-bound%20on%20H100%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pB_batch%2C%20pB_mode%2C%20pC_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pC_pred)%3A%0A%20%20%20%20mo.stop(pC_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pC_hw%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Cloud%20(H100)%22%3A%20%22h100%22%2C%20%22Edge%20(Jetson%20Orin%20NX)%22%3A%20%22jetson%22%2C%20%22Mobile%20(A17%20Pro)%22%3A%20%22iphone%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Cloud%20(H100)%22%2C%20label%3D%22Hardware%3A%22%2C%20inline%3DTrue%2C%0A%20%20%20%20)%0A%0A%20%20%20%20pD_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Memory-bound%20uses%20~10x%20more%20energy%22%3A%20%2210x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Same%20energy%20(same%20FLOPs%20%3D%20same%20work)%22%3A%20%22same%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Compute-bound%20uses%20more%20(higher%20utilization)%22%3A%20%22compute_more%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Depends%20on%20clock%20frequency%22%3A%20%22clock%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Memory-bound%20(AI%3D10)%20and%20compute-bound%20(AI%3D500)%20do%20the%20same%20FLOPs.%20Which%20uses%20more%20energy%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pC_hw%2C%20pD_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pD_pred)%3A%0A%20%20%20%20mo.stop(pD_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pE_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~1.2x%20(minor)%22%3A%20%221_2%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~1.5x%20(moderate)%22%3A%20%221_5%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~2-4x%20(significant)%22%3A%20%222_4%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~10x%20(transformative)%22%3A%20%2210x%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22FlashAttention%20tiles%20attention%20to%20fit%20in%20SRAM.%20Speedup%20at%20seq_len%3D4096%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(pE_pred%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20H100_BW%2C%0A%20%20%20%20H100_RIDGE%2C%0A%20%20%20%20H100_TFLOPS%2C%0A%20%20%20%20IPHONE_BW%2C%0A%20%20%20%20IPHONE_RIDGE%2C%0A%20%20%20%20IPHONE_TFLOPS%2C%0A%20%20%20%20JETSON_BW%2C%0A%20%20%20%20JETSON_RIDGE%2C%0A%20%20%20%20JETSON_TFLOPS%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20go%2C%0A%20%20%20%20math%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pA_dim%2C%0A%20%20%20%20pA_prec%2C%0A%20%20%20%20pA_pred%2C%0A%20%20%20%20pB_batch%2C%0A%20%20%20%20pB_mode%2C%0A%20%20%20%20pB_pred%2C%0A%20%20%20%20pC_hw%2C%0A%20%20%20%20pC_pred%2C%0A%20%20%20%20pD_pred%2C%0A%20%20%20%20pE_pred%2C%0A)%3A%0A%20%20%20%20mo.stop(pE_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pE_tile%20%3D%20mo.ui.slider(start%3D32%2C%20stop%3D2048%2C%20value%3D256%2C%20step%3D32%2C%20label%3D%22Tile%20size%20(elements)%22)%0A%20%20%20%20pE_seq%20%3D%20mo.ui.slider(start%3D512%2C%20stop%3D16384%2C%20value%3D4096%2C%20step%3D512%2C%20label%3D%22Sequence%20length%22)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Helper%3A%20draw%20roofline%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20_draw_roofline(fig%2C%20peak_tflops%2C%20bw_gbs%2C%20ridge%2C%20color%2C%20name)%3A%0A%20%20%20%20%20%20%20%20_ais%20%3D%20np.logspace(-1%2C%204%2C%20200)%0A%20%20%20%20%20%20%20%20_bw_ceil%20%3D%20%5Bbw_gbs%20*%20ai%20for%20ai%20in%20_ais%5D%20%20%23%20GFLOP%2Fs%20%3D%20GB%2Fs%20*%20FLOP%2Fbyte%0A%20%20%20%20%20%20%20%20_comp_ceil%20%3D%20%5Bpeak_tflops%20*%201000%5D%20*%20len(_ais)%20%20%23%20GFLOP%2Fs%0A%20%20%20%20%20%20%20%20_roof%20%3D%20%5Bmin(b%2C%20c)%20for%20b%2C%20c%20in%20zip(_bw_ceil%2C%20_comp_ceil)%5D%0A%20%20%20%20%20%20%20%20fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_ais.tolist()%2C%20y%3D_roof%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3Dcolor%2C%20width%3D2.5)%2C%20name%3Dname%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20fig.add_vline(x%3Dridge%2C%20line_dash%3D%22dot%22%2C%20line_color%3Dcolor%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22Ridge%3A%20%7Bridge%3A.0f%7D%22)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20A%3A%20The%20Memory%20Wall%20(Roofline%20Diagnosis)%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'BlueL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Kernel%20Optimization%20Team%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BOur%20GEMM%20kernel%20at%20N%3D512%20achieves%20only%2031%25%20of%20peak%20TFLOPS%20on%20the%20H100.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20We%20have%20optimized%20the%20code%20for%20two%20weeks.%20The%20profiler%20shows%20no%20bugs.%20What%20are%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20we%20missing%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Roofline%20Model%3A%20Two%20Ceilings%0A%0A%20%20%20%20%20%20%20%20Every%20operation%20is%20bounded%20by%20**two**%20ceilings%3A%0A%20%20%20%20%20%20%20%20-%20**Compute%20ceiling**%3A%20peak%20TFLOPS%20of%20the%20hardware%0A%20%20%20%20%20%20%20%20-%20**Bandwidth%20ceiling**%3A%20memory%20bandwidth%20x%20arithmetic%20intensity%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20Attainable%20GFLOP%2Fs%20%3D%20min(Peak_TFLOPS%2C%20BW%20x%20AI)%0A%20%20%20%20%20%20%20%20AI%20%3D%20FLOPs%20%2F%20Bytes_accessed%0A%20%20%20%20%20%20%20%20Ridge%20Point%20%3D%20Peak_TFLOPS%20%2F%20BW%20%3D%20%7BH100_RIDGE%3A.0f%7D%20FLOP%2Fbyte%20(H100)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20Below%20the%20ridge%20point%3A%20**memory-bound**.%20Above%3A%20**compute-bound**.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(pA_pred)%0A%20%20%20%20%20%20%20%20if%20pA_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20Roofline%20explorer.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpA_dim%2C%20pA_prec%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_N%20%3D%20pA_dim.value%0A%20%20%20%20%20%20%20%20%23%20GEMM%20(NxN)%3A%20FLOPs%20%3D%202*N%5E3%2C%20Bytes%20%3D%203*N%5E2*bpp%20(2%20input%20%2B%201%20output%20matrix)%0A%20%20%20%20%20%20%20%20_bpp%20%3D%20%7B%22fp32%22%3A%204%2C%20%22fp16%22%3A%202%2C%20%22int8%22%3A%201%7D%5BpA_prec.value%5D%0A%20%20%20%20%20%20%20%20_flops%20%3D%202%20*%20_N%20**%203%0A%20%20%20%20%20%20%20%20_bytes%20%3D%203%20*%20_N%20**%202%20*%20_bpp%0A%20%20%20%20%20%20%20%20_ai%20%3D%20_flops%20%2F%20_bytes%0A%0A%20%20%20%20%20%20%20%20_peak_gflops%20%3D%20H100_TFLOPS%20*%201000%0A%20%20%20%20%20%20%20%20_attainable%20%3D%20min(_peak_gflops%2C%20H100_BW%20*%20_ai)%0A%20%20%20%20%20%20%20%20_mfu%20%3D%20_attainable%20%2F%20_peak_gflops%20*%20100%0A%20%20%20%20%20%20%20%20_regime%20%3D%20%22Compute-bound%22%20if%20_ai%20%3E%3D%20H100_RIDGE%20else%20%22Memory-bound%22%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_draw_roofline(_fig%2C%20H100_TFLOPS%2C%20H100_BW%2C%20H100_RIDGE%2C%20COLORS%5B%22BlueLine%22%5D%2C%20%22H100%20Roofline%22)%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_ai%5D%2C%20y%3D%5B_attainable%5D%2C%20mode%3D%22markers%2Btext%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D14%2C%20color%3DCOLORS%5B%22RedLine%22%5D%2C%20symbol%3D%22diamond%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22N%3D%7B_N%7D%22%5D%2C%20textposition%3D%22top%20right%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22GEMM%20N%3D%7B_N%7D%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D380%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Arithmetic%20Intensity%20(FLOP%2Fbyte)%22%2C%20type%3D%22log%22%2C%20range%3D%5B-1%2C%204%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Attainable%20GFLOP%2Fs%22%2C%20type%3D%22log%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_regime_color%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_regime%20%3D%3D%20%22Compute-bound%22%20else%20COLORS%5B%22OrangeLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EArithmetic%20Intensity%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_ai%3A.0f%7D%20FLOP%2FB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3ERidge%3A%20%7BH100_RIDGE%3A.0f%7D%20FLOP%2FB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_regime_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EMFU%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_regime_color%7D%3B%22%3E%7B_mfu%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_regime%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EAttainable%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_attainable%3A.0f%7D%20GF%2Fs%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3Eof%20%7B_peak_gflops%3A.0f%7D%20peak%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Roofline%20--%20Live%20Calculation**%20(%60N%3D%7B_N%7D%2C%20%7BpA_prec.value.upper()%7D%60)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20FLOPs%20%20%3D%202%20x%20N%5E3%20%3D%202%20x%20%7B_N%7D%5E3%20%3D%20%7B_flops%3A.2e%7D%0A%20%20%20%20Bytes%20%20%3D%203%20x%20N%5E2%20x%20%7B_bpp%7D%20%3D%20%7B_bytes%3A.2e%7D%0A%20%20%20%20AI%20%20%20%20%20%3D%20%7B_flops%3A.2e%7D%20%2F%20%7B_bytes%3A.2e%7D%20%3D%20%7B_ai%3A.0f%7D%20FLOP%2Fbyte%0A%20%20%20%20Ridge%20%20%3D%20%7BH100_TFLOPS%3A.0f%7D%20TFLOP%2Fs%20%2F%20%7BH100_BW%3A.0f%7D%20GB%2Fs%20%3D%20%7BH100_RIDGE%3A.0f%7D%20FLOP%2Fbyte%0A%20%20%20%20Regime%20%3D%20%7B%22AI%20%3C%20Ridge%20%3D%3E%20MEMORY-BOUND%22%20if%20_ai%20%3C%20H100_RIDGE%20else%20%22AI%20%3E%3D%20Ridge%20%3D%3E%20COMPUTE-BOUND%22%7D%0A%20%20%20%20MFU%20%20%20%20%3D%20%7B_mfu%3A.1f%7D%25%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20Chapter%2011%2C%20Roofline%20model%20(Williams%20et%20al.%2C%202009)*%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20pA_pred.value%20%3D%3D%20%22roofline%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22**Correct.**%20The%20kernel%20is%20hitting%20the%20bandwidth%20ceiling%20correctly.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22AI%20%3D%20%7B_ai%3A.0f%7D%20%3C%20Ridge%20%3D%20%7BH100_RIDGE%3A.0f%7D%20means%20it%20is%20memory-bound.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Increase%20N%20with%20the%20slider%20to%20cross%20the%20ridge%20point%20and%20reach%20compute-bound%20territory.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22**Low%20utilization%20does%20not%20mean%20broken%20code.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22At%20N%3D%7B_N%7D%2C%20AI%20%3D%20%7B_ai%3A.0f%7D%20is%20below%20the%20ridge%20point%20(%7BH100_RIDGE%3A.0f%7D).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20kernel%20is%20correctly%20hitting%20the%20memory%20bandwidth%20ceiling.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20B%3A%20Kernel%20Fusion%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'OrangeL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20ML%20Compiler%20Team%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BLLM%20inference%20mixes%20GEMM%20with%20LayerNorm%20and%20Softmax.%20Each%20elementwise%20op%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20requires%20a%20full%20round-trip%20to%20HBM.%20Can%20we%20fuse%20them%20into%20one%20kernel%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Kernel%20Fusion%3A%20The%20Elementwise%20Trap%0A%0A%20%20%20%20%20%20%20%20LLM%20inference%20mixes%20kernels%20spanning%20**3%20orders%20of%20magnitude**%20in%20arithmetic%20intensity%3A%0A%20%20%20%20%20%20%20%20-%20**GEMM**%3A%20AI%20~%20100-1000%20FLOP%2Fbyte%20(can%20be%20compute-bound)%0A%20%20%20%20%20%20%20%20-%20**LayerNorm**%3A%20AI%20~%200.83%20FLOP%2Fbyte%20(permanently%20memory-bound)%0A%20%20%20%20%20%20%20%20-%20**Softmax**%3A%20AI%20~%201.5%20FLOP%2Fbyte%20(permanently%20memory-bound)%0A%0A%20%20%20%20%20%20%20%20Each%20separate%20kernel%20requires%20a%20full%20HBM%20read%20%2B%20write.%20Fusion%20eliminates%0A%20%20%20%20%20%20%20%20intermediate%20writes%2C%20collapsing%203%20memory-bound%20kernels%20into%201.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(pB_pred)%0A%20%20%20%20%20%20%20%20if%20pB_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20fusion%20analyzer.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpB_mode%2C%20pB_batch%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_mode%20%3D%20pB_mode.value%0A%20%20%20%20%20%20%20%20_batch%20%3D%20pB_batch.value%0A%20%20%20%20%20%20%20%20_hidden%20%3D%204096%20%20%23%20typical%20LLM%20hidden%20dim%0A%0A%20%20%20%20%20%20%20%20%23%20Per-operation%20specs%0A%20%20%20%20%20%20%20%20_bytes_per_elem%20%3D%202%20%20%23%20FP16%0A%20%20%20%20%20%20%20%20_tensor_bytes%20%3D%20_batch%20*%20_hidden%20*%20_bytes_per_elem%0A%0A%20%20%20%20%20%20%20%20%23%20Eager%3A%20each%20op%20does%20a%20full%20HBM%20read%20%2B%20write%0A%20%20%20%20%20%20%20%20_ln_flops%20%3D%20_batch%20*%20_hidden%20*%205%20%20%23%20mean%2C%20var%2C%20normalize%2C%20scale%2C%20shift%0A%20%20%20%20%20%20%20%20_dropout_flops%20%3D%20_batch%20*%20_hidden%20*%201%0A%20%20%20%20%20%20%20%20_relu_flops%20%3D%20_batch%20*%20_hidden%20*%201%0A%0A%20%20%20%20%20%20%20%20_eager_reads%20%3D%203%20%20%23%203%20separate%20kernel%20reads%20from%20HBM%0A%20%20%20%20%20%20%20%20_eager_writes%20%3D%203%20%20%23%203%20separate%20kernel%20writes%20to%20HBM%20(intermediate%20results)%0A%20%20%20%20%20%20%20%20_eager_bytes%20%3D%20(_eager_reads%20%2B%20_eager_writes)%20*%20_tensor_bytes%0A%20%20%20%20%20%20%20%20_eager_flops%20%3D%20_ln_flops%20%2B%20_dropout_flops%20%2B%20_relu_flops%0A%0A%20%20%20%20%20%20%20%20%23%20Fused%3A%20single%20read%20%2B%20single%20write%0A%20%20%20%20%20%20%20%20_fused_reads%20%3D%201%0A%20%20%20%20%20%20%20%20_fused_writes%20%3D%201%0A%20%20%20%20%20%20%20%20_fused_bytes%20%3D%20(_fused_reads%20%2B%20_fused_writes)%20*%20_tensor_bytes%0A%20%20%20%20%20%20%20%20_fused_flops%20%3D%20_eager_flops%0A%0A%20%20%20%20%20%20%20%20%23%20Latency%20(memory-bound%20for%20both%2C%20but%20fused%20has%20fewer%20bytes)%0A%20%20%20%20%20%20%20%20_eager_time%20%3D%20_eager_bytes%20%2F%20(H100_BW%20*%201e9)%20*%201e6%20%20%23%20microseconds%0A%20%20%20%20%20%20%20%20_fused_time%20%3D%20_fused_bytes%20%2F%20(H100_BW%20*%201e9)%20*%201e6%0A%20%20%20%20%20%20%20%20_speedup%20%3D%20_eager_time%20%2F%20_fused_time%20if%20_fused_time%20%3E%200%20else%201%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B%22Eager%20(3%20kernels)%22%2C%20%22Fused%20(1%20kernel)%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B_eager_time%2C%20_fused_time%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D%5BCOLORS%5B%22RedLine%22%5D%2C%20COLORS%5B%22GreenLine%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7B_eager_time%3A.1f%7D%20us%22%2C%20f%22%7B_fused_time%3A.1f%7D%20us%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20textposition%3D%22outside%22%2C%20opacity%3D0.88%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D300%2C%20yaxis%3Ddict(title%3D%22Latency%20(microseconds)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EFusion%20Speedup%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_speedup%3A.1f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E3%20kernels%20-%3E%201%20kernel%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EHBM%20Traffic%20Saved%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%7B(_eager_bytes%20-%20_fused_bytes)%2F1024%3A.0f%7D%20KB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3Eeliminated%20intermediate%20writes%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Fusion%20--%20Live%20Calculation**%20(%60batch%3D%7B_batch%7D%2C%20hidden%3D%7B_hidden%7D%60)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Tensor%20size%3A%20%20%20%7B_batch%7D%20x%20%7B_hidden%7D%20x%20%7B_bytes_per_elem%7D%20%3D%20%7B_tensor_bytes%3A%2C%7D%20bytes%0A%20%20%20%20Eager%20traffic%3A%20(%7B_eager_reads%7D%20reads%20%2B%20%7B_eager_writes%7D%20writes)%20x%20%7B_tensor_bytes%3A%2C%7D%20%3D%20%7B_eager_bytes%3A%2C%7D%20bytes%0A%20%20%20%20Fused%20traffic%3A%20(%7B_fused_reads%7D%20read%20%2B%20%7B_fused_writes%7D%20write)%20x%20%7B_tensor_bytes%3A%2C%7D%20%3D%20%7B_fused_bytes%3A%2C%7D%20bytes%0A%20%20%20%20Speedup%3A%20%20%20%20%20%20%20%7B_eager_bytes%3A%2C%7D%20%2F%20%7B_fused_bytes%3A%2C%7D%20%3D%20%7B_speedup%3A.1f%7Dx%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20Chapter%2011%2C%20kernel%20fusion%20and%20memory%20traffic%20optimization*%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20pB_pred.value%20%3D%3D%20%223_5%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(f%22**Correct.**%20Fusion%20yields%20%7B_speedup%3A.1f%7Dx%20speedup%20by%20eliminating%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22intermediate%20HBM%20round-trips.%20For%20memory-bound%20ops%2C%20the%20dominant%20cost%20is%20data%20movement%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22not%20computation.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(f%22**Fusion%20gives%20%7B_speedup%3A.1f%7Dx%20speedup.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20speedup%20comes%20from%20eliminating%20memory%20traffic%2C%20not%20compute.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Each%20eliminated%20HBM%20write%20saves%20bandwidth-limited%20time.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20C%3A%20Hardware%20Balance%20Shift%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'RedL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Cross-Platform%20Deployment%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BOur%20GEMM%20kernel%20is%20compute-bound%20on%20the%20Jetson.%20We%20assumed%20it%20would%20also%20be%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20compute-bound%20on%20the%20H100.%20But%20the%20profiler%20says%20it%20is%20memory-bound.%20How%20can%20a%20faster%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20GPU%20make%20our%20kernel%20slower%20in%20relative%20terms%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Hardware%20Balance%20Shift%0A%0A%20%20%20%20%20%20%20%20The%20**ridge%20point**%20differs%20across%20hardware%20because%20compute%20grows%20faster%20than%20bandwidth%3A%0A%20%20%20%20%20%20%20%20-%20H100%3A%20%7BH100_RIDGE%3A.0f%7D%20FLOP%2Fbyte%0A%20%20%20%20%20%20%20%20-%20Jetson%20Orin%20NX%3A%20%7BJETSON_RIDGE%3A.0f%7D%20FLOP%2Fbyte%0A%20%20%20%20%20%20%20%20-%20iPhone%20A17%20Pro%3A%20%7BIPHONE_RIDGE%3A.0f%7D%20FLOP%2Fbyte%0A%0A%20%20%20%20%20%20%20%20A%20kernel%20at%20AI%3D200%20is%20compute-bound%20on%20Jetson%20(%7BJETSON_RIDGE%3A.0f%7D)%20but%0A%20%20%20%20%20%20%20%20memory-bound%20on%20H100%20(%7BH100_RIDGE%3A.0f%7D).%20**More%20powerful%20accelerators%20are%0A%20%20%20%20%20%20%20%20paradoxically%20harder%20to%20saturate.**%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(pC_pred)%0A%20%20%20%20%20%20%20%20if%20pC_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20hardware%20comparison.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(pC_hw)%0A%0A%20%20%20%20%20%20%20%20_hw_map%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22h100%22%3A%20(%22H100%22%2C%20H100_TFLOPS%2C%20H100_BW%2C%20H100_RIDGE%2C%20COLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22jetson%22%3A%20(%22Jetson%22%2C%20JETSON_TFLOPS%2C%20JETSON_BW%2C%20JETSON_RIDGE%2C%20COLORS%5B%22GreenLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22iphone%22%3A%20(%22A17%20Pro%22%2C%20IPHONE_TFLOPS%2C%20IPHONE_BW%2C%20IPHONE_RIDGE%2C%20COLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_name%2C%20_tfl%2C%20_bw%2C%20_ridge%2C%20_color%20%3D%20_hw_map%5BpC_hw.value%5D%0A%0A%20%20%20%20%20%20%20%20_N%20%3D%201024%0A%20%20%20%20%20%20%20%20_bpp%20%3D%202%0A%20%20%20%20%20%20%20%20_ai%20%3D%202%20*%20_N%20**%203%20%2F%20(3%20*%20_N%20**%202%20*%20_bpp)%0A%20%20%20%20%20%20%20%20_peak_gf%20%3D%20_tfl%20*%201000%0A%20%20%20%20%20%20%20%20_attainable%20%3D%20min(_peak_gf%2C%20_bw%20*%20_ai)%0A%20%20%20%20%20%20%20%20_mfu%20%3D%20_attainable%20%2F%20_peak_gf%20*%20100%0A%20%20%20%20%20%20%20%20_regime%20%3D%20%22Compute-bound%22%20if%20_ai%20%3E%3D%20_ridge%20else%20%22Memory-bound%22%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20%23%20Draw%20all%20three%20rooflines%0A%20%20%20%20%20%20%20%20_draw_roofline(_fig%2C%20H100_TFLOPS%2C%20H100_BW%2C%20H100_RIDGE%2C%20COLORS%5B%22BlueLine%22%5D%2C%20%22H100%22)%0A%20%20%20%20%20%20%20%20_draw_roofline(_fig%2C%20JETSON_TFLOPS%2C%20JETSON_BW%2C%20JETSON_RIDGE%2C%20COLORS%5B%22GreenLine%22%5D%2C%20%22Jetson%22)%0A%20%20%20%20%20%20%20%20_draw_roofline(_fig%2C%20IPHONE_TFLOPS%2C%20IPHONE_BW%2C%20IPHONE_RIDGE%2C%20COLORS%5B%22OrangeLine%22%5D%2C%20%22A17%20Pro%22)%0A%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_ai%5D%2C%20y%3D%5B_attainable%5D%2C%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D14%2C%20color%3DCOLORS%5B%22RedLine%22%5D%2C%20symbol%3D%22diamond%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22GEMM%20N%3D1024%20on%20%7B_name%7D%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D400%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Arithmetic%20Intensity%20(FLOP%2Fbyte)%22%2C%20type%3D%22log%22%2C%20range%3D%5B-1%2C%204%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Attainable%20GFLOP%2Fs%22%2C%20type%3D%22log%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.14%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_rc%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_regime%20%3D%3D%20%22Compute-bound%22%20else%20COLORS%5B%22OrangeLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EHardware%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.3rem%3B%20font-weight%3A800%3B%20color%3A%7B_color%7D%3B%22%3E%7B_name%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3ERidge%3A%20%7B_ridge%3A.0f%7D%20FLOP%2FB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_rc%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ERegime%20(N%3D1024)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.3rem%3B%20font-weight%3A800%3B%20color%3A%7B_rc%7D%3B%22%3E%7B_regime%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3EAI%20%3D%20%7B_ai%3A.0f%7D%2C%20MFU%20%3D%20%7B_mfu%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20pC_pred.value%20%3D%3D%20%22no%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(f%22**Correct.**%20The%20H100%20ridge%20point%20(%7BH100_RIDGE%3A.0f%7D)%20is%20higher%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22than%20the%20Jetson%20(%7BJETSON_RIDGE%3A.0f%7D).%20At%20AI%3D%7B_ai%3A.0f%7D%2C%20the%20same%20operation%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22compute-bound%20on%20Jetson%20but%20memory-bound%20on%20H100.%20Toggle%20between%20hardware%20to%20see%20the%20shift.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22**More%20powerful%20does%20not%20mean%20easier%20to%20saturate.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20H100%20ridge%20point%20(%7BH100_RIDGE%3A.0f%7D)%20is%20higher%20because%20compute%20grew%20faster%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22than%20bandwidth.%20The%20same%20kernel%20changes%20regime%20across%20platforms.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20D%3A%20Energy%20Roofline%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%236366f1%3B%20background%3A%23f0f4ff%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%236366f1%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Sustainability%20Engineer%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20need%20to%20minimize%20energy%20per%20inference.%20Does%20the%20Roofline%20tell%20us%20anything%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20about%20where%20energy%20goes%3F%20Are%20memory-bound%20operations%20wasting%20Joules%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Energy%20Roofline%0A%0A%20%20%20%20%20%20%20%20Energy%20efficiency%20has%20its%20own%20Roofline.%20In%20the%20memory-bound%20regime%2C%20most%0A%20%20%20%20%20%20%20%20Joules%20go%20to%20data%20movement%20(640%20pJ%2FDRAM%20access).%20In%20the%20compute-bound%20regime%2C%0A%20%20%20%20%20%20%20%20most%20Joules%20go%20to%20useful%20arithmetic.%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20Energy%2FFLOP%20(memory-bound)%20%3D%20E_dram%20%2F%20AI%20%20%20%20(decreases%20with%20AI)%0A%20%20%20%20%20%20%20%20Energy%2FFLOP%20(compute-bound)%20%3D%20E_compute%20%20%20%20%20%20(constant%20floor)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20The%20energy-optimal%20operating%20point%20is%20deep%20in%20the%20compute-bound%20regime.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(pD_pred)%0A%20%20%20%20%20%20%20%20if%20pD_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20energy%20Roofline.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20_e_dram%20%3D%20640%20%20%23%20pJ%20per%20DRAM%20access%20(per%20byte)%0A%20%20%20%20%20%20%20%20_e_compute%20%3D%203.7%20%20%23%20pJ%20per%20FP32%20FLOP%0A%0A%20%20%20%20%20%20%20%20_ais%20%3D%20np.logspace(0%2C%203%2C%20100)%0A%20%20%20%20%20%20%20%20_energy_per_flop%20%3D%20%5Bmax(_e_dram%20%2F%20ai%2C%20_e_compute)%20for%20ai%20in%20_ais%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_ais.tolist()%2C%20y%3D_energy_per_flop%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D3)%2C%20name%3D%22Energy%20per%20FLOP%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D_e_compute%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22GreenLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22Compute%20floor%3A%20%7B_e_compute%7D%20pJ%22)%0A%0A%20%20%20%20%20%20%20%20%23%20Mark%20two%20operations%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D%5B10%5D%2C%20y%3D%5Bmax(_e_dram%2F10%2C%20_e_compute)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%2Btext%22%2C%20marker%3Ddict(size%3D12%2C%20color%3DCOLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5B%22Memory-bound%20(AI%3D10)%22%5D%2C%20textposition%3D%22top%20right%22%2C%20name%3D%22AI%3D10%22))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D%5B500%5D%2C%20y%3D%5Bmax(_e_dram%2F500%2C%20_e_compute)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%2Btext%22%2C%20marker%3Ddict(size%3D12%2C%20color%3DCOLORS%5B%22GreenLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5B%22Compute-bound%20(AI%3D500)%22%5D%2C%20textposition%3D%22top%20left%22%2C%20name%3D%22AI%3D500%22))%0A%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D360%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Arithmetic%20Intensity%20(FLOP%2Fbyte)%22%2C%20type%3D%22log%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Energy%20per%20FLOP%20(pJ)%22%2C%20type%3D%22log%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_e_mem_bound%20%3D%20_e_dram%20%2F%2010%0A%20%20%20%20%20%20%20%20_e_comp_bound%20%3D%20_e_compute%0A%20%20%20%20%20%20%20%20_ratio%20%3D%20_e_mem_bound%20%2F%20_e_comp_bound%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EMemory-bound%20(AI%3D10)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%7B_e_mem_bound%3A.0f%7D%20pJ%2FFLOP%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ECompute-bound%20(AI%3D500)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_e_comp_bound%3A.1f%7D%20pJ%2FFLOP%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EEnergy%20Ratio%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_ratio%3A.0f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3Emore%20energy%20in%20mem-bound%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20pD_pred.value%20%3D%3D%20%2210x%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(f%22**Correct.**%20The%20memory-bound%20operation%20uses%20%7B_ratio%3A.0f%7Dx%20more%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22energy%20per%20FLOP.%20At%20AI%3D10%2C%20each%20FLOP%20costs%2064%20pJ%20in%20DRAM%20access%20energy%20alone.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Same%20FLOPs%20does%20NOT%20mean%20same%20energy.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(f%22**Same%20FLOPs%20does%20not%20mean%20same%20energy.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20memory-bound%20operation%20wastes%20%7B_ratio%3A.0f%7Dx%20more%20energy%20on%20data%20movement.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20is%20why%20hardware%20architects%20build%20larger%20caches.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20E%3A%20Tiling%20Dividend%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20build_part_e()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'GreenL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Transformer%20Optimization%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BStandard%20attention%20materializes%20the%20full%20N%20x%20N%20attention%20matrix%20in%20HBM.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20FlashAttention%20tiles%20the%20computation%20to%20fit%20in%20SRAM.%20How%20much%20does%20tiling%20help%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Tiling%20Dividend%0A%0A%20%20%20%20%20%20%20%20Standard%20attention%20computes%20Q*K%5ET%20as%20a%20full%20NxN%20matrix%2C%20writes%20to%20HBM%2C%0A%20%20%20%20%20%20%20%20then%20reads%20back%20for%20softmax.%20**FlashAttention**%20tiles%20the%20computation%20into%0A%20%20%20%20%20%20%20%20SRAM-sized%20blocks%2C%20eliminating%20redundant%20HBM%20traffic.%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20Standard%3A%20%20HBM%20reads%20%3D%20O(N%5E2%20*%20d)%20%20%20%20%20%20%20(full%20attention%20matrix)%0A%20%20%20%20%20%20%20%20Tiled%3A%20%20%20%20%20HBM%20reads%20%3D%20O(N%5E2%20*%20d%20%2F%20M)%20%20%20(M%20%3D%20SRAM%20size)%0A%20%20%20%20%20%20%20%20Speedup%20%20%20%20~%20M%20%2F%20(d%20*%20tile_ratio)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20Tiling%20keeps%20hot%20data%20in%20fast%20SRAM%20before%20it%20escapes%20to%20slow%20HBM.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(pE_pred)%0A%20%20%20%20%20%20%20%20if%20pE_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20tiling%20analyzer.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpE_tile%2C%20pE_seq%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_tile%20%3D%20pE_tile.value%0A%20%20%20%20%20%20%20%20_seq%20%3D%20pE_seq.value%0A%20%20%20%20%20%20%20%20_d%20%3D%20128%20%20%23%20head%20dimension%0A%20%20%20%20%20%20%20%20_sram_kb%20%3D%20192%20%20%23%20H100%20L2%20per%20SM%20effective%0A%0A%20%20%20%20%20%20%20%20%23%20Standard%20attention%3A%20read%2Fwrite%20full%20NxN%20attention%20matrix%0A%20%20%20%20%20%20%20%20_std_bytes%20%3D%202%20*%20_seq%20*%20_seq%20*%202%20%20%23%20Q*K%5ET%20%2B%20softmax%20output%2C%20FP16%0A%20%20%20%20%20%20%20%20%23%20Tiled%20attention%3A%20only%20tile_size%20chunks%20at%20a%20time%0A%20%20%20%20%20%20%20%20_n_tiles%20%3D%20math.ceil(_seq%20%2F%20_tile)%0A%20%20%20%20%20%20%20%20_tiled_bytes%20%3D%202%20*%20_n_tiles%20*%20_tile%20*%20_d%20*%202%20%2B%20_seq%20*%20_d%20*%202%20%20%23%20much%20less%20HBM%20traffic%0A%20%20%20%20%20%20%20%20_tiled_bytes%20%3D%20max(_tiled_bytes%2C%20_seq%20*%20_d%20*%202)%20%20%23%20minimum%20is%20reading%20Q%2CK%2CV%0A%0A%20%20%20%20%20%20%20%20_std_time_us%20%3D%20_std_bytes%20%2F%20(H100_BW%20*%201e9)%20*%201e6%0A%20%20%20%20%20%20%20%20_tiled_time_us%20%3D%20_tiled_bytes%20%2F%20(H100_BW%20*%201e9)%20*%201e6%0A%20%20%20%20%20%20%20%20_speedup%20%3D%20_std_time_us%20%2F%20_tiled_time_us%20if%20_tiled_time_us%20%3E%200%20else%201%0A%20%20%20%20%20%20%20%20_speedup%20%3D%20min(_speedup%2C%2010)%20%20%23%20cap%20at%20realistic%20max%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_tiles_range%20%3D%20%5B2**i%20for%20i%20in%20range(5%2C%2012)%20if%202**i%20%3C%3D%20_seq%5D%0A%20%20%20%20%20%20%20%20_speedups%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_t%20in%20_tiles_range%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_nt%20%3D%20math.ceil(_seq%20%2F%20_t)%0A%20%20%20%20%20%20%20%20%20%20%20%20_tb%20%3D%202%20*%20_nt%20*%20_t%20*%20_d%20*%202%20%2B%20_seq%20*%20_d%20*%202%0A%20%20%20%20%20%20%20%20%20%20%20%20_tb%20%3D%20max(_tb%2C%20_seq%20*%20_d%20*%202)%0A%20%20%20%20%20%20%20%20%20%20%20%20_s%20%3D%20_std_bytes%20%2F%20_tb%20if%20_tb%20%3E%200%20else%201%0A%20%20%20%20%20%20%20%20%20%20%20%20_speedups.append(min(_s%2C%2010))%0A%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_tiles_range%2C%20y%3D_speedups%2C%20mode%3D%22lines%2Bmarkers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22GreenLine%22%5D%2C%20width%3D2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D8)%2C%20name%3D%22Speedup%20vs%20Tile%20Size%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_tile%5D%2C%20y%3D%5B_speedup%5D%2C%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D14%2C%20color%3DCOLORS%5B%22RedLine%22%5D%2C%20symbol%3D%22diamond%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Current%3A%20%7B_tile%7D%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D320%2C%20xaxis%3Ddict(title%3D%22Tile%20Size%20(elements)%22%2C%20type%3D%22log%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Speedup%20vs%20Standard%20Attention%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ETiling%20Speedup%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_speedup%3A.1f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3Etile%3D%7B_tile%7D%2C%20seq%3D%7B_seq%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EHBM%20Traffic%20Saved%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B(_std_bytes%20-%20_tiled_bytes)%20%2F%20(1024*1024)%3A.1f%7D%20MB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3Eper%20attention%20layer%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20pE_pred.value%20%3D%3D%20%222_4%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(f%22**Correct.**%20FlashAttention%20achieves%20%7B_speedup%3A.1f%7Dx%20by%20tiling%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20attention%20computation%20to%20fit%20in%20SRAM%2C%20eliminating%20redundant%20HBM%20round-trips.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Increase%20sequence%20length%20to%20see%20even%20larger%20gains.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(f%22**Tiling%20gives%20%7B_speedup%3A.1f%7Dx%20speedup.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Standard%20attention%20materializes%20the%20full%20NxN%20matrix%20in%20HBM.%20Tiling%20keeps%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22hot%20data%20in%20SRAM%2C%20dramatically%20reducing%20memory%20traffic.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20SYNTHESIS%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22---%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2024px%2028px%3B%20margin%3A%2016px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%2012px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Key%20Takeaways%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.92rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20line-height%3A%201.75%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E1.%20Low%20MFU%20is%20not%20broken%20code.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20At%20AI%20below%20the%20ridge%20point%2C%20the%20kernel%20is%20correctly%20hitting%20the%20memory%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bandwidth%20ceiling.%20The%20Roofline%20is%20a%20diagnostic%20tool%20--%20the%20ceiling%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20changes%20with%20matrix%20size%20and%20hardware.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E2.%20Fusion%20eliminates%20memory%20traffic%2C%20not%20compute.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Fusing%203%20memory-bound%20kernels%20into%201%20yields%203x%20speedup%20by%20eliminating%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20intermediate%20HBM%20writes.%20The%20dominant%20cost%20is%20data%20movement.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E3.%20More%20powerful%20hardware%20is%20harder%20to%20saturate.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20H100%20ridge%20point%20(%7BH100_RIDGE%3A.0f%7D)%20exceeds%20the%20Jetson%20(%7BJETSON_RIDGE%3A.0f%7D).%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20same%20kernel%20can%20be%20compute-bound%20on%20edge%20and%20memory-bound%20on%20cloud.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2016px%3B%20margin%3A%208px%200%2016px%200%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20What's%20Next%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ELab%2012%3A%3C%2Fstrong%3E%20The%20Benchmarking%20Trap%20--%20vendor%20benchmarks%20measure%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20burst%20performance.%20Production%20runs%20hit%20Amdahl's%20ceiling%2C%20thermal%20throttling%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20tail%20latency.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Textbook%20%26amp%3B%20TinyTorch%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ERead%3A%3C%2Fstrong%3E%20%40sec-hw-acceleration%20for%20Roofline%20model%20derivation.%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3EBuild%3A%3C%2Fstrong%3E%20TinyTorch%20Module%2011%20--%20GEMM%20tiling%20and%20FlashAttention.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20_tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%3A%20Roofline%20Diagnosis%22%3A%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%3A%20Kernel%20Fusion%22%3A%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%3A%20Balance%20Shift%22%3A%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%3A%20Energy%20Roofline%22%3A%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Part%20E%3A%20Tiling%20Dividend%22%3A%20build_part_e()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20_tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ledger%2C%20mo)%3A%0A%20%20%20%20ledger.save(chapter%3D11%2C%20design%3D%7B%22lab%22%3A%20%22hw_accel%22%2C%20%22completed%22%3A%20True%7D)%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3E11%20%26middot%3B%20Hardware%20Roofline%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22flex%3A1%3B%22%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ECH%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3E11%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ESTATUS%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-active%22%3ECOMPLETE%3C%2Fspan%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A