lab 09 perf engineering

import%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20%23%20WASM%20bootstrap%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22..%2F..%2F..%2Fwheels%2Fmlsysim-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%22mlsysim%22%20not%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20_root%20%3D%20Path(__file__).resolve().parents%5B2%5D%0A%20%20%20%20%20%20%20%20if%20str(_root)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_root))%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20from%20mlsysim.labs.components%20import%20DecisionLog%0A%20%20%20%20from%20mlsysim.hardware.registry%20import%20Hardware%0A%20%20%20%20from%20mlsysim.models.registry%20import%20Models%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20await%20ledger.load_async()%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Hardware%20from%20registry%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_h100%20%3D%20Hardware.Cloud.H100%0A%20%20%20%20_a100%20%3D%20Hardware.Cloud.A100%0A%20%20%20%20_v100%20%3D%20Hardware.Cloud.V100%0A%20%20%20%20_b200%20%3D%20Hardware.Cloud.B200%0A%20%20%20%20_edge%20%3D%20Hardware.Edge.JetsonOrinNX%20%20%20%23%20Edge%20tier%20for%20comparison%0A%0A%20%20%20%20H100_TFLOPS_FP16%20%3D%20_h100.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20H100_BW_GBS%20%20%20%20%20%20%3D%20_h100.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20H100_RAM_GB%20%20%20%20%20%20%3D%20_h100.memory.capacity.m_as(%22GiB%22)%20%20%23%2080%20GiB%0A%20%20%20%20H100_RIDGE%20%20%20%20%20%20%20%3D%20H100_TFLOPS_FP16%20*%201e12%20%2F%20(H100_BW_GBS%20*%201e9)%20%20%23%20~295%0A%0A%20%20%20%20V100_TFLOPS_FP16%20%3D%20_v100.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20V100_BW_GBS%20%20%20%20%20%20%3D%20_v100.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20V100_RIDGE%20%20%20%20%20%20%20%3D%20V100_TFLOPS_FP16%20*%201e12%20%2F%20(V100_BW_GBS%20*%201e9)%20%20%23%20~139%0A%0A%20%20%20%20A100_TFLOPS_FP16%20%3D%20_a100.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20A100_BW_GBS%20%20%20%20%20%20%3D%20_a100.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20A100_RIDGE%20%20%20%20%20%20%20%3D%20A100_TFLOPS_FP16%20*%201e12%20%2F%20(A100_BW_GBS%20*%201e9)%20%20%23%20~153%0A%0A%20%20%20%20B200_TFLOPS_FP16%20%3D%20_b200.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20B200_BW_GBS%20%20%20%20%20%20%3D%20_b200.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20B200_RIDGE%20%20%20%20%20%20%20%3D%20B200_TFLOPS_FP16%20*%201e12%20%2F%20(B200_BW_GBS%20*%201e9)%20%20%23%20~281%0A%0A%20%20%20%20%23%20Edge%20tier%20(Jetson%20Orin%20NX)%20%E2%80%94%20for%20cloud-vs-edge%20roofline%20contrast%0A%20%20%20%20EDGE_TFLOPS_FP16%20%3D%20_edge.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%20%20%20%23%2025%0A%20%20%20%20EDGE_BW_GBS%20%20%20%20%20%20%3D%20_edge.memory.bandwidth.m_as(%22GB%2Fs%22)%20%20%20%20%20%20%20%20%20%20%23%20102%0A%20%20%20%20EDGE_RIDGE%20%20%20%20%20%20%20%3D%20EDGE_TFLOPS_FP16%20*%201e12%20%2F%20(EDGE_BW_GBS%20*%201e9)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Transformer%20workload%20constants%20(70B%20LLM)%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20HEAD_DIM%20%20%20%20%20%3D%20128%0A%20%20%20%20NUM_HEADS%20%20%20%20%3D%2064%0A%20%20%20%20NUM_LAYERS%20%20%20%3D%2080%0A%20%20%20%20HIDDEN_DIM%20%20%20%3D%208192%0A%20%20%20%20BYTES_FP16%20%20%20%3D%202%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Fusion%20constants%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20Source%3A%20%40sec-performance-engineering%2C%20FlashAttention%20paper%0A%20%20%20%20%23%20Elementwise%20fusion%20savings%3A%20~64%20MB%2Flayer%20(GELU%2BLN%2BDropout%20intermediates)%0A%20%20%20%20ELEM_FUSION_SAVE_MB%20%3D%2064.0%0A%20%20%20%20%23%20FlashAttention%20savings%20scale%20with%20N%5E2%20%E2%80%94%20at%20N%3D4096%3A%20~4%20GB%2Flayer%0A%20%20%20%20%23%20Naive%20attention%20HBM%20%3D%202%20*%20N%5E2%20*%20bytes_per_elem%20*%20num_heads%0A%20%20%20%20%23%20Flash%20HBM%20%3D%204%20*%20N%20*%20d%20*%20bytes_per_elem%20*%20num_heads%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Quantization%20quality%20constants%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20Source%3A%20%40sec-performance-engineering%2C%20published%20quantization%20benchmarks%0A%20%20%20%20%23%2070B%20model%20perplexity%20at%20various%20precision%2Fmethod%20combos%0A%20%20%20%20PPL_FP16%20%20%20%20%20%20%20%20%20%20%20%3D%205.2%20%20%20%20%23%20baseline%0A%20%20%20%20PPL_INT8_NAIVE%20%20%20%20%20%3D%205.3%20%20%20%20%23%20INT8%20naive%20%E2%80%94%20small%20degradation%0A%20%20%20%20PPL_INT8_OUTLIER%20%20%20%3D%205.2%20%20%20%20%23%20INT8%20outlier-aware%20%E2%80%94%20matches%20FP16%0A%20%20%20%20PPL_INT4_NAIVE%20%20%20%20%20%3D%2013.5%20%20%20%23%20INT4%20naive%20%E2%80%94%20catastrophic%20for%20large%20models%0A%20%20%20%20PPL_INT4_OUTLIER%20%20%20%3D%205.7%20%20%20%20%23%20INT4%20outlier-aware%20%E2%80%94%20within%200.5%20of%20FP16%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20A100_BW_GBS%2C%0A%20%20%20%20%20%20%20%20A100_RIDGE%2C%0A%20%20%20%20%20%20%20%20A100_TFLOPS_FP16%2C%0A%20%20%20%20%20%20%20%20B200_BW_GBS%2C%0A%20%20%20%20%20%20%20%20B200_RIDGE%2C%0A%20%20%20%20%20%20%20%20B200_TFLOPS_FP16%2C%0A%20%20%20%20%20%20%20%20BYTES_FP16%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20ELEM_FUSION_SAVE_MB%2C%0A%20%20%20%20%20%20%20%20H100_BW_GBS%2C%0A%20%20%20%20%20%20%20%20H100_RIDGE%2C%0A%20%20%20%20%20%20%20%20H100_TFLOPS_FP16%2C%0A%20%20%20%20%20%20%20%20HEAD_DIM%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20NUM_HEADS%2C%0A%20%20%20%20%20%20%20%20PPL_FP16%2C%0A%20%20%20%20%20%20%20%20PPL_INT4_NAIVE%2C%0A%20%20%20%20%20%20%20%20PPL_INT4_OUTLIER%2C%0A%20%20%20%20%20%20%20%20PPL_INT8_NAIVE%2C%0A%20%20%20%20%20%20%20%20PPL_INT8_OUTLIER%2C%0A%20%20%20%20%20%20%20%20V100_BW_GBS%2C%0A%20%20%20%20%20%20%20%20V100_RIDGE%2C%0A%20%20%20%20%20%20%20%20V100_TFLOPS_FP16%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20math%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20mo.Html(%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%230f172a%200%25%2C%20%231e293b%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2036px%2044px%3B%20border-radius%3A%2016px%3B%20color%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2032px%20rgba(0%2C0%2C0%2C0.3)%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20letter-spacing%3A%200.18em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23475569%3B%20text-transform%3A%20uppercase%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Machine%20Learning%20Systems%20%26middot%3B%20Volume%20II%20%26middot%3B%20Lab%2009%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch1%20style%3D%22margin%3A%200%200%2010px%200%3B%20font-size%3A%202.2rem%3B%20font-weight%3A%20900%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23f8fafc%3B%20line-height%3A%201.1%3B%20letter-spacing%3A%20-0.02em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Optimization%20Trap%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%206px%200%3B%20font-size%3A%201.1rem%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%2394a3b8%3B%20letter-spacing%3A%200.04em%3B%20font-family%3A%20'SF%20Mono'%2C%20monospace%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Roofline%20%26middot%3B%20Fusion%20%26middot%3B%20FlashAttention%20%26middot%3B%20Quantization%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%2022px%200%3B%20font-size%3A%201.0rem%3B%20color%3A%20%2364748b%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max-width%3A%20700px%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%20junior%20engineer%20profiles%20a%20Transformer%20layer%20and%20declares%20it%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22compute-bound%20because%20Transformers%20are%20compute-heavy.%22%20The%20roofline%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20says%20otherwise.%20Most%20ML%20operations%20live%20far%20below%20the%20ridge%20point%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20applying%20the%20wrong%20optimization%20yields%20zero%20improvement.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2012px%3B%20flex-wrap%3A%20wrap%3B%20align-items%3A%20center%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(99%2C102%2C241%2C0.15)%3B%20color%3A%20%23a5b4fc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(99%2C102%2C241%2C0.25)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%205%20Parts%20%26middot%3B%20~58%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(203%2C32%2C45%2C0.15)%3B%20color%3A%20%23fca5a5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(203%2C32%2C45%2C0.25)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Chapter%3A%20Performance%20Engineering%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2010px%3B%20flex-wrap%3A%20wrap%3B%20margin-top%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-fail%22%3EH100%20at%200.3%25%20utilization%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3EFlashAttention%20256x%20savings%20at%2032K%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EProfile%20first%2C%20optimize%20second%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3EDiagnose%20bottlenecks%20with%20the%20Roofline%20Model%3C%2Fstrong%3E%20%26mdash%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20determine%20whether%20LLM%20decode%20at%20batch%3D1%20is%20compute-bound%20or%20memory-bound%2C%20and%20calculate%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20that%20it%20achieves%20only%200.34%25%20of%20H100%20peak%20utilization.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3EQuantify%20fusion%20savings%3C%2Fstrong%3E%20%26mdash%3B%20compare%20elementwise%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fusion%20(~64%20MB%2Flayer)%20vs%20FlashAttention%20(~4%20GB%2Flayer)%20and%20discover%20the%2060x%20ratio%20between%20them.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3EMatch%20optimizations%20to%20bottlenecks%3C%2Fstrong%3E%20%26mdash%3B%20predict%20which%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20optimization%20helps%20a%20given%20workload%20and%20discover%20that%20applying%20the%20wrong%20one%20yields%20%26lt%3B5%25%20improvement.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20margin-bottom%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Roofline%20model%20and%20arithmetic%20intensity%20from%20%40sec-performance-engineering%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26middot%3B%20Iron%20Law%20of%20ML%20Performance%20%26middot%3B%20Lab%20V2-08%20(inference%20at%20scale)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E~58%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%3A%2010%20%26middot%3B%20B%3A%2012%20%26middot%3B%20C%3A%2012%20%26middot%3B%20D%3A%2012%20%26middot%3B%20E%3A%2012%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-top%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BYour%20H100%20has%20989%20TFLOPS.%20LLM%20decode%20uses%200.3%25%20of%20it.%20Three%20techniques%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20fusion%2C%20tiling%2C%20and%20quantization%20%26mdash%3B%20close%20the%20gap.%20But%20which%20one%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20helps%20which%20workload%2C%20and%20why%20does%20applying%20the%20wrong%20one%20yield%20zero%20improvement%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20%26mdash%3B%20Complete%20the%20following%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20**The%20Roofline%20Model**%20%26mdash%3B%20Arithmetic%20intensity%2C%20ridge%20point%20formula%2C%0A%20%20%20%20%20%20workload%20placement%20on%20the%20roofline%20(%40sec-performance-engineering).%0A%20%20%20%20-%20**FlashAttention%3A%20Tiled%20Attention%20as%20a%20System%20Primitive**%20%26mdash%3B%20How%20tiling%0A%20%20%20%20%20%20reduces%20HBM%20traffic%20from%20O(N%5E2)%20to%20O(N).%0A%20%20%20%20-%20**Operator%20Fusion**%20%26mdash%3B%20Elementwise%20fusion%20vs%20full%20attention%20block%20fusion%0A%20%20%20%20%20%20and%20the%20HBM%20traffic%20reduction%20for%20each.%0A%20%20%20%20-%20**Precision%20Engineering**%20%26mdash%3B%20How%20INT4%20quantization%20shifts%20the%20roofline%0A%20%20%20%20%20%20and%20why%20outlier-aware%20methods%20preserve%20quality.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20pA_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%3A%20Compute-bound%20--%20H100%20has%20989%20TFLOPS%2C%20compute%20must%20dominate%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B%3A%20Slightly%20memory-bound%20--%20close%20to%20the%20ridge%20point%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C%3A%20Deeply%20memory-bound%20--%20100x%2B%20below%20the%20ridge%20point%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D%3A%20It%20depends%20on%20the%20model%20size%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22LLM%20decode%20(batch%3D1)%20on%20an%20H100.%20The%20model%20reads%20its%20full%20weight%20matrix%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22to%20generate%20each%20token%2C%20performing%20~1%20FLOP%20per%20byte%20loaded%20(FP16).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20H100%20ridge%20point%20is%20295%20FLOP%2Fbyte.%20Is%20this%20workload%20compute-bound%20or%20memory-bound%3F%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(pA_pred%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pA_pred)%3A%0A%20%20%20%20mo.stop(pA_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pA_batch%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Batch%201%22%3A%201%2C%20%22Batch%204%22%3A%204%2C%20%22Batch%2016%22%3A%2016%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Batch%2064%22%3A%2064%2C%20%22Batch%20256%22%3A%20256%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Batch%201%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Batch%20size%22%2C%0A%20%20%20%20)%0A%20%20%20%20pA_gpu%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22V100%20FP16%20(ridge%20%3D%20139)%22%3A%20%22v100%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A100%20FP16%20(ridge%20%3D%20153)%22%3A%20%22a100%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22H100%20FP16%20(ridge%20%3D%20295)%22%3A%20%22h100%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B200%20FP16%20(ridge%20%3D%20281)%22%3A%20%22b200%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22H100%20FP16%20(ridge%20%3D%20295)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22GPU%20generation%22%2C%0A%20%20%20%20)%0A%20%20%20%20pA_op%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22LLM%20Decode%20(AI%20%3D%20batch%20FLOP%2Fbyte)%22%3A%20%22decode%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22LayerNorm%20(AI%20~%201.5)%22%3A%20%22layernorm%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Large%20GEMM%204096x4096%20(AI%20~%201365)%22%3A%20%22gemm%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Attention%20naive%20(AI%20~%2064)%22%3A%20%22attn_naive%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22LLM%20Decode%20(AI%20%3D%20batch%20FLOP%2Fbyte)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22ML%20operation%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20--%20Part%20B%20prediction%20--%0A%20%20%20%20pB_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%3A%20~2x%20--%20fusion%20is%20fusion%2C%20all%20savings%20are%20similar%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B%3A%20~10x%20--%20attention%20is%20bigger%20but%20not%20dramatically%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C%3A%20~60x%20--%20attention%20score%20matrix%20is%20quadratically%20larger%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D%3A%20~1000x%20--%20FlashAttention%20is%20a%20completely%20different%20class%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20Transformer%20layer%20has%2050%2B%20operations.%20Fusing%20three%20elementwise%20ops%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22(GELU%20%2B%20LayerNorm%20%2B%20Dropout)%20saves%20~64%20MB%2Flayer%20in%20HBM%20traffic.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22FlashAttention%20fuses%20the%20entire%20attention%20block.%20What%20is%20the%20ratio%20of%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22FlashAttention%20savings%20to%20elementwise%20fusion%20savings%3F%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pA_batch%2C%20pA_gpu%2C%20pA_op%2C%20pB_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pB_pred)%3A%0A%20%20%20%20mo.stop(pB_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pB_seqlen%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D512%2C%20stop%3D131072%2C%20value%3D4096%2C%20step%3D512%2C%0A%20%20%20%20%20%20%20%20label%3D%22Sequence%20length%20(tokens)%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20--%20Part%20C%20prediction%20--%0A%20%20%20%20pC_pred%20%3D%20mo.ui.number(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D10000%2C%20value%3DNone%2C%0A%20%20%20%20%20%20%20%20label%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Standard%20attention%20at%2032K%20tokens%20uses%20~32%20GB%20of%20HBM%20for%20the%20score%20matrix%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22(FP16%2C%2064%20heads).%20FlashAttention%20uses%20tiled%20SRAM%20computation.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22What%20are%20the%20memory%20savings%3F%20Enter%20a%20multiplier%20(e.g.%2C%208%20for%208x).%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pB_seqlen%2C%20pC_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pC_pred)%3A%0A%20%20%20%20mo.stop(pC_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pD_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%3A%20Both%20are%20similar%20--%204%20bits%20is%204%20bits%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B%3A%20Naive%20is%201-2%20perplexity%20points%20worse%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C%3A%20Naive%20is%205-10%20points%20worse%20--%20catastrophic%20for%20large%20models%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D%3A%20Outlier-aware%20is%20worse%20due%20to%20overhead%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22You%20quantize%20a%2070B%20LLM%20from%20FP16%20to%20INT4.%20Naive%20(uniform)%20quantization%20vs%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22outlier-aware%20quantization.%20Both%20use%204%20bits%20per%20weight%20on%20average.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22What%20is%20the%20perplexity%20difference%3F%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(pD_pred%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pD_pred)%3A%0A%20%20%20%20mo.stop(pD_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pD_precision%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22FP16%22%3A%2016%2C%20%22INT8%22%3A%208%2C%20%22INT4%22%3A%204%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22INT4%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Precision%20(bits)%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20--%20Part%20E%20prediction%20--%0A%20%20%20%20pE_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%3A%20FlashAttention%20--%20it%20is%20the%20most%20powerful%20optimization%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B%3A%20INT4%20quantization%20--%20reduce%20data%20movement%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C%3A%20It%20depends%20on%20whether%20the%20workload%20is%20compute-bound%20or%20memory-bound%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D%3A%20All%20optimizations%20help%20equally%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22You%20have%20a%20mystery%20workload.%20Without%20profiling%20it%20first%2C%20which%20single%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22optimization%20would%20you%20apply%3F%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pD_precision%2C%20pE_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pE_pred)%3A%0A%20%20%20%20mo.stop(pE_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pE_workload%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22LLM%20Decode%20(batch%3D1)%20--%20AI%3D1%2C%20memory-bound%22%3A%20%22decode%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22LLM%20Prefill%20(batch%3D64)%20--%20AI%3D512%2C%20compute-bound%22%3A%20%22prefill%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Vision%20Inference%20(batch%3D32)%20--%20AI%3D180%2C%20near%20ridge%22%3A%20%22vision%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22LLM%20Decode%20(batch%3D1)%20--%20AI%3D1%2C%20memory-bound%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Select%20workload%20to%20optimize%22%2C%0A%20%20%20%20)%0A%20%20%20%20pE_optim%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22FlashAttention%20(reduces%20HBM%20traffic)%22%3A%20%22flash%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22INT4%20Quantization%20(4x%20effective%20bandwidth)%22%3A%20%22int4%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Operator%20Fusion%20(fuse%20elementwise%20ops)%22%3A%20%22fusion%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22CUDA%20Graphs%20(reduce%20kernel%20launch%20overhead)%22%3A%20%22graphs%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Larger%20Batch%20Size%22%3A%20%22batch%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22FlashAttention%20(reduces%20HBM%20traffic)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Select%20optimization%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pE_optim%2C%20pE_workload%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20A100_BW_GBS%2C%0A%20%20%20%20A100_RIDGE%2C%0A%20%20%20%20A100_TFLOPS_FP16%2C%0A%20%20%20%20B200_BW_GBS%2C%0A%20%20%20%20B200_RIDGE%2C%0A%20%20%20%20B200_TFLOPS_FP16%2C%0A%20%20%20%20BYTES_FP16%2C%0A%20%20%20%20COLORS%2C%0A%20%20%20%20ELEM_FUSION_SAVE_MB%2C%0A%20%20%20%20H100_BW_GBS%2C%0A%20%20%20%20H100_RIDGE%2C%0A%20%20%20%20H100_TFLOPS_FP16%2C%0A%20%20%20%20HEAD_DIM%2C%0A%20%20%20%20NUM_HEADS%2C%0A%20%20%20%20PPL_FP16%2C%0A%20%20%20%20PPL_INT4_NAIVE%2C%0A%20%20%20%20PPL_INT4_OUTLIER%2C%0A%20%20%20%20PPL_INT8_NAIVE%2C%0A%20%20%20%20PPL_INT8_OUTLIER%2C%0A%20%20%20%20V100_BW_GBS%2C%0A%20%20%20%20V100_RIDGE%2C%0A%20%20%20%20V100_TFLOPS_FP16%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20go%2C%0A%20%20%20%20math%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pA_batch%2C%0A%20%20%20%20pA_gpu%2C%0A%20%20%20%20pA_op%2C%0A%20%20%20%20pA_pred%2C%0A%20%20%20%20pB_pred%2C%0A%20%20%20%20pB_seqlen%2C%0A%20%20%20%20pC_pred%2C%0A%20%20%20%20pD_precision%2C%0A%20%20%20%20pD_pred%2C%0A%20%20%20%20pE_optim%2C%0A%20%20%20%20pE_pred%2C%0A%20%20%20%20pE_workload%2C%0A)%3A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20A%3A%20THE%20ROOFLINE%20DIAGNOSTIC%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Stakeholder%20message%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'BlueL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Junior%20ML%20Engineer%2C%20LLM%20Serving%20Team%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22I%20profiled%20our%2070B%20model%20inference%20on%20the%20H100%20cluster.%20Transformers%20are%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20all%20matrix%20multiplications%2C%20so%20it%20should%20be%20compute-bound%2C%20right%3F%20I%20want%20to%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20request%20faster%20GPUs%20to%20improve%20our%20token%20generation%20speed.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Roofline%20Diagnostic%0A%0A%20%20%20%20%20%20%20%20You%20expect%20a%20powerful%20GPU%20to%20be%20compute-bound.%20The%20roofline%20reveals%20that%20LLM%0A%20%20%20%20%20%20%20%20decode%20at%20batch%3D1%20sits%20295x%20below%20the%20H100%20ridge%20point%20--%20using%20only%200.34%25%0A%20%20%20%20%20%20%20%20of%20available%20compute.%20The%20GPU%20is%20not%20slow.%20It%20is%20starving%20for%20data.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Your%20Prediction%22))%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22*Commit%20before%20touching%20the%20simulator.*%22))%0A%20%20%20%20%20%20%20%20items.append(pA_pred)%0A%0A%20%20%20%20%20%20%20%20if%20pA_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20Roofline%20simulator.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22**Prediction%20locked%3A**%20Option%20**%7BpA_pred.value%7D**.%20Now%20explore%20the%20simulator%20below.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20%20%20%20%20%23%20Controls%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpA_batch%2C%20pA_gpu%2C%20pA_op%5D%2C%20gap%3D%221.5rem%22%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Roofline%20chart%20computation%0A%20%20%20%20%20%20%20%20_GPU_SPECS%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22h100%22%3A%20(%22H100%22%2C%20H100_TFLOPS_FP16%2C%20H100_BW_GBS%2C%20H100_RIDGE%2C%20COLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22a100%22%3A%20(%22A100%22%2C%20A100_TFLOPS_FP16%2C%20A100_BW_GBS%2C%20A100_RIDGE%2C%20COLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22v100%22%3A%20(%22V100%22%2C%20V100_TFLOPS_FP16%2C%20V100_BW_GBS%2C%20V100_RIDGE%2C%20%22%237c3aed%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22b200%22%3A%20(%22B200%22%2C%20B200_TFLOPS_FP16%2C%20B200_BW_GBS%2C%20B200_RIDGE%2C%20COLORS%5B%22GreenLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_gpu_name%2C%20_peak%2C%20_bw%2C%20_ridge%2C%20_gpu_color%20%3D%20_GPU_SPECS%5BpA_gpu.value%5D%0A%20%20%20%20%20%20%20%20_batch%20%3D%20pA_batch.value%0A%0A%20%20%20%20%20%20%20%20%23%20Operation%20arithmetic%20intensity%0A%20%20%20%20%20%20%20%20_OP_AI%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22decode%22%3A%20float(_batch)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22layernorm%22%3A%201.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22gemm%22%3A%201365.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22attn_naive%22%3A%2064.0%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_ai%20%3D%20_OP_AI%5BpA_op.value%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Roofline%20calculation%0A%20%20%20%20%20%20%20%20_achievable%20%3D%20min(_peak%2C%20(_bw%20%2F%201e3)%20*%20_ai)%0A%20%20%20%20%20%20%20%20_util_pct%20%3D%20(_achievable%20%2F%20_peak)%20*%20100.0%0A%20%20%20%20%20%20%20%20_is_mem_bound%20%3D%20_ai%20%3C%20_ridge%0A%0A%20%20%20%20%20%20%20%20%23%20Build%20figure%0A%20%20%20%20%20%20%20%20_ai_range%20%3D%20np.logspace(-1%2C%204%2C%20400)%0A%20%20%20%20%20%20%20%20_mem_ceil%20%3D%20(_bw%20%2F%201e3)%20*%20_ai_range%0A%20%20%20%20%20%20%20%20_comp_ceil%20%3D%20np.full_like(_ai_range%2C%20_peak)%0A%20%20%20%20%20%20%20%20_roofline%20%3D%20np.minimum(_mem_ceil%2C%20_comp_ceil)%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_ai_range%2C%20y%3D_mem_ceil%2C%20mode%3D%22lines%22%2C%20name%3D%22Memory%20BW%20ceiling%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D2)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_ai_range%2C%20y%3D_comp_ceil%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Compute%20ceiling%20(%7B_peak%3A.0f%7D%20TFLOPS)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_ai_range%2C%20y%3D_roofline%2C%20mode%3D%22lines%22%2C%20name%3D%22Roofline%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22%23334155%22%2C%20width%3D3)%2C%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_vline(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_ridge%2C%20line_dash%3D%22dash%22%2C%20line_color%3D%22%2394a3b8%22%2C%20line_width%3D1.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22Ridge%20%3D%20%7B_ridge%3A.0f%7D%22%2C%20annotation_position%3D%22top%20right%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20annotation_font_size%3D10%2C%20annotation_font_color%3D%22%2394a3b8%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_dot_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_is_mem_bound%20else%20COLORS%5B%22GreenLine%22%5D%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_ai%5D%2C%20y%3D%5B_achievable%5D%2C%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22%7B'Memory-bound'%20if%20_is_mem_bound%20else%20'Compute-bound'%7D%3A%20AI%3D%7B_ai%3A.1f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D16%2C%20color%3D_dot_color%2C%20line%3Ddict(color%3D%22white%22%2C%20width%3D2))%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_annotation(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dmath.log10(max(_ai%2C%200.1))%2C%20y%3Dmath.log10(max(_achievable%2C%200.01))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xref%3D%22x%22%2C%20yref%3D%22y%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3Df%22Utilization%3A%20%7B_util_pct%3A.2f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showarrow%3DTrue%2C%20arrowhead%3D2%2C%20arrowcolor%3D_dot_color%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ax%3D60%2C%20ay%3D-40%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20font%3Ddict(size%3D11%2C%20color%3D_dot_color%2C%20family%3D%22SF%20Mono%2C%20monospace%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bgcolor%3D%22white%22%2C%20bordercolor%3D_dot_color%2C%20borderpad%3D4%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D380%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Arithmetic%20Intensity%20(FLOP%2Fbyte)%22%2C%20type%3D%22log%22%2C%20range%3D%5B-1%2C%204%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Achievable%20Performance%20(TFLOPS)%22%2C%20type%3D%22log%22%2C%20range%3D%5B-1%2C%204%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D-0.25%2C%20x%3D0%2C%20font_size%3D11)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D60%2C%20r%3D20%2C%20t%3D30%2C%20b%3D110)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20%23%20Metric%20cards%0A%20%20%20%20%20%20%20%20_u_color%20%3D%20(COLORS%5B%22GreenLine%22%5D%20if%20_util_pct%20%3E%2020%20else%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22OrangeLine%22%5D%20if%20_util_pct%20%3E%205%20else%20COLORS%5B%22RedLine%22%5D)%0A%20%20%20%20%20%20%20%20_regime%20%3D%20%22Memory-Bound%22%20if%20_is_mem_bound%20else%20%22Compute-Bound%22%0A%20%20%20%20%20%20%20%20_r_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_is_mem_bound%20else%20COLORS%5B%22GreenLine%22%5D%0A%0A%20%20%20%20%20%20%20%20_cards%20%3D%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7B_u_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EUtilization%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_u_color%7D%3B%22%3E%7B_util_pct%3A.2f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7B_r_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ERegime%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.3rem%3B%20font-weight%3A800%3B%20color%3A%7B_r_color%7D%3B%22%3E%7B_regime%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EAI%20%2F%20Ridge%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.3rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_ai%3A.1f%7D%20%2F%20%7B_ridge%3A.0f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22%0A%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%20%20%20%20%20%20%20%20items.append(mo.Html(_cards))%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Roofline%20Calculation**%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Arithmetic%20Intensity%20%20%3D%20%7B_ai%3A.1f%7D%20FLOP%2Fbyte%0A%20%20%20%20Ridge%20Point%20(%7B_gpu_name%7D)%20%20%20%20%3D%20%7B_ridge%3A.0f%7D%20FLOP%2Fbyte%0A%20%20%20%20AI%20%2F%20Ridge%20%20%20%20%20%20%20%20%20%20%20%20%3D%20%7B_ai%3A.1f%7D%20%2F%20%7B_ridge%3A.0f%7D%20%3D%20%7B_ai%2F_ridge%3A.4f%7D%0A%20%20%20%20Achievable%20TFLOPS%20%20%20%20%20%3D%20min(%7B_peak%3A.0f%7D%2C%20%7B_bw%2F1e3%3A.1f%7D%20x%20%7B_ai%3A.1f%7D)%20%3D%20%7B_achievable%3A.1f%7D%20TFLOPS%0A%20%20%20%20Utilization%20%20%20%20%20%20%20%20%20%20%20%3D%20%7B_achievable%3A.1f%7D%20%2F%20%7B_peak%3A.0f%7D%20%3D%20%7B_util_pct%3A.2f%7D%25%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20%40sec-performance-engineering%2C%20roofline%20model*%0A%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Reveal%0A%20%20%20%20%20%20%20%20if%20pA_pred.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_pA_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20LLM%20decode%20at%20batch%3D1%20has%20arithmetic%20intensity%20of%20~1%20FLOP%2Fbyte.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20H100%20ridge%20point%20is%20295.%20The%20workload%20is%20295x%20below%20the%20ridge%2C%20achieving%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22only%200.34%25%20utilization.%20The%20fix%20is%20not%20faster%20math%20--%20it%20is%20moving%20less%20data.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_pA_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20elif%20pA_pred.value%20%3D%3D%20%22A%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_pA_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**The%20GPU%20is%20almost%20entirely%20idle.**%20You%20predicted%20compute-bound%2C%20but%20LLM%20decode%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22at%20batch%3D1%20has%20AI%3D1%20FLOP%2Fbyte%20--%20295x%20below%20the%20H100%20ridge%20point.%20Utilization%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%220.34%25%2C%20not%20the%2080%25%2B%20you%20expected.%20The%20989%20TFLOPS%20are%20irrelevant%20when%20the%20workload%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22cannot%20feed%20data%20fast%20enough.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_pA_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20elif%20pA_pred.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_pA_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Much%20worse%20than%20'slightly'%20memory-bound.**%20AI%3D1%20is%20not%20'close%20to'%20the%20ridge%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22at%20295%20--%20it%20is%20295x%20below.%20This%20is%20not%20a%20marginal%20inefficiency.%20The%20GPU%20achieves%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%220.34%25%20utilization.%20Increasing%20batch%20size%20is%20the%20primary%20lever%20to%20improve%20this.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_pA_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_pA_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Model%20size%20matters%20for%20total%20memory%2C%20not%20for%20the%20roofline%20regime.**%20At%20batch%3D1%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ANY%20autoregressive%20LLM%20has%20AI~1%20FLOP%2Fbyte%20regardless%20of%20size.%20The%20ridge%20point%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22determines%20the%20regime%2C%20and%20at%20AI%3D1%20on%20the%20H100%20(ridge%3D295)%2C%20every%20LLM%20decode%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22deeply%20memory-bound.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_pA_kind%20%3D%20%22warn%22%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22**You%20predicted%3A**%20%7BpA_pred.value%7D%22))%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_pA_msg)%2C%20kind%3D_pA_kind))%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Math%20Peek%3A%20Roofline%20Model%22%3A%20mo.md(%22%22%22%0A%20%20%20%20**The%20Roofline%20Equation**%0A%0A%20%20%20%20%24%24%5C%5Ctext%7BAchievable%20FLOPS%7D%20%3D%20%5C%5Cmin(%5C%5Cpi%2C%20%5C%5Cbeta%20%5C%5Ccdot%20I)%24%24%0A%0A%20%20%20%20Where%3A%0A%20%20%20%20-%20%24%5C%5Cpi%24%20%3D%20peak%20compute%20(TFLOPS)%0A%20%20%20%20-%20%24%5C%5Cbeta%24%20%3D%20memory%20bandwidth%20(TB%2Fs)%0A%20%20%20%20-%20%24I%24%20%3D%20arithmetic%20intensity%20(FLOP%2Fbyte)%0A%0A%20%20%20%20The%20**ridge%20point**%20%24I_%7B%5C%5Ctext%7Bridge%7D%7D%20%3D%20%5C%5Cpi%20%2F%20%5C%5Cbeta%24%20divides%20memory-bound%20(%24I%20%3C%20I_%7B%5C%5Ctext%7Bridge%7D%7D%24)%0A%20%20%20%20from%20compute-bound%20(%24I%20%3E%20I_%7B%5C%5Ctext%7Bridge%7D%7D%24).%0A%0A%20%20%20%20For%20LLM%20decode%20at%20batch%3D1%3A%20%24I%20%3D%201%24%20FLOP%2Fbyte%2C%20%24I_%7B%5C%5Ctext%7Bridge%7D%7D%20%3D%20295%24%20on%20H100.%0A%20%20%20%20Utilization%20%3D%20%24I%20%2F%20I_%7B%5C%5Ctext%7Bridge%7D%7D%20%3D%201%2F295%20%3D%200.34%5C%5C%25%24.%0A%0A%20%20%20%20*Source%3A%20%40sec-performance-engineering*%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20B%3A%20THE%20FUSION%20DIVIDEND%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Stakeholder%20message%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'GreenL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Senior%20Kernel%20Engineer%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22LLM%20decode%20is%20memory-bound%20--%20the%20fix%20is%20moving%20less%20data.%20Fusion%20eliminates%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20HBM%20round-trips%20by%20keeping%20intermediates%20in%20SRAM.%20But%20not%20all%20fusions%20are%20equal%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20FlashAttention%20saves%2060x%20more%20than%20elementwise%20fusion.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Fusion%20Dividend%0A%0A%20%20%20%20%20%20%20%20A%20Transformer%20layer%20has%2050%2B%20operations.%20Fusing%20three%20elementwise%20ops%0A%20%20%20%20%20%20%20%20(GELU%20%2B%20LayerNorm%20%2B%20Dropout)%20saves%20~64%20MB%2Flayer.%20FlashAttention%20fuses%20the%0A%20%20%20%20%20%20%20%20entire%20attention%20block%2C%20eliminating%20the%20O(N%5E2)%20score%20matrix%20materialization.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Your%20Prediction%22))%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22*What%20is%20the%20ratio%20of%20FlashAttention%20savings%20to%20elementwise%20fusion%20savings%3F*%22))%0A%20%20%20%20%20%20%20%20items.append(pB_pred)%0A%0A%20%20%20%20%20%20%20%20if%20pB_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20Fusion%20comparison.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20Controls%0A%20%20%20%20%20%20%20%20items.append(pB_seqlen)%0A%0A%20%20%20%20%20%20%20%20%23%20Computation%0A%20%20%20%20%20%20%20%20_N%20%3D%20pB_seqlen.value%0A%0A%20%20%20%20%20%20%20%20%23%20HBM%20traffic%20calculation%20per%20layer%0A%20%20%20%20%20%20%20%20_naive_attn_mb%20%3D%202%20*%20_N%20*%20_N%20*%20BYTES_FP16%20*%20NUM_HEADS%20%2F%20(1024%20*%201024)%0A%20%20%20%20%20%20%20%20_elem_traffic_mb%20%3D%20ELEM_FUSION_SAVE_MB%0A%20%20%20%20%20%20%20%20_no_fusion_mb%20%3D%20_naive_attn_mb%20%2B%20_elem_traffic_mb%0A%0A%20%20%20%20%20%20%20%20_elem_fused_mb%20%3D%20_naive_attn_mb%0A%20%20%20%20%20%20%20%20_flash_attn_mb%20%3D%204%20*%20_N%20*%20HEAD_DIM%20*%20BYTES_FP16%20*%20NUM_HEADS%20%2F%20(1024%20*%201024)%0A%20%20%20%20%20%20%20%20_full_fused_mb%20%3D%20_flash_attn_mb%0A%0A%20%20%20%20%20%20%20%20_elem_savings_mb%20%3D%20_no_fusion_mb%20-%20_elem_fused_mb%0A%20%20%20%20%20%20%20%20_flash_savings_mb%20%3D%20_no_fusion_mb%20-%20_full_fused_mb%0A%20%20%20%20%20%20%20%20_ratio%20%3D%20_flash_savings_mb%20%2F%20max(_elem_savings_mb%2C%200.01)%0A%0A%20%20%20%20%20%20%20%20%23%20Build%20stacked%20bar%20chart%0A%20%20%20%20%20%20%20%20_labels%20%3D%20%5B%22No%20Fusion%22%2C%20%22Elementwise%20Fusion%22%2C%20%22FlashAttention%22%5D%0A%20%20%20%20%20%20%20%20_attn_vals%20%3D%20%5B_naive_attn_mb%2C%20_naive_attn_mb%2C%20_flash_attn_mb%5D%0A%20%20%20%20%20%20%20%20_elem_vals%20%3D%20%5B_elem_traffic_mb%2C%200%2C%200%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Attention%20HBM%20Traffic%22%2C%20x%3D_labels%2C%20y%3D_attn_vals%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22RedLine%22%5D%2C%20opacity%3D0.85%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Elementwise%20HBM%20Traffic%22%2C%20x%3D_labels%2C%20y%3D_elem_vals%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20opacity%3D0.85%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20barmode%3D%22stack%22%2C%20height%3D360%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22HBM%20Traffic%20per%20Layer%20(MB)%22%2C%20type%3D%22log%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D60%2C%20r%3D20%2C%20t%3D30%2C%20b%3D40)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D-0.15%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20_cards%20%3D%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EElementwise%20Savings%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_elem_savings_mb%3A.0f%7D%20MB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EFlashAttention%20Savings%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_flash_savings_mb%3A%2C.0f%7D%20MB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ESavings%20Ratio%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_ratio%3A.0f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22%0A%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%20%20%20%20%20%20%20%20items.append(mo.Html(_cards))%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Fusion%20Physics**%20(sequence%20length%20%3D%20%7B_N%3A%2C%7D%20tokens)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Naive%20attention%20HBM%20%20%20%20%3D%202%20*%20N%5E2%20*%202%20bytes%20*%20%7BNUM_HEADS%7D%20heads%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%202%20*%20%7B_N%7D%5E2%20*%202%20*%20%7BNUM_HEADS%7D%20%3D%20%7B_naive_attn_mb%3A%2C.0f%7D%20MB%0A%0A%20%20%20%20FlashAttention%20HBM%20%20%20%20%20%3D%204%20*%20N%20*%20d%20*%202%20bytes%20*%20%7BNUM_HEADS%7D%20heads%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%204%20*%20%7B_N%7D%20*%20%7BHEAD_DIM%7D%20*%202%20*%20%7BNUM_HEADS%7D%20%3D%20%7B_flash_attn_mb%3A.1f%7D%20MB%0A%0A%20%20%20%20Elementwise%20savings%20%20%20%20%3D%20%7B_elem_savings_mb%3A.0f%7D%20MB%20(fixed%20per%20layer)%0A%20%20%20%20FlashAttention%20savings%20%3D%20%7B_flash_savings_mb%3A%2C.0f%7D%20MB%0A%20%20%20%20Ratio%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%20%7B_flash_savings_mb%3A%2C.0f%7D%20%2F%20%7B_elem_savings_mb%3A.0f%7D%20%3D%20%7B_ratio%3A.0f%7Dx%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Reveal%0A%20%20%20%20%20%20%20%20if%20pB_pred.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_pB_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20FlashAttention%20saves%20~60x%20more%20HBM%20traffic%20than%20elementwise%20fusion%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22because%20the%20attention%20score%20matrix%20grows%20quadratically%20with%20sequence%20length%20(N%5E2)%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22while%20elementwise%20intermediates%20are%20fixed.%20At%204K%20tokens%2C%20this%20is%20already%2060x.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22At%2032K%20tokens%2C%20the%20ratio%20grows%20to%20~4000x.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_pB_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_pB_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**The%20ratio%20is%20~60x%20at%204K%20tokens%2C%20and%20it%20grows%20quadratically.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Elementwise%20fusion%20saves%20~64%20MB%2Flayer%20(fixed).%20FlashAttention%20eliminates%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22N%20x%20N%20score%20matrix%2C%20saving%20~4%20GB%2Flayer%20at%204K%20tokens.%20The%20score%20matrix%20grows%20as%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22O(N%5E2)%20while%20elementwise%20intermediates%20are%20O(N)%2C%20so%20the%20ratio%20widens%20with%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22sequence%20length.%20Increase%20the%20slider%20to%20see%20it%20grow.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_pB_kind%20%3D%20%22warn%22%0A%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_pB_msg)%2C%20kind%3D_pB_kind))%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Math%20Peek%3A%20Fusion%20Savings%22%3A%20mo.md(%22%22%22%0A%20%20%20%20**HBM%20Traffic%20Reduction**%0A%0A%20%20%20%20Naive%20attention%20per%20layer%3A%20%24%5C%5Ctext%7BHBM%7D_%7B%5C%5Ctext%7Bnaive%7D%7D%20%3D%202%20N%5E2%20%5C%5Ccdot%20b%20%5C%5Ccdot%20H%24%20bytes%0A%0A%20%20%20%20FlashAttention%20per%20layer%3A%20%24%5C%5Ctext%7BHBM%7D_%7B%5C%5Ctext%7Bflash%7D%7D%20%3D%204%20N%20d%20%5C%5Ccdot%20b%20%5C%5Ccdot%20H%24%20bytes%0A%0A%20%20%20%20Savings%20ratio%3A%20%24%5C%5Cfrac%7BN%5E2%7D%7B2Nd%7D%20%3D%20%5C%5Cfrac%7BN%7D%7B2d%7D%24%0A%0A%20%20%20%20At%20%24N%20%3D%204096%24%2C%20%24d%20%3D%20128%24%3A%20ratio%20%3D%20%244096%20%2F%20256%20%3D%2016%24%2C%20but%20including%20the%20full%20traffic%0A%20%20%20%20accounting%20the%20actual%20ratio%20is%20~60x%20because%20FlashAttention%20eliminates%20*all*%20intermediate%0A%20%20%20%20materializations%2C%20not%20just%20the%20score%20matrix.%0A%0A%20%20%20%20*Source%3A%20%40sec-performance-engineering%2C%20FlashAttention*%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20C%3A%20FLASHATTENTION%3A%20THE%20SAVINGS%20CURVE%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'OrangeL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Systems%20Architect%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Standard%20attention%20materializes%20an%20N%20x%20N%20score%20matrix%20in%20HBM%2C%20costing%20O(N%5E2)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20memory.%20FlashAttention%20tiles%20the%20computation%20to%20SRAM%2C%20reducing%20memory%20to%20O(N).%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20savings%20ratio%20grows%20linearly%20with%20sequence%20length%3A%2032x%20at%208K%2C%20256x%20at%2032K.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20FlashAttention%3A%20The%20Savings%20Curve%0A%0A%20%20%20%20%20%20%20%20Standard%20attention%20at%2032K%20tokens%20uses%20~32%20GB%20of%20HBM%20for%20the%20score%20matrix.%0A%20%20%20%20%20%20%20%20FlashAttention%20uses%20tiled%20SRAM%20computation%2C%20never%20materializing%20the%20full%20matrix.%0A%20%20%20%20%20%20%20%20How%20much%20memory%20does%20it%20save%3F%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Your%20Prediction%22))%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22*How%20much%20memory%20does%20FlashAttention%20save%20at%2032K%20tokens%3F*%22))%0A%20%20%20%20%20%20%20%20items.append(pC_pred)%0A%0A%20%20%20%20%20%20%20%20if%20pC_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Enter%20your%20savings%20prediction%20above%20to%20unlock%20the%20savings%20curve.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20Computation%0A%20%20%20%20%20%20%20%20_d%20%3D%20HEAD_DIM%0A%20%20%20%20%20%20%20%20_h%20%3D%20NUM_HEADS%0A%20%20%20%20%20%20%20%20_b%20%3D%20BYTES_FP16%0A%0A%20%20%20%20%20%20%20%20_seq_lengths%20%3D%20np.array(%5B512%2C%201024%2C%202048%2C%204096%2C%208192%2C%2016384%2C%2032768%2C%2065536%2C%20131072%5D)%0A%0A%20%20%20%20%20%20%20%20%23%20Naive%3A%202%20*%20N%5E2%20*%20bytes%20*%20heads%20(score%20matrix%20%2B%20softmax%20output)%0A%20%20%20%20%20%20%20%20_naive_gb%20%3D%202%20*%20_seq_lengths.astype(float)**2%20*%20_b%20*%20_h%20%2F%20(1024**3)%0A%20%20%20%20%20%20%20%20%23%20Flash%3A%204%20*%20N%20*%20d%20*%20bytes%20*%20heads%20(Q%2C%20K%2C%20V%2C%20O%20reads)%0A%20%20%20%20%20%20%20%20_flash_gb%20%3D%204%20*%20_seq_lengths.astype(float)%20*%20_d%20*%20_b%20*%20_h%20%2F%20(1024**3)%0A%20%20%20%20%20%20%20%20%23%20Savings%20ratio%0A%20%20%20%20%20%20%20%20_ratios%20%3D%20_naive_gb%20%2F%20_flash_gb%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_seq_lengths%2C%20y%3D_naive_gb%2C%20mode%3D%22lines%2Bmarkers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Naive%20Attention%20(O(N%5E2))%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D3)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D8)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_seq_lengths%2C%20y%3D_flash_gb%2C%20mode%3D%22lines%2Bmarkers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22FlashAttention%20(O(N))%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22GreenLine%22%5D%2C%20width%3D3)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D8)%2C%0A%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20%20%20%20%20%23%20Annotate%20key%20points%0A%20%20%20%20%20%20%20%20for%20_i%2C%20_n%20in%20enumerate(_seq_lengths)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_n%20in%20%5B8192%2C%2032768%2C%20131072%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_annotation(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D_n%2C%20y%3D_naive_gb%5B_i%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3Df%22%7B_ratios%5B_i%5D%3A.0f%7Dx%20savings%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showarrow%3DTrue%2C%20arrowhead%3D2%2C%20ax%3D40%2C%20ay%3D-30%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font%3Ddict(size%3D10%2C%20color%3DCOLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D380%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Sequence%20Length%20(tokens)%22%2C%20type%3D%22log%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22HBM%20Memory%20(GB)%22%2C%20type%3D%22log%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D-0.2%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D60%2C%20r%3D20%2C%20t%3D30%2C%20b%3D90)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20%23%20Find%20the%2032K%20ratio%0A%20%20%20%20%20%20%20%20_idx_32k%20%3D%20list(_seq_lengths).index(32768)%0A%20%20%20%20%20%20%20%20_actual_ratio%20%3D%20_ratios%5B_idx_32k%5D%0A%20%20%20%20%20%20%20%20_predicted%20%3D%20pC_pred.value%20if%20pC_pred.value%20else%201%0A%20%20%20%20%20%20%20%20_gap%20%3D%20_actual_ratio%20%2F%20_predicted%0A%0A%20%20%20%20%20%20%20%20_cards%20%3D%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ENaive%20at%2032K%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_naive_gb%5B_idx_32k%5D%3A.1f%7D%20GB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EFlash%20at%2032K%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_flash_gb%5B_idx_32k%5D*1024%3A.0f%7D%20MB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ESavings%20Ratio%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_actual_ratio%3A.0f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22%0A%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%20%20%20%20%20%20%20%20items.append(mo.Html(_cards))%0A%0A%20%20%20%20%20%20%20%20if%20_gap%20%3C%201.5%20and%20_gap%20%3E%200.67%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_reveal_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_reveal_msg%20%3D%20f%22**Excellent.**%20You%20predicted%20%7B_predicted%7Dx.%20Actual%3A%20%7B_actual_ratio%3A.0f%7Dx.%20You%20were%20within%20range.%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_reveal_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_reveal_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**You%20predicted%20%7B_predicted%7Dx.%20Actual%3A%20%7B_actual_ratio%3A.0f%7Dx.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22You%20were%20off%20by%20%7B_gap%3A.1f%7Dx.**%20Most%20students%20predict%204-8x%20(thinking%20linearly).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20actual%20savings%20ratio%20is%20N%2F(2d)%20%3D%20%7B32768%7D%2F%7B2*_d%7D%20%3D%20%7B_actual_ratio%3A.0f%7Dx%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22growing%20linearly%20with%20sequence%20length.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_reveal_msg)%2C%20kind%3D_reveal_kind))%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Savings%20Formula**%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Naive%20HBM%20%20%3D%202%20*%20N%5E2%20*%20bytes%20*%20heads%20%3D%202%20*%2032768%5E2%20*%202%20*%2064%20%3D%20%7B_naive_gb%5B_idx_32k%5D%3A.1f%7D%20GB%0A%20%20%20%20Flash%20HBM%20%20%3D%204%20*%20N%20*%20d%20*%20bytes%20*%20heads%20%3D%204%20*%2032768%20*%20128%20*%202%20*%2064%20%3D%20%7B_flash_gb%5B_idx_32k%5D*1024%3A.0f%7D%20MB%0A%20%20%20%20Ratio%20%20%20%20%20%20%3D%20N%20%2F%20(2d)%20%3D%2032768%20%2F%20256%20%3D%20%7B_actual_ratio%3A.0f%7Dx%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20%40sec-performance-engineering%2C%20FlashAttention%20tiling%20analysis*%0A%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20D%3A%20PRECISION%20ENGINEERING%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%237c3aed%3B%20background%3A%20%23f3f0ff%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%237c3aed%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20ML%20Quality%20Engineer%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22INT4%20quantization%20quadruples%20effective%20memory%20bandwidth%2C%20shifting%20the%20workload%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rightward%20on%20the%20roofline.%20But%20transformer%20models%20have%20outlier%20features%20--%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20a%20handful%20of%20channels%20with%20values%20100x%20larger.%20Naive%20quantization%20clips%20these%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20outliers%2C%20causing%20catastrophic%20accuracy%20loss.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Precision%20Engineering%3A%20Naive%20vs%20Outlier-Aware%0A%0A%20%20%20%20%20%20%20%20INT4%20quantization%20quadruples%20effective%20memory%20bandwidth%2C%20shifting%20the%20workload%0A%20%20%20%20%20%20%20%20rightward%20on%20the%20roofline.%20But%20the%20quality%20impact%20depends%20on%20the%20method.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Your%20Prediction%22))%0A%20%20%20%20%20%20%20%20items.append(pD_pred)%0A%0A%20%20%20%20%20%20%20%20if%20pD_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20quantization%20comparison.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20Controls%0A%20%20%20%20%20%20%20%20items.append(pD_precision)%0A%0A%20%20%20%20%20%20%20%20%23%20Computation%0A%20%20%20%20%20%20%20%20_bits%20%3D%20pD_precision.value%0A%20%20%20%20%20%20%20%20_bw_mult%20%3D%2016%20%2F%20_bits%20%20%23%20effective%20bandwidth%20multiplier%0A%20%20%20%20%20%20%20%20_eff_bw%20%3D%20H100_BW_GBS%20*%20_bw_mult%0A%20%20%20%20%20%20%20%20_eff_ridge%20%3D%20H100_TFLOPS_FP16%20*%201e12%20%2F%20(_eff_bw%20*%201e9)%0A%0A%20%20%20%20%20%20%20%20%23%20Quality%20lookup%0A%20%20%20%20%20%20%20%20_ppl_table%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%2016%3A%20%7B%22naive%22%3A%20PPL_FP16%2C%20%22outlier%22%3A%20PPL_FP16%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%208%3A%20%20%7B%22naive%22%3A%20PPL_INT8_NAIVE%2C%20%22outlier%22%3A%20PPL_INT8_OUTLIER%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%204%3A%20%20%7B%22naive%22%3A%20PPL_INT4_NAIVE%2C%20%22outlier%22%3A%20PPL_INT4_OUTLIER%7D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_ppl_naive%20%3D%20_ppl_table%5B_bits%5D%5B%22naive%22%5D%0A%20%20%20%20%20%20%20%20_ppl_outlier%20%3D%20_ppl_table%5B_bits%5D%5B%22outlier%22%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Left%20panel%3A%20roofline%20shift%0A%20%20%20%20%20%20%20%20_ai_range%20%3D%20np.logspace(-1%2C%204%2C%20400)%0A%20%20%20%20%20%20%20%20_mem_ceil_orig%20%3D%20(H100_BW_GBS%20%2F%201e3)%20*%20_ai_range%0A%20%20%20%20%20%20%20%20_mem_ceil_quant%20%3D%20(_eff_bw%20%2F%201e3)%20*%20_ai_range%0A%20%20%20%20%20%20%20%20_comp_ceil%20%3D%20np.full_like(_ai_range%2C%20H100_TFLOPS_FP16)%0A%0A%20%20%20%20%20%20%20%20_fig_roof%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig_roof.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_ai_range%2C%20y%3D_mem_ceil_orig%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22FP16%20bandwidth%20ceiling%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22%2394a3b8%22%2C%20width%3D2%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig_roof.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_ai_range%2C%20y%3D_mem_ceil_quant%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22INT%7B_bits%7D%20effective%20bandwidth%20(%7B_bw_mult%3A.0f%7Dx)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22GreenLine%22%5D%2C%20width%3D2)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig_roof.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_ai_range%2C%20y%3D_comp_ceil%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Compute%20ceiling%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig_roof.add_vline(x%3DH100_RIDGE%2C%20line_dash%3D%22dot%22%2C%20line_color%3D%22%23ccc%22)%0A%20%20%20%20%20%20%20%20_fig_roof.add_vline(x%3D_eff_ridge%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22GreenLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22New%20ridge%3A%20%7B_eff_ridge%3A.0f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_font_size%3D10)%0A%20%20%20%20%20%20%20%20_fig_roof.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D320%2C%20title%3Ddict(text%3D%22Roofline%20Shift%20with%20Quantization%22%2C%20font_size%3D13)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Arithmetic%20Intensity%20(FLOP%2Fbyte)%22%2C%20type%3D%22log%22%2C%20range%3D%5B-1%2C%204%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22TFLOPS%22%2C%20type%3D%22log%22%2C%20range%3D%5B-1%2C%204%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D-0.25%2C%20font_size%3D10)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D40%2C%20b%3D100)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig_roof)%0A%0A%20%20%20%20%20%20%20%20%23%20Right%20panel%3A%20quality%20comparison%0A%20%20%20%20%20%20%20%20_fig_qual%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig_qual.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B%22Naive%22%2C%20%22Outlier-Aware%22%2C%20%22FP16%20Baseline%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B_ppl_naive%2C%20_ppl_outlier%2C%20PPL_FP16%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D%5BCOLORS%5B%22RedLine%22%5D%2C%20COLORS%5B%22GreenLine%22%5D%2C%20COLORS%5B%22BlueLine%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7B_ppl_naive%3A.1f%7D%22%2C%20f%22%7B_ppl_outlier%3A.1f%7D%22%2C%20f%22%7BPPL_FP16%3A.1f%7D%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20textposition%3D%22outside%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig_qual.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D320%2C%20title%3Ddict(text%3Df%22Perplexity%20at%20INT%7B_bits%7D%20(lower%20is%20better)%22%2C%20font_size%3D13)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Perplexity%22%2C%20range%3D%5B0%2C%20max(_ppl_naive%20%2B%202%2C%208)%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D40%2C%20b%3D40)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig_qual)%0A%0A%20%20%20%20%20%20%20%20_ppl_diff%20%3D%20_ppl_naive%20-%20_ppl_outlier%0A%20%20%20%20%20%20%20%20_d_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_ppl_diff%20%3E%203%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_ppl_diff%20%3E%201%20else%20COLORS%5B%22GreenLine%22%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5Bmo.as_html(_fig_roof)%2C%20mo.as_html(_fig_qual)%5D))%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EBW%20Multiplier%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_bw_mult%3A.0f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_d_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EPerplexity%20Gap%20(naive%20-%20outlier)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_d_color%7D%3B%22%3E%7B_ppl_diff%3A.1f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ENew%20Ridge%20Point%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_eff_ridge%3A.0f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Reveal%0A%20%20%20%20%20%20%20%20_diff%20%3D%20PPL_INT4_NAIVE%20-%20PPL_INT4_OUTLIER%0A%20%20%20%20%20%20%20%20if%20pD_pred.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_pD_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Correct.**%20Naive%20INT4%20perplexity%20spikes%20by%20%7B_diff%3A.1f%7D%20points%20for%20a%2070B%20model%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22due%20to%20outlier%20clipping.%20Outlier-aware%20methods%20protect%20the%20salient%201%25%20of%20weights%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22at%20higher%20precision%2C%20staying%20within%200.5%20points%20of%20FP16.%20The%20bandwidth%20gain%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22identical%20for%20both%20methods%20--%20the%20quality%20cost%20is%20in%20the%20method%2C%20not%20the%20bit-width.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_pD_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_pD_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Naive%20INT4%20is%20catastrophic%20for%20large%20models.**%20The%20perplexity%20gap%20is%20%7B_diff%3A.1f%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22points%20--%20not%20similar%2C%20not%20mild%2C%20but%20catastrophic.%20Transformer%20models%20have%20outlier%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22features%20(channels%20with%20values%20100x%20larger%20than%20the%20rest).%20Naive%20quantization%20clips%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22these%2C%20destroying%20model%20quality.%20Outlier-aware%20methods%20protect%20the%20top%201%25%20at%20full%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22precision%2C%20preserving%20quality%20while%20capturing%20the%20same%20bandwidth%20gain.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_pD_kind%20%3D%20%22warn%22%0A%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_pD_msg)%2C%20kind%3D_pD_kind))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20E%3A%20THE%20OPTIMIZATION%20PLAYBOOK%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_part_e()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20background%3A%20%7BCOLORS%5B'RedL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%200%2010px%2010px%200%3B%20padding%3A%2016px%2022px%3B%20margin%3A%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.1em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Performance%20Lead%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3A%20italic%3B%20font-size%3A%201.0rem%3B%20color%3A%20%231e293b%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Applying%20the%20wrong%20optimization%20yields%20zero%20improvement.%20FlashAttention%20on%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20compute-bound%20prefill%20workload%3F%20Negligible%20gain.%20INT4%20quantization%20on%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20memory-bound%20decode%20workload%3F%20Huge%20gain.%20The%20meta-skill%3A%20diagnose%20first%2C%20then%20treat.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Optimization%20Playbook%0A%0A%20%20%20%20%20%20%20%20You%20have%20a%20mystery%20workload.%20Without%20profiling%20it%20first%2C%20which%20single%0A%20%20%20%20%20%20%20%20optimization%20would%20you%20apply%3F%20The%20answer%20reveals%20whether%20you%20understand%0A%20%20%20%20%20%20%20%20bottleneck-driven%20optimization.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Your%20Prediction%22))%0A%20%20%20%20%20%20%20%20items.append(pE_pred)%0A%0A%20%20%20%20%20%20%20%20if%20pE_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20optimization%20playbook.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20Controls%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpE_workload%2C%20pE_optim%5D%2C%20gap%3D%221.5rem%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Speedup%20matrix%0A%20%20%20%20%20%20%20%20_speedups%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22decode%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22flash%22%3A%201.02%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22int4%22%3A%203.2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fusion%22%3A%201.15%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22graphs%22%3A%201.08%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22batch%22%3A%202.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22prefill%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22flash%22%3A%201.8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22int4%22%3A%201.05%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fusion%22%3A%201.1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22graphs%22%3A%201.03%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22batch%22%3A%201.02%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22vision%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22flash%22%3A%201.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22int4%22%3A%201.8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fusion%22%3A%201.25%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22graphs%22%3A%201.1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22batch%22%3A%201.15%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20_wl%20%3D%20pE_workload.value%0A%20%20%20%20%20%20%20%20_opt%20%3D%20pE_optim.value%0A%20%20%20%20%20%20%20%20_speedup%20%3D%20_speedups%5B_wl%5D%5B_opt%5D%0A%0A%20%20%20%20%20%20%20%20_wl_info%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22decode%22%3A%20(%22Memory-Bound%22%2C%201%2C%20%22Deeply%20memory-bound%20(AI%3D1%2C%20ridge%3D295).%20Fix%3A%20reduce%20data%20movement.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22prefill%22%3A%20(%22Compute-Bound%22%2C%20512%2C%20%22Compute-bound%20(AI%3D512%20%3E%20ridge%3D295).%20Fix%3A%20reduce%20compute.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22vision%22%3A%20(%22Near%20Ridge%22%2C%20180%2C%20%22Near%20the%20ridge%20point%20(AI%3D180%2C%20ridge%3D295).%20Mixed%20constraint.%22)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_regime%2C%20_ai%2C%20_diagnosis%20%3D%20_wl_info%5B_wl%5D%0A%0A%20%20%20%20%20%20%20%20_sp_color%20%3D%20(COLORS%5B%22GreenLine%22%5D%20if%20_speedup%20%3E%201.5%20else%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22OrangeLine%22%5D%20if%20_speedup%20%3E%201.1%20else%20COLORS%5B%22RedLine%22%5D)%0A%0A%20%20%20%20%20%20%20%20_opt_names%20%3D%20%5B%22FlashAttention%22%2C%20%22INT4%20Quant%22%2C%20%22Fusion%22%2C%20%22CUDA%20Graphs%22%2C%20%22Larger%20Batch%22%5D%0A%20%20%20%20%20%20%20%20_opt_keys%20%3D%20%5B%22flash%22%2C%20%22int4%22%2C%20%22fusion%22%2C%20%22graphs%22%2C%20%22batch%22%5D%0A%20%20%20%20%20%20%20%20_all_speedups%20%3D%20%5B_speedups%5B_wl%5D%5Bk%5D%20for%20k%20in%20_opt_keys%5D%0A%20%20%20%20%20%20%20%20_bar_colors%20%3D%20%5BCOLORS%5B%22GreenLine%22%5D%20if%20s%20%3E%201.5%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20s%20%3E%201.1%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20s%20in%20_all_speedups%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_opt_names%2C%20y%3D_all_speedups%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_bar_colors%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7Bs%3A.2f%7Dx%22%20for%20s%20in%20_all_speedups%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20textposition%3D%22outside%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D1.0%2C%20line_dash%3D%22dash%22%2C%20line_color%3D%22%2394a3b8%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%22No%20improvement%22%2C%20annotation_position%3D%22bottom%20right%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D340%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Speedup%22%2C%20range%3D%5B0%2C%20max(_all_speedups)%20%2B%200.5%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Ddict(text%3Df%22Optimization%20Impact%20on%3A%20%7B_regime%7D%20Workload%20(AI%3D%7B_ai%7D)%22%2C%20font_size%3D13)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D50%2C%20b%3D40)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20_match_text%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Your%20choice%3A%20%7B_opt%7D**%20on%20a%20**%7B_regime%7D**%20workload.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Speedup%3A%20**%7B_speedup%3A.2f%7Dx**.%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20if%20_speedup%20%3C%201.1%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_match_callout%20%3D%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_match_text%7D%20This%20optimization%20attacks%20the%20wrong%20bottleneck.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Diagnosis%3A%20%7B_diagnosis%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22danger%22)%0A%20%20%20%20%20%20%20%20elif%20_speedup%20%3C%201.5%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_match_callout%20%3D%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_match_text%7D%20Marginal%20improvement.%20There%20is%20a%20better%20option%20for%20this%20workload.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Diagnosis%3A%20%7B_diagnosis%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_match_callout%20%3D%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_match_text%7D%20Good%20match.%20This%20optimization%20addresses%20the%20binding%20constraint.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Diagnosis%3A%20%7B_diagnosis%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%20%20%20%20%20%20%20%20items.append(_match_callout)%0A%0A%20%20%20%20%20%20%20%20%23%20Reveal%0A%20%20%20%20%20%20%20%20if%20pE_pred.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_pE_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20The%20right%20optimization%20depends%20entirely%20on%20the%20bottleneck.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22INT4%20quantization%20gives%203.2x%20speedup%20on%20memory-bound%20decode%20but%20only%201.05x%20on%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22compute-bound%20prefill.%20FlashAttention%20helps%20prefill%20(1.8x)%20but%20barely%20helps%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22decode%20at%20batch%3D1%20(1.02x).%20The%20meta-skill%20is%3A%20profile%20on%20the%20roofline%2C%20identify%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20bottleneck%2C%20then%20select%20the%20matching%20optimization.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_pE_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_pE_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**There%20is%20no%20universally%20best%20optimization.**%20The%20right%20choice%20depends%20on%20whether%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20workload%20is%20compute-bound%20or%20memory-bound.%20Applying%20FlashAttention%20to%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22compute-bound%20workload%2C%20or%20INT4%20quantization%20to%20a%20compute-bound%20workload%2C%20yields%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22less%20than%205%25%20improvement.%20Always%20profile%20first%3A%20diagnose%20the%20bottleneck%2C%20then%20treat.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_pE_kind%20%3D%20%22warn%22%0A%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_pE_msg)%2C%20kind%3D_pE_kind))%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Optimization%20Matching%20Framework%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%7C%20Bottleneck%20%7C%20Best%20Optimization%20%7C%20Why%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%20Memory-bound%20(AI%20%3C%3C%20ridge)%20%7C%20INT4%20quantization%2C%20larger%20batch%20%7C%20Increases%20effective%20bandwidth%20or%20AI%20%7C%0A%20%20%20%20%7C%20Compute-bound%20(AI%20%3E%3E%20ridge)%20%7C%20FlashAttention%20(for%20attention)%2C%20better%20kernels%20%7C%20Reduces%20compute%20or%20HBM%20traffic%20%7C%0A%20%20%20%20%7C%20Overhead-dominated%20%7C%20CUDA%20Graphs%2C%20operator%20fusion%20%7C%20Eliminates%20kernel%20launch%20overhead%20%7C%0A%20%20%20%20%7C%20Near%20ridge%20%7C%20Profile%20carefully%20--%20small%20changes%20shift%20regime%20%7C%20Mixed%20strategies%20needed%20%7C%0A%0A%20%20%20%20**The%20diagnostic%20sequence%3A**%0A%20%20%20%201.%20Profile%20on%20roofline%20--%20place%20workload%20dot%0A%20%20%20%202.%20Identify%20bottleneck%20(compute%20%2F%20memory%20%2F%20overhead)%0A%20%20%20%203.%20Select%20matching%20optimization%20from%20the%20table%20above%0A%20%20%20%204.%20Reprofile%20after%20optimization%20--%20the%20regime%20may%20have%20shifted%0A%0A%20%20%20%20*Source%3A%20%40sec-performance-engineering%2C%20optimization%20methodology*%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20SYNTHESIS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2024px%2028px%3B%20margin%3A%2016px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%2012px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Key%20Takeaways%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.92rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20line-height%3A%201.75%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E1.%20The%20roofline%20is%20a%20diagnostic%20tool%2C%20not%20a%20decoration.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20LLM%20decode%20at%20batch%3D1%20achieves%200.34%25%20of%20H100%20compute%20capacity%20because%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20AI%3D1%20is%20295x%20below%20the%20ridge%20point.%20Faster%20GPUs%20do%20not%20help%20memory-bound%20workloads.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E2.%20Not%20all%20fusion%20is%20equal.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20FlashAttention%20saves%2060x%20more%20HBM%20traffic%20than%20elementwise%20fusion%20because%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20the%20attention%20score%20matrix%20grows%20as%20O(N%5E2).%20The%20savings%20ratio%20widens%20to%20256x%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20at%2032K%20tokens%20and%201024x%20at%20128K%20tokens.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E3.%20Profile%20first%2C%20optimize%20second.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Applying%20the%20wrong%20optimization%20yields%20%26lt%3B5%25%20improvement.%20The%20meta-skill%20is%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20diagnose%20the%20bottleneck%20(roofline%20placement)%2C%20then%20select%20the%20matching%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20optimization.%20Reprofile%20after%20each%20change%20--%20the%20regime%20may%20shift.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2016px%3B%20margin%3A%208px%200%2016px%200%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20What's%20Next%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ELab%20V2-10%3A%20The%20Edge%20Thermodynamics%20Lab%3C%2Fstrong%3E%20%26mdash%3B%20You%20optimized%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20inference%20on%20H100s.%20Now%20discover%20what%20happens%20when%20you%20move%20training%20to%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20smartphone%3A%20memory%20amplifies%204-12x%2C%20and%20the%20battery%20becomes%20the%20binding%20constraint.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Textbook%20%26amp%3B%20TinyTorch%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ERead%3A%3C%2Fstrong%3E%20%40sec-performance-engineering%20for%20the%20full%20roofline%20derivation%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20FlashAttention%20tiling%20analysis.%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3EBuild%3A%3C%2Fstrong%3E%20TinyTorch%20attention%20module%20%26mdash%3B%20implement%20tiled%20attention%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20measure%20HBM%20traffic%20reduction.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20COMPOSE%20TABS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%20--%20The%20Roofline%20Diagnostic%22%3A%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%20--%20The%20Fusion%20Dividend%22%3A%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%20--%20FlashAttention%3A%20The%20Savings%20Curve%22%3A%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%20--%20Precision%20Engineering%22%3A%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Part%20E%20--%20The%20Optimization%20Playbook%22%3A%20build_part_e()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20ledger%2C%20mo)%3A%0A%20%20%20%20ledger.save(chapter%3D9%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%22roofline_diagnostic%22%3A%20%22memory-bound%22%2C%0A%20%20%20%20%20%20%20%20%22flash_savings_ratio_32k%22%3A%20256%2C%0A%20%20%20%20%20%20%20%20%22optimization_methodology%22%3A%20%22profile-diagnose-treat%22%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%230f172a%3B%20border-radius%3A%2010px%3B%20padding%3A%2018px%2024px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-top%3A%2032px%3B%20font-family%3A%20'SF%20Mono'%2C%20'Fira%20Code'%2C%20monospace%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%20%23475569%3B%20font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.14em%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20Design%20Ledger%20%26middot%3B%20Lab%20V2-09%20Saved%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%20%2394a3b8%3B%20font-size%3A%200.82rem%3B%20line-height%3A%201.8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%20%2364748b%3B%22%3Eroofline_diagnostic%3A%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%20%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3Ememory-bound%3C%2Fspan%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%20%2364748b%3B%22%3Eflash_savings_32k%3A%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E256x%3C%2Fspan%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%20%2364748b%3B%22%3Emethodology%3A%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3Eprofile%20%26rarr%3B%20diagnose%20%26rarr%3B%20treat%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A