lab 06 nn arch

import%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22..%2F..%2F..%2Fwheels%2Fmlsysim-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%22mlsysim%22%20not%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20_root%20%3D%20Path(__file__).resolve().parents%5B2%5D%0A%20%20%20%20%20%20%20%20if%20str(_root)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_root))%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20import%20mlsysim%0A%20%20%20%20from%20mlsysim.core.engine%20import%20Engine%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Hardware%20constants%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20H100%20%3D%20mlsysim.Hardware.Cloud.H100%0A%20%20%20%20JETSON%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX%0A%20%20%20%20IPHONE%20%3D%20mlsysim.Hardware.Mobile.iPhone15Pro%0A%0A%20%20%20%20H100_RAM_GB%20%20%20%3D%20H100.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20JETSON_RAM_GB%20%3D%20JETSON.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20IPHONE_RAM_GB%20%3D%20IPHONE.memory.capacity.m_as(%22GB%22)%0A%0A%20%20%20%20H100_TFLOPS%20%20%20%3D%20H100.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20H100_BW_GBS%20%20%20%3D%20H100.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20H100_DISPATCH%20%3D%20H100.dispatch_tax.m_as(%22ms%22)%0A%0A%20%20%20%20JETSON_DISPATCH%20%3D%20JETSON.dispatch_tax.m_as(%22ms%22)%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20Engine%2C%0A%20%20%20%20%20%20%20%20H100%2C%0A%20%20%20%20%20%20%20%20H100_BW_GBS%2C%0A%20%20%20%20%20%20%20%20H100_DISPATCH%2C%0A%20%20%20%20%20%20%20%20H100_RAM_GB%2C%0A%20%20%20%20%20%20%20%20H100_TFLOPS%2C%0A%20%20%20%20%20%20%20%20JETSON_DISPATCH%2C%0A%20%20%20%20%20%20%20%20JETSON_RAM_GB%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20math%2C%0A%20%20%20%20%20%20%20%20mlsysim%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20mo.Html(%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%230f172a%200%25%2C%20%231e293b%2060%25%2C%20%230c1a2e%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2036px%2044px%3B%20border-radius%3A%2016px%3B%20color%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2032px%20rgba(0%2C0%2C0%2C0.35)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20letter-spacing%3A%200.18em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23475569%3B%20text-transform%3A%20uppercase%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Machine%20Learning%20Systems%20%26middot%3B%20Volume%20I%20%26middot%3B%20Lab%2006%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch1%20style%3D%22margin%3A%200%200%2010px%200%3B%20font-size%3A%202.4rem%3B%20font-weight%3A%20900%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23f8fafc%3B%20line-height%3A%201.1%3B%20letter-spacing%3A%20-0.02em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Architecture%20Tax%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%206px%200%3B%20font-size%3A%201.15rem%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%2394a3b8%3B%20letter-spacing%3A%200.04em%3B%20font-family%3A%20'SF%20Mono'%2C%20monospace%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Inductive%20Bias%20%26middot%3B%20Quadratic%20Wall%20%26middot%3B%20Depth%20vs.%20Width%20%26middot%3B%20Workload%20Signatures%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%2022px%200%3B%20font-size%3A%201.0rem%3B%20color%3A%20%2364748b%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max-width%3A%20680px%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Architecture%20is%20not%20just%20an%20accuracy%20choice%20--%20it%20is%20a%20systems%20choice%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20that%20determines%20parameter%20count%2C%20memory%20access%20patterns%2C%20parallelism%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20hardware%20utilization.%20Each%20architecture%20family%20occupies%20a%20distinct%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20point%20in%20the%20compute-memory%20trade-off%20space.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2012px%3B%20flex-wrap%3A%20wrap%3B%20margin-bottom%3A%2020px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(99%2C102%2C241%2C0.18)%3B%20color%3A%20%23a5b4fc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(99%2C102%2C241%2C0.3)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%204%20Parts%20%2B%20Synthesis%20%26middot%3B%20~52%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(203%2C32%2C45%2C0.15)%3B%20color%3A%20%23fca5a5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(203%2C32%2C45%2C0.25)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Chapter%206%3A%20Network%20Architectures%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2010px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EMLP%3A%2022.7B%20params%20%2F%20layer%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3EAttention%3A%20O(N%5E2)%20memory%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-fail%22%3EDepth%3A%20dispatch%20tax%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3EQuantify%20the%20parameter%20explosion%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20from%20removing%20inductive%20bias%3A%20an%20MLP%20first%20layer%20on%20224x224%20images%20requires%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2022.7%20billion%20parameters%20vs.%201%2C728%20for%20a%203x3%20CNN%20--%20a%2013.1%20million-fold%20reduction.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3ECalculate%20the%20quadratic%20attention%20wall%3C%2Fstrong%3E%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20doubling%20context%20length%20from%204K%20to%208K%20tokens%20quadruples%20attention%20memory%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20creating%20hard%20OOM%20ceilings%20on%20context%20window%20size.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3EDiagnose%20the%20depth-vs-width%20trade-off%3C%2Fstrong%3E%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20two%20networks%20with%20identical%20FLOPs%20can%20have%2010x%20different%20latencies%20due%20to%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sequential%20dispatch%20overhead.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E4.%20%3Cstrong%3ECompare%20workload%20signatures%3C%2Fstrong%3E%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20predict%20which%20architecture%20achieves%20highest%20GPU%20utilization%20based%20on%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arithmetic%20intensity.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Dense%20layer%20FLOPs%20from%20%40sec-nn-computation-flop-counting%20%26middot%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Memory%20hierarchy%20cliffs%20from%20%40sec-nn-computation-memory-hierarchy%20%26middot%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Iron%20Law%20from%20%40sec-introduction-iron-law%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E~52%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Part%20A%3A%20~12%20min%20%26middot%3B%20Part%20B%3A%20~12%20min%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Part%20C%3A%20~10%20min%20%26middot%3B%20Part%20D%3A%20~8%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%2012px%20-28px%200%20-28px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2016px%2028px%200%2028px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BTwo%20networks%20have%20identical%20FLOPs%20and%20parameter%20counts.%20Why%20is%20one%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2010x%20faster%20than%20the%20other%20--%20and%20why%20does%20the%20%26lsquo%3Bmodern%26rsquo%3B%20Transformer%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20achieve%20lower%20GPU%20utilization%20than%20the%20%26lsquo%3Bold%26rsquo%3B%20CNN%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20--%20Complete%20the%20following%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20**Chapter%206%3A%20Inductive%20Bias**%20--%20why%20CNNs%20have%2013M%20fewer%20parameters%20than%20MLPs%0A%20%20%20%20%20%20for%20the%20same%20image%20task.%20Weight%20sharing%20and%20locality%20as%20physical%20constraints.%0A%20%20%20%20-%20**Chapter%206%3A%20Attention%20Complexity**%20--%20the%20N*N%20score%20matrix%2C%20quadratic%20memory%0A%20%20%20%20%20%20scaling%2C%20and%20OOM%20ceilings%20on%20context%20length.%0A%20%20%20%20-%20**Chapter%206%3A%20Depth%20vs.%20Width**%20--%20sequential%20dispatch%20overhead%2C%20parallelism%2C%0A%20%20%20%20%20%20and%20why%20FLOPs%20are%20an%20insufficient%20proxy%20for%20latency.%0A%20%20%20%20-%20**Chapter%206%3A%20Workload%20Signatures**%20--%20arithmetic%20intensity%20by%20architecture%0A%20%20%20%20%20%20family%20and%20the%20roofline%20model%20connection.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20SHARED%20WIDGET%20STATE%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20%23%20Part%20A%20widgets%0A%20%20%20%20partA_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~150K%20(about%20the%20input%20size)%22%3A%20%22150k%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~23M%20(like%20ResNet-50%20total)%22%3A%20%2223m%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~1B%20(a%20billion)%22%3A%20%221b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~22.7B%20(twenty-two%20billion)%22%3A%20%2222b%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22An%20MLP%20takes%20a%20224x224%20RGB%20image%20as%20a%20flattened%20input%20(150%2C528%20dims).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20first%20hidden%20layer%20also%20has%20150%2C528%20neurons.%20How%20many%20parameters%20in%20this%20single%20layer%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(partA_prediction%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partA_prediction)%3A%0A%20%20%20%20mo.stop(partA_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partA_arch%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%22MLP%20(no%20structure)%22%3A%20%22mlp%22%2C%20%22CNN%203x3%22%3A%20%22cnn3%22%2C%20%22CNN%205x5%22%3A%20%22cnn5%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22MLP%20(no%20structure)%22%2C%20label%3D%22Architecture%3A%22%2C%20inline%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20partA_resolution%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D28%2C%20stop%3D512%2C%20value%3D224%2C%20step%3D28%2C%20label%3D%22Image%20resolution%20(px)%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Part%20B%20widgets%0A%20%20%20%20partB_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%202x%20(linear%20with%20tokens)%22%3A%20%222x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%204x%20(quadratic)%22%3A%20%224x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%208x%22%3A%20%228x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%2016x%22%3A%20%2216x%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Doubling%20a%20Transformer's%20context%20from%204%2C096%20to%208%2C192%20tokens%20--%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22how%20much%20more%20memory%20does%20attention%20require%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partA_arch%2C%20partA_resolution%2C%20partB_prediction%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partB_prediction)%3A%0A%20%20%20%20mo.stop(partB_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partB_seq_len%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D512%2C%20stop%3D131072%2C%20value%3D4096%2C%20step%3D512%2C%20label%3D%22Sequence%20length%20(tokens)%22%2C%0A%20%20%20%20)%0A%20%20%20%20partB_heads%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D64%2C%20value%3D32%2C%20step%3D1%2C%20label%3D%22Attention%20heads%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Part%20C%20widgets%0A%20%20%20%20partC_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Same%20speed%20--%20same%20FLOPs%20means%20same%20time%22%3A%20%22same%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Deep%20network%20--%20more%20specialized%22%3A%20%22deep%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Shallow-wide%20--%20by%20~2x%22%3A%20%222x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Shallow-wide%20--%20by%20~10x%22%3A%20%2210x%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Two%20networks%3A%20identical%20FLOPs%2Fparams.%20One%20is%20128%20layers%20deep%20(width%2032).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20other%20is%202%20layers%20deep%20(width%20512).%20Which%20is%20faster%20at%20inference%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partB_heads%2C%20partB_seq_len%2C%20partC_prediction%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partC_prediction)%3A%0A%20%20%20%20mo.stop(partC_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partC_depth%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D2%2C%20stop%3D128%2C%20value%3D64%2C%20step%3D2%2C%20label%3D%22Depth%20(layers)%22%2C%0A%20%20%20%20)%0A%20%20%20%20partC_context_c%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Cloud%20(H100)%22%3A%20%22cloud%22%2C%20%22Edge%20(Jetson)%22%3A%20%22edge%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Cloud%20(H100)%22%2C%20label%3D%22Deployment%3A%22%2C%20inline%3DTrue%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Part%20D%20widgets%0A%20%20%20%20partD_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Transformer%20(modern%20and%20optimized)%22%3A%20%22transformer%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20CNN%20(high%20arithmetic%20intensity)%22%3A%20%22cnn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20MLP%20(simplest%20architecture)%22%3A%20%22mlp%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20All%20roughly%20equal%22%3A%20%22equal%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20architecture%20family%20achieves%20the%20highest%20GPU%20utilization%20(MFU)%20at%20batch%3D1%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partC_context_c%2C%20partC_depth%2C%20partD_prediction%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20Engine%2C%0A%20%20%20%20H100%2C%0A%20%20%20%20H100_BW_GBS%2C%0A%20%20%20%20H100_DISPATCH%2C%0A%20%20%20%20H100_RAM_GB%2C%0A%20%20%20%20H100_TFLOPS%2C%0A%20%20%20%20JETSON_DISPATCH%2C%0A%20%20%20%20JETSON_RAM_GB%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20go%2C%0A%20%20%20%20math%2C%0A%20%20%20%20mlsysim%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20partA_arch%2C%0A%20%20%20%20partA_prediction%2C%0A%20%20%20%20partA_resolution%2C%0A%20%20%20%20partB_heads%2C%0A%20%20%20%20partB_prediction%2C%0A%20%20%20%20partB_seq_len%2C%0A%20%20%20%20partC_context_c%2C%0A%20%20%20%20partC_depth%2C%0A%20%20%20%20partC_prediction%2C%0A%20%20%20%20partD_prediction%2C%0A)%3A%0A%20%20%20%20mo.stop(partD_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partD_batch_d%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D256%2C%20value%3D1%2C%20step%3D1%2C%20label%3D%22Batch%20size%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20A%20BUILDER%3A%20The%20Cost%20of%20No%20Structure%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'BlueL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20ML%20Architect%2C%20WildlifeVision%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20want%20to%20classify%20camera%20trap%20images%20using%20a%20simple%20fully-connected%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20network.%20No%20fancy%20convolutions%2C%20no%20attention%20--%20just%20pure%20MLPs.%20Our%20intern%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20says%20this%20should%20work%20fine%20for%20224x224%20images.%20How%20many%20parameters%20do%20we%20need%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20Dr.%20Sarah%20Kimani%2C%20ML%20Architect%20%26middot%3B%20WildlifeVision%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Inductive%20Bias%20Is%20a%20Physical%20Memory%20Constraint%0A%0A%20%20%20%20An%20MLP%20processing%20a%20224x224%20RGB%20image%20flattens%20the%20input%20to%20150%2C528%20dimensions.%0A%20%20%20%20With%20a%20matching%20hidden%20layer%2C%20the%20first-layer%20weight%20matrix%20has%3A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Parameters%20%3D%20150%2C528%20*%20150%2C528%20%3D%2022.66%20billion%0A%20%20%20%20Memory%20%20%20%20%20%3D%2022.66B%20*%204%20bytes%20%20%3D%2090.6%20GB%20(FP32)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20A%20CNN%20with%203x3%20filters%20requires%20only%20**1%2C728%20parameters**%20for%20the%20same%20first%20layer%0A%20%20%20%20(3%20*%203%20*%203%20channels_in%20*%2064%20channels_out).%20That%20is%20a%20**13.1%20million-fold%20reduction**.%0A%0A%20%20%20%20Inductive%20bias%20(locality%2C%20weight%20sharing)%20is%20not%20an%20abstract%20concept%20--%20it%20is%20the%0A%20%20%20%20mechanism%20that%20makes%20computer%20vision%20physically%20feasible.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partA_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partA_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20architecture%20comparison.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartA_arch%2C%20partA_resolution%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_res%20%3D%20partA_resolution.value%0A%20%20%20%20%20%20%20%20_arch%20%3D%20partA_arch.value%0A%20%20%20%20%20%20%20%20_channels_in%20%3D%203%0A%20%20%20%20%20%20%20%20_channels_out%20%3D%2064%0A%20%20%20%20%20%20%20%20_input_dim%20%3D%20_res%20*%20_res%20*%20_channels_in%0A%0A%20%20%20%20%20%20%20%20if%20_arch%20%3D%3D%20%22mlp%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_params%20%3D%20_input_dim%20*%20_input_dim%0A%20%20%20%20%20%20%20%20%20%20%20%20_arch_label%20%3D%20f%22MLP%20(%7B_input_dim%3A%2C%7D%20x%20%7B_input_dim%3A%2C%7D)%22%0A%20%20%20%20%20%20%20%20elif%20_arch%20%3D%3D%20%22cnn3%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_params%20%3D%203%20*%203%20*%20_channels_in%20*%20_channels_out%0A%20%20%20%20%20%20%20%20%20%20%20%20_arch_label%20%3D%20f%22CNN%203x3%20(%7B3%7Dx%7B3%7Dx%7B_channels_in%7Dx%7B_channels_out%7D)%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_params%20%3D%205%20*%205%20*%20_channels_in%20*%20_channels_out%0A%20%20%20%20%20%20%20%20%20%20%20%20_arch_label%20%3D%20f%22CNN%205x5%20(%7B5%7Dx%7B5%7Dx%7B_channels_in%7Dx%7B_channels_out%7D)%22%0A%0A%20%20%20%20%20%20%20%20_mem_gb%20%3D%20_params%20*%204%20%2F%20(1024**3)%0A%20%20%20%20%20%20%20%20_cnn3_params%20%3D%203%20*%203%20*%20_channels_in%20*%20_channels_out%0A%20%20%20%20%20%20%20%20_fold_reduction%20%3D%20_params%20%2F%20_cnn3_params%20if%20_cnn3_params%20%3E%200%20else%201%0A%0A%20%20%20%20%20%20%20%20%23%20Bar%20chart%20on%20log%20scale%0A%20%20%20%20%20%20%20%20_archs%20%3D%20%5B%22MLP%22%2C%20%22CNN%203x3%22%2C%20%22CNN%205x5%22%5D%0A%20%20%20%20%20%20%20%20_p_mlp%20%3D%20_input_dim%20*%20_input_dim%0A%20%20%20%20%20%20%20%20_p_cnn3%20%3D%203%20*%203%20*%20_channels_in%20*%20_channels_out%0A%20%20%20%20%20%20%20%20_p_cnn5%20%3D%205%20*%205%20*%20_channels_in%20*%20_channels_out%0A%20%20%20%20%20%20%20%20_all_params%20%3D%20%5B_p_mlp%2C%20_p_cnn3%2C%20_p_cnn5%5D%0A%20%20%20%20%20%20%20%20_bar_colors%20%3D%20%5BCOLORS%5B%22RedLine%22%5D%2C%20COLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22GreenLine%22%5D%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_archs%2C%20y%3D_all_params%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_bar_colors%2C%20opacity%3D0.88%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7Bp%3A%2C.0f%7D%22%20for%20p%20in%20_all_params%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20textposition%3D%22outside%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%23%20Device%20threshold%20lines%0A%20%20%20%20%20%20%20%20for%20_dev%2C%20_ram%2C%20_col%20in%20%5B(%22H100%2080GB%22%2C%2080%2C%20COLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22Jetson%2016GB%22%2C%2016%2C%20COLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22iPhone%208GB%22%2C%208%2C%20COLORS%5B%22RedLine%22%5D)%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_max_params%20%3D%20_ram%20*%20(1024**3)%20%2F%204%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_hline(y%3D_max_params%2C%20line_dash%3D%22dash%22%2C%20line_color%3D_col%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D_dev%2C%20annotation_position%3D%22right%22)%0A%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D400%2C%20yaxis_title%3D%22First-Layer%20Parameters%22%2C%20yaxis_type%3D%22log%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22First-Layer%20Parameters%20at%20%7B_res%7Dx%7B_res%7D%20Resolution%20(log%20scale)%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_oom_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_mem_gb%20%3E%2080%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_mem_gb%20%3E%208%20else%20COLORS%5B%22GreenLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_oom_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EParameters%20(%7B_arch.upper()%7D)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_oom_color%7D%3B%22%3E%7B_params%3A%2C.0f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_oom_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EMemory%20(FP32)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_oom_color%7D%3B%22%3E%7B_mem_gb%3A%2C.1f%7D%20GB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EMLP%2FCNN%20Fold%20Reduction%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_fold_reduction%3A%2C.0f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20_mem_gb%20%3E%20H100_RAM_GB%20and%20_arch%20%3D%3D%20%22mlp%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**OOM%20--%20Even%20the%20H100%20cannot%20hold%20this%20single%20layer.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20MLP%20first%20layer%20requires%20%7B_mem_gb%3A%2C.1f%7D%20GB%20in%20FP32%2C%20exceeding%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22the%20H100's%20%7BH100_RAM_GB%3A.0f%7D%20GB.%20This%20is%20not%20a%20performance%20problem%20--%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22it%20is%20a%20**feasibility%20violation**.%20CNNs%20exist%20because%20MLPs%20cannot.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22danger%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partA_prediction.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%2222b%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20150%2C528%5E2%20%3D%2022.66%20billion%20parameters%20in%20one%20layer.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20exceeds%20even%20an%20H100%20in%20FP32.%20CNNs%20reduce%20this%20by%2013.1%20million-fold%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22through%20locality%20and%20weight%20sharing%20--%20inductive%20bias%20is%20a%20physical%20necessity.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%22150k%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**You%20confused%20input%20size%20with%20parameter%20count.**%20A%20dense%20layer%20connecting%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22N%20inputs%20to%20N%20outputs%20has%20N*N%20parameters.%20At%20150%2C528%20inputs%2C%20that%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22150%2C528%5E2%20%3D%2022.66%20billion%20--%20not%20150%2C528.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Not%20quite.**%20The%20first%20dense%20layer%20has%20input_dim%20*%20hidden_dim%20%3D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22150%2C528%20*%20150%2C528%20%3D%2022.66%20billion%20parameters.%20The%20O(d%5E2)%20scaling%20of%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22dense%20layers%20makes%20MLPs%20physically%20infeasible%20for%20image-sized%20inputs.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MathPeek%3A%20Parameter%20Count%22%3A%20mo.md(f%22%22%22%0A%20%20%20%20**MLP%3A**%20params%20%3D%20input_dim%20*%20hidden_dim%20%3D%20%7B_input_dim%3A%2C%7D%20*%20%7B_input_dim%3A%2C%7D%20%3D%20%7B_input_dim*_input_dim%3A%2C%7D%0A%20%20%20%20**CNN%203x3%3A**%20params%20%3D%203%20*%203%20*%20C_in%20*%20C_out%20%3D%209%20*%20%7B_channels_in%7D%20*%20%7B_channels_out%7D%20%3D%20%7B_p_cnn3%3A%2C%7D%0A%20%20%20%20**Fold%20reduction%3A**%20%7B_input_dim*_input_dim%20%2F%20_p_cnn3%3A%2C.0f%7Dx%0A%0A%20%20%20%20Source%3A%20%40sec-architectures-inductive-bias%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20B%20BUILDER%3A%20The%20Quadratic%20Wall%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'OrangeL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Product%20Manager%2C%20WildlifeVision%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20want%20to%20use%20a%20Transformer%20for%20analyzing%20long%20audio%20recordings%20from%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wildlife%20sensors.%20The%20research%20paper%20uses%204K%20token%20context.%20We%20need%20128K%20for%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full%20recordings.%20Just%20double%20the%20context%20a%20few%20times%20--%20how%20much%20more%20memory%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20Alex%20Torres%2C%20Product%20Manager%20%26middot%3B%20WildlifeVision%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20The%20Quadratic%20Wall%3A%20Attention%20Memory%20Scales%20as%20N%5E2%0A%0A%20%20%20%20Transformer%20self-attention%20creates%20an%20N%20x%20N%20score%20matrix.%20Doubling%20context%0A%20%20%20%20from%20N%20to%202N%3A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Attention%20memory%20%3D%202%20*%20N%5E2%20*%20heads%20*%20bytes_per_element%0A%20%20%20%20At%202N%3A%20%20%20%20%20%20%20%20%20%20%20%3D%202%20*%20(2N)%5E2%20*%20heads%20*%20bytes%20%3D%204%20*%20original%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20This%20is%20a%20**4x%20increase**%2C%20not%202x.%20At%20128K%20tokens%20with%2032%20heads%20in%20FP16%2C%0A%20%20%20%20the%20attention%20matrix%20alone%20requires%20~64%20GB%20--%20exceeding%20even%20an%20H100%20for%0A%20%20%20%20a%20single%20head's%20computation.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partB_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partB_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20attention%20memory%20simulator.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartB_seq_len%2C%20partB_heads%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_seq%20%3D%20partB_seq_len.value%0A%20%20%20%20%20%20%20%20_heads%20%3D%20partB_heads.value%0A%20%20%20%20%20%20%20%20_bytes%20%3D%202%20%20%23%20FP16%0A%20%20%20%20%20%20%20%20_attn_mem_bytes%20%3D%202%20*%20_seq%20*%20_seq%20*%20_heads%20*%20_bytes%0A%20%20%20%20%20%20%20%20_attn_mem_gb%20%3D%20_attn_mem_bytes%20%2F%20(1024**3)%0A%0A%20%20%20%20%20%20%20%20%23%20Memory%20curve%0A%20%20%20%20%20%20%20%20_seq_range%20%3D%20np.array(%5B512%2C%201024%2C%202048%2C%204096%2C%208192%2C%2016384%2C%2032768%2C%2065536%2C%20131072%5D)%0A%20%20%20%20%20%20%20%20_mem_curve%20%3D%202%20*%20_seq_range.astype(float)**2%20*%20_heads%20*%20_bytes%20%2F%20(1024**3)%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_seq_range.tolist()%2C%20y%3D_mem_curve.tolist()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%2Bmarkers%22%2C%20name%3D%22Attention%20Memory%20(GB)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_seq%5D%2C%20y%3D%5B_attn_mem_gb%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%20name%3D%22Current%20Setting%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D14%2C%20color%3DCOLORS%5B%22BlueLine%22%5D%2C%20symbol%3D%22diamond%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(width%3D2%2C%20color%3D%22white%22))%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3DH100_RAM_GB%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22BlueLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22H100%20(%7BH100_RAM_GB%3A.0f%7D%20GB)%22)%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3DJETSON_RAM_GB%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22OrangeLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22Jetson%20(%7BJETSON_RAM_GB%3A.0f%7D%20GB)%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D380%2C%20xaxis_title%3D%22Sequence%20Length%20(tokens)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D%22Attention%20Memory%20(GB)%22%2C%20xaxis_type%3D%22log%22%2C%20yaxis_type%3D%22log%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Attention%20Memory%20vs.%20Sequence%20Length%20(%7B_heads%7D%20heads%2C%20FP16)%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_oom_h100%20%3D%20_attn_mem_gb%20%3E%20H100_RAM_GB%0A%20%20%20%20%20%20%20%20_oom_jetson%20%3D%20_attn_mem_gb%20%3E%20JETSON_RAM_GB%0A%20%20%20%20%20%20%20%20_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_oom_h100%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_oom_jetson%20else%20COLORS%5B%22GreenLine%22%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EAttention%20Memory%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_color%7D%3B%22%3E%7B_attn_mem_gb%3A%2C.2f%7D%20GB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ESequence%20Length%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_seq%3A%2C%7D%20tokens%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EScore%20Matrix%20Size%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_seq%3A%2C%7D%20x%20%7B_seq%3A%2C%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20_oom_h100%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**OOM%20on%20H100.**%20Attention%20alone%20requires%20%7B_attn_mem_gb%3A%2C.1f%7D%20GB%2C%20exceeding%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22the%20H100's%20%7BH100_RAM_GB%3A.0f%7D%20GB.%20Techniques%20like%20FlashAttention%20or%20sparse%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22attention%20are%20required%20to%20make%20this%20sequence%20length%20feasible.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22danger%22))%0A%20%20%20%20%20%20%20%20elif%20_oom_jetson%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**OOM%20on%20Jetson.**%20Attention%20requires%20%7B_attn_mem_gb%3A%2C.1f%7D%20GB%2C%20exceeding%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22the%20Jetson's%20%7BJETSON_RAM_GB%3A.0f%7D%20GB.%20This%20context%20length%20requires%20cloud%20hardware.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22danger%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partB_prediction.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%224x%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20The%20N*N%20attention%20matrix%20means%20doubling%20context%20gives%204x%20memory.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20quadratic%20wall%20is%20why%20context%20length%20extensions%20(4K-%3E128K)%20require%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fundamental%20algorithmic%20innovations%20like%20FlashAttention%2C%20not%20just%20more%20RAM.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%222x%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Linear%20intuition%20fails%20for%20attention.**%20The%20score%20matrix%20is%20N*N.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Doubling%20N%20gives%20(2N)%5E2%20%3D%204N%5E2%20--%20a%204x%20increase%2C%20not%202x.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Not%20quite.**%20Attention%20memory%20scales%20as%20N%5E2.%20Doubling%20N%20yields%20exactly%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%224x%20memory.%20The%20key%20insight%3A%20each%20token%20must%20attend%20to%20every%20other%20token.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MathPeek%3A%20Attention%20Memory%22%3A%20mo.md(f%22%22%22%0A%20%20%20%20%60%60%60%0A%20%20%20%20Attention_memory%20%3D%202%20*%20seq_len%5E2%20*%20heads%20*%20bytes_per_element%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%202%20*%20%7B_seq%3A%2C%7D%5E2%20*%20%7B_heads%7D%20*%20%7B_bytes%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%20%7B_attn_mem_bytes%3A%2C.0f%7D%20bytes%20%3D%20%7B_attn_mem_gb%3A%2C.2f%7D%20GB%0A%20%20%20%20%60%60%60%0A%20%20%20%20Doubling%20seq_len%3A%202%20*%20(2N)%5E2%20%3D%204%20*%202N%5E2%20%3D%20**4x%20memory**%0A%0A%20%20%20%20Source%3A%20%40sec-architectures-attention-complexity%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20C%20BUILDER%3A%20Depth%20vs.%20Width%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'GreenL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Systems%20Engineer%2C%20WildlifeVision%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20have%20two%20model%20candidates%20with%20identical%20FLOP%20counts%20and%20identical%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20accuracy.%20One%20is%20deep-narrow%20(128%20layers%2C%20width%2032)%2C%20the%20other%20shallow-wide%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(2%20layers%2C%20width%20512).%20Our%20benchmarks%20show%20a%2010x%20latency%20difference.%20Must%20be%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20a%20measurement%20error%20--%20same%20FLOPs%20should%20mean%20same%20speed%2C%20right%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20Ravi%20Patel%2C%20Systems%20Engineer%20%26middot%3B%20WildlifeVision%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20FLOPs%20Are%20Not%20Latency%3A%20Depth%20Imposes%20Sequential%20Overhead%0A%0A%20%20%20%20Each%20layer%20dispatch%20incurs%20a%20fixed%20overhead%20(kernel%20launch%20tax).%20A%20128-layer%0A%20%20%20%20network%20pays%20this%20tax%20128%20times%3B%20a%202-layer%20network%20pays%20it%20twice.%0A%0A%20%20%20%20Additionally%2C%20narrow%20layers%20(width%2032)%20have%20fewer%20parallel%20operations%20per%0A%20%20%20%20layer%2C%20reducing%20hardware%20utilization.%20The%20combination%20of%20high%20dispatch%20tax%0A%20%20%20%20and%20low%20per-layer%20parallelism%20makes%20deep-narrow%20networks%20dramatically%0A%20%20%20%20slower%20than%20shallow-wide%20ones%20--%20even%20at%20identical%20total%20FLOPs.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partC_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partC_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20depth-vs-width%20simulator.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartC_depth%2C%20partC_context_c%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_depth%20%3D%20partC_depth.value%0A%20%20%20%20%20%20%20%20_ctx%20%3D%20partC_context_c.value%0A%20%20%20%20%20%20%20%20_dispatch_ms%20%3D%20H100_DISPATCH%20if%20_ctx%20%3D%3D%20%22cloud%22%20else%20JETSON_DISPATCH%0A%0A%20%20%20%20%20%20%20%20%23%20Fixed%20total%20param%20budget%3A%20~32%2C768%20params%0A%20%20%20%20%20%20%20%20_total_param_budget%20%3D%2032768%0A%20%20%20%20%20%20%20%20_width%20%3D%20max(4%2C%20int(math.sqrt(_total_param_budget%20%2F%20_depth)))%0A%20%20%20%20%20%20%20%20_actual_params%20%3D%20_depth%20*%20_width%20*%20_width%0A%20%20%20%20%20%20%20%20_flops_per_layer%20%3D%202%20*%20_width%20*%20_width%0A%20%20%20%20%20%20%20%20_total_flops%20%3D%20_depth%20*%20_flops_per_layer%0A%0A%20%20%20%20%20%20%20%20_peak_tflops%20%3D%20H100_TFLOPS%20if%20_ctx%20%3D%3D%20%22cloud%22%20else%2025.0%0A%20%20%20%20%20%20%20%20_compute_per_layer_ms%20%3D%20(_flops_per_layer%20%2F%20(_peak_tflops%20*%201e12))%20*%201000%0A%20%20%20%20%20%20%20%20_total_compute_ms%20%3D%20_depth%20*%20_compute_per_layer_ms%0A%20%20%20%20%20%20%20%20_total_dispatch_ms%20%3D%20_depth%20*%20_dispatch_ms%0A%20%20%20%20%20%20%20%20_total_latency_ms%20%3D%20_total_compute_ms%20%2B%20_total_dispatch_ms%0A%20%20%20%20%20%20%20%20_dispatch_fraction%20%3D%20_total_dispatch_ms%20%2F%20_total_latency_ms%20*%20100%20if%20_total_latency_ms%20%3E%200%20else%200%0A%0A%20%20%20%20%20%20%20%20%23%20Reference%3A%20shallow-wide%20(2%20layers)%0A%20%20%20%20%20%20%20%20_ref_depth%20%3D%202%0A%20%20%20%20%20%20%20%20_ref_width%20%3D%20max(4%2C%20int(math.sqrt(_total_param_budget%20%2F%20_ref_depth)))%0A%20%20%20%20%20%20%20%20_ref_compute%20%3D%20_ref_depth%20*%20(2%20*%20_ref_width%20*%20_ref_width)%20%2F%20(_peak_tflops%20*%201e12)%20*%201000%0A%20%20%20%20%20%20%20%20_ref_dispatch%20%3D%20_ref_depth%20*%20_dispatch_ms%0A%20%20%20%20%20%20%20%20_ref_total%20%3D%20_ref_compute%20%2B%20_ref_dispatch%0A%20%20%20%20%20%20%20%20_speedup%20%3D%20_total_latency_ms%20%2F%20_ref_total%20if%20_ref_total%20%3E%200%20else%201%0A%0A%20%20%20%20%20%20%20%20%23%20Depth%20curve%0A%20%20%20%20%20%20%20%20_depths%20%3D%20np.arange(2%2C%20129%2C%202)%0A%20%20%20%20%20%20%20%20_widths_c%20%3D%20np.array(%5Bmax(4%2C%20int(math.sqrt(_total_param_budget%20%2F%20d)))%20for%20d%20in%20_depths%5D)%0A%20%20%20%20%20%20%20%20_compute_c%20%3D%20_depths%20*%20(2%20*%20_widths_c**2)%20%2F%20(_peak_tflops%20*%201e12)%20*%201000%0A%20%20%20%20%20%20%20%20_dispatch_c%20%3D%20_depths%20*%20_dispatch_ms%0A%20%20%20%20%20%20%20%20_total_c%20%3D%20_compute_c%20%2B%20_dispatch_c%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_depths.tolist()%2C%20y%3D_total_c.tolist()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%20name%3D%22Total%20Latency%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_depths.tolist()%2C%20y%3D_dispatch_c.tolist()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%20name%3D%22Dispatch%20Overhead%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20width%3D2%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fill%3D%22tozeroy%22%2C%20fillcolor%3D%22rgba(204%2C85%2C0%2C0.1)%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_depth%5D%2C%20y%3D%5B_total_latency_ms%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%20name%3D%22Current%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D12%2C%20color%3DCOLORS%5B%22BlueLine%22%5D%2C%20symbol%3D%22diamond%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(width%3D2%2C%20color%3D%22white%22))%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D360%2C%20xaxis_title%3D%22Depth%20(layers)%22%2C%20yaxis_title%3D%22Latency%20(ms)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Latency%20vs.%20Depth%20(fixed%20~%7B_total_param_budget%3A%2C%7D%20params)%20--%20%7B'Cloud'%20if%20_ctx%3D%3D'cloud'%20else%20'Edge'%7D%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EDepth%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_depth%7D%20layers%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EWidth%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_width%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%20if%20_dispatch_fraction%20%3E%2030%20else%20COLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EDispatch%20Overhead%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%7BCOLORS%5B'OrangeLine'%5D%20if%20_dispatch_fraction%20%3E%2030%20else%20COLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_dispatch_fraction%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A130px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%20if%20_speedup%20%3E%205%20else%20COLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3Evs.%202-Layer%20(same%20FLOPs)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%7BCOLORS%5B'RedLine'%5D%20if%20_speedup%20%3E%205%20else%20COLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_speedup%3A.1f%7Dx%20slower%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partC_prediction.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%2210x%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Correct.**%20At%20%7B_depth%7D%20layers%2C%20the%20deep-narrow%20network%20is%20%7B_speedup%3A.1f%7Dx%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22slower%20than%20the%202-layer%20alternative.%20Dispatch%20overhead%20(%7B_dispatch_fraction%3A.0f%7D%25%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22of%20total)%20and%20reduced%20per-layer%20parallelism%20make%20FLOPs%20a%20necessary%20but%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22insufficient%20proxy%20for%20latency.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%22same%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**FLOPs%20are%20not%20latency.**%20Same%20FLOPs%2C%20but%20the%20128-layer%20network%20pays%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22dispatch%20overhead%20128%20times.%20At%20current%20settings%2C%20the%20deep%20network%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_speedup%3A.1f%7Dx%20slower.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**The%20gap%20is%20larger%20than%20expected.**%20The%20deep-narrow%20network%20is%20%7B_speedup%3A.1f%7Dx%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22slower%20due%20to%20accumulated%20dispatch%20overhead%20and%20reduced%20parallelism.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MathPeek%3A%20Dispatch%20Overhead%22%3A%20mo.md(f%22%22%22%0A%20%20%20%20%60%60%60%0A%20%20%20%20Per-layer%20dispatch%3A%20%7B_dispatch_ms%7D%20ms%0A%20%20%20%20Total%20dispatch%3A%20%20%20%20%20%7B_depth%7D%20*%20%7B_dispatch_ms%7D%20%3D%20%7B_total_dispatch_ms%3A.3f%7D%20ms%0A%20%20%20%20Total%20compute%3A%20%20%20%20%20%20%7B_total_compute_ms%3A.4f%7D%20ms%0A%20%20%20%20Dispatch%20fraction%3A%20%20%7B_dispatch_fraction%3A.1f%7D%25%0A%20%20%20%20%60%60%60%0A%20%20%20%20The%20shallow-wide%20(2%20layers%2C%20width%20%7B_ref_width%7D)%20completes%20in%20%7B_ref_total%3A.4f%7D%20ms.%0A%0A%20%20%20%20Source%3A%20%40sec-architectures-depth-vs-width%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20D%20BUILDER%3A%20Workload%20Signatures%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'RedL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20CTO%2C%20WildlifeVision%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20are%20choosing%20between%20a%20CNN%20and%20a%20Transformer%20for%20our%20edge%20deployment.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Transformer%20is%20newer%20and%20gets%20better%20benchmark%20scores.%20But%20our%20edge%20GPU%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20utilization%20numbers%20look%20backwards%20--%20the%20CNN%20achieves%20higher%20MFU.%20Is%20our%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20profiling%20tool%20broken%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20Dr.%20Maya%20Rodriguez%2C%20CTO%20%26middot%3B%20WildlifeVision%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Workload%20Signatures%3A%20Arithmetic%20Intensity%20Determines%20Utilization%0A%0A%20%20%20%20Each%20architecture%20family%20has%20a%20characteristic%20arithmetic%20intensity%20(AI%20%3D%20FLOPs%2Fbyte)%3A%0A%0A%20%20%20%20-%20**CNNs**%3A%20High%20AI%20(%3E20%20FLOPs%2Fbyte)%20--%20weight%20reuse%20across%20spatial%20positions%0A%20%20%20%20%20%20makes%20them%20compute-bound%20and%20GPU-efficient.%0A%20%20%20%20-%20**Transformers%20at%20batch%3D1**%3A%20Low%20AI%20(%3C5%20FLOPs%2Fbyte)%20for%20attention%20--%0A%20%20%20%20%20%20memory-bound%2C%20lower%20GPU%20utilization.%0A%20%20%20%20-%20**MLPs%20at%20batch%3D1**%3A%20Very%20low%20AI%20(~0.5%20FLOPs%2Fbyte)%20--%20permanently%20bandwidth-bound.%0A%0A%20%20%20%20The%20hardware%20ridge%20point%20(peak_FLOPS%20%2F%20peak_BW)%20determines%20the%20crossover.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partD_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partD_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20workload%20signature%20comparison.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(partD_batch_d)%0A%0A%20%20%20%20%20%20%20%20_bs%20%3D%20partD_batch_d.value%0A%0A%20%20%20%20%20%20%20%20%23%20Use%20Engine.solve%20for%20representative%20models%0A%20%20%20%20%20%20%20%20_models%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22ResNet-50%20(CNN)%22%2C%20mlsysim.Models.ResNet50)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22GPT-2%20(Transformer)%22%2C%20mlsysim.Models.GPT2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22MobileNetV2%20(CNN)%22%2C%20mlsysim.Models.MobileNetV2)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20_results%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_name%2C%20_model%20in%20_models%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_profile%20%3D%20Engine.solve(_model%2C%20H100%2C%20batch_size%3D_bs%2C%20precision%3D%22fp16%22%2C%20efficiency%3D0.5)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_ai%20%3D%20_profile.arithmetic_intensity.magnitude%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_mfu%20%3D%20_profile.mfu%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_bn%20%3D%20_profile.bottleneck%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_results.append((_name%2C%20_ai%2C%20_mfu%2C%20_bn))%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_results.append((_name%2C%200.0%2C%200.0%2C%20%22Error%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Ridge%20point%20for%20H100%0A%20%20%20%20%20%20%20%20_ridge%20%3D%20H100_TFLOPS%20*%201000%20%2F%20H100_BW_GBS%20%20%23%20FLOPS%2Fbyte%0A%0A%20%20%20%20%20%20%20%20_names%20%3D%20%5Br%5B0%5D%20for%20r%20in%20_results%5D%0A%20%20%20%20%20%20%20%20_ais%20%3D%20%5Br%5B1%5D%20for%20r%20in%20_results%5D%0A%20%20%20%20%20%20%20%20_mfus%20%3D%20%5Br%5B2%5D%20for%20r%20in%20_results%5D%0A%20%20%20%20%20%20%20%20_bottlenecks%20%3D%20%5Br%5B3%5D%20for%20r%20in%20_results%5D%0A%0A%20%20%20%20%20%20%20%20_ai_colors%20%3D%20%5BCOLORS%5B%22GreenLine%22%5D%20if%20ai%20%3E%20_ridge%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20ai%20%3E%20_ridge%2F2%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20ai%20in%20_ais%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_names%2C%20y%3D_ais%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_ai_colors%2C%20opacity%3D0.88%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7Bai%3A.1f%7D%22%20for%20ai%20in%20_ais%5D%2C%20textposition%3D%22outside%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D_ridge%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22BlueLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22H100%20Ridge%20Point%20(%7B_ridge%3A.0f%7D%20FLOPs%2Fbyte)%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D360%2C%20yaxis_title%3D%22Arithmetic%20Intensity%20(FLOPs%2Fbyte)%22%2C%20yaxis_type%3D%22log%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Arithmetic%20Intensity%20by%20Architecture%20(batch%3D%7B_bs%7D)%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_cards%20%3D%20'%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E'%0A%20%20%20%20%20%20%20%20for%20_name%2C%20_ai%2C%20_mfu%2C%20_bn%20in%20_results%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_mfu_col%20%3D%20COLORS%5B%22GreenLine%22%5D%20if%20_mfu%20%3E%200.5%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_mfu%20%3E%200.2%20else%20COLORS%5B%22RedLine%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_cards%20%2B%3D%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A180px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_mfu_col%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.72rem%3B%20font-weight%3A700%3B%20margin-bottom%3A6px%3B%22%3E%7B_name%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.3rem%3B%20font-weight%3A800%3B%20color%3A%7B_mfu_col%7D%3B%22%3EMFU%3A%20%7B_mfu%3A.1%25%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%7BCOLORS%5B'TextSec'%5D%7D%3B%20margin-top%3A4px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20AI%3A%20%7B_ai%3A.1f%7D%20%7C%20%7B_bn%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22%0A%20%20%20%20%20%20%20%20_cards%20%2B%3D%20'%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20items.append(mo.Html(_cards))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partD_prediction.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%22cnn%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20CNNs%20achieve%20the%20highest%20GPU%20utilization%20because%20weight%20reuse%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22across%20spatial%20positions%20gives%20them%20high%20arithmetic%20intensity.%20They%20operate%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22in%20the%20compute-bound%20regime.%20Transformers%20at%20batch%3D1%20are%20memory-bound%20due%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22to%20the%20attention%20mechanism's%20low%20arithmetic%20intensity.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%22transformer%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Common%20misconception.**%20Transformers%20are%20newer%20but%20are%20memory-bound%20at%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22small%20batch%20sizes%20due%20to%20low%20arithmetic%20intensity%20in%20attention.%20CNNs%20achieve%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22higher%20MFU%20through%20spatial%20weight%20reuse.%20Try%20increasing%20batch%20size%20to%20see%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Transformers%20improve.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Not%20quite.**%20CNNs%20win%20on%20utilization%20because%20spatial%20weight%20reuse%20gives%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22them%20the%20highest%20arithmetic%20intensity.%20Architecture%20determines%20hardware%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22efficiency%2C%20not%20recency.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MathPeek%3A%20Arithmetic%20Intensity%22%3A%20mo.md(f%22%22%22%0A%20%20%20%20**Ridge%20Point%20(H100)%3A**%0A%20%20%20%20%60%60%60%0A%20%20%20%20Ridge%20%3D%20peak_FLOPS%20%2F%20peak_BW%20%3D%20%7BH100_TFLOPS%3A.0f%7D%20TFLOPS%20%2F%20%7BH100_BW_GBS%3A.0f%7D%20GB%2Fs%0A%20%20%20%20%20%20%3D%20%7B_ridge%3A.0f%7D%20FLOPs%2Fbyte%0A%20%20%20%20%60%60%60%0A%20%20%20%20Workloads%20with%20AI%20%3C%20Ridge%20are%20**memory-bound**%20(low%20MFU).%0A%20%20%20%20Workloads%20with%20AI%20%3E%20Ridge%20are%20**compute-bound**%20(high%20MFU).%0A%0A%20%20%20%20Source%3A%20%40sec-architectures-workload-signatures%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20SYNTHESIS%20BUILDER%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Synthesis%3A%20Design%20for%20the%20Edge%0A%0A%20%20%20%20A%20wildlife%20conservation%20project%20needs%20to%20classify%20animals%20from%20camera%20trap%0A%20%20%20%20images%20on%20a%2016%20GB%20Jetson%20Orin%20NX%20with%20a%2050%20ms%20latency%20SLA.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22%22%22%0A%20%20%20%20Using%20the%20four%20analyses%20from%20this%20lab%2C%20justify%3A%0A%0A%20%20%20%201.%20**Why%20not%20an%20MLP%3F**%20(cite%20the%20parameter%20explosion%20from%20Part%20A)%0A%20%20%20%202.%20**Why%20not%20a%20large%20Transformer%3F**%20(cite%20the%20quadratic%20wall%20from%20Part%20B)%0A%20%20%20%203.%20**Deep-narrow%20or%20shallow-wide%20CNN%3F**%20(cite%20dispatch%20overhead%20from%20Part%20C)%0A%20%20%20%204.%20**What%20MFU%20should%20you%20expect%3F**%20(cite%20arithmetic%20intensity%20from%20Part%20D)%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2024px%2028px%3B%20margin%3A%2016px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%2012px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Key%20Takeaways%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.92rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20line-height%3A%201.75%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E1.%20Inductive%20bias%20is%20a%20physical%20necessity.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20An%20MLP%20on%20224x224%20images%20needs%2022.7B%20parameters%20in%20its%20first%20layer%20--%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20exceeding%20even%20an%20H100.%20CNNs%20reduce%20this%20by%2013.1%20million-fold%20through%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20locality%20and%20weight%20sharing.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E2.%20Attention%20scales%20quadratically.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Doubling%20context%20length%20quadruples%20attention%20memory%20(N%5E2).%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20At%20128K%20tokens%2C%20attention%20alone%20can%20exceed%2080%20GB.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E3.%20FLOPs%20are%20not%20latency.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%20128-layer%20network%20with%20identical%20FLOPs%20to%20a%202-layer%20network%20can%20be%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2010x%20slower%20due%20to%20accumulated%20dispatch%20overhead%20and%20reduced%20parallelism.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E4.%20Architecture%20determines%20utilization.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20CNNs%20achieve%20higher%20GPU%20utilization%20than%20Transformers%20at%20small%20batch%20sizes%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20because%20spatial%20weight%20reuse%20gives%20them%20higher%20arithmetic%20intensity.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2016px%3B%20margin%3A%208px%200%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20What's%20Next%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ELab%2007%3A%20ML%20Frameworks%3C%2Fstrong%3E%20--%20Architecture%20determines%20the%20workload.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20But%20the%20framework%20determines%20how%20that%20workload%20executes.%20Lab%2007%20shows%20how%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20eager%20vs.%20compiled%20execution%20and%20kernel%20fusion%20can%20change%20latency%20by%2017x%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20without%20touching%20a%20single%20weight.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Textbook%20%26amp%3B%20TinyTorch%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ERead%3A%3C%2Fstrong%3E%20%40sec-architectures%20for%20inductive%20bias%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20attention%20complexity%2C%20depth-width%20trade-offs.%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3EBuild%3A%3C%2Fstrong%3E%20TinyTorch%20Module%2006%20--%20implement%20CNN%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20convolution%20and%20self-attention%20from%20scratch.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20COMPOSE%20TABS%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%20%5Cu2014%20The%20Cost%20of%20No%20Structure%22%3A%20%20%20%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%20%5Cu2014%20The%20Quadratic%20Wall%22%3A%20%20%20%20%20%20%20%20%20%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%20%5Cu2014%20Depth%20vs.%20Width%22%3A%20%20%20%20%20%20%20%20%20%20%20%20%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%20%5Cu2014%20Workload%20Signatures%22%3A%20%20%20%20%20%20%20%20%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20ledger%2C%20mo)%3A%0A%20%20%20%20_track%20%3D%20ledger._state.track%20or%20%22not%20set%22%0A%20%20%20%20ledger.save(chapter%3D6%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%22chapter%22%3A%20%22v1_06%22%2C%0A%20%20%20%20%20%20%20%20%22completed%22%3A%20True%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3E06%20%26middot%3B%20The%20Architecture%20Tax%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ETRACK%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22%7B'hud-active'%20if%20_track%20!%3D%20'not%20set'%20else%20'hud-none'%7D%22%3E%7B_track%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ECHAPTER%26nbsp%3B6%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3ENetwork%20Architectures%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ESTATUS%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-active%22%3Eactive%3C%2Fspan%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A