lab 05 nn compute

import%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22..%2F..%2F..%2Fwheels%2Fmlsysim-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%22mlsysim%22%20not%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20_root%20%3D%20Path(__file__).resolve().parents%5B2%5D%0A%20%20%20%20%20%20%20%20if%20str(_root)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_root))%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20from%20mlsysim.labs.components%20import%20FailureBanner%0A%20%20%20%20import%20mlsysim%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Hardware%20constants%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20H100_TFLOPS%20%20%20%3D%20mlsysim.Hardware.Cloud.H100.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20H100_BW_GBS%20%20%20%3D%20mlsysim.Hardware.Cloud.H100.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20H100_RAM_GB%20%20%20%3D%20mlsysim.Hardware.Cloud.H100.memory.capacity.m_as(%22GB%22)%0A%0A%20%20%20%20MOBILE_TFLOPS%20%3D%20mlsysim.Hardware.Mobile.iPhone15Pro.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20MOBILE_BW_GBS%20%3D%20mlsysim.Hardware.Mobile.iPhone15Pro.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20MOBILE_RAM_GB%20%3D%20mlsysim.Hardware.Mobile.iPhone15Pro.memory.capacity.m_as(%22GB%22)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Activation%20function%20transistor%20costs%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20Source%3A%20%40sec-nn-computation-activation-functions%20(textbook%20Table%205.x)%0A%20%20%20%20TRANSISTOR_COSTS%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22ReLU%22%3A%20%20%20%2050%2C%20%20%20%20%20%20%23%20Single%20comparison%3A%20max(0%2C%20x)%0A%20%20%20%20%20%20%20%20%22GELU%22%3A%20%20%20%201200%2C%20%20%20%20%23%20Approximate%20erf()%20or%20tanh%20polynomial%0A%20%20%20%20%20%20%20%20%22Sigmoid%22%3A%202500%2C%20%20%20%20%23%20exp(-x)%2C%20division%2C%20addition%0A%20%20%20%20%20%20%20%20%22Swish%22%3A%20%20%202550%2C%20%20%20%20%23%20Sigmoid(x)%20*%20x%0A%20%20%20%20%7D%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Memory%20hierarchy%20tier%20latencies%20(ns%20per%20access)%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20Source%3A%20%40sec-nn-computation-memory-hierarchy%0A%20%20%20%20TIER_LATENCY_NS%20%3D%20%7B%22L1%22%3A%201.0%2C%20%22L2%22%3A%205.0%2C%20%22HBM%22%3A%20100.0%2C%20%22DRAM%22%3A%20200.0%7D%0A%20%20%20%20CLOUD_TIERS_KB%20%20%3D%20%7B%22L1%22%3A%20256%2C%20%22L2%22%3A%2050_000%2C%20%22HBM%22%3A%2080_000_000%7D%0A%20%20%20%20MOBILE_TIERS_KB%20%3D%20%7B%22L1%22%3A%20128%2C%20%22L2%22%3A%2032_000%2C%20%22HBM%22%3A%208_000_000%7D%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20CLOUD_TIERS_KB%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20FailureBanner%2C%0A%20%20%20%20%20%20%20%20H100_TFLOPS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20MOBILE_TFLOPS%2C%0A%20%20%20%20%20%20%20%20MOBILE_TIERS_KB%2C%0A%20%20%20%20%20%20%20%20TIER_LATENCY_NS%2C%0A%20%20%20%20%20%20%20%20TRANSISTOR_COSTS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20mo.Html(%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%230f172a%200%25%2C%20%231e293b%2060%25%2C%20%230c1a2e%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2036px%2044px%3B%20border-radius%3A%2016px%3B%20color%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2032px%20rgba(0%2C0%2C0%2C0.35)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20letter-spacing%3A%200.18em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23475569%3B%20text-transform%3A%20uppercase%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Machine%20Learning%20Systems%20%26middot%3B%20Volume%20I%20%26middot%3B%20Lab%2005%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch1%20style%3D%22margin%3A%200%200%2010px%200%3B%20font-size%3A%202.4rem%3B%20font-weight%3A%20900%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23f8fafc%3B%20line-height%3A%201.1%3B%20letter-spacing%3A%20-0.02em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Transistor%20Tax%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%206px%200%3B%20font-size%3A%201.15rem%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%2394a3b8%3B%20letter-spacing%3A%200.04em%3B%20font-family%3A%20'SF%20Mono'%2C%20monospace%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Silicon%20Cost%20%26middot%3B%20Memory%20Cliffs%20%26middot%3B%20Width-Squared%20Scaling%20%26middot%3B%20Backprop%20Memory%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%2022px%200%3B%20font-size%3A%201.0rem%3B%20color%3A%20%2364748b%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max-width%3A%20680px%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Four%20quantitative%20realities%20about%20neural%20computation%20that%20shape%20every%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20architecture%20decision%3A%20activation%20functions%20have%20wildly%20different%20silicon%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20costs%2C%20memory%20hierarchies%20create%20cliffs%20not%20slopes%2C%20width%20scales%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20quadratically%2C%20and%20training%20demands%20storing%20everything%20inference%20can%20discard.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2012px%3B%20flex-wrap%3A%20wrap%3B%20margin-bottom%3A%2020px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(99%2C102%2C241%2C0.18)%3B%20color%3A%20%23a5b4fc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(99%2C102%2C241%2C0.3)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%204%20Parts%20%2B%20Synthesis%20%26middot%3B%20~50%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(203%2C32%2C45%2C0.15)%3B%20color%3A%20%23fca5a5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(203%2C32%2C45%2C0.25)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Chapter%205%3A%20Neural%20Computation%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2010px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EReLU%3A%2050%20transistors%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3ESigmoid%3A%202%2C500%20transistors%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-fail%22%3EMemory%20Cliffs%3A%2010-100x%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3EQuantify%20the%20transistor%20cost%20ratio%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20between%20ReLU%20(~50%20transistors)%20and%20Sigmoid%20(~2%2C500%20transistors)%20and%20predict%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20when%20this%2050x%20gap%20becomes%20a%20dominant%20fraction%20of%20inference%20time.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3EPredict%20which%20memory%20hierarchy%20tier%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20a%20layer's%20activations%20land%20in%20given%20batch%20size%20and%20width%2C%20and%20identify%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20batch%20size%20threshold%20where%20a%2010x%20latency%20cliff%20appears.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3ECalculate%20the%20FLOPs%20scaling%20law%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20dense%20layers%3A%20doubling%20width%20yields%20~4x%20FLOPs%2C%20not%202x.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E4.%20%3Cstrong%3ECompare%20forward%20vs.%20backward%20memory%3C%2Fstrong%3E%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20training%20stores%20all%20layer%20activations%20simultaneously%2C%20creating%20a%204-10x%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20memory%20multiplier%20over%20inference.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Activation%20function%20definitions%20from%20%40sec-neural-computation-artificial-neuron%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26middot%3B%20Memory%20hierarchy%20tiers%20from%20%40sec-neural-computation-transistor-tax%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26middot%3B%20Iron%20Law%20equation%20from%20%40sec-introduction-iron-law%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E~50%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Part%20A%3A%20~10%20min%20%26middot%3B%20Part%20B%3A%20~10%20min%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Part%20C%3A%20~10%20min%20%26middot%3B%20Part%20D%3A%20~10%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%2012px%20-28px%200%20-28px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2016px%2028px%200%2028px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BReLU%20and%20Sigmoid%20produce%20similar%20accuracy%20%26mdash%3B%20so%20why%20does%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20choice%20of%20activation%20function%20determine%20whether%20your%20model%20fits%20in%20cache%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20or%20spills%20to%20memory%20100x%20slower%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20--%20Complete%20the%20following%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20**Chapter%205%3A%20The%20Artificial%20Neuron**%20--%20activation%20function%20definitions%2C%20computational%0A%20%20%20%20%20%20graph%20of%20a%20single%20neuron%2C%20transistor-level%20implementation%20of%20ReLU%20vs.%20Sigmoid.%0A%20%20%20%20-%20**Chapter%205%3A%20The%20Transistor%20Tax**%20--%20silicon%20cost%20table%20for%20common%20activation%20functions%2C%0A%20%20%20%20%20%20percentage%20of%20inference%20time%20consumed%20by%20activations%20on%20Cloud%20vs.%20Mobile.%0A%20%20%20%20-%20**Chapter%205%3A%20Memory%20Hierarchy**%20--%20cache%20tiers%20(L1%2FL2%2FHBM%2FDRAM)%2C%20tier%20latencies%2C%0A%20%20%20%20%20%20and%20the%20concept%20of%20memory%20cliffs%20vs.%20gradual%20degradation.%0A%20%20%20%20-%20**Chapter%205%3A%20Backpropagation%20Memory**%20--%20why%20training%20must%20store%20all%20intermediate%0A%20%20%20%20%20%20activations%2C%20and%20the%20forward-vs-backward%20memory%20multiplier.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20SHARED%20WIDGET%20STATE%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20%23%20Part%20A%20widgets%0A%20%20%20%20partA_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20%3C1%25%20(negligible%2C%20like%20on%20GPUs)%22%3A%20%22lt1%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~5%25%20(noticeable%20but%20small)%22%3A%20%225pct%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~23%25%20(significant%20cost)%22%3A%20%2223pct%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~50%25%20(dominant%20cost)%22%3A%20%2250pct%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22On%20a%20mobile%20NPU%2C%20what%20fraction%20of%20inference%20time%20comes%20from%20activation%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22functions%20if%20you%20use%20Sigmoid%20instead%20of%20ReLU%20in%20every%20layer%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(partA_prediction%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partA_prediction)%3A%0A%20%20%20%20mo.stop(partA_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partA_context%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Cloud%20GPU%20(H100)%22%3A%20%22cloud%22%2C%20%22Mobile%20NPU%20(iPhone)%22%3A%20%22mobile%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Cloud%20GPU%20(H100)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Deployment%20context%3A%22%2C%0A%20%20%20%20%20%20%20%20inline%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20partA_act_l1%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22ReLU%22%3A%20%22ReLU%22%2C%20%22GELU%22%3A%20%22GELU%22%2C%20%22Sigmoid%22%3A%20%22Sigmoid%22%2C%20%22Swish%22%3A%20%22Swish%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Sigmoid%22%2C%20label%3D%22Layer%201%22%2C%0A%20%20%20%20)%0A%20%20%20%20partA_act_l2%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22ReLU%22%3A%20%22ReLU%22%2C%20%22GELU%22%3A%20%22GELU%22%2C%20%22Sigmoid%22%3A%20%22Sigmoid%22%2C%20%22Swish%22%3A%20%22Swish%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Sigmoid%22%2C%20label%3D%22Layer%202%22%2C%0A%20%20%20%20)%0A%20%20%20%20partA_act_l3%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22ReLU%22%3A%20%22ReLU%22%2C%20%22GELU%22%3A%20%22GELU%22%2C%20%22Sigmoid%22%3A%20%22Sigmoid%22%2C%20%22Swish%22%3A%20%22Swish%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Sigmoid%22%2C%20label%3D%22Layer%203%22%2C%0A%20%20%20%20)%0A%20%20%20%20partA_act_l4%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22ReLU%22%3A%20%22ReLU%22%2C%20%22GELU%22%3A%20%22GELU%22%2C%20%22Sigmoid%22%3A%20%22Sigmoid%22%2C%20%22Swish%22%3A%20%22Swish%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Sigmoid%22%2C%20label%3D%22Layer%204%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Part%20B%20widgets%0A%20%20%20%20partB_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%202x%20(linear%20with%20data%20size)%22%3A%20%222x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%201.5x%20(some%20overhead)%22%3A%20%221.5x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%2010x%20(cache%20tier%20boundary%20crossed)%22%3A%20%2210x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20No%20change%20(hardware%20handles%20it)%22%3A%20%22none%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22A%20layer%20produces%20a%2016%20KB%20activation%20tensor%20in%20L2%20cache.%20You%20double%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22batch%20size%20(32%20KB%20now).%20How%20does%20latency%20change%20on%20a%20mobile%20NPU%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20partA_act_l1%2C%0A%20%20%20%20%20%20%20%20partA_act_l2%2C%0A%20%20%20%20%20%20%20%20partA_act_l3%2C%0A%20%20%20%20%20%20%20%20partA_act_l4%2C%0A%20%20%20%20%20%20%20%20partA_context%2C%0A%20%20%20%20%20%20%20%20partB_prediction%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partB_prediction)%3A%0A%20%20%20%20mo.stop(partB_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partB_context%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Cloud%20GPU%20(H100)%22%3A%20%22cloud%22%2C%20%22Mobile%20NPU%20(iPhone)%22%3A%20%22mobile%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Mobile%20NPU%20(iPhone)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Deployment%20context%3A%22%2C%0A%20%20%20%20%20%20%20%20inline%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20partB_batch%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D512%2C%20value%3D1%2C%20step%3D1%2C%20label%3D%22Batch%20size%22%2C%0A%20%20%20%20)%0A%20%20%20%20partB_width%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D64%2C%20stop%3D4096%2C%20value%3D256%2C%20step%3D64%2C%20label%3D%22Layer%20width%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Part%20C%20widgets%0A%20%20%20%20partC_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%202x%20(linear%20with%20width)%22%3A%20%222x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%203x%22%3A%20%223x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~4x%20(quadratic)%22%3A%20%224x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%208x%20(cubic)%22%3A%20%228x%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22A%203-layer%20MLP%20has%20hidden%20layers%20of%20width%20128.%20You%20double%20the%20hidden%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22width%20to%20256.%20By%20how%20much%20do%20total%20FLOPs%20increase%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partB_batch%2C%20partB_context%2C%20partB_width%2C%20partC_prediction%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partC_prediction)%3A%0A%20%20%20%20mo.stop(partC_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partC_width%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D32%2C%20stop%3D2048%2C%20value%3D128%2C%20step%3D32%2C%20label%3D%22Hidden%20layer%20width%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Part%20D%20widgets%0A%20%20%20%20partD_prediction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~50%20MB%20(same%20as%20inference)%22%3A%20%2250mb%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~100%20MB%20(2x%20for%20gradients)%22%3A%20%22100mb%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~200%20MB%20(4x)%22%3A%20%22200mb%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~500%20MB%2B%20(10x%2B)%22%3A%20%22500mb%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22A%2020-layer%20model%20uses%2050%20MB%20for%20inference.%20How%20much%20memory%20does%20training%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22require%20(weights%20%2B%20gradients%20%2B%20activations%2C%20ignoring%20optimizer%20state)%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partC_width%2C%20partD_prediction%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20CLOUD_TIERS_KB%2C%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FailureBanner%2C%0A%20%20%20%20H100_TFLOPS%2C%0A%20%20%20%20MOBILE_TFLOPS%2C%0A%20%20%20%20MOBILE_TIERS_KB%2C%0A%20%20%20%20TIER_LATENCY_NS%2C%0A%20%20%20%20TRANSISTOR_COSTS%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20go%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20partA_act_l1%2C%0A%20%20%20%20partA_act_l2%2C%0A%20%20%20%20partA_act_l3%2C%0A%20%20%20%20partA_act_l4%2C%0A%20%20%20%20partA_context%2C%0A%20%20%20%20partA_prediction%2C%0A%20%20%20%20partB_batch%2C%0A%20%20%20%20partB_context%2C%0A%20%20%20%20partB_prediction%2C%0A%20%20%20%20partB_width%2C%0A%20%20%20%20partC_prediction%2C%0A%20%20%20%20partC_width%2C%0A%20%20%20%20partD_prediction%2C%0A)%3A%0A%20%20%20%20mo.stop(partD_prediction.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partD_depth%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D3%2C%20stop%3D50%2C%20value%3D20%2C%20step%3D1%2C%20label%3D%22Network%20depth%20(layers)%22%2C%0A%20%20%20%20)%0A%20%20%20%20partD_batch%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D128%2C%20value%3D32%2C%20step%3D1%2C%20label%3D%22Batch%20size%22%2C%0A%20%20%20%20)%0A%20%20%20%20partD_phase%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Inference%22%3A%20%22inference%22%2C%20%22Training%22%3A%20%22training%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Inference%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Phase%3A%22%2C%0A%20%20%20%20%20%20%20%20inline%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20partD_width_d%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D64%2C%20stop%3D2048%2C%20value%3D512%2C%20step%3D64%2C%20label%3D%22Layer%20width%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20A%20BUILDER%3A%20The%20Transistor%20Tax%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'BlueL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20ML%20Compiler%20Engineer%2C%20NeuralEdge%20Inc.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BOur%20mobile%20vision%20model%20uses%20Sigmoid%20activations%20in%20every%20layer.%20The%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cloud%20version%20runs%20perfectly%2C%20but%20on%20the%20phone%20it%20is%2030%25%20slower%20than%20our%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20latency%20budget.%20Engineering%20says%20the%20activations%20are%20irrelevant%20%26mdash%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20they%20are%20just%20element-wise%20ops.%20Can%20you%20check%20the%20silicon%20cost%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20Priya%20Nair%2C%20ML%20Compiler%20Engineer%20%26middot%3B%20NeuralEdge%20Inc.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20The%20Transistor%20Tax%3A%20Not%20All%20Activations%20Are%20Created%20Equal%0A%0A%20%20%20%20Every%20activation%20function%20compiles%20down%20to%20transistor-level%20logic.%20The%20cost%0A%20%20%20%20varies%20enormously%3A%0A%0A%20%20%20%20%7C%20Function%20%7C%20Transistors%20%7C%20Operation%20%7C%0A%20%20%20%20%7C----------%7C-------------%7C-----------%7C%0A%20%20%20%20%7C%20**ReLU**%20%7C%20~50%20%7C%20Single%20comparison%3A%20%60max(0%2C%20x)%60%20%7C%0A%20%20%20%20%7C%20**GELU**%20%7C%20~1%2C200%20%7C%20Approximate%20%60erf()%60%20or%20tanh%20polynomial%20%7C%0A%20%20%20%20%7C%20**Sigmoid**%20%7C%20~2%2C500%20%7C%20Exponentiation%20%2B%20division%3A%20%601%2F(1%2Bexp(-x))%60%20%7C%0A%20%20%20%20%7C%20**Swish**%20%7C%20~2%2C550%20%7C%20Sigmoid(x)%20*%20x%20%7C%0A%0A%20%20%20%20On%20a%20cloud%20GPU%2C%20activation%20compute%20is%20%3C1%25%20of%20total%20inference%20time%20because%0A%20%20%20%20matrix%20multiplies%20dominate.%20On%20a%20mobile%20NPU%2C%20the%2050x%20transistor%20gap%20between%0A%20%20%20%20ReLU%20and%20Sigmoid%20becomes%20a%20**significant%20fraction**%20of%20total%20inference%20time.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partA_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partA_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20activation%20cost%20simulator.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartA_context%5D%2C%20justify%3D%22start%22))%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartA_act_l1%2C%20partA_act_l2%2C%20partA_act_l3%2C%20partA_act_l4%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Simulation%0A%20%20%20%20%20%20%20%20_ctx%20%3D%20partA_context.value%0A%20%20%20%20%20%20%20%20_is_mobile%20%3D%20_ctx%20%3D%3D%20%22mobile%22%0A%20%20%20%20%20%20%20%20_hw_clock_ghz%20%3D%201.5%20if%20_is_mobile%20else%202.1%0A%20%20%20%20%20%20%20%20_hw_label%20%3D%20%22Mobile%20NPU%20(iPhone)%22%20if%20_is_mobile%20else%20%22Cloud%20GPU%20(H100)%22%0A%20%20%20%20%20%20%20%20_channels%20%3D%2064%0A%20%20%20%20%20%20%20%20_spatial%20%3D%2056%20*%2056%0A%20%20%20%20%20%20%20%20_activations_per_layer%20%3D%20_channels%20*%20_spatial%0A%0A%20%20%20%20%20%20%20%20_matmul_flops_per_layer%20%3D%202%20*%20_channels%20*%20_channels%20*%20_spatial%0A%20%20%20%20%20%20%20%20_total_mm_flops%20%3D%204%20*%20_matmul_flops_per_layer%0A%20%20%20%20%20%20%20%20_peak_tflops%20%3D%20MOBILE_TFLOPS%20if%20_is_mobile%20else%20H100_TFLOPS%0A%20%20%20%20%20%20%20%20_matmul_time_ms%20%3D%20(_total_mm_flops%20%2F%20(_peak_tflops%20*%201e12))%20*%201000%0A%0A%20%20%20%20%20%20%20%20_pipeline_width%20%3D%20256%20if%20_is_mobile%20else%2016384%0A%20%20%20%20%20%20%20%20_act_names%20%3D%20%5BpartA_act_l1.value%2C%20partA_act_l2.value%2C%20partA_act_l3.value%2C%20partA_act_l4.value%5D%0A%20%20%20%20%20%20%20%20_layer_times_act%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_act%20in%20_act_names%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_transistors%20%3D%20TRANSISTOR_COSTS.get(_act%2C%2050)%0A%20%20%20%20%20%20%20%20%20%20%20%20_cycles_per_act%20%3D%20_transistors%20%2F%2050%0A%20%20%20%20%20%20%20%20%20%20%20%20_act_time%20%3D%20(_activations_per_layer%20*%20_cycles_per_act)%20%2F%20(_hw_clock_ghz%20*%201e9%20*%20_pipeline_width)%20*%201000%0A%20%20%20%20%20%20%20%20%20%20%20%20_layer_times_act.append(_act_time)%0A%0A%20%20%20%20%20%20%20%20_total_act_time%20%3D%20sum(_layer_times_act)%0A%20%20%20%20%20%20%20%20_total_mm_time%20%3D%20_matmul_time_ms%0A%20%20%20%20%20%20%20%20_norm_time%20%3D%20_total_mm_time%20*%200.05%0A%20%20%20%20%20%20%20%20_other_time%20%3D%20_total_mm_time%20*%200.02%0A%20%20%20%20%20%20%20%20_total_time%20%3D%20_total_mm_time%20%2B%20_total_act_time%20%2B%20_norm_time%20%2B%20_other_time%0A%20%20%20%20%20%20%20%20_act_pct%20%3D%20(_total_act_time%20%2F%20_total_time)%20*%20100%20if%20_total_time%20%3E%200%20else%200%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Matrix%20Multiply%22%2C%20x%3D%5B%22Breakdown%22%5D%2C%20y%3D%5B_total_mm_time%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22BlueLine%22%5D%2C%20opacity%3D0.88))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Activations%22%2C%20x%3D%5B%22Breakdown%22%5D%2C%20y%3D%5B_total_act_time%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22RedLine%22%5D%20if%20_act_pct%20%3E%2010%20else%20COLORS%5B%22OrangeLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D0.88))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Normalization%22%2C%20x%3D%5B%22Breakdown%22%5D%2C%20y%3D%5B_norm_time%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22GreenLine%22%5D%2C%20opacity%3D0.88))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Other%22%2C%20x%3D%5B%22Breakdown%22%5D%2C%20y%3D%5B_other_time%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22Grey%22%5D%2C%20opacity%3D0.88))%0A%20%20%20%20%20%20%20%20_fig.update_layout(barmode%3D%22stack%22%2C%20height%3D320%2C%20yaxis_title%3D%22Time%20(ms)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Inference%20Time%20Decomposition%20--%20%7B_hw_label%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_total_transistors%20%3D%20sum(TRANSISTOR_COSTS%5Ba%5D%20*%20_activations_per_layer%20for%20a%20in%20_act_names)%0A%20%20%20%20%20%20%20%20_relu_baseline%20%3D%2050%20*%20_activations_per_layer%20*%204%0A%20%20%20%20%20%20%20%20_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_act_pct%20%3E%2015%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_act_pct%20%3E%205%20else%20COLORS%5B%22GreenLine%22%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7B_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EActivation%20%25%20of%20Total%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_color%7D%3B%22%3E%7B_act_pct%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ETotal%20Transistors%20(Act.)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_total_transistors%3A%2C.0f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3Evs.%20All-ReLU%20Baseline%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_total_transistors%2F_relu_baseline%3A.1f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Reveal%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partA_prediction.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%2223pct%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20On%20a%20mobile%20NPU%2C%20switching%20all%20layers%20to%20Sigmoid%20pushes%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22activation%20compute%20to%20~23%25%20of%20total%20inference%20time.%20On%20cloud%20hardware%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22with%2016%2C000%2B%20ALUs%2C%20the%20same%20switch%20is%20barely%20measurable%20(%3C1%25).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20deployment%20context%20determines%20whether%20this%20design%20choice%20has%20a%20real%20cost.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%22lt1%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**That%20is%20the%20cloud%20GPU%20answer%2C%20not%20mobile.**%20On%20cloud%20hardware%2C%20activations%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22are%20indeed%20%3C1%25%20thanks%20to%20massive%20parallelism.%20But%20on%20mobile%20with%20~256%20ALUs%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%2050x%20transistor%20gap%20translates%20to%20~23%25%20of%20inference%20time.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Try%20switching%20the%20context%20toggle%20to%20Mobile%20to%20see%20the%20difference.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Close%20but%20not%20quite.**%20The%20actual%20fraction%20on%20mobile%20is%20~23%25.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Sigmoid%20requires%20~2%2C500%20transistors%20per%20activation%20vs.%20ReLU's%20~50%20--%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22a%2050x%20gap%20that%20becomes%20significant%20when%20hardware%20parallelism%20is%20limited.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MathPeek%3A%20Activation%20Cost%20Formula%22%3A%20mo.md(f%22%22%22%0A%20%20%20%20**Activation%20time%20per%20layer%3A**%0A%20%20%20%20%60%60%60%0A%20%20%20%20T_act%20%3D%20(N_activations%20*%20C_transistors)%20%2F%20(f_clock%20*%20N_ALUs)%0A%20%20%20%20%20%20%3D%20(%7B_activations_per_layer%3A%2C%7D%20*%20C)%20%2F%20(%7B_hw_clock_ghz%7D%20GHz%20*%20%7B_pipeline_width%7D)%0A%20%20%20%20%60%60%60%0A%20%20%20%20Where%20C%20varies%3A%20ReLU%3D50%2C%20GELU%3D1200%2C%20Sigmoid%3D2500%2C%20Swish%3D2550.%0A%0A%20%20%20%20Source%3A%20%40sec-nn-computation-activation-functions%2C%20%40sec-nn-computation-transistor-tax%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20B%20BUILDER%3A%20The%20Memory%20Hierarchy%20Cliff%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'OrangeL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Performance%20Engineer%2C%20NeuralEdge%20Inc.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20doubled%20our%20batch%20size%20and%20expected%202x%20throughput.%20Instead%2C%20latency%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20jumped%2010x%20on%20the%20mobile%20target.%20On%20the%20cloud%20GPU%2C%20everything%20was%20fine.%20The%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20model%20is%20identical.%20What%20happened%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20Marcus%20Chen%2C%20Performance%20Engineer%20%26middot%3B%20NeuralEdge%20Inc.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Memory%20Hierarchies%20Create%20Cliffs%2C%20Not%20Slopes%0A%0A%20%20%20%20Memory%20is%20not%20flat.%20Hardware%20organizes%20it%20into%20tiers%20with%20dramatically%20different%20latencies%3A%0A%0A%20%20%20%20%7C%20Tier%20%7C%20Typical%20Capacity%20%7C%20Latency%20%7C%20Relative%20Speed%20%7C%0A%20%20%20%20%7C------%7C-----------------%7C---------%7C---------------%7C%0A%20%20%20%20%7C%20**L1%20Cache**%20%7C%20~128-256%20KB%20%7C%20~1%20ns%20%7C%201x%20(baseline)%20%7C%0A%20%20%20%20%7C%20**L2%20Cache**%20%7C%2032-50%20MB%20%7C%20~5%20ns%20%7C%205x%20slower%20%7C%0A%20%20%20%20%7C%20**HBM%20%2F%20DRAM**%20%7C%208-80%20GB%20%7C%20~100-200%20ns%20%7C%20100-200x%20slower%20%7C%0A%0A%20%20%20%20When%20a%20tensor%20exceeds%20a%20tier%20capacity%2C%20latency%20does%20not%20degrade%20gradually%20--%20it%0A%20%20%20%20**falls%20off%20a%20cliff**%20to%20the%20next%20tier.%20Doubling%20batch%20size%20can%20push%20activations%0A%20%20%20%20from%20L2%20(5%20ns)%20to%20HBM%20(100%20ns)%3A%20a%20**20x%20latency%20jump**%2C%20not%202x.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partB_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partB_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20memory%20tier%20simulator.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartB_context%2C%20partB_batch%2C%20partB_width%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_ctx%20%3D%20partB_context.value%0A%20%20%20%20%20%20%20%20_batch%20%3D%20partB_batch.value%0A%20%20%20%20%20%20%20%20_width%20%3D%20partB_width.value%0A%20%20%20%20%20%20%20%20_is_mobile%20%3D%20_ctx%20%3D%3D%20%22mobile%22%0A%20%20%20%20%20%20%20%20_tiers%20%3D%20MOBILE_TIERS_KB%20if%20_is_mobile%20else%20CLOUD_TIERS_KB%0A%0A%20%20%20%20%20%20%20%20_tensor_bytes%20%3D%20_batch%20*%20_width%20*%204%0A%20%20%20%20%20%20%20%20_tensor_kb%20%3D%20_tensor_bytes%20%2F%201024%0A%0A%20%20%20%20%20%20%20%20def%20_get_tier(sz_kb%2C%20tiers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20sz_kb%20%3C%3D%20tiers%5B%22L1%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%22L1%22%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20sz_kb%20%3C%3D%20tiers%5B%22L2%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%22L2%22%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20sz_kb%20%3C%3D%20tiers%5B%22HBM%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%22HBM%22%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22DRAM%22%0A%0A%20%20%20%20%20%20%20%20_tier%20%3D%20_get_tier(_tensor_kb%2C%20_tiers)%0A%20%20%20%20%20%20%20%20_tier_colors%20%3D%20%7B%22L1%22%3A%20COLORS%5B%22GreenLine%22%5D%2C%20%22L2%22%3A%20COLORS%5B%22BlueLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22HBM%22%3A%20COLORS%5B%22OrangeLine%22%5D%2C%20%22DRAM%22%3A%20COLORS%5B%22RedLine%22%5D%7D%0A%20%20%20%20%20%20%20%20_tier_color%20%3D%20_tier_colors%5B_tier%5D%0A%20%20%20%20%20%20%20%20_access_ns%20%3D%20TIER_LATENCY_NS%5B_tier%5D%0A%20%20%20%20%20%20%20%20_latency_ratio%20%3D%20_access_ns%20%2F%20TIER_LATENCY_NS%5B%22L2%22%5D%0A%0A%20%20%20%20%20%20%20%20_batch_range%20%3D%20np.arange(1%2C%20513)%0A%20%20%20%20%20%20%20%20_sizes_kb%20%3D%20_batch_range%20*%20_width%20*%204%20%2F%201024%0A%20%20%20%20%20%20%20%20_latencies%20%3D%20np.array(%5BTIER_LATENCY_NS%5B_get_tier(s%2C%20_tiers)%5D%20for%20s%20in%20_sizes_kb%5D)%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_batch_range.tolist()%2C%20y%3D_latencies.tolist()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%20name%3D%22Access%20Latency%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fill%3D%22tozeroy%22%2C%20fillcolor%3D%22rgba(0%2C99%2C149%2C0.1)%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_batch%5D%2C%20y%3D%5B_access_ns%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%20name%3D%22Current%20Setting%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D14%2C%20color%3D_tier_color%2C%20symbol%3D%22diamond%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(width%3D2%2C%20color%3D%22white%22))%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20for%20_tier_name%2C%20_tier_cap%20in%20_tiers.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_boundary_batch%20%3D%20max(1%2C%20int(_tier_cap%20%2F%20(_width%20*%204%20%2F%201024)))%0A%20%20%20%20%20%20%20%20%20%20%20%20if%201%20%3C%20_boundary_batch%20%3C%20512%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_vline(x%3D_boundary_batch%2C%20line_dash%3D%22dash%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line_color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20opacity%3D0.6%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22%7B_tier_name%7D%20limit%22%2C%20annotation_position%3D%22top%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D360%2C%20xaxis_title%3D%22Batch%20Size%22%2C%20yaxis_title%3D%22Access%20Latency%20(ns)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis_type%3D%22log%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Memory%20Tier%20Latency%20vs.%20Batch%20Size%20--%20%7B'Mobile'%20if%20_is_mobile%20else%20'Cloud'%7D%20(width%3D%7B_width%7D)%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_oom%20%3D%20_tensor_kb%20%3E%20_tiers%5B%22HBM%22%5D%0A%20%20%20%20%20%20%20%20if%20_oom%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(FailureBanner(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20condition%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20message%3Df%22OOM%20--%20Activation%20tensor%20(%7B_tensor_kb%3A%2C.0f%7D%20KB)%20exceeds%20device%20memory%20(%7B_tiers%5B'HBM'%5D%3A%2C%7D%20KB).%20Reduce%20batch%20size%20or%20layer%20width.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_tier_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ETensor%20Size%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_tier_color%7D%3B%22%3E%7B_tensor_kb%3A%2C.1f%7D%20KB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_tier_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EMemory%20Tier%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_tier_color%7D%3B%22%3E%7B_tier%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_tier_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EAccess%20Latency%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_tier_color%7D%3B%22%3E%7B_access_ns%3A.0f%7D%20ns%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%20if%20_latency_ratio%20%3E%205%20else%20COLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3Evs.%20L2%20Baseline%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%7BCOLORS%5B'RedLine'%5D%20if%20_latency_ratio%20%3E%205%20else%20COLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_latency_ratio%3A.0f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partB_prediction.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%2210x%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20On%20mobile%2C%20doubling%20from%2016%20KB%20to%2032%20KB%20can%20cross%20the%20L2%20boundary%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22into%20HBM%2C%20triggering%20a%20~20x%20latency%20jump.%20Memory%20hierarchies%20create%20step%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22functions%2C%20not%20gradual%20slopes.%20On%20cloud%20with%2050%20MB%20L2%2C%20the%20same%20doubling%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22stays%20comfortably%20in%20cache.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%222x%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**That%20assumes%20flat%20memory%20--%20but%20memory%20is%20tiered.**%20A%202x%20increase%20in%20tensor%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22size%20that%20crosses%20a%20tier%20boundary%20triggers%20a%2010-20x%20latency%20jump.%20Switch%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22context%20to%20Mobile%20and%20watch%20at%20the%20L2%20boundary.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**The%20answer%20depends%20on%20context.**%20On%20mobile%2C%20crossing%20L2-%3EHBM%20gives%20~20x.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22On%20cloud%2C%2032%20KB%20fits%20comfortably%20in%2050%20MB%20L2%2C%20so%20~2x%20is%20roughly%20correct.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MathPeek%3A%20Memory%20Tier%20Placement%22%3A%20mo.md(f%22%22%22%0A%20%20%20%20**Tensor%20size%3A**%20%60batch%20*%20width%20*%204%20bytes%20%3D%20%7B_batch%7D%20*%20%7B_width%7D%20*%204%20%3D%20%7B_tensor_bytes%3A%2C%7D%20bytes%20%3D%20%7B_tensor_kb%3A%2C.1f%7D%20KB%60%0A%0A%20%20%20%20**Cliff%20at%20boundary%3A**%20L2%20(5%20ns)%20to%20HBM%20(100%20ns)%20%3D%20**20x%20jump**%0A%0A%20%20%20%20Source%3A%20%40sec-nn-computation-memory-hierarchy%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20C%20BUILDER%3A%20The%20Width-Squared%20Surprise%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'GreenL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Research%20Lead%2C%20NeuralEdge%20Inc.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20doubled%20the%20hidden%20layer%20width%20and%20expected%20the%20model%20to%20be%20twice%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20as%20expensive.%20But%20our%20profiler%20shows%20a%203.8x%20increase%20in%20FLOPs.%20There%20must%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20be%20a%20bug%20in%20the%20profiler.%20Can%20you%20verify%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20Dr.%20Liang%20Wei%2C%20Research%20Lead%20%26middot%3B%20NeuralEdge%20Inc.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Dense%20Layer%20FLOPs%20Scale%20as%20O(width%5E2)%0A%0A%20%20%20%20For%20a%20dense%20(fully%20connected)%20layer%3A%20%60FLOPs%20%3D%202%20*%20width_in%20*%20width_out%60%0A%0A%20%20%20%20For%20hidden-to-hidden%20layers%2C%20both%20dimensions%20are%20the%20hidden%20width%20W%2C%0A%20%20%20%20so%20FLOPs%20%3D%202W%5E2.%20Doubling%20W%20yields%202*(2W)%5E2%20%3D%208W%5E2%20--%20a%20**4x%20increase**.%0A%0A%20%20%20%20For%20a%203-layer%20MLP%20(784%20-%3E%20W%20-%3E%20W%20-%3E%2010)%3A%0A%20%20%20%20-%20**Input-to-hidden**%3A%202%20*%20784%20*%20W%20(linear%20in%20W)%0A%20%20%20%20-%20**Hidden-to-hidden**%3A%202%20*%20W%20*%20W%20(quadratic%20in%20W)%0A%20%20%20%20-%20**Hidden-to-output**%3A%202%20*%20W%20*%2010%20(linear%20in%20W)%0A%0A%20%20%20%20The%20quadratic%20term%20dominates%20as%20W%20grows.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partC_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partC_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20FLOP%20scaling%20simulator.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(partC_width)%0A%0A%20%20%20%20%20%20%20%20_w%20%3D%20partC_width.value%0A%20%20%20%20%20%20%20%20_input_dim%20%3D%20784%0A%20%20%20%20%20%20%20%20_output_dim%20%3D%2010%0A%20%20%20%20%20%20%20%20_flops_l1%20%3D%202%20*%20_input_dim%20*%20_w%0A%20%20%20%20%20%20%20%20_flops_l2%20%3D%202%20*%20_w%20*%20_w%0A%20%20%20%20%20%20%20%20_flops_l3%20%3D%202%20*%20_w%20*%20_output_dim%0A%20%20%20%20%20%20%20%20_total_flops%20%3D%20_flops_l1%20%2B%20_flops_l2%20%2B%20_flops_l3%0A%0A%20%20%20%20%20%20%20%20_ref_w%20%3D%20128%0A%20%20%20%20%20%20%20%20_ref_flops%20%3D%202%20*%20_input_dim%20*%20_ref_w%20%2B%202%20*%20_ref_w%20*%20_ref_w%20%2B%202%20*%20_ref_w%20*%20_output_dim%0A%20%20%20%20%20%20%20%20_flops_ratio%20%3D%20_total_flops%20%2F%20_ref_flops%20if%20_ref_flops%20%3E%200%20else%201%0A%20%20%20%20%20%20%20%20_width_ratio%20%3D%20_w%20%2F%20_ref_w%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20for%20_name%2C%20_val%2C%20_col%20in%20zip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%22Input-%3EHidden%22%2C%20%22Hidden-%3EHidden%22%2C%20%22Hidden-%3EOutput%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B_flops_l1%2C%20_flops_l2%2C%20_flops_l3%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5BCOLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22OrangeLine%22%5D%2C%20COLORS%5B%22GreenLine%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D_name%2C%20x%3D%5B%22Current%20Width%22%5D%2C%20y%3D%5B_val%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_col%2C%20opacity%3D0.88))%0A%20%20%20%20%20%20%20%20_fig.update_layout(barmode%3D%22stack%22%2C%20height%3D300%2C%20yaxis_title%3D%22FLOPs%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Per-Layer%20FLOPs%20--%20MLP%20(784-%3E%7B_w%7D-%3E%7B_w%7D-%3E10)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_widths%20%3D%20np.arange(32%2C%202049%2C%2032)%0A%20%20%20%20%20%20%20%20_total_curve%20%3D%20(2%20*%20_input_dim%20*%20_widths%20%2B%202%20*%20_widths**2%20%2B%202%20*%20_widths%20*%20_output_dim).astype(float)%0A%20%20%20%20%20%20%20%20_linear_ref%20%3D%20_total_curve%5B0%5D%20*%20(_widths%20%2F%20_widths%5B0%5D)%0A%0A%20%20%20%20%20%20%20%20_fig2%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig2.add_trace(go.Scatter(x%3D_widths.tolist()%2C%20y%3D_total_curve.tolist()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%20name%3D%22Actual%20FLOPs%20(quadratic)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D2.5)))%0A%20%20%20%20%20%20%20%20_fig2.add_trace(go.Scatter(x%3D_widths.tolist()%2C%20y%3D_linear_ref.tolist()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%20name%3D%22If%20linear%20(2x%20width%20%3D%202x%20FLOPs)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22Grey%22%5D%2C%20width%3D2%2C%20dash%3D%22dash%22)))%0A%20%20%20%20%20%20%20%20_fig2.add_trace(go.Scatter(x%3D%5B_w%5D%2C%20y%3D%5Bfloat(_total_flops)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%20name%3D%22Current%20Width%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D12%2C%20color%3DCOLORS%5B%22BlueLine%22%5D%2C%20symbol%3D%22diamond%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(width%3D2%2C%20color%3D%22white%22))))%0A%20%20%20%20%20%20%20%20_fig2.update_layout(height%3D360%2C%20xaxis_title%3D%22Hidden%20Width%22%2C%20yaxis_title%3D%22Total%20FLOPs%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22FLOPs%20Scaling%3A%20Actual%20(Quadratic)%20vs.%20Linear%20Assumption%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig2)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig2))%0A%0A%20%20%20%20%20%20%20%20_qcolor%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_flops_ratio%20%3E%203%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_flops_ratio%20%3E%201.5%20else%20COLORS%5B%22GreenLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EWidth%20Ratio%20(vs%20128)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_width_ratio%3A.1f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_qcolor%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EFLOPs%20Ratio%20(vs%20128)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_qcolor%7D%3B%22%3E%7B_flops_ratio%3A.1f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ETotal%20FLOPs%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_total_flops%3A%2C.0f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EHidden-%3EHidden%20Share%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_flops_l2%2F_total_flops*100%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20_actual_256%20%3D%20(2*784*256%20%2B%202*256*256%20%2B%202*256*10)%20%2F%20(2*784*128%20%2B%202*128*128%20%2B%202*128*10)%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partC_prediction.value%0A%20%20%20%20%20%20%20%20if%20_pred%20%3D%3D%20%224x%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Correct.**%20Doubling%20width%20from%20128%20to%20256%20increases%20total%20FLOPs%20by%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22~%7B_actual_256%3A.1f%7Dx.%20The%20hidden-to-hidden%20layer%20scales%20as%20W%5E2.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Architecture%20decisions%20--%20not%20just%20hardware%20--%20dominate%20the%20Operations%20term.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%222x%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Linear%20intuition%20fails%20here.**%20Doubling%20width%20actually%20yields%20~%7B_actual_256%3A.1f%7Dx%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22FLOPs.%20The%20hidden-to-hidden%20layer%20has%20FLOPs%3D2*W*W.%20Double%20W%3A%204x%20that%20layer.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Not%20quite.**%20The%20actual%20increase%20is%20~%7B_actual_256%3A.1f%7Dx.%20The%20quadratic%20layer%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22dominates%2C%20but%20input%2Foutput%20layers%20scale%20linearly%2C%20pulling%20total%20below%204x.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MathPeek%3A%20FLOPs%20Scaling%22%3A%20mo.md(f%22%22%22%0A%20%20%20%20**Per-layer%20FLOPs%20for%20MLP%20(784-%3E%7B_w%7D-%3E%7B_w%7D-%3E10)%3A**%0A%20%20%20%20%60%60%60%0A%20%20%20%20Layer%201%3A%202%20*%20784%20*%20%7B_w%7D%20%3D%20%7B_flops_l1%3A%2C%7D%0A%20%20%20%20Layer%202%3A%202%20*%20%7B_w%7D%20*%20%7B_w%7D%20%3D%20%7B_flops_l2%3A%2C%7D%0A%20%20%20%20Layer%203%3A%202%20*%20%7B_w%7D%20*%2010%20%20%3D%20%7B_flops_l3%3A%2C%7D%0A%20%20%20%20Total%20%3D%20%7B_total_flops%3A%2C%7D%0A%20%20%20%20%60%60%60%0A%20%20%20%20Doubling%20128-%3E256%3A%20ratio%20%3D%20%7B_actual_256%3A.2f%7Dx%20(not%202x!)%0A%0A%20%20%20%20Source%3A%20%40sec-nn-computation-flop-counting%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20D%20BUILDER%3A%20Forward%20vs.%20Backward%20Memory%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'RedL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Training%20Infra%20Lead%2C%20NeuralEdge%20Inc.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BInference%20works%20perfectly%20on%20our%20edge%20device.%20We%20want%20to%20add%20on-device%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fine-tuning%2C%20but%20training%20immediately%20runs%20OOM.%20The%20model%20is%20the%20same.%20Why%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20does%20training%20need%20so%20much%20more%20memory%20than%20inference%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20James%20Okafor%2C%20Training%20Infra%20Lead%20%26middot%3B%20NeuralEdge%20Inc.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Inference%20Discards%3B%20Training%20Stores%20Everything%0A%0A%20%20%20%20During%20**inference**%2C%20each%20layer's%20activations%20can%20be%20discarded%20after%20the%20next%0A%20%20%20%20layer%20consumes%20them.%20Memory%20usage%20is%20approximately%20constant.%0A%0A%20%20%20%20During%20**training**%2C%20backpropagation%20needs%20every%20intermediate%20activation%20to%0A%20%20%20%20compute%20gradients.%20All%20layer%20activations%20must%20be%20stored%20**simultaneously**.%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Inference%20memory%20%3D%20weights%20%2B%20max_single_layer_activation%0A%20%20%20%20Training%20memory%20%20%3D%20weights%20%2B%20gradients%20%2B%20ALL_layer_activations%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20The%20training-to-inference%20ratio%20grows%20with%20depth%20and%20batch%20size.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partD_prediction)%0A%0A%20%20%20%20%20%20%20%20if%20partD_prediction.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Select%20your%20prediction%20above%20to%20unlock%20the%20memory%20comparison.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartD_phase%2C%20partD_depth%2C%20partD_batch%2C%20partD_width_d%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_phase%20%3D%20partD_phase.value%0A%20%20%20%20%20%20%20%20_depth%20%3D%20partD_depth.value%0A%20%20%20%20%20%20%20%20_batch%20%3D%20partD_batch.value%0A%20%20%20%20%20%20%20%20_w%20%3D%20partD_width_d.value%0A%20%20%20%20%20%20%20%20_is_training%20%3D%20_phase%20%3D%3D%20%22training%22%0A%20%20%20%20%20%20%20%20_bpp%20%3D%204%0A%20%20%20%20%20%20%20%20_input_dim%20%3D%20784%0A%20%20%20%20%20%20%20%20_output_dim%20%3D%2010%0A%0A%20%20%20%20%20%20%20%20_params_l1%20%3D%20_input_dim%20*%20_w%0A%20%20%20%20%20%20%20%20_params_hidden%20%3D%20max(0%2C%20_depth%20-%202)%20*%20_w%20*%20_w%0A%20%20%20%20%20%20%20%20_params_out%20%3D%20_w%20*%20_output_dim%0A%20%20%20%20%20%20%20%20_total_params%20%3D%20_params_l1%20%2B%20_params_hidden%20%2B%20_params_out%0A%20%20%20%20%20%20%20%20_weight_mb%20%3D%20_total_params%20*%20_bpp%20%2F%20(1024%20*%201024)%0A%0A%20%20%20%20%20%20%20%20_act_per_layer_mb%20%3D%20_batch%20*%20_w%20*%20_bpp%20%2F%20(1024%20*%201024)%0A%0A%20%20%20%20%20%20%20%20if%20_is_training%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_act_total_mb%20%3D%20_act_per_layer_mb%20*%20_depth%0A%20%20%20%20%20%20%20%20%20%20%20%20_grad_mb%20%3D%20_weight_mb%0A%20%20%20%20%20%20%20%20%20%20%20%20_total_mb%20%3D%20_weight_mb%20%2B%20_grad_mb%20%2B%20_act_total_mb%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_act_total_mb%20%3D%20_act_per_layer_mb%0A%20%20%20%20%20%20%20%20%20%20%20%20_grad_mb%20%3D%200.0%0A%20%20%20%20%20%20%20%20%20%20%20%20_total_mb%20%3D%20_weight_mb%20%2B%20_act_total_mb%0A%0A%20%20%20%20%20%20%20%20_inference_mb%20%3D%20_weight_mb%20%2B%20_act_per_layer_mb%0A%20%20%20%20%20%20%20%20_ratio%20%3D%20_total_mb%20%2F%20_inference_mb%20if%20_inference_mb%20%3E%200%20else%201%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_colors_bar%20%3D%20%5BCOLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22GreenLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22RedLine%22%5D%20if%20_is_training%20else%20COLORS%5B%22OrangeLine%22%5D%5D%0A%20%20%20%20%20%20%20%20for%20_name%2C%20_val%2C%20_col%20in%20zip(%5B%22Weights%22%2C%20%22Gradients%22%2C%20%22Activations%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B_weight_mb%2C%20_grad_mb%2C%20_act_total_mb%5D%2C%20_colors_bar)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D_name%2C%20x%3D%5B_phase.capitalize()%5D%2C%20y%3D%5B_val%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_col%2C%20opacity%3D0.88))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D80_000%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22BlueLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%22H100%20(80%20GB)%22%2C%20annotation_position%3D%22right%22)%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D8_000%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22OrangeLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%22iPhone%20(8%20GB)%22%2C%20annotation_position%3D%22right%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(barmode%3D%22stack%22%2C%20height%3D380%2C%20yaxis_title%3D%22Memory%20(MB)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Memory%20Breakdown%20--%20%7B_phase.capitalize()%7D%20(depth%3D%7B_depth%7D%2C%20batch%3D%7B_batch%7D%2C%20width%3D%7B_w%7D)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_depths%20%3D%20np.arange(3%2C%2051)%0A%20%20%20%20%20%20%20%20_inf_mem%20%3D%20np.array(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(_input_dim%20*%20_w%20%2B%20max(0%2C%20d-2)%20*%20_w%20*%20_w%20%2B%20_w%20*%20_output_dim)%20*%20_bpp%20%2F%20(1024*1024)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20_act_per_layer_mb%20for%20d%20in%20_depths%5D)%0A%20%20%20%20%20%20%20%20_train_mem%20%3D%20np.array(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20((_input_dim%20*%20_w%20%2B%20max(0%2C%20d-2)%20*%20_w%20*%20_w%20%2B%20_w%20*%20_output_dim)%20*%20_bpp%20*%202%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20d%20*%20_batch%20*%20_w%20*%20_bpp)%20%2F%20(1024*1024)%20for%20d%20in%20_depths%5D)%0A%0A%20%20%20%20%20%20%20%20_fig2%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig2.add_trace(go.Scatter(x%3D_depths.tolist()%2C%20y%3D_inf_mem.tolist()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%20name%3D%22Inference%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22GreenLine%22%5D%2C%20width%3D2.5)))%0A%20%20%20%20%20%20%20%20_fig2.add_trace(go.Scatter(x%3D_depths.tolist()%2C%20y%3D_train_mem.tolist()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%20name%3D%22Training%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fill%3D%22tonexty%22%2C%20fillcolor%3D%22rgba(203%2C32%2C45%2C0.1)%22))%0A%20%20%20%20%20%20%20%20_fig2.add_trace(go.Scatter(x%3D%5B_depth%5D%2C%20y%3D%5B_total_mb%5D%2C%20mode%3D%22markers%22%2C%20name%3D%22Current%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D12%2C%20color%3DCOLORS%5B%22BlueLine%22%5D%2C%20symbol%3D%22diamond%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(width%3D2%2C%20color%3D%22white%22))))%0A%20%20%20%20%20%20%20%20_fig2.update_layout(height%3D360%2C%20xaxis_title%3D%22Network%20Depth%20(layers)%22%2C%20yaxis_title%3D%22Memory%20(MB)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Memory%20vs.%20Depth%20(batch%3D%7B_batch%7D%2C%20width%3D%7B_w%7D)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig2)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig2))%0A%0A%20%20%20%20%20%20%20%20_ratio_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_ratio%20%3E%205%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_ratio%20%3E%202%20else%20COLORS%5B%22GreenLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EWeights%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_weight_mb%3A%2C.1f%7D%20MB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EGradients%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_grad_mb%3A%2C.1f%7D%20MB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_colors_bar%5B2%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EActivations%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_colors_bar%5B2%5D%7D%3B%22%3E%7B_act_total_mb%3A%2C.1f%7D%20MB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_ratio_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7BCOLORS%5B'TextMuted'%5D%7D%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ETrain%2FInference%20Ratio%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_ratio_color%7D%3B%22%3E%7B_ratio%3A.1f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20_total_mb%20%3E%208_000%20and%20_is_training%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**OOM%20on%20mobile%20(8%20GB).**%20Training%20requires%20%7B_total_mb%3A%2C.0f%7D%20MB.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22On-device%20fine-tuning%20is%20infeasible.%20Reduce%20batch%20size%2C%20depth%2C%20or%20width.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22danger%22))%0A%0A%20%20%20%20%20%20%20%20_pred%20%3D%20partD_prediction.value%0A%20%20%20%20%20%20%20%20if%20_pred%20in%20(%22200mb%22%2C%20%22500mb%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Correct%20range.**%20Training%20requires%20%7B_ratio%3A.1f%7Dx%20the%20memory%20of%20inference%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22at%20current%20settings.%20Stored%20activations%20dominate%3A%20training%20keeps%20all%20%7B_depth%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22layers%20simultaneously%20for%20backpropagation.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20_pred%20%3D%3D%20%22100mb%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**You%20accounted%20for%20gradients%20but%20forgot%20activations.**%20Gradients%20double%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22weight%20memory%20(2x)%2C%20but%20stored%20activations%20add%20depth%20*%20batch%20*%20width%20per%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22layer%20--%20the%20dominant%20term%20at%20deep%20networks.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Training%20is%20much%20more%20expensive%20than%20inference.**%20The%20actual%20ratio%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_ratio%3A.1f%7Dx.%20Backpropagation%20requires%20storing%20all%20intermediate%20activations.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MathPeek%3A%20Training%20vs.%20Inference%20Memory%22%3A%20mo.md(f%22%22%22%0A%20%20%20%20**Inference%3A**%20%7B_weight_mb%3A%2C.1f%7D%20%2B%20%7B_act_per_layer_mb%3A%2C.1f%7D%20%3D%20%7B_inference_mb%3A%2C.1f%7D%20MB%0A%20%20%20%20**Training%3A**%20%7B_weight_mb%3A%2C.1f%7D%20%2B%20%7B_grad_mb%3A%2C.1f%7D%20%2B%20%7B_act_total_mb%3A%2C.1f%7D%20%3D%20%7B_total_mb%3A%2C.1f%7D%20MB%0A%20%20%20%20**Ratio%3A**%20%7B_ratio%3A.1f%7Dx%0A%0A%20%20%20%20Note%3A%20Optimizer%20state%20(Lab%2008)%20adds%202%20more%20weight-sized%20buffers%20for%20Adam.%0A%20%20%20%20Source%3A%20%40sec-nn-computation-backprop-memory%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20SYNTHESIS%20BUILDER%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Synthesis%3A%20Design%20a%20Mobile%20Inference%20Pipeline%0A%0A%20%20%20%20You%20are%20deploying%20a%2010-layer%20vision%20model%20on%20a%20mobile%20NPU%20(iPhone%2C%208%20GB%20RAM%2C%0A%20%20%20%205W%20power%20budget)%20for%20both%20real-time%20inference%20(30%20FPS)%20and%20on-device%20fine-tuning.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22%22%22%0A%20%20%20%201.%20**Activation%20function%20choice**%3A%20Which%20activation%20and%20why%3F%20What%20is%20the%20impact%20on%20mobile%3F%0A%20%20%20%202.%20**Maximum%20batch%20size**%3A%20Before%20activations%20cross%20the%20L2%20boundary%20on%20mobile%0A%20%20%20%20%20%20%20(32%20MB%20L2%2C%20width%3D256)%2C%20what%20is%20the%20maximum%20batch%20size%3F%0A%20%20%20%20%20%20%20*Hint%3A%20batch%20*%20256%20*%204%20bytes%20%3C%3D%2032%20MB*%0A%20%20%20%203.%20**Training%20memory**%3A%20At%20depth%3D10%2C%20batch%3D32%2C%20width%3D256%2C%20what%20is%20the%20total%0A%20%20%20%20%20%20%20(weights%20%2B%20gradients%20%2B%20activations%2C%20ignoring%20optimizer%20state)%3F%0A%20%20%20%204.%20**Feasibility**%3A%20Can%20on-device%20fine-tuning%20fit%20in%208%20GB%3F%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2024px%2028px%3B%20margin%3A%2016px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%2012px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Key%20Takeaways%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.92rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20line-height%3A%201.75%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E1.%20The%20Transistor%20Tax%20is%20deployment-dependent.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Sigmoid%20costs%2050x%20more%20transistors%20than%20ReLU.%20On%20cloud%3A%20invisible%20(%3C1%25).%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20On%20mobile%3A%20~23%25%20of%20inference%20time.%20Architecture%20choices%20free%20on%20one%20target%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20are%20expensive%20on%20another.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E2.%20Memory%20creates%20cliffs%2C%20not%20slopes.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Crossing%20L2%20to%20HBM%20triggers%20a%2010-20x%20latency%20jump.%20Memory-aware%20design%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20means%20keeping%20tensors%20within%20tier%20boundaries.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E3.%20Width%20scales%20quadratically.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Doubling%20hidden%20width%20increases%20dense%20layer%20FLOPs%20by%20~4x.%20The%20Operations%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20term%20in%20the%20Iron%20Law%20is%20dominated%20by%20architecture%20decisions.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E4.%20Training%20stores%20everything%20inference%20discards.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Backpropagation%20requires%20all%20intermediate%20activations%20simultaneously%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20creating%20a%204-10x%20memory%20multiplier%20over%20inference.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2016px%3B%20margin%3A%208px%200%2016px%200%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20What's%20Next%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ELab%2006%3A%20Network%20Architectures%3C%2Fstrong%3E%20--%20This%20lab%20showed%20how%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20individual%20layer%20costs%20scale.%20Lab%2006%20asks%3A%20when%20you%20compose%20layers%20into%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20architectures%20(MLP%2C%20CNN%2C%20Transformer)%2C%20which%20designs%20are%20physically%20feasible%3F%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Textbook%20%26amp%3B%20TinyTorch%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ERead%3A%3C%2Fstrong%3E%20%40sec-nn-computation%20for%20transistor%20costs%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20memory%20hierarchies%2C%20and%20FLOP%20scaling.%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3EBuild%3A%3C%2Fstrong%3E%20TinyTorch%20Module%2005%20--%20implement%20forward%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20backward%20passes%20for%20dense%20layers%20and%20activation%20functions.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20COMPOSE%20TABS%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%20%5Cu2014%20The%20Transistor%20Tax%22%3A%20%20%20%20%20%20%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%20%5Cu2014%20The%20Memory%20Cliff%22%3A%20%20%20%20%20%20%20%20%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%20%5Cu2014%20Width-Squared%20Surprise%22%3A%20%20%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%20%5Cu2014%20Forward%20vs.%20Backward%22%3A%20%20%20%20%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20ledger%2C%20mo)%3A%0A%20%20%20%20_track%20%3D%20ledger._state.track%20or%20%22not%20set%22%0A%20%20%20%20ledger.save(chapter%3D5%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%22chapter%22%3A%20%22v1_05%22%2C%0A%20%20%20%20%20%20%20%20%22completed%22%3A%20True%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3E05%20%26middot%3B%20The%20Transistor%20Tax%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ETRACK%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22%7B'hud-active'%20if%20_track%20!%3D%20'not%20set'%20else%20'hud-none'%7D%22%3E%7B_track%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ECHAPTER%26nbsp%3B5%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3ENeural%20Computation%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%7C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ESTATUS%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-active%22%3Eactive%3C%2Fspan%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A