lab 16 ml conclusion

import%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22..%2F..%2F..%2Fwheels%2Fmlsysim-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%22mlsysim%22%20not%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20_root%20%3D%20Path(__file__).resolve().parents%5B2%5D%0A%20%20%20%20%20%20%20%20if%20str(_root)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_root))%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20import%20mlsysim%0A%0A%20%20%20%20H100_TFLOPS_FP16%20%3D%20mlsysim.Hardware.Cloud.H100.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20H100_BW_GBS%20%20%20%20%20%20%3D%20mlsysim.Hardware.Cloud.H100.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20H100_RAM_GB%20%20%20%20%20%20%3D%20mlsysim.Hardware.Cloud.H100.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20H100_TDP_W%20%20%20%20%20%20%20%3D%20mlsysim.Hardware.Cloud.H100.tdp.m_as(%22W%22)%0A%0A%20%20%20%20%23%20Edge%20tier%20%E2%80%94%20capstone%20comparison%3A%20same%20analysis%20on%20constrained%20hardware%0A%20%20%20%20JETSON_TFLOPS%20%20%20%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20JETSON_BW_GBS%20%20%20%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20JETSON_RAM_GB%20%20%20%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20JETSON_TDP_W%20%20%20%20%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX.tdp.m_as(%22W%22)%0A%0A%20%20%20%20LLAMA2_70B_PARAMS%20%3D%20mlsysim.Models.Language.Llama2_70B.parameters.m_as(%22count%22)%0A%20%20%20%20LLAMA2_70B_LAYERS%20%3D%20mlsysim.Models.Language.Llama2_70B.layers%0A%20%20%20%20LLAMA2_70B_HIDDEN%20%3D%20mlsysim.Models.Language.Llama2_70B.hidden_dim%0A%20%20%20%20LLAMA2_70B_HEADS%20%20%3D%20mlsysim.Models.Language.Llama2_70B.heads%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20H100_BW_GBS%2C%0A%20%20%20%20%20%20%20%20H100_RAM_GB%2C%0A%20%20%20%20%20%20%20%20H100_TFLOPS_FP16%2C%0A%20%20%20%20%20%20%20%20JETSON_BW_GBS%2C%0A%20%20%20%20%20%20%20%20JETSON_RAM_GB%2C%0A%20%20%20%20%20%20%20%20JETSON_TFLOPS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20mo.Html(%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%230f172a%200%25%2C%20%231e293b%2060%25%2C%20%230c1a2e%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2036px%2044px%3B%20border-radius%3A%2016px%3B%20color%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2032px%20rgba(0%2C0%2C0%2C0.35)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20letter-spacing%3A%200.18em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23475569%3B%20text-transform%3A%20uppercase%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Machine%20Learning%20Systems%20%26middot%3B%20Volume%20I%20%26middot%3B%20Lab%2016%20(Capstone)%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch1%20style%3D%22margin%3A%200%200%2010px%200%3B%20font-size%3A%202.4rem%3B%20font-weight%3A%20900%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23f8fafc%3B%20line-height%3A%201.1%3B%20letter-spacing%3A%20-0.02em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Architect's%20Audit%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%206px%200%3B%20font-size%3A%201.15rem%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%2394a3b8%3B%20letter-spacing%3A%200.04em%3B%20font-family%3A%20'SF%20Mono'%2C%20monospace%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Token%20Cost%20%26middot%3B%20Conservation%20%26middot%3B%20Blind%20Spots%20%26middot%3B%20Amdahl%20%26middot%3B%20Cascade%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%2022px%200%3B%20font-size%3A%201.0rem%3B%20color%3A%20%2364748b%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max-width%3A%20680px%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Everything%20you%20have%20learned%20in%2015%20labs%20collapses%20into%20one%20question%3A%20given%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20a%20real%20system%20with%20real%20constraints%2C%20where%20do%20you%20invest%20your%20engineering%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20effort%3F%20The%20answer%20requires%20every%20tool%20in%20your%20toolkit.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2012px%3B%20flex-wrap%3A%20wrap%3B%20margin-bottom%3A%2020px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(99%2C102%2C241%2C0.18)%3B%20color%3A%20%23a5b4fc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(99%2C102%2C241%2C0.3)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%205%20Parts%20%2B%20Synthesis%20%26middot%3B%20~58%20min%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(203%2C32%2C45%2C0.15)%3B%20color%3A%20%23fca5a5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(203%2C32%2C45%2C0.25)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Capstone%3A%20All%20Chapters%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2010px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EMemory%20Wall%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3EAmdahl's%20Law%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-fail%22%3EConstraint%20Cascade%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3EQuantify%20the%20memory%20wall%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20at%20batch%3D1%20for%20Llama-2%2070B%2C%2098%25%20of%20token%20time%20is%20memory%20access.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3EApply%20Amdahl's%20Law%20to%20system%20design%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20optimizing%20the%20largest%20component%20(40%25%20inference)%20by%205x%20yields%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20only%201.47x%20system%20speedup.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3ETrace%20the%20constraint%20cascade%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26mdash%3B%20fixing%20one%20constraint%20(INT4%20quantization)%20shifts%20the%20binding%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20constraint%20to%20KV%20cache%20memory.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20All%20Volume%20I%20chapters%20%26middot%3B%20Labs%2001%26ndash%3B15%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E~58%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%3A%20~12%20%26middot%3B%20B%3A%20~12%20%26middot%3B%20C%3A%20~10%20%26middot%3B%20D%3A%20~8%20%26middot%3B%20E%3A%20~10%20min%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%2012px%20-28px%200%20-28px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2016px%2028px%200%2028px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BYou%20are%20deploying%20Llama-2%2070B%20as%20a%20chat%20service.%20You%20have%20solved%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20memory%20constraint%20with%20INT4%20quantization.%20Why%20is%20the%20system%20still%20broken%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20%26mdash%3B%20This%20is%20the%20capstone%20lab.%20All%20chapters%20are%20prerequisites.%0A%20%20%20%20Review%20your%20Design%20Ledger%20entries%20from%20Labs%2001%26ndash%3B15.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Part%20A%20widgets%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20partA_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~50%25%20(roughly%20balanced)%22%3A%20%2250pct%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~75%25%20(memory%20dominates%20moderately)%22%3A%20%2275pct%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~90%25%20(memory%20dominates%20strongly)%22%3A%20%2290pct%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~98%25%20(memory%20is%20essentially%20all%20the%20time)%22%3A%20%2298pct%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Llama-2%2070B%2C%20batch%3D1%2C%20H100%2C%20FP16.%20What%20fraction%20of%20token%20time%20is%20memory%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(partA_pred%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partA_pred)%3A%0A%20%20%20%20mo.stop(partA_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partA_model%20%3D%20mo.ui.dropdown(options%3D%7B%227B%22%3A%207%2C%20%2213B%22%3A%2013%2C%20%2270B%22%3A%2070%7D%2C%20value%3D%2270B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Model%20size%22)%0A%20%20%20%20partA_prec%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22FP32%20(4B)%22%3A%204%2C%20%22FP16%20(2B)%22%3A%202%2C%20%22INT8%20(1B)%22%3A%201%2C%20%22INT4%20(0.5B)%22%3A%200.5%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22FP16%20(2B)%22%2C%20label%3D%22Precision%22)%0A%20%20%20%20partA_batch%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D256%2C%20value%3D1%2C%20step%3D1%2C%20label%3D%22Batch%20size%22)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Part%20B%20widgets%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20partB_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Still%20~95%25%20after%206%20months%20(INT8%20is%20stable)%22%3A%20%22stable%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Latency%20increased%20from%20hardware%20wear%22%3A%20%22latency%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Accuracy%20silently%20degraded%20~8%25%20while%20metrics%20stayed%20green%22%3A%20%22degraded%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Model%20crashed%20from%20numerical%20instability%22%3A%20%22crashed%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22You%20quantized%20MobileNetV2%20to%20INT8%2C%20deployed%20on%20mobile.%20After%206%20months%20without%20monitoring%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partA_batch%2C%20partA_model%2C%20partA_prec%2C%20partB_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partB_pred)%3A%0A%20%20%20%20mo.stop(partB_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partB_quant%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22FP32%22%3A%20%22fp32%22%2C%20%22FP16%22%3A%20%22fp16%22%2C%20%22INT8%22%3A%20%22int8%22%2C%20%22INT4%22%3A%20%22int4%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22INT8%22%2C%20label%3D%22Quantization%20level%22)%0A%20%20%20%20partB_monitoring%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22None%22%3A%200%2C%20%22Basic%20(uptime%20only)%22%3A%201%2C%20%22Comprehensive%20(PSI%20%2B%20accuracy)%22%3A%202%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22None%22%2C%20label%3D%22Monitoring%20investment%22)%0A%20%20%20%20partB_months%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D12%2C%20value%3D6%2C%20step%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Months%20deployed%22)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Part%20C%20widgets%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20partC_pred%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Amdahl's%20Law%22%3A%20%22amdahl%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Memory%20Wall%22%3A%20%22memory%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Silent%20Degradation%22%3A%20%22degradation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Conservation%20of%20Complexity%22%3A%20%22conservation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22No%20Free%20Fairness%22%3A%20%22fairness%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Memory%20Wall%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20invariant%20do%20you%20think%20you%20most%20consistently%20underestimated%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20partB_monitoring%2C%20partB_months%2C%20partB_quant%2C%20partC_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partC_pred)%3A%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Part%20D%20widgets%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20mo.stop(partC_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partD_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Preprocessing%20(largest%20non-inference)%22%3A%20%22preprocess%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20Inference%20(largest%20overall%3A%201%2F(0.6%2B0.4%2F5)%20%3D%201.47x)%22%3A%20%22inference%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Postprocessing%20(low-hanging%20fruit)%22%3A%20%22postprocess%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20Does%20not%20matter%20--%205x%20on%20any%20yields%20same%20speedup%22%3A%20%22same%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%224%20components%3A%20preprocess%2035%25%2C%20inference%2040%25%2C%20postprocess%2015%25%2C%20logging%2010%25.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Optimize%20ONE%20by%205x.%20Which%20gives%20largest%20end-to-end%20speedup%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(partD_pred%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20partD_pred)%3A%0A%20%20%20%20mo.stop(partD_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partD_preprocess%20%3D%20mo.ui.slider(start%3D5%2C%20stop%3D50%2C%20value%3D35%2C%20step%3D5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Preprocessing%20(%25)%22)%0A%20%20%20%20partD_inference%20%3D%20mo.ui.slider(start%3D5%2C%20stop%3D60%2C%20value%3D40%2C%20step%3D5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Inference%20(%25)%22)%0A%20%20%20%20partD_postprocess%20%3D%20mo.ui.slider(start%3D5%2C%20stop%3D30%2C%20value%3D15%2C%20step%3D5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Postprocessing%20(%25)%22)%0A%20%20%20%20partD_logging%20%3D%20mo.ui.slider(start%3D5%2C%20stop%3D20%2C%20value%3D10%2C%20step%3D5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Logging%20(%25)%22)%0A%20%20%20%20partD_optimize%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Preprocessing%22%3A%20%22preprocess%22%2C%20%22Inference%22%3A%20%22inference%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Postprocessing%22%3A%20%22postprocess%22%2C%20%22Logging%22%3A%20%22logging%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Inference%22%2C%20label%3D%22Component%20to%20optimize%22)%0A%20%20%20%20partD_speedup%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D20%2C%20value%3D5%2C%20step%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Optimization%20speedup%20(x)%22)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Part%20E%20widgets%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20partE_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20Compute%20(INT4%20is%20slower%20per%20op)%22%3A%20%22compute%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20KV%20cache%20memory%20(weights%20fit%20but%20KV%20fills%20HBM)%22%3A%20%22kv_cache%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20Accuracy%20(INT4%20quality%20insufficient)%22%3A%20%22accuracy%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20No%20constraint%20--%20system%20works%22%3A%20%22none%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Quantize%20Llama-2%2070B%20FP16%20to%20INT4%20(35%20GB%20%3C%2080%20GB%20HBM).%20New%20binding%20constraint%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20partD_inference%2C%0A%20%20%20%20%20%20%20%20partD_logging%2C%0A%20%20%20%20%20%20%20%20partD_optimize%2C%0A%20%20%20%20%20%20%20%20partD_postprocess%2C%0A%20%20%20%20%20%20%20%20partD_preprocess%2C%0A%20%20%20%20%20%20%20%20partD_speedup%2C%0A%20%20%20%20%20%20%20%20partE_pred%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20H100_BW_GBS%2C%0A%20%20%20%20H100_RAM_GB%2C%0A%20%20%20%20H100_TFLOPS_FP16%2C%0A%20%20%20%20JETSON_BW_GBS%2C%0A%20%20%20%20JETSON_RAM_GB%2C%0A%20%20%20%20JETSON_TFLOPS%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20go%2C%0A%20%20%20%20ledger%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20partA_batch%2C%0A%20%20%20%20partA_model%2C%0A%20%20%20%20partA_prec%2C%0A%20%20%20%20partA_pred%2C%0A%20%20%20%20partB_monitoring%2C%0A%20%20%20%20partB_months%2C%0A%20%20%20%20partB_pred%2C%0A%20%20%20%20partB_quant%2C%0A%20%20%20%20partC_pred%2C%0A%20%20%20%20partD_inference%2C%0A%20%20%20%20partD_logging%2C%0A%20%20%20%20partD_optimize%2C%0A%20%20%20%20partD_postprocess%2C%0A%20%20%20%20partD_pred%2C%0A%20%20%20%20partD_preprocess%2C%0A%20%20%20%20partD_speedup%2C%0A%20%20%20%20partE_pred%2C%0A)%3A%0A%20%20%20%20mo.stop(partE_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20partE_int4%20%3D%20mo.ui.checkbox(label%3D%22INT4%20Quantization%22%2C%20value%3DFalse)%0A%20%20%20%20partE_pruning%20%3D%20mo.ui.checkbox(label%3D%22Structured%20Pruning%20(50%25)%22%2C%20value%3DFalse)%0A%20%20%20%20partE_distill%20%3D%20mo.ui.checkbox(label%3D%22Knowledge%20Distillation%22%2C%20value%3DFalse)%0A%20%20%20%20partE_retrain%20%3D%20mo.ui.checkbox(label%3D%22Continuous%20Retraining%22%2C%20value%3DFalse)%0A%20%20%20%20partE_shap%20%3D%20mo.ui.checkbox(label%3D%22SHAP%20Explanations%22%2C%20value%3DFalse)%0A%20%20%20%20partE_ctx%20%3D%20mo.ui.slider(start%3D2048%2C%20stop%3D131072%2C%20value%3D32768%2C%20step%3D2048%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Context%20length%20(tokens)%22)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20A%20%E2%80%94%20The%20Cost%20of%20a%20Token%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'BlueL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Final%20Calibration%20%26middot%3B%20Systems%20Architect%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BBefore%20we%20build%20the%20deployment%20spec%2C%20let%20us%20calibrate%20one%20last%20time.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20What%20is%20the%20actual%20cost%20of%20generating%20a%20single%20token%3F%20Not%20the%20API%20price%20%26mdash%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20the%20physics.%26rdquo%3B%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20The%20Iron%20Law%20Revisited%3A%20Autoregressive%20Decoding%0A%0A%20%20%20%20Token%20generation%20has%20arithmetic%20intensity%20of%20~1%20FLOP%2Fbyte%20(2%20FLOPs%20per%20parameter%2C%0A%20%20%20%202%20bytes%20per%20parameter%20in%20FP16).%20This%20places%20it%20deep%20in%20the%20**memory-bandwidth-bound**%0A%20%20%20%20regime%20on%20every%20GPU%20ever%20made%3A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20AI_decode%20%3D%202%20*%20N%20%2F%20(2%20*%20N)%20%3D%201%20FLOP%2Fbyte%0A%20%20%20%20Ridge%20Point%20H100%20%3D%20989%20TFLOPS%20%2F%203350%20GB%2Fs%20%3D%20295%20FLOPs%2Fbyte%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20AI%20(1)%20%3C%3C%20Ridge%20Point%20(295)%3A%20memory%20access%20is%20~295x%20more%20expensive%20than%20compute.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partA_pred)%0A%20%20%20%20%20%20%20%20if%20partA_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Select%20your%20prediction%20to%20unlock%20the%20token%20cost%20calculator.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartA_model%2C%20partA_prec%2C%20partA_batch%5D%2C%20widths%3D%22equal%22))%0A%0A%20%20%20%20%20%20%20%20_pb%20%3D%20partA_model.value%0A%20%20%20%20%20%20%20%20_bpp%20%3D%20partA_prec.value%0A%20%20%20%20%20%20%20%20_batch%20%3D%20partA_batch.value%0A%20%20%20%20%20%20%20%20_w_gb%20%3D%20_pb%20*%201e9%20*%20_bpp%20%2F%20(1024**3)%0A%0A%20%20%20%20%20%20%20%20%23%20Memory%20time%3A%20load%20all%20weights%20once%20per%20token%0A%20%20%20%20%20%20%20%20_t_mem%20%3D%20_w_gb%20%2F%20H100_BW_GBS%20*%201000%20%20%23%20ms%0A%0A%20%20%20%20%20%20%20%20%23%20Compute%20time%3A%202%20*%20params%20*%20batch%20FLOPs%0A%20%20%20%20%20%20%20%20_flops%20%3D%202%20*%20_pb%20*%201e9%20*%20_batch%0A%20%20%20%20%20%20%20%20_t_comp%20%3D%20_flops%20%2F%20(H100_TFLOPS_FP16%20*%201e12%20*%200.5)%20*%201000%20%20%23%20ms%20(50%25%20MFU)%0A%0A%20%20%20%20%20%20%20%20_t_total%20%3D%20max(_t_mem%2C%20_t_comp)%0A%20%20%20%20%20%20%20%20_mem_frac%20%3D%20_t_mem%20%2F%20(_t_mem%20%2B%20_t_comp)%20*%20100%0A%20%20%20%20%20%20%20%20_comp_frac%20%3D%20_t_comp%20%2F%20(_t_mem%20%2B%20_t_comp)%20*%20100%0A%20%20%20%20%20%20%20%20_ai%20%3D%202%20*%20_batch%20%20%23%20FLOPs%2Fbyte%20(at%20batch%3DB%2C%20AI%20%3D%202*B)%0A%20%20%20%20%20%20%20%20_ridge%20%3D%20H100_TFLOPS_FP16%20*%201000%20%2F%20H100_BW_GBS%0A%0A%20%20%20%20%20%20%20%20%23%20Bar%20chart%3A%20memory%20vs%20compute%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Memory%20Time%22%2C%20x%3D%5B%22Token%20Generation%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B_t_mem%5D%2C%20marker_color%3DCOLORS%5B'BlueLine'%5D%2C%20opacity%3D0.88))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Compute%20Time%22%2C%20x%3D%5B%22Token%20Generation%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B_t_comp%5D%2C%20marker_color%3DCOLORS%5B'OrangeLine'%5D%2C%20opacity%3D0.88))%0A%20%20%20%20%20%20%20%20_fig.update_layout(barmode%3D%22group%22%2C%20height%3D300%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Time%20(ms)%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D60%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_mem_col%20%3D%20COLORS%5B'RedLine'%5D%20if%20_mem_frac%20%3E%2090%20else%20COLORS%5B'OrangeLine'%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A2px%20solid%20%7B_mem_col%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7B_mem_col%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EMemory%20Fraction%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_mem_col%7D%3B%22%3E%7B_mem_frac%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_t_mem%3A.2f%7D%20ms%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ECompute%20Fraction%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_comp_frac%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_t_comp%3A.4f%7D%20ms%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A140px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EArithmetic%20Intensity%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_ai%3A.0f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3Evs%20ridge%3D%7B_ridge%3A.0f%7D%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Token%20Cost%20%26mdash%3B%20Live**%20(%60%7B_pb%7DB%2C%20%7B_bpp%7DB%2Fparam%2C%20batch%3D%7B_batch%7D%60)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Weights%20%20%20%20%20%20%3D%20%7B_w_gb%3A.1f%7D%20GB%0A%20%20%20%20T_memory%20%20%20%20%20%3D%20%7B_w_gb%3A.1f%7D%20%2F%20%7BH100_BW_GBS%3A.0f%7D%20GB%2Fs%20%3D%20%7B_t_mem%3A.2f%7D%20ms%0A%20%20%20%20T_compute%20%20%20%20%3D%202*%7B_pb%7DB*%7B_batch%7D%20%2F%20(%7BH100_TFLOPS_FP16%3A.0f%7DT*0.5)%20%3D%20%7B_t_comp%3A.4f%7D%20ms%0A%20%20%20%20Memory%20frac%20%20%3D%20%7B_t_mem%3A.2f%7D%20%2F%20(%7B_t_mem%3A.2f%7D%2B%7B_t_comp%3A.4f%7D)%20%3D%20%7B_mem_frac%3A.0f%7D%25%0A%20%20%20%20AI%20%20%20%20%20%20%20%20%20%20%20%3D%202*%7B_batch%7D%20%3D%20%7B_ai%7D%20FLOPs%2Fbyte%20%20(ridge%20%3D%20%7B_ridge%3A.0f%7D)%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20Iron%20Law%20from%20%40sec-introduction%2C%20revisited*%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20partA_pred.value%20%3D%3D%20%2298pct%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Correct.**%20At%20batch%3D1%2C%20memory%20fraction%20%3D%20%7B_mem_frac%3A.0f%7D%25.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Compute%20optimization%20is%20futile%20without%20addressing%20data%20movement.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Memory%20fraction%20%3D%20%7B_mem_frac%3A.0f%7D%25.**%20Even%20after%2015%20labs%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22students%20underestimate%20the%20severity%20of%20the%20memory%20wall.%22)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Edge%20comparison%3A%20same%20analysis%20on%20Jetson%20Orin%20NX%0A%20%20%20%20%20%20%20%20_edge_t_mem%20%3D%20_w_gb%20%2F%20JETSON_BW_GBS%20*%201000%20if%20JETSON_BW_GBS%20%3E%200%20else%20float('inf')%0A%20%20%20%20%20%20%20%20_edge_t_comp%20%3D%20_flops%20%2F%20(JETSON_TFLOPS%20*%201e12%20*%200.5)%20*%201000%20if%20JETSON_TFLOPS%20%3E%200%20else%20float('inf')%0A%20%20%20%20%20%20%20%20_edge_mem_frac%20%3D%20_edge_t_mem%20%2F%20(_edge_t_mem%20%2B%20_edge_t_comp)%20*%20100%20if%20(_edge_t_mem%20%2B%20_edge_t_comp)%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20_edge_ridge%20%3D%20JETSON_TFLOPS%20*%201000%20%2F%20JETSON_BW_GBS%20if%20JETSON_BW_GBS%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20_fits_edge%20%3D%20_w_gb%20%3C%3D%20JETSON_RAM_GB%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Edge%20comparison%20(Jetson%20Orin%20NX%2C%20%7BJETSON_RAM_GB%3A.0f%7D%20GB)%3A**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(f%22OOM%20%E2%80%94%20%7B_w_gb%3A.1f%7D%20GB%20weights%20exceed%20%7BJETSON_RAM_GB%3A.0f%7D%20GB%20memory.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Edge%20deployment%20requires%20aggressive%20quantization.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20_fits_edge%20else%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22T_memory%20%3D%20%7B_edge_t_mem%3A.1f%7D%20ms%2C%20T_compute%20%3D%20%7B_edge_t_comp%3A.3f%7D%20ms%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22memory%20fraction%20%3D%20%7B_edge_mem_frac%3A.0f%7D%25%20(ridge%20point%20%3D%20%7B_edge_ridge%3A.0f%7D).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20memory%20wall%20is%20%7B_edge_t_mem%2F_t_mem%3A.0f%7Dx%20worse%20on%20edge%20due%20to%20lower%20bandwidth%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22(%7BJETSON_BW_GBS%3A.0f%7D%20vs%20%7BH100_BW_GBS%3A.0f%7D%20GB%2Fs).%22)%0A%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20B%20%E2%80%94%20Conservation%20of%20Complexity%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'OrangeL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Post-Deployment%20Audit%20%26middot%3B%20Systems%20Architect%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BYou%20quantized%20the%20model%20to%20INT8%2C%20shipped%20it%2C%20and%20moved%20on%20to%20the%20next%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20project.%20Six%20months%20later%2C%20with%20no%20monitoring%20investment.%20What%20happened%3F%26rdquo%3B%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Complexity%20Cannot%20Be%20Destroyed%2C%20Only%20Moved%0A%0A%20%20%20%20Quantization%20reduces%20**Algorithm%20complexity**%20but%20shifts%20burden%20to%20the%0A%20%20%20%20**Machine%20axis**%20(monitoring).%20Without%20monitoring%2C%20INT8%20models%20are%20more%0A%20%20%20%20susceptible%20to%20distribution%20shift%20because%20quantization%20reduces%20the%20model's%0A%20%20%20%20effective%20capacity%20to%20absorb%20new%20patterns.%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Conservation%3A%20Delta(Data)%20%2B%20Delta(Algorithm)%20%2B%20Delta(Machine)%20%3D%200%0A%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partB_pred)%0A%20%20%20%20%20%20%20%20if%20partB_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Select%20your%20prediction%20to%20unlock%20the%20conservation%20simulator.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartB_quant%2C%20partB_monitoring%2C%20partB_months%5D%2C%20widths%3D%22equal%22))%0A%0A%20%20%20%20%20%20%20%20_quant%20%3D%20partB_quant.value%0A%20%20%20%20%20%20%20%20_mon%20%3D%20partB_monitoring.value%0A%20%20%20%20%20%20%20%20_months%20%3D%20partB_months.value%0A%0A%20%20%20%20%20%20%20%20%23%20Drift%20rate%20depends%20on%20quantization%20(more%20aggressive%20%3D%20faster%20drift)%0A%20%20%20%20%20%20%20%20_drift_rates%20%3D%20%7B%22fp32%22%3A%200.5%2C%20%22fp16%22%3A%200.6%2C%20%22int8%22%3A%201.3%2C%20%22int4%22%3A%202.0%7D%0A%20%20%20%20%20%20%20%20_drift%20%3D%20_drift_rates%5B_quant%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Monitoring%20reduces%20observed%20impact%20(earlier%20detection)%0A%20%20%20%20%20%20%20%20_detection_delay%20%3D%20%7B0%3A%20_months%2C%201%3A%20_months%2C%202%3A%20max(0%2C%20_months%20-%202)%7D%5B_mon%5D%0A%20%20%20%20%20%20%20%20_acc_loss%20%3D%20_drift%20*%20_detection_delay%0A%0A%20%20%20%20%20%20%20%20%23%20Radar%20chart%3A%205%20axes%0A%20%20%20%20%20%20%20%20_axes%20%3D%20%5B%22Accuracy%22%2C%20%22Latency%22%2C%20%22Memory%22%2C%20%22Power%22%2C%20%22Drift%5CnResilience%22%5D%0A%20%20%20%20%20%20%20%20%23%20Normalize%200-100%20for%20each%20axis%0A%20%20%20%20%20%20%20%20_latency_score%20%3D%20%7B%22fp32%22%3A%2040%2C%20%22fp16%22%3A%2070%2C%20%22int8%22%3A%2085%2C%20%22int4%22%3A%2095%7D%5B_quant%5D%0A%20%20%20%20%20%20%20%20_memory_score%20%3D%20%7B%22fp32%22%3A%2030%2C%20%22fp16%22%3A%2060%2C%20%22int8%22%3A%2080%2C%20%22int4%22%3A%2095%7D%5B_quant%5D%0A%20%20%20%20%20%20%20%20_power_score%20%3D%20%7B%22fp32%22%3A%2050%2C%20%22fp16%22%3A%2065%2C%20%22int8%22%3A%2080%2C%20%22int4%22%3A%2090%7D%5B_quant%5D%0A%20%20%20%20%20%20%20%20_acc_score%20%3D%20max(0%2C%2095%20-%20_acc_loss)%0A%20%20%20%20%20%20%20%20_resilience_score%20%3D%20max(0%2C%2090%20-%20_drift%20*%2010%20*%20(2%20-%20_mon))%0A%0A%20%20%20%20%20%20%20%20_values%20%3D%20%5B_acc_score%2C%20_latency_score%2C%20_memory_score%2C%20_power_score%2C%20_resilience_score%5D%0A%20%20%20%20%20%20%20%20_values_closed%20%3D%20_values%20%2B%20%5B_values%5B0%5D%5D%0A%20%20%20%20%20%20%20%20_axes_closed%20%3D%20_axes%20%2B%20%5B_axes%5B0%5D%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatterpolar(r%3D_values_closed%2C%20theta%3D_axes_closed%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fill%3D'toself'%2C%20name%3D'System%20State'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fillcolor%3Df%22rgba(0%2C99%2C149%2C0.15)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B'BlueLine'%5D%2C%20width%3D2)))%0A%20%20%20%20%20%20%20%20_fig.update_layout(polar%3Ddict(radialaxis%3Ddict(visible%3DTrue%2C%20range%3D%5B0%2C%20100%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3D380%2C%20margin%3Ddict(l%3D60%2C%20r%3D60%2C%20t%3D40%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20if%20_acc_loss%20%3E%205%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Silent%20degradation.**%20%7B_quant.upper()%7D%20model%20lost%20%7B_acc_loss%3A.1f%7D%20pp%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22in%20%7B_months%7D%20months.%20Monitoring%20level%3A%20%7B%5B'None'%2C%20'Basic'%2C%20'Comprehensive'%5D%5B_mon%5D%7D.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20accuracy%20axis%20shrank%20while%20all%20others%20stayed%20green.%22)%2C%20kind%3D%22danger%22))%0A%20%20%20%20%20%20%20%20elif%20_acc_loss%20%3E%202%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Drift%20detected.**%20%7B_acc_loss%3A.1f%7D%20pp%20accuracy%20loss.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Comprehensive%20monitoring%20would%20have%20flagged%20this%20earlier.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Accuracy%20stable.**%20%7B_acc_loss%3A.1f%7D%20pp%20loss%20over%20%7B_months%7D%20months.%22)%2C%20kind%3D%22success%22))%0A%0A%20%20%20%20%20%20%20%20if%20partB_pred.value%20%3D%3D%20%22degraded%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20Quantization%20reduces%20model%20robustness%20to%20distribution%20shift.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Without%20monitoring%2C%20accuracy%20silently%20erodes%20while%20infrastructure%20stays%20green.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**INT8%20models%20drift%20faster%20than%20FP32.**%20Reduced%20effective%20capacity%20means%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22less%20tolerance%20for%20distribution%20shift.%20Conservation%20of%20Complexity.%22)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20C%20%E2%80%94%20Design%20Ledger%20Archaeology%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Your%20Prediction%20History%20Reveals%20Systematic%20Blind%20Spots%0A%0A%20%20%20%20Before%20viewing%20your%20data%2C%20assess%3A%20which%20invariant%20did%20your%20intuition%0A%20%20%20%20most%20consistently%20underweight%20across%20all%2015%20labs%3F%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partC_pred)%0A%0A%20%20%20%20%20%20%20%20%23%20Load%20design%20ledger%20history%20(or%20use%20defaults)%0A%20%20%20%20%20%20%20%20_history%20%3D%20ledger._state.history%0A%20%20%20%20%20%20%20%20_has_data%20%3D%20len(_history)%20%3E%203%0A%0A%20%20%20%20%20%20%20%20if%20_has_data%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Design%20Ledger%20loaded.**%20Found%20data%20from%20%7Blen(_history)%7D%20labs.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Your%20personal%20prediction%20profile%20is%20shown%20below.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Using%20class%20median%20data.**%20Complete%20your%20Design%20Ledger%20entries%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22for%20a%20personalized%20analysis.%20Showing%20typical%20student%20profile.%22)%2C%20kind%3D%22info%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Typical%20student%20error%20profile%20(class%20median)%0A%20%20%20%20%20%20%20%20_invariants%20%3D%20%5B%22Amdahl's%5CnLaw%22%2C%20%22Memory%5CnWall%22%2C%20%22Silent%5CnDegradation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Conservation%22%2C%20%22No%20Free%5CnFairness%22%5D%0A%20%20%20%20%20%20%20%20_typical_errors%20%3D%20%5B35%2C%2055%2C%2070%2C%2045%2C%2060%5D%20%20%23%20avg%20prediction%20error%20%25%0A%20%20%20%20%20%20%20%20_self_assess%20%3D%20%7B%22amdahl%22%3A%200%2C%20%22memory%22%3A%201%2C%20%22degradation%22%3A%202%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22conservation%22%3A%203%2C%20%22fairness%22%3A%204%7D%0A%0A%20%20%20%20%20%20%20%20%23%20Highlight%20self-assessed%20weakness%0A%20%20%20%20%20%20%20%20_sa_idx%20%3D%20_self_assess.get(partC_pred.value%2C%201)%20if%20partC_pred.value%20else%201%0A%20%20%20%20%20%20%20%20_colors%20%3D%20%5BCOLORS%5B'BlueLine'%5D%5D%20*%205%0A%20%20%20%20%20%20%20%20_colors%5B_sa_idx%5D%20%3D%20COLORS%5B'OrangeLine'%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(x%3D_invariants%2C%20y%3D_typical_errors%2C%20marker_color%3D_colors%2C%20opacity%3D0.88))%0A%20%20%20%20%20%20%20%20_fig.update_layout(height%3D340%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Avg%20Prediction%20Error%20(%25)%22%2C%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D40%2C%20b%3D60))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_worst%20%3D%20_invariants%5Bnp.argmax(_typical_errors)%5D%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Largest%20blind%20spot%20(class%20median)%3A%20%7B_worst%7D**%20with%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bmax(_typical_errors)%7D%25%20average%20prediction%20error.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Silent%20Degradation%20is%20consistently%20the%20most%20underestimated%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22invariant%20because%20students%20conflate%20infrastructure%20health%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22with%20model%20health.%22)%2C%20kind%3D%22info%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20D%20%E2%80%94%20The%20Amdahl%20Ceiling%20Revisited%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'OrangeL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Resource%20Allocation%20%26middot%3B%20Engineering%20Sprint%20Planning%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20have%20one%20engineering%20sprint%20to%20optimize%20our%20ML%20pipeline.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Four%20components%2C%20one%205x%20optimization%20budget.%20Where%20does%20the%20math%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20say%20we%20should%20invest%3F%26rdquo%3B%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20Amdahl's%20Law%20Is%20a%20Resource%20Allocation%20Framework%0A%0A%20%20%20%20From%20Lab%2012%3A%20%60Speedup%20%3D%201%20%2F%20((1%20-%20f)%20%2B%20f%2FS)%60%20where%20f%20is%20the%20fraction%20of%20time%0A%20%20%20%20in%20the%20optimized%20component%20and%20S%20is%20the%20speedup%20factor.%0A%0A%20%20%20%20The%20component%20with%20the%20**largest%20time%20fraction**%20has%20the%20highest-leverage%20optimization.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partD_pred)%0A%20%20%20%20%20%20%20%20if%20partD_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Select%20your%20prediction%20to%20unlock%20the%20Amdahl%20calculator.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartD_preprocess%2C%20partD_inference%2C%20partD_postprocess%2C%20partD_logging%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20widths%3D%22equal%22))%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartD_optimize%2C%20partD_speedup%5D%2C%20widths%3D%22equal%22))%0A%0A%20%20%20%20%20%20%20%20_fracs%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22preprocess%22%3A%20partD_preprocess.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22inference%22%3A%20partD_inference.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22postprocess%22%3A%20partD_postprocess.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22logging%22%3A%20partD_logging.value%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_total_pct%20%3D%20sum(_fracs.values())%0A%20%20%20%20%20%20%20%20%23%20Normalize%0A%20%20%20%20%20%20%20%20_norm%20%3D%20%7Bk%3A%20v%20%2F%20_total_pct%20for%20k%2C%20v%20in%20_fracs.items()%7D%0A%0A%20%20%20%20%20%20%20%20_opt%20%3D%20partD_optimize.value%0A%20%20%20%20%20%20%20%20_S%20%3D%20partD_speedup.value%0A%20%20%20%20%20%20%20%20_f%20%3D%20_norm%5B_opt%5D%0A%20%20%20%20%20%20%20%20_amdahl%20%3D%201%20%2F%20((1%20-%20_f)%20%2B%20_f%20%2F%20_S)%0A%0A%20%20%20%20%20%20%20%20%23%20Compute%20speedup%20for%20all%20components%0A%20%20%20%20%20%20%20%20_all_speedups%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20for%20_comp%2C%20_frac%20in%20_norm.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_all_speedups%5B_comp%5D%20%3D%201%20%2F%20((1%20-%20_frac)%20%2B%20_frac%20%2F%20_S)%0A%0A%20%20%20%20%20%20%20%20_best%20%3D%20max(_all_speedups%2C%20key%3D_all_speedups.get)%0A%20%20%20%20%20%20%20%20_labels%20%3D%20%7B%22preprocess%22%3A%20%22Preprocessing%22%2C%20%22inference%22%3A%20%22Inference%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22postprocess%22%3A%20%22Postprocessing%22%2C%20%22logging%22%3A%20%22Logging%22%7D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_comps%20%3D%20list(_labels.values())%0A%20%20%20%20%20%20%20%20_speeds%20%3D%20%5B_all_speedups%5Bk%5D%20for%20k%20in%20_labels%5D%0A%20%20%20%20%20%20%20%20_cols%20%3D%20%5BCOLORS%5B'GreenLine'%5D%20if%20k%20%3D%3D%20_best%20else%20COLORS%5B'BlueLine'%5D%20for%20k%20in%20_labels%5D%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(x%3D_comps%2C%20y%3D_speeds%2C%20marker_color%3D_cols%2C%20opacity%3D0.88))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D1.0%2C%20line_dash%3D%22dash%22%2C%20line_color%3D%22%2394a3b8%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%22No%20speedup%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(height%3D340%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3Df%22System%20Speedup%20(%7B_S%7Dx%20component%20opt)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gridcolor%3D%22%23f1f5f9%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D40%2C%20b%3D40))%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A2px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EBest%20Target%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.3rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_labels%5B_best%5D%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_norm%5B_best%5D*100%3A.0f%7D%25%20of%20time%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EYour%20Choice%3A%20%7B_labels%5B_opt%5D%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_amdahl%3A.2f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_S%7Dx%20on%20%7B_norm%5B_opt%5D*100%3A.0f%7D%25%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A150px%3B%20text-align%3Acenter%3B%20background%3Awhite%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EBest%20Possible%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_all_speedups%5B_best%5D%3A.2f%7Dx%3C%2Fdiv%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20partD_pred.value%20%3D%3D%20%22inference%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Correct.**%20Inference%20at%2040%25%20has%20the%20highest%20leverage%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%221%2F(0.6%20%2B%200.4%2F5)%20%3D%201.47x.%20Not%20intuitive%20but%20mathematically%20optimal.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partD_pred.value%20%3D%3D%20%22same%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**They%20are%20NOT%20the%20same.**%20Amdahl's%20Law%20shows%20the%20speedup%20depends%20on%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22the%20fraction%3A%205x%20on%2040%25%20%3D%20%7B1%2F(0.6%2B0.4%2F5)%3A.2f%7Dx%2C%20but%205x%20on%2010%25%20%3D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B1%2F(0.9%2B0.1%2F5)%3A.2f%7Dx.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**The%20largest%20component%20wins.**%20%7B_labels%5B_best%5D%7D%20at%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_norm%5B_best%5D*100%3A.0f%7D%25%20gives%20%7B_all_speedups%5B_best%5D%3A.2f%7Dx.%22)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20PART%20E%20%E2%80%94%20The%20Constraint%20Cascade%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20def%20build_part_e()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'RedL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Final%20Lesson%20%26middot%3B%20Systems%20Architect%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BYou%20quantized%20to%20INT4.%20The%20model%20fits%20in%20memory.%20Problem%20solved%3F%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Apply%20optimizations%20one%20at%20a%20time%20and%20watch%20what%20happens%20to%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20constraint%20landscape.%26rdquo%3B%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%23%23%20The%20Constraint%20Cascade%3A%20Fixing%20One%20Creates%20Another%0A%0A%20%20%20%20Optimizing%20one%20axis%20does%20not%20solve%20the%20problem%20%26mdash%3B%20it%20moves%20the%20binding%0A%20%20%20%20constraint.%20This%20is%20the%20Conservation%20of%20Complexity%20made%20dynamic%3A%0A%0A%20%20%20%20-%20INT4%20quantization%3A%20solves%20memory%2C%20creates%20precision%20constraint%0A%20%20%20%20-%20Larger%20batch%3A%20solves%20throughput%2C%20creates%20latency%20constraint%0A%20%20%20%20-%20More%20retraining%3A%20solves%20drift%2C%20creates%20carbon%20constraint%0A%0A%20%20%20%20The%20architect's%20job%20is%20to%20choose%20**which%20constraint%20to%20live%20with**.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(partE_pred)%0A%20%20%20%20%20%20%20%20if%20partE_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Select%20your%20prediction%20to%20unlock%20the%20constraint%20dashboard.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22**Apply%20optimizations%20one%20at%20a%20time%3A**%22))%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpartE_int4%2C%20partE_pruning%2C%20partE_distill%2C%20partE_retrain%2C%20partE_shap%5D))%0A%20%20%20%20%20%20%20%20items.append(partE_ctx)%0A%0A%20%20%20%20%20%20%20%20_ctx%20%3D%20partE_ctx.value%0A%20%20%20%20%20%20%20%20_int4%20%3D%20partE_int4.value%0A%20%20%20%20%20%20%20%20_prune%20%3D%20partE_pruning.value%0A%20%20%20%20%20%20%20%20_distill%20%3D%20partE_distill.value%0A%20%20%20%20%20%20%20%20_retrain%20%3D%20partE_retrain.value%0A%20%20%20%20%20%20%20%20_shap%20%3D%20partE_shap.value%0A%0A%20%20%20%20%20%20%20%20%23%20Base%20config%3A%2070B%20FP16%20on%20H100%0A%20%20%20%20%20%20%20%20_params%20%3D%2070%20%20%23%20B%0A%20%20%20%20%20%20%20%20_bpp%20%3D%202.0%20%20%23%20FP16%0A%20%20%20%20%20%20%20%20if%20_int4%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_bpp%20%3D%200.5%0A%20%20%20%20%20%20%20%20if%20_prune%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_params%20*%3D%200.5%0A%20%20%20%20%20%20%20%20if%20_distill%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_params%20%3D%2013%20%20%23%20distilled%20to%2013B%0A%0A%20%20%20%20%20%20%20%20_w_gb%20%3D%20_params%20*%201e9%20*%20_bpp%20%2F%20(1024**3)%0A%0A%20%20%20%20%20%20%20%20%23%20KV%20cache%20(always%20FP16%20for%20KV)%0A%20%20%20%20%20%20%20%20_layers%20%3D%20%7B70%3A%2080%2C%2035%3A%2040%2C%2013%3A%2040%7D.get(int(_params)%2C%2080)%0A%20%20%20%20%20%20%20%20_heads%20%3D%20%7B70%3A%2064%2C%2035%3A%2032%2C%2013%3A%2040%7D.get(int(_params)%2C%2064)%0A%20%20%20%20%20%20%20%20_hidden%20%3D%20%7B70%3A%208192%2C%2035%3A%204096%2C%2013%3A%205120%7D.get(int(_params)%2C%208192)%0A%20%20%20%20%20%20%20%20_hdim%20%3D%20_hidden%20%2F%2F%20_heads%0A%20%20%20%20%20%20%20%20_kv_gb%20%3D%20(2%20*%20_layers%20*%20_heads%20*%20_hdim%20*%20_ctx%20*%202)%20%2F%20(1024**3)%20%20%23%20FP16%20KV%0A%0A%20%20%20%20%20%20%20%20_total_mem%20%3D%20_w_gb%20%2B%20_kv_gb%0A%20%20%20%20%20%20%20%20_mem_ok%20%3D%20_total_mem%20%3C%3D%20H100_RAM_GB%0A%0A%20%20%20%20%20%20%20%20%23%20Accuracy%20(INT4%20loses%20~2-3%25%2C%20pruning%20loses%20~1-2%25%2C%20distill%20loses%20~3-5%25)%0A%20%20%20%20%20%20%20%20_acc%20%3D%2095.0%0A%20%20%20%20%20%20%20%20if%20_int4%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_acc%20-%3D%202.5%0A%20%20%20%20%20%20%20%20if%20_prune%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_acc%20-%3D%201.5%0A%20%20%20%20%20%20%20%20if%20_distill%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_acc%20-%3D%204.0%0A%20%20%20%20%20%20%20%20_acc_ok%20%3D%20_acc%20%3E%3D%2088%0A%0A%20%20%20%20%20%20%20%20%23%20Latency%20(base%20token%20time)%0A%20%20%20%20%20%20%20%20_t_tok%20%3D%20_w_gb%20%2F%20H100_BW_GBS%20*%201000%20%20%23%20ms%0A%20%20%20%20%20%20%20%20if%20_shap%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_t_tok%20*%3D%2050%20%20%23%20SHAP%20with%20~50%20features%0A%20%20%20%20%20%20%20%20_lat_ok%20%3D%20_t_tok%20%3C%20100%20%20%23%20ms%20per%20token%0A%0A%20%20%20%20%20%20%20%20%23%20Carbon%20(relative)%0A%20%20%20%20%20%20%20%20_carbon_mult%20%3D%201.0%0A%20%20%20%20%20%20%20%20if%20_retrain%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_carbon_mult%20*%3D%2052%20%20%23%20weekly%0A%20%20%20%20%20%20%20%20if%20_shap%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_carbon_mult%20*%3D%205%20%20%23%20explanations%0A%20%20%20%20%20%20%20%20_carbon_ok%20%3D%20_carbon_mult%20%3C%2020%0A%0A%20%20%20%20%20%20%20%20%23%20Fairness%20(assume%20no%20fairness%20constraint%20by%20default)%0A%20%20%20%20%20%20%20%20_fair_ok%20%3D%20True%20%20%23%20simplified%0A%0A%20%20%20%20%20%20%20%20%23%20Determine%20binding%20constraint%0A%20%20%20%20%20%20%20%20_constraints%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Memory%22%3A%20_mem_ok%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Accuracy%22%3A%20_acc_ok%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Latency%22%3A%20_lat_ok%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Carbon%22%3A%20_carbon_ok%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Fairness%22%3A%20_fair_ok%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_binding%20%3D%20%5Bk%20for%20k%2C%20v%20in%20_constraints.items()%20if%20not%20v%5D%0A%20%20%20%20%20%20%20%20_all_ok%20%3D%20len(_binding)%20%3D%3D%200%0A%0A%20%20%20%20%20%20%20%20%23%20Dashboard%0A%20%20%20%20%20%20%20%20def%20_constraint_card(name%2C%20ok%2C%20value_str)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_col%20%3D%20COLORS%5B'GreenLine'%5D%20if%20ok%20else%20COLORS%5B'RedLine'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_bg%20%3D%20COLORS%5B'GreenLL'%5D%20if%20ok%20else%20COLORS%5B'RedLL'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_status%20%3D%20%22OK%22%20if%20ok%20else%20%22VIOLATED%22%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A14px%3B%20border%3A2px%20solid%20%7B_col%7D%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min-width%3A110px%3B%20text-align%3Acenter%3B%20background%3A%7B_bg%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%7B_col%7D%3B%20font-size%3A0.72rem%3B%20font-weight%3A700%3B%22%3E%7Bname%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.1rem%3B%20font-weight%3A800%3B%20color%3A%7B_col%7D%3B%20margin%3A4px%200%3B%22%3E%7Bvalue_str%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%7B_col%7D%3B%20font-weight%3A600%3B%22%3E%7B_status%7D%3C%2Fdiv%3E%3C%2Fdiv%3E%22%22%22%0A%0A%20%20%20%20%20%20%20%20_cards%20%3D%20'%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A10px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E'%0A%20%20%20%20%20%20%20%20_cards%20%2B%3D%20_constraint_card(%22Memory%22%2C%20_mem_ok%2C%20f%22%7B_total_mem%3A.0f%7D%2F%7BH100_RAM_GB%3A.0f%7D%20GB%22)%0A%20%20%20%20%20%20%20%20_cards%20%2B%3D%20_constraint_card(%22Accuracy%22%2C%20_acc_ok%2C%20f%22%7B_acc%3A.1f%7D%25%22)%0A%20%20%20%20%20%20%20%20_cards%20%2B%3D%20_constraint_card(%22Latency%22%2C%20_lat_ok%2C%20f%22%7B_t_tok%3A.1f%7D%20ms%2Ftok%22)%0A%20%20%20%20%20%20%20%20_cards%20%2B%3D%20_constraint_card(%22Carbon%22%2C%20_carbon_ok%2C%20f%22%7B_carbon_mult%3A.0f%7Dx%22)%0A%20%20%20%20%20%20%20%20_cards%20%2B%3D%20_constraint_card(%22Fairness%22%2C%20_fair_ok%2C%20%22Unconstrained%22)%0A%20%20%20%20%20%20%20%20_cards%20%2B%3D%20'%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20items.append(mo.Html(_cards))%0A%0A%20%20%20%20%20%20%20%20if%20_all_ok%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**All%20constraints%20satisfied.**%20But%20at%20what%20cost%3F%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Accuracy%20%3D%20%7B_acc%3A.1f%7D%25%2C%20which%20may%20not%20meet%20production%20requirements.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Binding%20constraint(s)%3A%20%7B'%2C%20'.join(_binding)%7D.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Each%20optimization%20resolves%20one%20constraint%20but%20shifts%20the%20binding%20to%20another.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20is%20the%20Constraint%20Cascade.%22)%2C%20kind%3D%22danger%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Cascade%20trace%0A%20%20%20%20%20%20%20%20_trace_lines%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20_int4%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_trace_lines.append(%22INT4%3A%20Memory%20OK%2C%20but%20accuracy%20-2.5%20pp%22)%0A%20%20%20%20%20%20%20%20if%20_prune%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_trace_lines.append(%22Pruning%3A%20Memory%20further%20reduced%2C%20accuracy%20-1.5%20pp%22)%0A%20%20%20%20%20%20%20%20if%20_distill%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_trace_lines.append(%22Distillation%3A%2013B%20model%2C%20accuracy%20-4.0%20pp%2C%20latency%20improved%22)%0A%20%20%20%20%20%20%20%20if%20_retrain%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_trace_lines.append(%22Continuous%20retraining%3A%20drift%20controlled%2C%20carbon%2052x%22)%0A%20%20%20%20%20%20%20%20if%20_shap%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_trace_lines.append(%22SHAP%3A%20explanations%20available%2C%20latency%2050x%2C%20carbon%205x%22)%0A%0A%20%20%20%20%20%20%20%20if%20_trace_lines%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_trace_md%20%3D%20%22%5Cn%22.join(f%22-%20%7Bl%7D%22%20for%20l%20in%20_trace_lines)%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.md(f%22**Cascade%20Trace%3A**%5Cn%5Cn%7B_trace_md%7D%22))%0A%0A%20%20%20%20%20%20%20%20if%20partE_pred.value%20%3D%3D%20%22kv_cache%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20INT4%20weights%20(35%20GB)%20fit%20in%2080%20GB%20HBM.%20But%20KV%20cache%20at%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_ctx%3A%2C%7D%20tokens%20in%20FP16%20adds%20another%20%7B_kv_gb%3A.0f%7D%20GB.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20constraint%20moved%20from%20'model%20too%20large'%20to%20'context%20too%20long'.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20partE_pred.value%20%3D%3D%20%22none%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**The%20system%20is%20NOT%20constraint-free.**%20INT4%20solves%20the%20weight%20memory%20constraint%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22but%20KV%20cache%20at%2032K%20tokens%20%3D%20~40%20GB.%20Total%20%3D%2075%20GB%20of%2080%20GB%20HBM.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22At%2064K%2C%20you%20OOM%20again.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**The%20new%20binding%20constraint%20is%20KV%20cache%20memory.**%20INT4%20weights%20fit%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22but%20KV%20cache%20at%20long%20context%20fills%20HBM.%22)%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20%23%20SYNTHESIS%0A%20%20%20%20%23%20%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%E2%95%90%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Key%20Takeaways%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**1.%20The%20memory%20wall%20dominates%20token%20generation%20by%2040x%20or%20more.**%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22At%20batch%3D1%2C%2098%25%20of%20time%20is%20memory%20access.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Compute%20optimization%20is%20futile%20without%20fixing%20data%20movement.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**2.%20Amdahl's%20Law%20is%20a%20resource%20allocation%20framework%2C%20not%20just%20a%20speedup%20formula.**%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Optimize%20the%20largest%20time%20fraction%20first.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%225x%20on%2040%25%20%3D%201.47x.%205x%20on%2010%25%20%3D%201.02x.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**3.%20The%20Constraint%20Cascade%20is%20the%20final%20lesson.**%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Fixing%20one%20constraint%20shifts%20the%20binding%20to%20the%20next.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22INT4%20solves%20memory%20but%20creates%20KV%20cache%20and%20accuracy%20constraints.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20architect%20chooses%20which%20constraint%20to%20live%20with.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Connections%0A%0A%20%20%20%20**Textbook%3A**%20This%20capstone%20lab%20integrates%20every%20chapter%20of%20Volume%20I.%20The%20five%20invariants%0A%20%20%20%20(Amdahl's%20Law%2C%20Memory%20Wall%2C%20Silent%20Degradation%2C%20Conservation%20of%20Complexity%2C%0A%20%20%20%20No%20Free%20Fairness)%20govern%20all%20ML%20systems%20design%20decisions.%0A%0A%20%20%20%20**TinyTorch%3A**%20You%20have%20now%20completed%20the%20conceptual%20foundation.%20The%2020%20TinyTorch%20modules%0A%20%20%20%20let%20you%20build%20these%20systems%20from%20scratch.%0A%0A%20%20%20%20**Volume%20II%3A**%20Distributed%20systems%20at%20scale%20%26mdash%3B%20when%20the%20constraints%20of%20a%20single%20machine%0A%20%20%20%20are%20no%20longer%20enough%2C%20and%20you%20must%20reason%20about%20networks%2C%20fault%20tolerance%2C%20and%20coordination.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Self-Assessment%3A%20Can%20you%20answer%20these%20from%20memory%3F%22%3A%20mo.md(%22%22%22%0A%20%20%20%201.%20At%20what%20batch%20size%20does%20Llama-2%2070B%20decode%20transition%20from%20memory-bound%20to%20compute-bound%20on%20H100%3F%0A%20%20%20%202.%20What%20is%20the%20optimal%20retraining%20interval%20when%20training%20costs%20%2410K%20and%20drift%20costs%20%24500%2Fday%3F%0A%20%20%20%203.%20Why%20does%20quantizing%20to%20INT4%20NOT%20solve%20the%20memory%20problem%20at%20128K%20context%3F%0A%20%20%20%204.%20Which%20invariant%20did%20your%20predictions%20most%20consistently%20underestimate%3F%0A%20%20%20%205.%20If%20you%20optimize%20inference%20(40%25%20of%20pipeline%20time)%20by%205x%2C%20what%20is%20the%20end-to-end%20speedup%3F%0A%0A%20%20%20%20*If%20you%20cannot%20answer%20all%20five%2C%20revisit%20the%20relevant%20Parts.*%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%20%5Cu2014%20The%20Cost%20of%20a%20Token%22%3A%20%20%20%20%20%20%20%20%20%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%20%5Cu2014%20Conservation%20of%20Complexity%22%3A%20%20%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%20%5Cu2014%20Design%20Ledger%20Archaeology%22%3A%20%20%20%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%20%5Cu2014%20The%20Amdahl%20Ceiling%20Revisited%22%3A%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Part%20E%20%5Cu2014%20The%20Constraint%20Cascade%22%3A%20%20%20%20%20%20%20build_part_e()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ledger%2C%20mo)%3A%0A%20%20%20%20_track%20%3D%20ledger.get_track()%0A%20%20%20%20ledger.save(chapter%3D16%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%22chapter%22%3A%20%22v1_16%22%2C%0A%20%20%20%20%20%20%20%20%22completed%22%3A%20True%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%3Cspan%20class%3D%22hud-value%22%3E16%20%26mdash%3B%20Architect's%20Audit%20(Capstone)%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ETRACK%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22%7B'hud-active'%20if%20_track%20!%3D%20'NONE'%20else%20'hud-none'%7D%22%3E%7B_track%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ESTATUS%3C%2Fspan%3E%3Cspan%20class%3D%22hud-active%22%3EACTIVE%3C%2Fspan%3E%0A%20%20%20%20%3C%2Fdiv%3E%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A