lab 10 model compress

import%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22..%2F..%2F..%2Fwheels%2Fmlsysim-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%22mlsysim%22%20not%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20_root%20%3D%20Path(__file__).resolve().parents%5B2%5D%0A%20%20%20%20%20%20%20%20if%20str(_root)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_root))%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20import%20mlsysim%0A%0A%20%20%20%20H100_TFLOPS%20%3D%20mlsysim.Hardware.Cloud.H100.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20H100_BW%20%20%20%20%20%3D%20mlsysim.Hardware.Cloud.H100.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20H100_RAM%20%20%20%20%3D%20mlsysim.Hardware.Cloud.H100.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20H100_TDP%20%20%20%20%3D%20mlsysim.Hardware.Cloud.H100.tdp.m_as(%22W%22)%0A%0A%20%20%20%20IPHONE_TFLOPS%20%3D%20mlsysim.Hardware.Mobile.iPhone15Pro.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20IPHONE_BW%20%20%20%20%20%3D%20mlsysim.Hardware.Mobile.iPhone15Pro.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20IPHONE_RAM%20%20%20%20%3D%20mlsysim.Hardware.Mobile.iPhone15Pro.memory.capacity.m_as(%22GB%22)%0A%20%20%20%20IPHONE_TDP%20%20%20%20%3D%20mlsysim.Hardware.Mobile.iPhone15Pro.tdp.m_as(%22W%22)%0A%0A%20%20%20%20JETSON_TFLOPS%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX.compute.peak_flops.m_as(%22TFLOPs%2Fs%22)%0A%20%20%20%20JETSON_BW%20%20%20%20%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX.memory.bandwidth.m_as(%22GB%2Fs%22)%0A%20%20%20%20JETSON_RAM%20%20%20%20%3D%20mlsysim.Hardware.Edge.JetsonOrinNX.memory.capacity.m_as(%22GB%22)%0A%0A%20%20%20%20RESNET50_PARAMS%20%3D%20mlsysim.Models.ResNet50.parameters.m_as(%22count%22)%0A%20%20%20%20RESNET50_FLOPS%20%20%3D%20mlsysim.Models.ResNet50.inference_flops.m_as(%22flop%22)%0A%20%20%20%20MOBILENET_PARAMS%20%3D%20mlsysim.Models.MobileNetV2.parameters.m_as(%22count%22)%0A%20%20%20%20MOBILENET_FLOPS%20%20%3D%20mlsysim.Models.MobileNetV2.inference_flops.m_as(%22flop%22)%0A%20%20%20%20LLAMA3_8B_PARAMS%20%3D%20mlsysim.Models.Llama3_8B.parameters.m_as(%22count%22)%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20await%20ledger.load_async()%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20H100_BW%2C%0A%20%20%20%20%20%20%20%20H100_TFLOPS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20MOBILENET_FLOPS%2C%0A%20%20%20%20%20%20%20%20MOBILENET_PARAMS%2C%0A%20%20%20%20%20%20%20%20RESNET50_FLOPS%2C%0A%20%20%20%20%20%20%20%20RESNET50_PARAMS%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20math%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20mo.Html(%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%230f172a%200%25%2C%20%231e293b%2060%25%2C%20%230c1a2e%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2036px%2044px%3B%20border-radius%3A%2016px%3B%20color%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2032px%20rgba(0%2C0%2C0%2C0.35)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20letter-spacing%3A%200.18em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23475569%3B%20text-transform%3A%20uppercase%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Machine%20Learning%20Systems%20%26middot%3B%20Volume%20I%20%26middot%3B%20Lab%2010%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch1%20style%3D%22margin%3A%200%200%2010px%200%3B%20font-size%3A%202.4rem%3B%20font-weight%3A%20900%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23f8fafc%3B%20line-height%3A%201.1%3B%20letter-spacing%3A%20-0.02em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Compression%20Paradox%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%206px%200%3B%20font-size%3A%201.15rem%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%2394a3b8%3B%20letter-spacing%3A%200.04em%3B%20font-family%3A%20'SF%20Mono'%2C%20monospace%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Quantization%20%26middot%3B%20Pruning%20%26middot%3B%20Pareto%20%26middot%3B%20Energy%20%26middot%3B%20Distillation%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%2022px%200%3B%20font-size%3A%201.0rem%3B%20color%3A%20%2364748b%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max-width%3A%20680px%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Compression%20looks%20like%20free%20performance%20%26mdash%3B%20until%20the%20hardware%20ignores%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20your%20zeros%2C%20the%20accuracy%20cliff%20is%20vertical%2C%20and%20the%20only%20reliable%20shortcut%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20is%20stealing%20knowledge%20from%20a%20model%20too%20large%20to%20deploy.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2012px%3B%20flex-wrap%3A%20wrap%3B%20margin-bottom%3A%2020px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(99%2C102%2C241%2C0.18)%3B%20color%3A%20%23a5b4fc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(99%2C102%2C241%2C0.3)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%205%20Parts%20%26middot%3B%20~56%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(203%2C32%2C45%2C0.15)%3B%20color%3A%20%23fca5a5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(203%2C32%2C45%2C0.25)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Chapter%2010%3A%20Model%20Compression%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2010px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3EQuantization%20Free%20Lunch%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-fail%22%3EPruning%20Hardware%20Trap%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3EDark%20Knowledge%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3EQuantify%20the%20quantization%20free%20lunch%3C%2Fstrong%3E%20%26mdash%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20FP32%20to%20INT8%20gives%204x%20compression%20with%20%26lt%3B1%25%20accuracy%20loss%2C%20then%20accuracy%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20collapses%20catastrophically%20below%204%20bits.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3EDiagnose%20the%20pruning%20hardware%20trap%3C%2Fstrong%3E%20%26mdash%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2090%25%20unstructured%20sparsity%20yields%20zero%20speedup%20on%20dense%20GPU%20kernels%20because%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20the%20hardware%20cannot%20skip%20sparse%20multiplications.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3EDesign%20a%20compression%20strategy%3C%2Fstrong%3E%20%26mdash%3B%20compose%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20quantization%2C%20pruning%2C%20and%20distillation%20along%20the%20Pareto%20frontier%20to%20fit%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20models%20across%208%20GB%2C%204%20GB%2C%20and%202%20GB%20memory%20tiers.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Neural%20network%20fundamentals%20from%20%40sec-neural-computation%20%26middot%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Training%20and%20optimization%20from%20%40sec-model-training%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E~56%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%3A%20~12%20%26middot%3B%20B%3A%20~12%20%26middot%3B%20C%3A%20~12%20%26middot%3B%20D%3A%20~8%20%26middot%3B%20E%3A%20~12%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%2012px%20-28px%200%20-28px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2016px%2028px%200%2028px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BIf%20removing%2090%25%20of%20a%20neural%20network's%20weights%20sounds%20like%20a%2010x%20speedup%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20why%20does%20the%20GPU%20not%20notice%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20--%20Complete%20the%20following%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20**Chapter%2010%3A%20Model%20Compression**%20--%20quantization%20levels%2C%20pruning%20types%0A%20%20%20%20%20%20(structured%20vs.%20unstructured)%2C%20knowledge%20distillation%2C%20and%20the%20Pareto%20frontier.%0A%20%20%20%20-%20**Chapter%205%3A%20Neural%20Computation**%20--%20weight%20representation%20and%20memory%20hierarchy.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Widgets%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20pA_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~5%25%20(noticeable%20but%20tolerable)%22%3A%20%225%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~2%25%20(moderate%20degradation)%22%3A%20%222%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20%3C%201%25%20(essentially%20free)%22%3A%20%22lt1%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~0.1%25%20(unmeasurable)%22%3A%20%2201%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22You%20quantize%20ResNet-50%20from%20FP32%20to%20INT8%20(4x%20compression).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22How%20much%20accuracy%20do%20you%20lose%20on%20ImageNet%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(pA_pred%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pA_pred)%3A%0A%20%20%20%20mo.stop(pA_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pA_precision%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22FP32%22%3A%20%22fp32%22%2C%20%22FP16%22%3A%20%22fp16%22%2C%20%22INT8%22%3A%20%22int8%22%2C%20%22INT4%22%3A%20%22int4%22%2C%20%22INT2%22%3A%20%22int2%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22FP32%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Precision%22%2C%0A%20%20%20%20)%0A%20%20%20%20pA_model_sel%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22ResNet-50%22%3A%20%22resnet%22%2C%20%22MobileNetV2%22%3A%20%22mobilenet%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22ResNet-50%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Model%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20pB_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~10x%20(removed%2090%25%20of%20work)%22%3A%20%2210x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~5x%20(some%20overhead)%22%3A%20%225x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~2x%20(significant%20overhead)%22%3A%20%222x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~1.0x%20(no%20speedup%20at%20all)%22%3A%20%221x%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22You%20prune%20ResNet-50%20to%2090%25%20sparsity%20(unstructured).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22What%20inference%20speedup%20on%20an%20H100%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pA_model_sel%2C%20pA_precision%2C%20pB_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pB_pred)%3A%0A%20%20%20%20mo.stop(pB_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pB_sparsity%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D95%2C%20value%3D0%2C%20step%3D5%2C%20label%3D%22Sparsity%20(%25)%22)%0A%20%20%20%20pB_type%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Unstructured%22%3A%20%22unstructured%22%2C%20%22Structured%22%3A%20%22structured%22%2C%20%222%3A4%20Structured%22%3A%20%222_4%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Unstructured%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Pruning%20type%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20pC_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20FP16%20(16%20GB)%20--%20does%20not%20fit%22%3A%20%22fp16%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20INT8%20(8%20GB)%20--%20does%20not%20fit%22%3A%20%22int8%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20INT4%20(4%20GB)%20--%20fits%20with%20accuracy%20loss%22%3A%20%22int4%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20INT4%20%2B%2050%25%20pruning%20(2%20GB)%20--%20fits%20but%20risky%22%3A%20%22int4_prune%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Deploy%20Llama-3%208B%20on%204%20GB%20RAM.%20Which%20strategy%20fits%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pB_sparsity%2C%20pB_type%2C%20pC_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pC_pred)%3A%0A%20%20%20%20mo.stop(pC_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pD_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%2050%2F50%20--%20balanced%22%3A%20%2250_50%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%2070%2F30%20--%20memory%20dominates%20somewhat%22%3A%20%2270_30%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%2090%2F10%20--%20memory%20dominates%20strongly%22%3A%20%2290_10%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%2099%2F1%20--%20memory%20is%20essentially%20all%20the%20energy%22%3A%20%2299_1%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22MobileNetV2%20inference%20on%20mobile%3A%20what%20fraction%20of%20energy%20is%20memory%20access%20vs.%20compute%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(pD_pred%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pD_pred)%3A%0A%20%20%20%20mo.stop(pD_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pD_precision_e%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22FP32%22%3A%20%22fp32%22%2C%20%22FP16%22%3A%20%22fp16%22%2C%20%22INT8%22%3A%20%22int8%22%2C%20%22INT4%22%3A%20%22int4%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22FP32%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Precision%22%2C%0A%20%20%20%20)%0A%20%20%20%20pD_hw%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Cloud%20(H100)%22%3A%20%22cloud%22%2C%20%22Mobile%20(iPhone)%22%3A%20%22mobile%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Mobile%20(iPhone)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Target%3A%22%2C%20inline%3DTrue%2C%0A%20%20%20%20)%0A%0A%20%20%20%20pE_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A)%20~65%25%20(significant%20loss)%22%3A%20%2265%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B)%20~70%25%20(moderate%20transfer)%22%3A%20%2270%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C)%20~73%25%20(retains%2095%25%20of%20teacher)%22%3A%20%2273%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D)%20~76%25%20(perfect%20transfer)%22%3A%20%2276%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D%22ResNet-50%20teacher%3A%2076.1%25%20ImageNet.%20Distill%20to%20MobileNetV2%20student.%20Student%20accuracy%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pD_hw%2C%20pD_precision_e%2C%20pE_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20H100_BW%2C%0A%20%20%20%20H100_TFLOPS%2C%0A%20%20%20%20MOBILENET_FLOPS%2C%0A%20%20%20%20MOBILENET_PARAMS%2C%0A%20%20%20%20RESNET50_FLOPS%2C%0A%20%20%20%20RESNET50_PARAMS%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20go%2C%0A%20%20%20%20math%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pA_model_sel%2C%0A%20%20%20%20pA_precision%2C%0A%20%20%20%20pA_pred%2C%0A%20%20%20%20pB_pred%2C%0A%20%20%20%20pB_sparsity%2C%0A%20%20%20%20pB_type%2C%0A%20%20%20%20pC_pred%2C%0A%20%20%20%20pD_hw%2C%0A%20%20%20%20pD_precision_e%2C%0A%20%20%20%20pD_pred%2C%0A%20%20%20%20pE_pred%2C%0A)%3A%0A%20%20%20%20mo.stop(pE_pred.value%20is%20None%2C%20mo.md(%22**Make%20your%20prediction%20above%20to%20unlock%20this%20part.**%22))%0A%0A%20%20%20%20pE_temp%20%3D%20mo.ui.slider(start%3D1.0%2C%20stop%3D20.0%2C%20value%3D4.0%2C%20step%3D0.5%2C%20label%3D%22Temperature%22)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20A%3A%20Quantization%20Free%20Lunch%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'BlueL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Edge%20Deployment%20Lead%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BOur%20ResNet-50%20model%20is%20100%20MB%20in%20FP32.%20We%20need%20to%20fit%20it%20on%20a%20device%20with%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2025%20MB%20budget.%20The%20team%20says%20quantization%20to%20INT8%20will%20destroy%20accuracy.%20Is%20that%20true%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Quantization%20Free%20Lunch%0A%0A%20%20%20%20%20%20%20%20Reducing%20precision%20from%20FP32%20to%20INT8%20costs%20**under%201%25%20accuracy**%2C%20then%20accuracy%0A%20%20%20%20%20%20%20%20collapses%20catastrophically%20at%203-4%20bits.%20The%20curve%20is%20**flat-then-vertical**%2C%20not%20gradual.%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20Model%20Size%20%3D%20Parameters%20x%20Bytes_per_Parameter%0A%20%20%20%20%20%20%20%20FP32%3A%204%20bytes%20%20%20FP16%3A%202%20bytes%20%20%20INT8%3A%201%20byte%20%20%20INT4%3A%200.5%20bytes%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20INT8%20has%20256%20discrete%20levels%20--%20far%20more%20than%20needed%20for%20typical%20weight%20distributions%0A%20%20%20%20%20%20%20%20that%20cluster%20tightly%20around%20zero.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(pA_pred)%0A%20%20%20%20%20%20%20%20if%20pA_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20quantization%20explorer.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpA_precision%2C%20pA_model_sel%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_prec%20%3D%20pA_precision.value%0A%20%20%20%20%20%20%20%20_model%20%3D%20pA_model_sel.value%0A%20%20%20%20%20%20%20%20_params%20%3D%20RESNET50_PARAMS%20if%20_model%20%3D%3D%20%22resnet%22%20else%20MOBILENET_PARAMS%0A%20%20%20%20%20%20%20%20_base_flops%20%3D%20RESNET50_FLOPS%20if%20_model%20%3D%3D%20%22resnet%22%20else%20MOBILENET_FLOPS%0A%20%20%20%20%20%20%20%20_model_label%20%3D%20%22ResNet-50%22%20if%20_model%20%3D%3D%20%22resnet%22%20else%20%22MobileNetV2%22%0A%0A%20%20%20%20%20%20%20%20_bpp%20%3D%20%7B%22fp32%22%3A%204%2C%20%22fp16%22%3A%202%2C%20%22int8%22%3A%201%2C%20%22int4%22%3A%200.5%2C%20%22int2%22%3A%200.25%7D%0A%20%20%20%20%20%20%20%20_acc_table%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22resnet%22%3A%20%20%20%20%7B%22fp32%22%3A%2076.1%2C%20%22fp16%22%3A%2076.0%2C%20%22int8%22%3A%2075.5%2C%20%22int4%22%3A%2071.0%2C%20%22int2%22%3A%2045.0%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22mobilenet%22%3A%20%7B%22fp32%22%3A%2071.8%2C%20%22fp16%22%3A%2071.7%2C%20%22int8%22%3A%2071.2%2C%20%22int4%22%3A%2066.0%2C%20%22int2%22%3A%2038.0%7D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_cur_bpp%20%3D%20_bpp%5B_prec%5D%0A%20%20%20%20%20%20%20%20_size_mb%20%3D%20_params%20*%20_cur_bpp%20%2F%20(1024%20*%201024)%0A%20%20%20%20%20%20%20%20_base_size%20%3D%20_params%20*%204%20%2F%20(1024%20*%201024)%0A%20%20%20%20%20%20%20%20_compression%20%3D%20_base_size%20%2F%20_size_mb%20if%20_size_mb%20%3E%200%20else%201%0A%20%20%20%20%20%20%20%20_acc%20%3D%20_acc_table%5B_model%5D%5B_prec%5D%0A%20%20%20%20%20%20%20%20_acc_loss%20%3D%20_acc_table%5B_model%5D%5B%22fp32%22%5D%20-%20_acc%0A%0A%20%20%20%20%20%20%20%20%23%20Latency%20via%20roofline%0A%20%20%20%20%20%20%20%20_eta%20%3D%200.5%0A%20%20%20%20%20%20%20%20_t_compute%20%3D%20(_base_flops%20%2F%20(H100_TFLOPS%20*%201e12%20*%20_eta))%20*%201000%0A%20%20%20%20%20%20%20%20_t_memory%20%3D%20(_size_mb%20%2F%201024%20%2F%20H100_BW)%20*%201000%0A%20%20%20%20%20%20%20%20_latency%20%3D%20max(_t_compute%2C%20_t_memory)%0A%0A%20%20%20%20%20%20%20%20%23%20Bar%20chart%3A%20all%20precisions%0A%20%20%20%20%20%20%20%20_precs%20%3D%20%5B%22FP32%22%2C%20%22FP16%22%2C%20%22INT8%22%2C%20%22INT4%22%2C%20%22INT2%22%5D%0A%20%20%20%20%20%20%20%20_prec_keys%20%3D%20%5B%22fp32%22%2C%20%22fp16%22%2C%20%22int8%22%2C%20%22int4%22%2C%20%22int2%22%5D%0A%20%20%20%20%20%20%20%20_sizes%20%3D%20%5B_params%20*%20_bpp%5Bp%5D%20%2F%20(1024*1024)%20for%20p%20in%20_prec_keys%5D%0A%20%20%20%20%20%20%20%20_accs%20%3D%20%5B_acc_table%5B_model%5D%5Bp%5D%20for%20p%20in%20_prec_keys%5D%0A%20%20%20%20%20%20%20%20_colors%20%3D%20%5BCOLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22BlueLine%22%5D%2C%20COLORS%5B%22GreenLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20COLORS%5B%22OrangeLine%22%5D%2C%20COLORS%5B%22RedLine%22%5D%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_precs%2C%20y%3D_accs%2C%20marker_color%3D_colors%2C%20opacity%3D0.88%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7Ba%3A.1f%7D%25%22%20for%20a%20in%20_accs%5D%2C%20textposition%3D%22outside%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D_acc_table%5B_model%5D%5B%22fp32%22%5D%20*%200.99%2C%20line_dash%3D%22dash%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line_color%3DCOLORS%5B%22GreenLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%22%3C1%25%20loss%20threshold%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D340%2C%20yaxis%3Ddict(title%3D%22ImageNet%20Accuracy%20(%25)%22%2C%20range%3D%5B30%2C%2082%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_cliff%20%3D%20_acc_loss%20%3E%205%0A%20%20%20%20%20%20%20%20_acc_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_cliff%20else%20(COLORS%5B%22GreenLine%22%5D%20if%20_acc_loss%20%3C%201%20else%20COLORS%5B%22OrangeLine%22%5D)%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EModel%20Size%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_size_mb%3A.0f%7D%20MB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_compression%3A.0f%7Dx%20compression%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_acc_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EAccuracy%20Loss%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_acc_color%7D%3B%22%3E%7B_acc_loss%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_acc%3A.1f%7D%25%20vs%20%7B_acc_table%5B_model%5D%5B'fp32'%5D%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ELatency%20(H100)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_latency%3A.3f%7D%20ms%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_prec.upper()%7D%20precision%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20_cliff%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**QUANTIZATION%20CLIFF.**%20At%20%7B_prec.upper()%7D%2C%20accuracy%20drops%20%7B_acc_loss%3A.1f%7D%25%20--%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20model%20has%20collapsed.%20Below%204%20bits%2C%20the%20256-level%20quantization%20grid%20becomes%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22too%20coarse%20to%20represent%20the%20weight%20distribution%20faithfully.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22danger%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Quantization%20--%20Live%20Calculation**%20(%60%7B_model_label%7D%2C%20%7B_prec.upper()%7D%60)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Model%20size%20%3D%20%7B_params%2F1e6%3A.1f%7DM%20params%20x%20%7B_cur_bpp%7D%20bytes%20%3D%20%7B_size_mb%3A.0f%7D%20MB%0A%20%20%20%20Compression%20%3D%20%7B_base_size%3A.0f%7D%20MB%20%2F%20%7B_size_mb%3A.0f%7D%20MB%20%3D%20%7B_compression%3A.1f%7Dx%0A%20%20%20%20Accuracy%3A%20%20%7B_acc%3A.1f%7D%25%20(loss%3A%20%7B_acc_loss%3A.1f%7D%25)%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20Chapter%2010%2C%20quantization%20accuracy%20table*%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20pA_pred.value%20%3D%3D%20%22lt1%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22**Correct.**%20FP32%20to%20INT8%20loses%20under%201%25%20accuracy.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20representational%20capacity%20of%20256%20levels%20is%20sufficient%20for%20most%20weight%20distributions.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22**INT8%20quantization%20is%20essentially%20free.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20accuracy%20loss%20is%20under%201%25.%20Try%20selecting%20INT4%20and%20INT2%20to%20see%20the%20cliff.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20B%3A%20Pruning%20Hardware%20Trap%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'OrangeL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Performance%20Engineer%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20pruned%2090%25%20of%20the%20weights.%20The%20model%20file%20is%2010x%20smaller.%20But%20inference%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20is%20the%20same%20speed.%20I%20have%20checked%20the%20code%20three%20times.%20What%20am%20I%20missing%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Pruning%20Hardware%20Trap%0A%0A%20%20%20%20%20%20%20%20**Unstructured%20pruning**%20sets%2090%25%20of%20weights%20to%20zero%20but%20yields%20**zero%20speedup**%0A%20%20%20%20%20%20%20%20on%20standard%20GPU%20kernels.%20Dense%20GEMM%20loads%20every%20element%20--%20including%20zeros.%0A%0A%20%20%20%20%20%20%20%20-%20**Unstructured**%3A%20zeros%20scattered%20randomly.%20GPU%20still%20iterates%20all%20elements.%0A%20%20%20%20%20%20%20%20-%20**Structured**%3A%20entire%20channels%2Ffilters%20removed.%20Smaller%20matrix%20%3D%20real%20speedup.%0A%20%20%20%20%20%20%20%20-%20**2%3A4%20Structured**%3A%20NVIDIA%20sparse%20tensor%20cores.%202x%20speedup%2C%20hardware-supported.%0A%0A%20%20%20%20%20%20%20%20The%20hardware%20cannot%20skip%20sparse%20multiplications%20without%20specialized%20support.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(pB_pred)%0A%20%20%20%20%20%20%20%20if%20pB_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20pruning%20simulator.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpB_sparsity%2C%20pB_type%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_sparsity%20%3D%20pB_sparsity.value%20%2F%20100.0%0A%20%20%20%20%20%20%20%20_ptype%20%3D%20pB_type.value%0A%0A%20%20%20%20%20%20%20%20%23%20Speedup%20model%0A%20%20%20%20%20%20%20%20if%20_ptype%20%3D%3D%20%22unstructured%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_speedup%20%3D%201.0%20%20%23%20no%20speedup%20on%20dense%20hardware%0A%20%20%20%20%20%20%20%20%20%20%20%20_acc_loss%20%3D%200.3%20*%20_sparsity%20%20%23%20gentle%20accuracy%20loss%0A%20%20%20%20%20%20%20%20elif%20_ptype%20%3D%3D%20%22structured%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_speedup%20%3D%201.0%20%2F%20(1.0%20-%20_sparsity)%20if%20_sparsity%20%3C%200.95%20else%2020.0%0A%20%20%20%20%20%20%20%20%20%20%20%20_speedup%20%3D%20min(_speedup%2C%2020.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20_acc_loss%20%3D%200.5%20*%20_sparsity%20%2B%202.0%20*%20max(0%2C%20_sparsity%20-%200.7)%20%20%23%20steeper%20at%20high%20sparsity%0A%20%20%20%20%20%20%20%20else%3A%20%20%23%202%3A4%0A%20%20%20%20%20%20%20%20%20%20%20%20_speedup%20%3D%202.0%20if%20_sparsity%20%3E%3D%2050%20else%201.0%20%2B%20_sparsity%20%2F%2050.0%0A%20%20%20%20%20%20%20%20%20%20%20%20_acc_loss%20%3D%200.2%20*%20min(_sparsity%2C%200.5)%0A%0A%20%20%20%20%20%20%20%20_base_acc%20%3D%2076.1%0A%20%20%20%20%20%20%20%20_pruned_acc%20%3D%20max(0%2C%20_base_acc%20-%20_acc_loss%20*%20100)%0A%20%20%20%20%20%20%20%20_acc_collapse%20%3D%20_pruned_acc%20%3C%2060%0A%0A%20%20%20%20%20%20%20%20%23%20Chart%3A%20speedup%20vs%20sparsity%20for%20all%20three%20types%0A%20%20%20%20%20%20%20%20_sparsities%20%3D%20np.linspace(0%2C%200.95%2C%2040)%0A%20%20%20%20%20%20%20%20_unstr_speed%20%3D%20%5B1.0%5D%20*%20len(_sparsities)%0A%20%20%20%20%20%20%20%20_str_speed%20%3D%20%5Bmin(1.0%2F(1.0-s)%2C%2015)%20if%20s%20%3C%200.95%20else%2015%20for%20s%20in%20_sparsities%5D%0A%20%20%20%20%20%20%20%20_two4_speed%20%3D%20%5B2.0%20if%20s%20%3E%3D%200.5%20else%201.0%20%2B%20s%20for%20s%20in%20_sparsities%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D_sparsities*100%2C%20y%3D_unstr_speed%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D2)%2C%20name%3D%22Unstructured%22))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D_sparsities*100%2C%20y%3D_str_speed%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22GreenLine%22%5D%2C%20width%3D2)%2C%20name%3D%22Structured%22))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D(_sparsities*100).tolist()%2C%20y%3D_two4_speed%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2)%2C%20name%3D%222%3A4%20Structured%22))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(x%3D%5B_sparsity*100%5D%2C%20y%3D%5B_speedup%5D%2C%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D14%2C%20color%3DCOLORS%5B%22OrangeLine%22%5D%2C%20symbol%3D%22diamond%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Current%22))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D340%2C%20xaxis%3Ddict(title%3D%22Sparsity%20(%25)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Inference%20Speedup%20(x)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_speed_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_speedup%20%3C%201.5%20else%20COLORS%5B%22GreenLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_speed_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ESpeedup%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7B_speed_color%7D%3B%22%3E%7B_speedup%3A.1f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_ptype%7D%20at%20%7B_sparsity*100%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EAccuracy%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.7rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_pruned_acc%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3Efrom%20%7B_base_acc%7D%25%20baseline%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20_ptype%20%3D%3D%20%22unstructured%22%20and%20_sparsity%20%3E%200.5%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**HARDWARE%20TRAP.**%20%7B_sparsity*100%3A.0f%7D%25%20of%20weights%20are%20zero%2C%20but%20speedup%20is%20%7B_speedup%3A.1f%7Dx.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Dense%20GEMM%20kernels%20iterate%20all%20elements%20including%20zeros.%20The%20zeros%20save%20no%20memory%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22bandwidth%20and%20no%20compute.%20Without%20hardware%20sparse%20support%2C%20unstructured%20pruning%20is%20invisible.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22danger%22))%0A%0A%20%20%20%20%20%20%20%20if%20_acc_collapse%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**ACCURACY%20COLLAPSE.**%20Structured%20pruning%20at%20%7B_sparsity*100%3A.0f%7D%25%20has%20destroyed%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22accuracy%20(%7B_pruned_acc%3A.1f%7D%25).%20The%20model%20is%20no%20longer%20usable.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22danger%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Pruning%20--%20Live%20Calculation**%20(%60%7B_ptype%7D%2C%20%7B_sparsity*100%3A.0f%7D%25%20sparsity%60)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Pruning%20type%3A%20%7B_ptype%7D%0A%20%20%20%20Sparsity%3A%20%20%20%20%20%7B_sparsity*100%3A.0f%7D%25%0A%20%20%20%20Speedup%3A%20%20%20%20%20%20%7B_speedup%3A.1f%7Dx%20%20(unstructured%20%3D%201.0x%20always%20on%20dense%20kernels)%0A%20%20%20%20Accuracy%3A%20%20%20%20%20%7B_pruned_acc%3A.1f%7D%25%20(loss%3A%20%7B_base_acc%20-%20_pruned_acc%3A.1f%7D%25)%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20Chapter%2010%2C%20pruning%20types%20and%20hardware%20support*%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20pB_pred.value%20%3D%3D%20%221x%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22**Correct.**%20This%20is%20the%20most%20counterintuitive%20result%20in%20the%20lab.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2290%25%20fewer%20weights%20%3D%200%25%20speedup%20on%20dense%20GPU%20kernels.%20The%20hardware%20does%20not%20skip%20zeros.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22**The%20answer%20is%201.0x%20--%20no%20speedup%20at%20all.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Dense%20GEMM%20loads%20and%20multiplies%20every%20element.%20Try%20switching%20to%20Structured%20or%202%3A4%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22to%20see%20real%20speedup.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20C%3A%20Compression%20Pareto%20Frontier%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'RedL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Mobile%20Deployment%20Team%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BWe%20need%20Llama-3%208B%20running%20on%20devices%20with%208%20GB%2C%204%20GB%2C%20and%202%20GB%20RAM.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Which%20compression%20strategies%20fit%20each%20tier%3F%20INT8%3F%20INT4%3F%20Or%20do%20we%20need%20to%20combine%20techniques%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Compression%20Pareto%20Frontier%0A%0A%20%20%20%20%20%20%20%20Deploying%20an%208B-parameter%20LLM%20across%20memory%20tiers%20requires%20composing%0A%20%20%20%20%20%20%20%20techniques%20along%20a%20**Pareto%20frontier**.%20No%20single%20technique%20spans%20all%20tiers.%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20Memory%20%3D%20Parameters%20x%20Bytes_per_param%20%2B%20KV_cache%20%2B%20Runtime_overhead%0A%20%20%20%20%20%20%20%20FP16%3A%20%208B%20x%202%20%3D%2016%20GB%20%20%20(needs%208xGPU)%0A%20%20%20%20%20%20%20%20INT8%3A%20%208B%20x%201%20%3D%208%20GB%20%20%20%20(barely%20fits%208%20GB%20device)%0A%20%20%20%20%20%20%20%20INT4%3A%20%208B%20x%200.5%20%3D%204%20GB%20%20(fits%204%20GB%20with%20~2%25%20accuracy%20loss)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20Memory%20accounting%20must%20include%20KV%20cache%2C%20activations%2C%20and%20runtime%20overhead.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(pC_pred)%0A%20%20%20%20%20%20%20%20if%20pC_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20Pareto%20explorer.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20_configs%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22FP16%22%2C%2016.0%2C%200.0%2C%20COLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22INT8%22%2C%208.0%2C%200.8%2C%20COLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22INT8%20%2B%2030%25%20prune%22%2C%205.6%2C%202.5%2C%20COLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22INT4%22%2C%204.0%2C%202.2%2C%20COLORS%5B%22GreenLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22INT4%20%2B%2030%25%20prune%22%2C%202.8%2C%204.5%2C%20COLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22INT4%20%2B%2050%25%20prune%22%2C%202.0%2C%208.0%2C%20COLORS%5B%22RedLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22INT2%22%2C%201.0%2C%2025.0%2C%20COLORS%5B%22RedLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20for%20_name%2C%20_size%2C%20_loss%2C%20_col%20in%20_configs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B_size%5D%2C%20y%3D%5B_loss%5D%2C%20mode%3D%22markers%2Btext%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D12%2C%20color%3D_col)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5B_name%5D%2C%20textposition%3D%22top%20center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D_name%2C%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%23%20Memory%20tier%20lines%0A%20%20%20%20%20%20%20%20for%20_tier%2C%20_gb%20in%20%5B(%228%20GB%22%2C%208)%2C%20(%224%20GB%22%2C%204)%2C%20(%222%20GB%22%2C%202)%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_vline(x%3D_gb%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22Grey%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D_tier)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D380%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Model%20Size%20(GB)%22%2C%20range%3D%5B0%2C%2018%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Accuracy%20Loss%20(%25)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D40%2C%20b%3D50)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20Per-tier%20recommendations%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3E8%20GB%20Tier%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.1rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3EINT8%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E8%20GB%2C%20~0.8%25%20loss%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3E4%20GB%20Tier%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.1rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3EINT4%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E4%20GB%2C%20~2.2%25%20loss%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3E2%20GB%20Tier%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.1rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3EINT4%20%2B%20Prune%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E2%20GB%2C%20~8%25%20loss%20--%20risky%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20pC_pred.value%20%3D%3D%20%22int4%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22**Correct.**%20INT4%20at%204%20GB%20fits%20the%204%20GB%20tier%20with%20~2%25%20accuracy%20loss.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22INT8%20at%208%20GB%20does%20not%20fit%20when%20you%20account%20for%20KV%20cache%20overhead.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22**INT4%20is%20the%20answer%20for%204%20GB.**%20INT8%20weights%20alone%20consume%208%20GB%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22leaving%20zero%20room%20for%20KV%20cache%20and%20runtime.%20INT4%20halves%20that%20to%204%20GB.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20D%3A%20Energy%20Dividend%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%236366f1%3B%20background%3A%23f0f4ff%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%236366f1%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Battery%20Life%20Engineer%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BOur%20mobile%20app%20runs%20inference%20continuously.%20Battery%20life%20is%202%20hours%20with%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20FP32.%20Marketing%20wants%208%20hours.%20Is%20quantization%20enough%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20The%20Energy%20Dividend%3A%20Bits%20are%20Joules%0A%0A%20%20%20%20%20%20%20%20Moving%20data%20costs%20**40%2C000x%20more%20energy**%20than%20computing%20on%20it%3A%0A%20%20%20%20%20%20%20%20-%20DRAM%20read%3A%20640%20pJ%0A%20%20%20%20%20%20%20%20-%20SRAM%20read%3A%205%20pJ%0A%20%20%20%20%20%20%20%20-%20FP32%20multiply%3A%203.7%20pJ%0A%20%20%20%20%20%20%20%20-%20INT8%20multiply%3A%200.2%20pJ%0A%20%20%20%20%20%20%20%20-%20Integer%20add%3A%200.015%20pJ%0A%0A%20%20%20%20%20%20%20%20INT8%20inference%20uses%20up%20to%20**20x%20less%20energy**%20than%20FP32%20because%20the%0A%20%20%20%20%20%20%20%20dominant%20cost%20is%20data%20movement%2C%20not%20arithmetic.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(pD_pred)%0A%20%20%20%20%20%20%20%20if%20pD_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20energy%20analyzer.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpD_precision_e%2C%20pD_hw%5D%2C%20justify%3D%22start%22))%0A%0A%20%20%20%20%20%20%20%20_prec%20%3D%20pD_precision_e.value%0A%20%20%20%20%20%20%20%20_hw%20%3D%20pD_hw.value%0A%0A%20%20%20%20%20%20%20%20%23%20Energy%20per%20operation%20(pJ)%0A%20%20%20%20%20%20%20%20_dram_pj%20%3D%20640.0%0A%20%20%20%20%20%20%20%20_compute_pj%20%3D%20%7B%22fp32%22%3A%203.7%2C%20%22fp16%22%3A%201.8%2C%20%22int8%22%3A%200.2%2C%20%22int4%22%3A%200.1%7D%0A%20%20%20%20%20%20%20%20_bpp%20%3D%20%7B%22fp32%22%3A%204%2C%20%22fp16%22%3A%202%2C%20%22int8%22%3A%201%2C%20%22int4%22%3A%200.5%7D%0A%0A%20%20%20%20%20%20%20%20_n_params%20%3D%20MOBILENET_PARAMS%0A%20%20%20%20%20%20%20%20_n_ops%20%3D%20MOBILENET_FLOPS%0A%0A%20%20%20%20%20%20%20%20%23%20Memory%20access%20energy%3A%20each%20parameter%20loaded%20from%20DRAM%20once%0A%20%20%20%20%20%20%20%20_mem_energy_pj%20%3D%20_n_params%20*%20_bpp%5B_prec%5D%20*%20_dram_pj%20%2F%20_bpp%5B%22fp32%22%5D%0A%20%20%20%20%20%20%20%20%23%20Compute%20energy%0A%20%20%20%20%20%20%20%20_comp_energy_pj%20%3D%20_n_ops%20*%20_compute_pj%5B_prec%5D%0A%0A%20%20%20%20%20%20%20%20_total_energy_pj%20%3D%20_mem_energy_pj%20%2B%20_comp_energy_pj%0A%20%20%20%20%20%20%20%20_mem_frac%20%3D%20_mem_energy_pj%20%2F%20_total_energy_pj%20*%20100%0A%20%20%20%20%20%20%20%20_comp_frac%20%3D%20_comp_energy_pj%20%2F%20_total_energy_pj%20*%20100%0A%0A%20%20%20%20%20%20%20%20%23%20Battery%20life%20estimate%20(iPhone%2015%20Pro%3A%2015%20Wh)%0A%20%20%20%20%20%20%20%20_energy_j%20%3D%20_total_energy_pj%20*%201e-12%0A%20%20%20%20%20%20%20%20if%20_energy_j%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_inferences_per_wh%20%3D%20(3600%20%2F%20_energy_j)%20*%201e-3%20%20%23%20thousands%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_inferences_per_wh%20%3D%200%0A%0A%20%20%20%20%20%20%20%20_base_energy%20%3D%20_n_params%20*%204%20*%20_dram_pj%20%2F%204%20%2B%20_n_ops%20*%20_compute_pj%5B%22fp32%22%5D%0A%20%20%20%20%20%20%20%20_energy_reduction%20%3D%20_base_energy%20%2F%20_total_energy_pj%20if%20_total_energy_pj%20%3E%200%20else%201%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_prec_labels%20%3D%20%5B%22FP32%22%2C%20%22FP16%22%2C%20%22INT8%22%2C%20%22INT4%22%5D%0A%20%20%20%20%20%20%20%20_prec_keys%20%3D%20%5B%22fp32%22%2C%20%22fp16%22%2C%20%22int8%22%2C%20%22int4%22%5D%0A%20%20%20%20%20%20%20%20_mem_energies%20%3D%20%5B_n_params%20*%20_bpp%5Bp%5D%20*%20_dram_pj%20%2F%20_bpp%5B%22fp32%22%5D%20for%20p%20in%20_prec_keys%5D%0A%20%20%20%20%20%20%20%20_comp_energies%20%3D%20%5B_n_ops%20*%20_compute_pj%5Bp%5D%20for%20p%20in%20_prec_keys%5D%0A%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Memory%20Access%22%2C%20x%3D_prec_labels%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Bm%2F1e12%20for%20m%20in%20_mem_energies%5D%2C%20marker_color%3DCOLORS%5B%22RedLine%22%5D))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(name%3D%22Compute%22%2C%20x%3D_prec_labels%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Bc%2F1e12%20for%20c%20in%20_comp_energies%5D%2C%20marker_color%3DCOLORS%5B%22BlueLine%22%5D))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20barmode%3D%22stack%22%2C%20height%3D340%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Energy%20per%20Inference%20(J)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D1.12%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EMemory%20Energy%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%7B_mem_frac%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3Eof%20total%20inference%20energy%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ECompute%20Energy%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_comp_frac%3A.0f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3Eof%20total%20inference%20energy%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EEnergy%20Reduction%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_energy_reduction%3A.1f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3Evs%20FP32%20baseline%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20pD_pred.value%20%3D%3D%20%2299_1%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22**Correct.**%20Memory%20access%20dominates%20energy%20by%20100x%2B.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22DRAM%20read%20(640%20pJ)%20dwarfs%20INT8%20multiply%20(0.2%20pJ)%20by%203%2C200x%20per%20operation.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22**Memory%20access%20is%20essentially%20all%20of%20the%20energy.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22At%20%7B_prec.upper()%7D%2C%20memory%20is%20%7B_mem_frac%3A.0f%7D%25%20of%20total%20energy.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Every%20bit%20you%20do%20not%20move%20saves%20Joules.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20E%3A%20Dark%20Knowledge%20Transfer%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20build_part_e()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'GreenL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20TinyML%20Deployment%20Lead%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BOur%20teacher%20model%20(ResNet-50)%20cannot%20run%20on%20the%20ESP32%20sensor%20nodes.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20We%20need%20a%20MobileNetV2%20that%20matches%20teacher%20quality.%20Distillation%3F%20What%20accuracy%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20should%20we%20expect%20from%20the%20student%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Dark%20Knowledge%20Transfer%0A%0A%20%20%20%20%20%20%20%20Knowledge%20distillation%20trains%20a%20small%20**student**%20model%20to%20mimic%20the%20**soft%0A%20%20%20%20%20%20%20%20probability%20outputs**%20of%20a%20large%20teacher.%20The%20student%20learns%20not%20just%20the%0A%20%20%20%20%20%20%20%20correct%20class%20but%20the%20teacher's%20uncertainty%20structure%20--%20which%20wrong%20classes%0A%20%20%20%20%20%20%20%20are%20similar%2C%20how%20confident%20to%20be.%20This%20is%20**dark%20knowledge**.%0A%0A%20%20%20%20%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20L_distill%20%3D%20alpha%20*%20KL(softmax(z_t%2FT)%2C%20softmax(z_s%2FT))%20%2B%20(1-alpha)%20*%20CE(y%2C%20z_s)%0A%20%20%20%20%20%20%20%20%60%60%60%0A%0A%20%20%20%20%20%20%20%20Temperature%20T%20controls%20how%20much%20of%20the%20dark%20knowledge%20transfers.%20Higher%20T%0A%20%20%20%20%20%20%20%20softens%20the%20distribution%2C%20revealing%20more%20inter-class%20relationships.%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%20%20%20%20%20%20%20%20items.append(pE_pred)%0A%20%20%20%20%20%20%20%20if%20pE_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20distillation%20dashboard.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20items.append(pE_temp)%0A%0A%20%20%20%20%20%20%20%20_T%20%3D%20pE_temp.value%0A%20%20%20%20%20%20%20%20_teacher_acc%20%3D%2076.1%0A%20%20%20%20%20%20%20%20_student_hard%20%3D%2071.8%20%20%23%20MobileNetV2%20trained%20on%20hard%20labels%0A%20%20%20%20%20%20%20%20_gap%20%3D%20_teacher_acc%20-%20_student_hard%0A%0A%20%20%20%20%20%20%20%20%23%20Distillation%20recovery%3A%20diminishing%20returns%20with%20temperature%0A%20%20%20%20%20%20%20%20%23%20Optimal%20around%20T%3D4-6%2C%20saturates%20at%20higher%20T%0A%20%20%20%20%20%20%20%20_recovery%20%3D%20_gap%20*%200.75%20*%20(1%20-%20math.exp(-0.5%20*%20_T))%0A%20%20%20%20%20%20%20%20_student_distill%20%3D%20min(_student_hard%20%2B%20_recovery%2C%20_teacher_acc%20-%200.5)%0A%0A%20%20%20%20%20%20%20%20%23%20Teacher%3A%20ResNet-50%20specs%2C%20Student%3A%20MobileNetV2%20specs%0A%20%20%20%20%20%20%20%20_teacher_size%20%3D%20RESNET50_PARAMS%20*%204%20%2F%20(1024%20*%201024)%20%20%23%20FP32%20MB%0A%20%20%20%20%20%20%20%20_student_size%20%3D%20MOBILENET_PARAMS%20*%201%20%2F%20(1024%20*%201024)%20%20%23%20INT8%20MB%0A%20%20%20%20%20%20%20%20_speedup%20%3D%20RESNET50_FLOPS%20%2F%20MOBILENET_FLOPS%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_categories%20%3D%20%5B%22Student%20(hard%20labels)%22%2C%20f%22Student%20(distilled%2C%20T%3D%7B_T%3A.1f%7D)%22%2C%20%22Teacher%22%5D%0A%20%20%20%20%20%20%20%20_accs%20%3D%20%5B_student_hard%2C%20_student_distill%2C%20_teacher_acc%5D%0A%20%20%20%20%20%20%20%20_colors%20%3D%20%5BCOLORS%5B%22OrangeLine%22%5D%2C%20COLORS%5B%22GreenLine%22%5D%2C%20COLORS%5B%22BlueLine%22%5D%5D%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_categories%2C%20y%3D_accs%2C%20marker_color%3D_colors%2C%20opacity%3D0.88%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7Ba%3A.1f%7D%25%22%20for%20a%20in%20_accs%5D%2C%20textposition%3D%22outside%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D320%2C%20yaxis%3Ddict(title%3D%22ImageNet%20Accuracy%20(%25)%22%2C%20range%3D%5B65%2C%2080%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20_pct_teacher%20%3D%20(_student_distill%20%2F%20_teacher_acc)%20*%20100%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EDistilled%20Accuracy%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_student_distill%3A.1f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_pct_teacher%3A.0f%7D%25%20of%20teacher%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ESize%20Reduction%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_teacher_size%2F_student_size%3A.0f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3E%7B_teacher_size%3A.0f%7D%20MB%20vs%20%7B_student_size%3A.0f%7D%20MB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ESpeedup%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E%7B_speedup%3A.1f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20color%3A%2394a3b8%3B%22%3Einference%20FLOPS%20reduction%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Distillation%20--%20Live%20Calculation**%20(%60T%20%3D%20%7B_T%3A.1f%7D%60)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Teacher%3A%20%20%20%20%20%20%20%20%20ResNet-50%2C%20%7B_teacher_acc%7D%25%20accuracy%2C%20%7B_teacher_size%3A.0f%7D%20MB%20(FP32)%0A%20%20%20%20Student%20(hard)%3A%20%20MobileNetV2%2C%20%7B_student_hard%7D%25%20accuracy%0A%20%20%20%20Student%20(dist)%3A%20%20MobileNetV2%2C%20%7B_student_distill%3A.1f%7D%25%20accuracy%20(T%3D%7B_T%3A.1f%7D)%0A%20%20%20%20Gap%20closed%3A%20%20%20%20%20%20%7B_student_distill%20-%20_student_hard%3A.1f%7D%25%20of%20%7B_gap%3A.1f%7D%25%20gap%0A%20%20%20%20Size%20ratio%3A%20%20%20%20%20%20%7B_teacher_size%2F_student_size%3A.0f%7Dx%20smaller%20(INT8%20student%20vs%20FP32%20teacher)%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20Chapter%2010%2C%20knowledge%20distillation%20and%20dark%20knowledge*%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20if%20pE_pred.value%20%3D%3D%20%2273%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22**Correct.**%20The%20distilled%20student%20retains%20~95%25%20of%20teacher%20accuracy.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Soft%20labels%20carry%20far%20more%20information%20than%20hard%20labels%20--%20the%20dark%20knowledge%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22of%20which%20classes%20are%20confusable%20closes%20most%20of%20the%20capacity%20gap.%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(f%22**The%20distilled%20student%20achieves%20~%7B_student_distill%3A.0f%7D%25.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Soft%20labels%20from%20the%20teacher%20carry%20rich%20inter-class%20information%20that%20hard%20labels%20discard.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Adjust%20the%20temperature%20slider%20to%20see%20how%20dark%20knowledge%20transfer%20changes.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20SYNTHESIS%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22---%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2024px%2028px%3B%20margin%3A%2016px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%2012px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Key%20Takeaways%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.92rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20line-height%3A%201.75%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E1.%20INT8%20is%20a%20free%20lunch%3B%20INT4%20is%20a%20cliff.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20FP32%20to%20INT8%20loses%20%26lt%3B1%25%20accuracy.%20Below%204%20bits%2C%20accuracy%20collapses%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20catastrophically.%20The%20curve%20is%20flat-then-vertical%2C%20not%20gradual.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E2.%20Unstructured%20pruning%20is%20invisible%20to%20GPUs.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2090%25%20sparsity%20yields%20exactly%200%25%20speedup%20on%20dense%20GEMM%20kernels.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Structured%20pruning%20or%20hardware%20sparse%20support%20is%20required%20for%20real%20gains.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E3.%20Distillation%20unlocks%20deployments%20compression%20cannot%20reach.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%20distilled%20student%20retains%2095%25%20of%20teacher%20accuracy%20at%2010x%20smaller%20size%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20running%20on%20hardware%20where%20the%20teacher%20physically%20cannot%20fit.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2016px%3B%20margin%3A%208px%200%2016px%200%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20What's%20Next%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ELab%2011%3A%3C%2Fstrong%3E%20The%20Hardware%20Roofline%20--%20compression%20changed%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20model.%20Now%20discover%20why%20the%20same%20kernel%20is%20memory-bound%20on%20one%20chip%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20compute-bound%20on%20another.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Textbook%20%26amp%3B%20TinyTorch%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ERead%3A%3C%2Fstrong%3E%20%40sec-model-compression%20for%20quantization%20theory%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20pruning%20hardware%20analysis.%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3EBuild%3A%3C%2Fstrong%3E%20TinyTorch%20Module%2010%20--%20INT8%20quantizer%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20magnitude%20pruning.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%0A%20%20%20%20_tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%3A%20Quantization%22%3A%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%3A%20Pruning%20Trap%22%3A%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%3A%20Pareto%20Frontier%22%3A%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%3A%20Energy%20Dividend%22%3A%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Part%20E%3A%20Distillation%22%3A%20build_part_e()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20_tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ledger%2C%20mo)%3A%0A%20%20%20%20ledger.save(chapter%3D10%2C%20design%3D%7B%22lab%22%3A%20%22model_compress%22%2C%20%22completed%22%3A%20True%7D)%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22lab-hud%22%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ELAB%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3E10%20%26middot%3B%20Model%20Compression%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22flex%3A1%3B%22%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ECH%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-value%22%3E10%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-label%22%3ESTATUS%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22hud-active%22%3ECOMPLETE%3C%2Fspan%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A