lab 11 edge intelligence

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.8%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20math%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysim-0.1.2-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_labs_dir%20%3D%20Path(__file__).resolve().parents%5B1%5D%0A%20%20%20%20%20%20%20%20if%20str(_labs_dir)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_labs_dir))%0A%20%20%20%20%20%20%20%20from%20bootstrap%20import%20native_bootstrap%0A%20%20%20%20%20%20%20%20native_bootstrap(__file__)%0A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20mlsysim.labs.state%20import%20DesignLedger%0A%20%20%20%20from%20mlsysim.labs.style%20import%20COLORS%2C%20LAB_CSS%2C%20apply_plotly_theme%0A%20%20%20%20from%20mlsysim.labs.components%20import%20DecisionLog%0A%20%20%20%20from%20mlsysim%20import%20Hardware%2C%20Models%0A%0A%20%20%20%20ledger%20%3D%20DesignLedger()%0A%20%20%20%20if%20getattr(ledger%2C%20%22is_wasm%22%2C%20False)%3A%0A%20%20%20%20%20%20%20%20_%20%3D%20await%20ledger.load_async()%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Hardware%20from%20registry%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_phone%20%3D%20Hardware.Mobile.iPhone15Pro%20%20%20%23%20iPhone%2015%20Pro%20(A17%20Pro)%0A%20%20%20%20_cloud%20%3D%20Hardware.Cloud.H100%20%20%20%20%20%20%20%20%20%20%20%23%20Cloud%20tier%20for%20comparison%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Mobile%20hardware%20constants%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20Source%3A%20%40sec-edge-intelligence%2C%20smartphone%20compute%20constraints%0A%20%20%20%20MOBILE_RAM_GB%20%20%20%20%20%3D%20_phone.memory.capacity.m_as(%22GB%22)%20%20%23%208%20GB%0A%20%20%20%20MOBILE_RAM_AVAIL_MB%20%3D%20300.0%20%20%20%23%20available%20for%20ML%20after%20OS%2Fapps%0A%20%20%20%20MOBILE_BATTERY_WH%20%3D%20_phone.battery_capacity.m_as(%22Wh%22)%20%20%23%2015%20Wh%0A%20%20%20%20MOBILE_CPU_POWER_W%20%3D%203.0%20%20%20%20%20%20%23%20sustained%20CPU%20power%20draw%0A%20%20%20%20MOBILE_NPU_POWER_W%20%3D%200.5%20%20%20%20%20%23%20NPU%20power%20draw%20for%20equivalent%20workload%0A%20%20%20%20NPU_SPEEDUP%20%20%20%20%20%20%20%3D%2020.0%20%20%20%20%20%23%20NPU%20latency%20speedup%20over%20CPU%0A%20%20%20%20NPU_ENERGY_GAIN%20%20%20%3D%2050.0%20%20%20%20%20%23%20NPU%20energy%20efficiency%20gain%20over%20CPU%0A%0A%20%20%20%20%23%20Cloud%20tier%20specs%20%E2%80%94%20for%20edge-vs-cloud%20contrast%0A%20%20%20%20CLOUD_RAM_GB%20%20%20%20%20%20%3D%20_cloud.memory.capacity.m_as(%22GiB%22)%20%20%23%2080%20GiB%0A%20%20%20%20CLOUD_TDP_W%20%20%20%20%20%20%20%3D%20_cloud.tdp.m_as(%22W%22)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20700%20W%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Training%20memory%20model%20constants%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20Source%3A%20%40tbl-training-amplification%2C%20%40fig-training-memory-amplifier%0A%20%20%20%20BYTES_FP16%20%3D%202%0A%20%20%20%20BYTES_FP32%20%3D%204%0A%20%20%20%20%23%20Adam%20optimizer%20stores%202%20extra%20copies%20of%20parameters%20(m%2C%20v)%20in%20FP32%0A%20%20%20%20ADAM_MULTIPLIER%20%3D%202%20%20%23%202x%20parameter%20size%20for%20optimizer%20state%20(FP32)%0A%20%20%20%20%23%20Activation%20memory%20ratio%20calibrated%20to%20chapter%20worked%20example%0A%20%20%20%20ACTIVATION_RATIO%20%3D%200.39%20%20%23%20FP32%20activation%20bytes%20per%20param%20per%20batch%20item%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20LoRA%20constants%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20Source%3A%20%40sec-edge-intelligence%2C%20LoRA%20rank%20decomposition%0A%20%20%20%20LORA_RANK%20%3D%2016%0A%20%20%20%20LORA_FRACTION%20%3D%200.01%20%20%23%20LoRA%20trainable%20parameters%20~1%25%20of%20full%20model%0A%20%20%20%20BIAS_FRACTION%20%3D%200.001%20%20%23%20Bias-only%20~0.1%25%20of%20parameters%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Federated%20learning%20constants%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20Source%3A%20%40sec-edge-intelligence%2C%20FedAvg%20convergence%20analysis%0A%20%20%20%20IID_ROUNDS%20%3D%2050%20%20%20%20%20%20%20%20%20%23%20baseline%20IID%20convergence%20rounds%0A%20%20%20%20FL_TARGET_ACC%20%3D%200.90%20%20%20%20%23%20target%20accuracy%20for%20convergence%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20ACTIVATION_RATIO%2C%0A%20%20%20%20%20%20%20%20ADAM_MULTIPLIER%2C%0A%20%20%20%20%20%20%20%20BIAS_FRACTION%2C%0A%20%20%20%20%20%20%20%20BYTES_FP16%2C%0A%20%20%20%20%20%20%20%20BYTES_FP32%2C%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20IID_ROUNDS%2C%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20LORA_FRACTION%2C%0A%20%20%20%20%20%20%20%20MOBILE_BATTERY_WH%2C%0A%20%20%20%20%20%20%20%20MOBILE_CPU_POWER_W%2C%0A%20%20%20%20%20%20%20%20MOBILE_NPU_POWER_W%2C%0A%20%20%20%20%20%20%20%20MOBILE_RAM_AVAIL_MB%2C%0A%20%20%20%20%20%20%20%20NPU_SPEEDUP%2C%0A%20%20%20%20%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20%20%20%20%20go%2C%0A%20%20%20%20%20%20%20%20ledger%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20LAB_CSS%2C%0A%20%20%20%20%20%20%20%20mo.Html(%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20linear-gradient(135deg%2C%20%230f172a%200%25%2C%20%231e293b%20100%25)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2036px%2044px%3B%20border-radius%3A%2016px%3B%20color%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2032px%20rgba(0%2C0%2C0%2C0.3)%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20letter-spacing%3A%200.18em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23475569%3B%20text-transform%3A%20uppercase%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Machine%20Learning%20Systems%20%26middot%3B%20Volume%20II%20%26middot%3B%20Lab%2011%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch1%20style%3D%22margin%3A%200%200%2010px%200%3B%20font-size%3A%202.2rem%3B%20font-weight%3A%20900%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23f8fafc%3B%20line-height%3A%201.1%3B%20letter-spacing%3A%20-0.02em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Edge%20Thermodynamics%20Lab%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%206px%200%3B%20font-size%3A%201.1rem%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%2394a3b8%3B%20letter-spacing%3A%200.04em%3B%20font-family%3A%20'SF%20Mono'%2C%20monospace%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Memory%20%26middot%3B%20Adaptation%20%26middot%3B%20Battery%20%26middot%3B%20Federation%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin%3A%200%200%2022px%200%3B%20font-size%3A%201.0rem%3B%20color%3A%20%2364748b%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max-width%3A%20700px%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%20product%20manager%20wants%20on-device%20fine-tuning%3A%20%22It%20is%20just%20inference%20with%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20a%20backward%20pass%2C%20right%3F%22%20Wrong.%20Training%20memory%20is%204-12x%20inference%20memory%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20battery%20drain%20makes%20naive%20CPU%20training%20a%20product-killing%20feature%2C%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20federated%20learning's%20communication%20cost%20explodes%20under%20non-IID%20data.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2012px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(99%2C102%2C241%2C0.15)%3B%20color%3A%20%23a5b4fc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(99%2C102%2C241%2C0.25)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%204%20Parts%20%26middot%3B%20~55%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22background%3A%20rgba(203%2C32%2C45%2C0.15)%3B%20color%3A%20%23fca5a5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%205px%2014px%3B%20border-radius%3A%2020px%3B%20font-size%3A%200.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20600%3B%20border%3A%201px%20solid%20rgba(203%2C32%2C45%2C0.25)%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Chapter%3A%20Edge%20Intelligence%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2010px%3B%20flex-wrap%3A%20wrap%3B%20margin-top%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-fail%22%3E4-12x%20memory%20amplification%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-warn%22%3Esignificant%20battery%20drain%20on%20CPU%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22badge%20badge-info%22%3ENPU%3A%2050x%20energy%20savings%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COLORS%2C%20mo)%3A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A%204px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20white%3B%20border-radius%3A%200%2012px%2012px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2028px%3B%20margin%3A%208px%200%2016px%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%201px%204px%20rgba(0%2C0%2C0%2C0.06)%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Learning%20Objectives%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.9rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.7%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E1.%20%3Cstrong%3EQuantify%20the%20training%20memory%20amplification%20tax%3C%2Fstrong%3E%20%26mdash%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20calculate%20that%20full%20fine-tuning%20requires%204-12x%20more%20memory%20than%20inference%20due%20to%20gradients%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20optimizer%20state%2C%20and%20activations.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E2.%20%3Cstrong%3ECompare%20adaptation%20strategies%3C%2Fstrong%3E%20%26mdash%3B%20discover%20that%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20LoRA%20reduces%20multi-context%20storage%20by%20200x%20while%20preserving%2095%25%20of%20fine-tuning%20quality.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%203px%3B%22%3E3.%20%3Cstrong%3EPredict%20federated%20communication%20cost%3C%2Fstrong%3E%20%26mdash%3B%20determine%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20that%20non-IID%20data%20causes%204-8x%20more%20communication%20rounds%20than%20IID%2C%20and%20that%20gradient%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20compression%20is%20the%20natural%20engineering%20response.%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2032px%3B%20margin-top%3A%2016px%3B%20margin-bottom%3A%2016px%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20220px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Prerequisites%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Training%20memory%20breakdown%20from%20the%20Edge%20Intelligence%20chapter%20%26middot%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20LoRA%20rank%20decomposition%20%26middot%3B%20FedAvg%20algorithm%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%200%200%20180px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Duration%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.85rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E~55%20min%3C%2Fstrong%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%3A%2010%20%26middot%3B%20B%3A%2010%20%26middot%3B%20C%3A%2010%20%26middot%3B%20D%3A%2015%20min%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22border-top%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20margin%3A%200%20-28px%3B%20padding%3A%200%2028px%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-top%3A%2016px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%206px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Core%20Question%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.05rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.5%3B%20font-style%3A%20italic%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26ldquo%3BOn-device%20training%20is%20'just%20inference%20with%20a%20backward%20pass.'%20Why%20does%20it%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20require%204-12x%20more%20memory%2C%20significantly%20drain%20the%20battery%20on%20CPU%2C%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20need%204-8x%20more%20communication%20rounds%20when%20data%20is%20non-IID%3F%26rdquo%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(mo.md(%22%22%22%0A%20%20%20%20**Recommended%20Reading**%20%26mdash%3B%20Complete%20before%20this%20lab%3A%0A%0A%20%20%20%20-%20**Training%20Memory%20Amplification**%20%26mdash%3B%20The%204-12x%20memory%20multiplier%20from%20activations%2C%0A%20%20%20%20%20%20gradients%2C%20and%20optimizer%20state%20(the%20Edge%20Intelligence%20chapter).%0A%20%20%20%20-%20**Adaptation%20Strategies**%20%26mdash%3B%20LoRA%2C%20bias-only%2C%20and%20full%20fine-tuning%20trade-offs.%0A%20%20%20%20-%20**On-Device%20Energy**%20%26mdash%3B%20CPU%20vs%20NPU%20power%20and%20latency%20for%20fine-tuning.%0A%20%20%20%20-%20**Federated%20Learning**%20%26mdash%3B%20FedAvg%2C%20non-IID%20data%20impact%2C%20gradient%20compression.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20pA_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%3A%20~60%20MB%20--%20gradients%20add%20a%20bit%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B%3A%20~120%20MB%20--%20double%20the%20inference%20footprint%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C%3A%20~200-360%20MB%20--%205-9x%20amplification%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D%3A%20~1%20GB%20--%20training%20is%20always%20an%20order%20of%20magnitude%20more%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%2010M-parameter%20model%20runs%20inference%20comfortably%20on%20a%20smartphone%20(40%20MB).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22How%20much%20memory%20does%20full%20fine-tuning%20(Adam%20optimizer%2C%20batch%20size%208)%20require%3F%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(pA_pred%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20pA_params%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D100%2C%20value%3D10%2C%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Model%20parameters%20(millions)%22%2C%0A%20%20%20%20)%0A%20%20%20%20pA_batch%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D32%2C%20value%3D8%2C%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Batch%20size%22%2C%0A%20%20%20%20)%0A%20%20%20%20pA_strategy%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Full%20Fine-Tuning%22%3A%20%22full%22%2C%20%22LoRA%20(rank-16)%22%3A%20%22lora%22%2C%20%22Bias-Only%22%3A%20%22bias%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Full%20Fine-Tuning%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Adaptation%20strategy%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20pB_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%3A%20~200%20MB%20--%20half%20the%20full%20model%20cost%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B%3A%20~100%20MB%20--%204x%20savings%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C%3A%20~42%20MB%20--%20nearly%2010x%20savings%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D%3A%20~4%20MB%20--%20adapters%20are%20negligible%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22You%20need%20to%20store%20personalized%20models%20for%2010%20user%20contexts.%20Full%20fine-tuning%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22stores%20a%20complete%20model%20per%20context%20(40%20MB%20each%20%3D%20400%20MB).%20LoRA%20stores%20only%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22the%20adapter%20weights.%20What%20is%20the%20total%20LoRA%20storage%3F%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pA_batch%2C%20pA_params%2C%20pA_strategy%2C%20pB_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20pB_contexts%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D20%2C%20value%3D10%2C%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Number%20of%20user%20contexts%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20pC_pred%20%3D%20mo.ui.number(%0A%20%20%20%20%20%20%20%20start%3D0.1%2C%20stop%3D50.0%2C%20value%3DNone%2C%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20label%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20LoRA%20fine-tuning%20session%20takes%2030%20seconds%20on%20CPU%20at%203W.%20The%20phone%20has%20a%2015%20Wh%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22battery.%20What%20percentage%20of%20battery%20does%20this%20single%20session%20consume%3F%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22(Account%20for%20thermal%20throttling%20extending%20duration%202-3x.)%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pB_contexts%2C%20pC_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20pC_target%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%22CPU%22%3A%20%22cpu%22%2C%20%22GPU%20(mobile)%22%3A%20%22gpu%22%2C%20%22NPU%22%3A%20%22npu%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22CPU%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Execution%20target%22%2C%0A%20%20%20%20%20%20%20%20inline%3DTrue%2C%0A%20%20%20%20)%0A%0A%20%20%20%20pD_pred%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%3A%2060-80%20rounds%20--%20modest%20increase%22%3A%20%22A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B%3A%20100-150%20rounds%20--%202-3x%20more%22%3A%20%22B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22C%3A%20200-400%20rounds%20--%204-8x%20more%22%3A%20%22C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22D%3A%201000%2B%20rounds%20--%20effectively%20never%20converges%22%3A%20%22D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20label%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22100%20clients%2C%20non-IID%20data%20(beta%3D0.5).%20IID%20convergence%20takes%2050%20rounds.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22How%20many%20rounds%20does%20non-IID%20require%20to%20reach%20the%20same%20accuracy%3F%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pC_target%2C%20pD_pred%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20pD_beta%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.1%2C%20stop%3D2.0%2C%20value%3D0.5%2C%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Data%20heterogeneity%20(beta)%20--%20lower%20%3D%20more%20non-IID%22%2C%0A%20%20%20%20)%0A%20%20%20%20pD_epochs%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D20%2C%20value%3D3%2C%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Local%20epochs%20(E)%22%2C%0A%20%20%20%20)%0A%20%20%20%20pD_compress%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22No%20compression%22%3A%20%22none%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22INT8%20quantized%20(4x%20reduction)%22%3A%20%22int8%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22INT4%20quantized%20(8x%20reduction)%22%3A%20%22int4%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Top-K%20sparse%20(10x%20reduction)%22%3A%20%22topk%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22No%20compression%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Gradient%20compression%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pD_beta%2C%20pD_compress%2C%20pD_epochs%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20ACTIVATION_RATIO%2C%0A%20%20%20%20ADAM_MULTIPLIER%2C%0A%20%20%20%20BIAS_FRACTION%2C%0A%20%20%20%20BYTES_FP16%2C%0A%20%20%20%20BYTES_FP32%2C%0A%20%20%20%20COLORS%2C%0A%20%20%20%20IID_ROUNDS%2C%0A%20%20%20%20LORA_FRACTION%2C%0A%20%20%20%20MOBILE_BATTERY_WH%2C%0A%20%20%20%20MOBILE_CPU_POWER_W%2C%0A%20%20%20%20MOBILE_NPU_POWER_W%2C%0A%20%20%20%20MOBILE_RAM_AVAIL_MB%2C%0A%20%20%20%20NPU_SPEEDUP%2C%0A%20%20%20%20apply_plotly_theme%2C%0A%20%20%20%20go%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pA_batch%2C%0A%20%20%20%20pA_params%2C%0A%20%20%20%20pA_pred%2C%0A%20%20%20%20pA_strategy%2C%0A%20%20%20%20pB_contexts%2C%0A%20%20%20%20pB_pred%2C%0A%20%20%20%20pC_pred%2C%0A%20%20%20%20pC_target%2C%0A%20%20%20%20pD_beta%2C%0A%20%20%20%20pD_compress%2C%0A%20%20%20%20pD_epochs%2C%0A%20%20%20%20pD_pred%2C%0A)%3A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20A%20BUILDER%20--%20The%20Memory%20Amplification%20Tax%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_a()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'BlueL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Mobile%20ML%20Product%20Manager%2C%20Paxos%20Devices%3C%2Fdiv%3E%0A%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%26ldquo%3BWe%20want%20to%20fine-tune%20our%20350M-parameter%20language%20model%20directly%20on-device.%20The%20phone%20has%206%20GB%20of%20RAM%2C%0A%20%20%20%20%20%20%20%20but%20the%20OS%20and%20apps%20already%20consume%204%20GB.%20Can%20we%20even%20fit%20the%20training%20graph%20in%20the%20remaining%202%20GB%2C%0A%20%20%20%20%20%20%20%20or%20does%20the%20memory%20amplification%20from%20optimizer%20states%20and%20activations%20make%20this%20impossible%3F%26rdquo%3B%3C%2Fdiv%3E%0A%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%26mdash%3B%20Priya%20Ramanathan%2C%20Mobile%20ML%20Product%20Manager%20%26middot%3B%20Paxos%20Devices%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Banner%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20id%3D%22part-a%22%20style%3D%22margin%3A%2032px%200%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20align-items%3A%20center%3B%20gap%3A%2012px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20color%3A%20white%3B%20border-radius%3A%2050%25%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A%2032px%3B%20height%3A%2032px%3B%20display%3A%20inline-flex%3B%20align-items%3A%20center%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20justify-content%3A%20center%3B%20font-size%3A%200.9rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20flex-shrink%3A%200%3B%22%3EA%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20height%3A%202px%3B%20background%3A%20%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Part%20A%20%26middot%3B%2010%20min%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.5rem%3B%20font-weight%3A%20800%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-top%3A%208px%3B%20line-height%3A%201.2%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Memory%20Amplification%20Tax%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20font-size%3A%200.92rem%3B%20margin-top%3A%206px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.55%3B%20max-width%3A%20700px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%20model%20that%20comfortably%20runs%20inference%20on%20a%20smartphone%20cannot%20learn%20on%20that%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20same%20device.%20Full%20fine-tuning%20requires%204-12x%20more%20memory%20due%20to%20gradients%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20optimizer%20state%2C%20and%20activation%20caching.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Your%20Prediction%22))%0A%20%20%20%20%20%20%20%20items.append(pA_pred)%0A%0A%20%20%20%20%20%20%20%20if%20pA_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20memory%20breakdown.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20Controls%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpA_params%2C%20pA_batch%2C%20pA_strategy%5D%2C%20gap%3D%221.5rem%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Computation%0A%20%20%20%20%20%20%20%20_params_m%20%3D%20pA_params.value%0A%20%20%20%20%20%20%20%20_params%20%3D%20_params_m%20*%201e6%0A%20%20%20%20%20%20%20%20_batch%20%3D%20pA_batch.value%0A%20%20%20%20%20%20%20%20_strategy%20%3D%20pA_strategy.value%0A%0A%20%20%20%20%20%20%20%20%23%20Trainable%20fraction%0A%20%20%20%20%20%20%20%20_train_frac%20%3D%20%7B%22full%22%3A%201.0%2C%20%22lora%22%3A%20LORA_FRACTION%2C%20%22bias%22%3A%20BIAS_FRACTION%7D%5B_strategy%5D%0A%20%20%20%20%20%20%20%20_trainable%20%3D%20_params%20*%20_train_frac%0A%0A%20%20%20%20%20%20%20%20%23%20Memory%20breakdown%20(all%20in%20MB)%0A%20%20%20%20%20%20%20%20_weights_mb%20%3D%20_params%20*%20BYTES_FP16%20%2F%20(1024%20*%201024)%0A%20%20%20%20%20%20%20%20_grads_mb%20%3D%20_trainable%20*%20BYTES_FP32%20%2F%20(1024%20*%201024)%0A%20%20%20%20%20%20%20%20_optim_mb%20%3D%20_trainable%20*%20BYTES_FP32%20*%20ADAM_MULTIPLIER%20%2F%20(1024%20*%201024)%0A%20%20%20%20%20%20%20%20_activ_mb%20%3D%20_params%20*%20_batch%20*%20ACTIVATION_RATIO%20*%20BYTES_FP32%20%2F%20(1024%20*%201024)%0A%20%20%20%20%20%20%20%20if%20_strategy%20!%3D%20%22full%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_activ_mb%20*%3D%20_train_frac%20*%2010%20%20%23%20LoRA%2Fbias%20need%20fewer%20activations%20but%20some%0A%20%20%20%20%20%20%20%20_total_mb%20%3D%20_weights_mb%20%2B%20_grads_mb%20%2B%20_optim_mb%20%2B%20_activ_mb%0A%20%20%20%20%20%20%20%20_infer_mb%20%3D%20_weights_mb%0A%0A%20%20%20%20%20%20%20%20_amplification%20%3D%20_total_mb%20%2F%20max(_infer_mb%2C%200.01)%0A%20%20%20%20%20%20%20%20_oom%20%3D%20_total_mb%20%3E%20MOBILE_RAM_AVAIL_MB%0A%0A%20%20%20%20%20%20%20%20%23%20Stacked%20bar%20chart%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_segments%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Weights%22%2C%20_weights_mb%2C%20COLORS%5B%22BlueLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Gradients%22%2C%20_grads_mb%2C%20COLORS%5B%22OrangeLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Optimizer%20State%22%2C%20_optim_mb%2C%20%22%237c3aed%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Activations%22%2C%20_activ_mb%2C%20COLORS%5B%22GreenLine%22%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20for%20_name%2C%20_val%2C%20_color%20in%20_segments%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D_name%2C%20x%3D%5B%22Training%20Memory%22%5D%2C%20y%3D%5B_val%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D_color%2C%20opacity%3D0.85%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7B_val%3A.0f%7D%20MB%22%5D%2C%20textposition%3D%22inside%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%23%20RAM%20ceiling%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3DMOBILE_RAM_AVAIL_MB%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22RedLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22Smartphone%20RAM%3A%20%7BMOBILE_RAM_AVAIL_MB%3A.0f%7D%20MB%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_position%3D%22top%20right%22)%0A%20%20%20%20%20%20%20%20%23%20Inference%20reference%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Inference%20Only%22%2C%20x%3D%5B%22Inference%22%5D%2C%20y%3D%5B_infer_mb%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3DCOLORS%5B%22BlueLine%22%5D%2C%20opacity%3D0.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7B_infer_mb%3A.0f%7D%20MB%22%5D%2C%20textposition%3D%22inside%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20barmode%3D%22stack%22%2C%20height%3D380%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Memory%20(MB)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D30%2C%20b%3D40)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D-0.15%2C%20x%3D0)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20OOM%20banner%0A%20%20%20%20%20%20%20%20if%20_oom%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**OOM%20--%20Training%20infeasible%20on%20this%20device.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Required%3A%20%7B_total_mb%3A.0f%7D%20MB%20%7C%20Available%3A%20%7BMOBILE_RAM_AVAIL_MB%3A.0f%7D%20MB.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Switch%20to%20LoRA%20or%20reduce%20model%20size.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22danger%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Training%20fits%20within%20%7BMOBILE_RAM_AVAIL_MB%3A.0f%7D%20MB%20mobile%20RAM%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22(%7B_total_mb%3A.0f%7D%20MB%20used%2C%20%7BMOBILE_RAM_AVAIL_MB%20-%20_total_mb%3A.0f%7D%20MB%20headroom).%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Cards%0A%20%20%20%20%20%20%20%20_amp_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_amplification%20%3E%205%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_amplification%20%3E%202%20else%20COLORS%5B%22GreenLine%22%5D%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EInference%20Memory%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_infer_mb%3A.0f%7D%20MB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_amp_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ETraining%20Memory%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_amp_color%7D%3B%22%3E%7B_total_mb%3A.0f%7D%20MB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_amp_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EAmplification%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_amp_color%7D%3B%22%3E%7B_amplification%3A.1f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Training%20Memory%20Breakdown**%20(%7B_params_m%7DM%20params%2C%20batch%3D%7B_batch%7D%2C%20%7B_strategy%7D)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Weights%20%20%20%20%20%20%20%3D%20%7B_params_m%7DM%20x%20%7BBYTES_FP16%7D%20bytes%20%20%3D%20%7B_weights_mb%3A.0f%7D%20MB%0A%20%20%20%20Gradients%20%20%20%20%20%3D%20%7B_trainable%2F1e6%3A.2f%7DM%20x%20%7BBYTES_FP32%7D%20bytes%20%20%3D%20%7B_grads_mb%3A.0f%7D%20MB%0A%20%20%20%20Optimizer%20(Adam)%20%3D%20%7B_trainable%2F1e6%3A.2f%7DM%20x%20%7BBYTES_FP32%7D%20x%20%7BADAM_MULTIPLIER%7D%20%20%3D%20%7B_optim_mb%3A.0f%7D%20MB%0A%20%20%20%20Activations%20%20%20%3D%20f(params%2C%20batch)%20%20%20%20%20%20%20%20%20%3D%20%7B_activ_mb%3A.0f%7D%20MB%0A%20%20%20%20Total%20%20%20%20%20%20%20%20%20%3D%20%7B_total_mb%3A.0f%7D%20MB%20(%7B_amplification%3A.1f%7Dx%20inference)%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20%40sec-edge-intelligence%2C%20training%20amplification%20table*%0A%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Reveal%0A%20%20%20%20%20%20%20%20if%20pA_pred.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20Full%20fine-tuning%20with%20Adam%20requires%205-9x%20more%20memory%20than%20inference.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Gradients%20equal%20the%20model%20size%2C%20Adam%20adds%202x%20more%20for%20momentum%20and%20variance%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22activations%20scale%20with%20batch%20size%20and%20depth.%20The%20model%20that%20*runs*%20on%20the%20device%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22cannot%20*learn*%20on%20the%20device%20without%20LoRA%20or%20similar%20adaptation.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20elif%20pA_pred.value%20%3D%3D%20%22B%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**You%20forgot%20optimizer%20state%20and%20activations.**%20Training%20is%20not%20'inference%20%2B%20gradients.'%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Adam%20stores%20two%20additional%20copies%20of%20every%20trainable%20parameter%20(momentum%20and%20variance).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Activations%20cached%20for%20the%20backward%20pass%20scale%20with%20batch%20size.%20Total%3A%205-9x%2C%20not%202x.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Full%20fine-tuning%20with%20Adam%20requires%20~200-360%20MB%20for%20a%2010M-param%20model.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Weights%20(40%20MB)%20%2B%20Gradients%20(40%20MB)%20%2B%20Optimizer%20State%20(80%20MB)%20%2B%20Activations%20(~40-200%20MB).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22That%20is%205-9x%20the%20inference%20footprint%2C%20depending%20on%20batch%20size.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_msg)%2C%20kind%3D_kind))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Math%20Peek%3A%20Training%20Memory%20Amplification%22%3A%20mo.md(%22%22%22%0A%20%20%20%20**Formula%3A**%0A%20%20%20%20%24%24%0A%20%20%20%20M_%7B%5C%5Ctext%7Btrain%7D%7D%20%3D%20M_%7B%5C%5Ctext%7Bweights%7D%7D%20%2B%20M_%7B%5C%5Ctext%7Bgrad%7D%7D%20%2B%20M_%7B%5C%5Ctext%7Bopt%7D%7D%20%2B%20M_%7B%5C%5Ctext%7Bact%7D%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20**Where%3A**%0A%20%20%20%20-%20**%24M_%7B%5C%5Ctext%7Bweights%7D%7D%24**%3A%20Model%20parameters%20in%20FP16%20%3D%20%24P%20%5C%5Ctimes%202%24%20bytes%0A%20%20%20%20-%20**%24M_%7B%5C%5Ctext%7Bgrad%7D%7D%24**%3A%20Gradient%20storage%20(same%20size%20as%20weights)%20%3D%20%24P%20%5C%5Ctimes%202%24%20bytes%0A%20%20%20%20-%20**%24M_%7B%5C%5Ctext%7Bopt%7D%7D%24**%3A%20Adam%20stores%20momentum%20%2B%20variance%20in%20FP32%20%3D%20%24P%20%5C%5Ctimes%204%20%5C%5Ctimes%202%24%20bytes%0A%20%20%20%20-%20**%24M_%7B%5C%5Ctext%7Bact%7D%7D%24**%3A%20Activations%20cached%20for%20backward%20pass%2C%20scales%20with%20batch%20size%20%24B%24%0A%0A%20%20%20%20**Amplification%20factor**%20over%20inference%20(%24M_%7B%5C%5Ctext%7Binf%7D%7D%20%3D%20P%20%5C%5Ctimes%202%24)%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5C%5Ctext%7BAmplification%7D%20%3D%20%5C%5Cfrac%7BM_%7B%5C%5Ctext%7Btrain%7D%7D%7D%7BM_%7B%5C%5Ctext%7Binf%7D%7D%7D%20%3D%201%20%2B%201%20%2B%204%20%2B%20%5C%5Cfrac%7BM_%7B%5C%5Ctext%7Bact%7D%7D%7D%7BP%20%5C%5Ctimes%202%7D%20%5C%5Capprox%205%5C%5Ctext%7B-%7D9%5C%5Ctimes%0A%20%20%20%20%24%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20B%20BUILDER%20--%20The%20Adaptation%20Strategy%20Selector%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_b()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'OrangeL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'OrangeLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Embedded%20Systems%20Engineer%2C%20Paxos%20Devices%3C%2Fdiv%3E%0A%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%26ldquo%3BI%20keep%20hearing%20that%20LoRA%20solves%20the%20on-device%20fine-tuning%20problem%2C%20but%20nobody%20tells%20me%0A%20%20%20%20%20%20%20%20the%20actual%20memory%20numbers.%20For%20a%20350M%20model%2C%20how%20much%20storage%20does%20LoRA%20rank-16%20really%20save%0A%20%20%20%20%20%20%20%20compared%20to%20full%20fine-tuning%3F%20And%20does%20bias-only%20tuning%20even%20move%20the%20needle%20on%20accuracy%3F%26rdquo%3B%3C%2Fdiv%3E%0A%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%26mdash%3B%20Marcus%20Chen%2C%20Embedded%20Systems%20Engineer%20%26middot%3B%20Paxos%20Devices%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Banner%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20id%3D%22part-b%22%20style%3D%22margin%3A%2032px%200%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20align-items%3A%20center%3B%20gap%3A%2012px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20color%3A%20white%3B%20border-radius%3A%2050%25%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A%2032px%3B%20height%3A%2032px%3B%20display%3A%20inline-flex%3B%20align-items%3A%20center%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20justify-content%3A%20center%3B%20font-size%3A%200.9rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20flex-shrink%3A%200%3B%22%3EB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20height%3A%202px%3B%20background%3A%20%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Part%20B%20%26middot%3B%2010%20min%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.5rem%3B%20font-weight%3A%20800%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-top%3A%208px%3B%20line-height%3A%201.2%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Adaptation%20Strategy%20Selector%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20font-size%3A%200.92rem%3B%20margin-top%3A%206px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.55%3B%20max-width%3A%20700px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20LoRA%20makes%20fine-tuning%20fit%20in%20memory.%20But%20the%20storage%20advantage%20is%20even%20more%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dramatic%20for%20multi-context%20personalization%3A%2010%20user%20profiles%20require%20400%20MB%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20with%20full%20fine-tuning%20but%20only%20~42%20MB%20with%20LoRA%20adapters.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Your%20Prediction%22))%0A%20%20%20%20%20%20%20%20items.append(pB_pred)%0A%0A%20%20%20%20%20%20%20%20if%20pB_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20storage%20comparison.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20Controls%0A%20%20%20%20%20%20%20%20items.append(pB_contexts)%0A%0A%20%20%20%20%20%20%20%20_n_ctx%20%3D%20pB_contexts.value%0A%20%20%20%20%20%20%20%20_model_mb%20%3D%2040.0%20%20%23%2010M%20params%20x%204%20bytes%20(FP32%20stored)%0A%0A%20%20%20%20%20%20%20%20%23%20Storage%20per%20context%0A%20%20%20%20%20%20%20%20_full_per_ctx%20%3D%20_model_mb%20%20%23%20store%20full%20model%0A%20%20%20%20%20%20%20%20_lora_per_ctx%20%3D%20_model_mb%20*%20LORA_FRACTION%20%2B%200.2%20%20%23%20adapters%20%2B%20metadata%0A%20%20%20%20%20%20%20%20_bias_per_ctx%20%3D%20_model_mb%20*%20BIAS_FRACTION%20%2B%200.1%0A%0A%20%20%20%20%20%20%20%20%23%20Total%20%3D%20base%20model%20%2B%20N%20context-specific%20weights%0A%20%20%20%20%20%20%20%20_full_total%20%3D%20_model_mb%20%2B%20_n_ctx%20*%20_full_per_ctx%0A%20%20%20%20%20%20%20%20_lora_total%20%3D%20_model_mb%20%2B%20_n_ctx%20*%20_lora_per_ctx%20%20%23%20shared%20base%20%2B%20N%20adapters%0A%20%20%20%20%20%20%20%20_bias_total%20%3D%20_model_mb%20%2B%20_n_ctx%20*%20_bias_per_ctx%0A%0A%20%20%20%20%20%20%20%20_ctx_range%20%3D%20np.arange(1%2C%2021)%0A%20%20%20%20%20%20%20%20_full_curve%20%3D%20_model_mb%20%2B%20_ctx_range%20*%20_full_per_ctx%0A%20%20%20%20%20%20%20%20_lora_curve%20%3D%20_model_mb%20%2B%20_ctx_range%20*%20_lora_per_ctx%0A%20%20%20%20%20%20%20%20_bias_curve%20%3D%20_model_mb%20%2B%20_ctx_range%20*%20_bias_per_ctx%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_ctx_range%2C%20y%3D_full_curve%2C%20mode%3D%22lines%2Bmarkers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Full%20Fine-Tuning%22%2C%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D3)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_ctx_range%2C%20y%3D_lora_curve%2C%20mode%3D%22lines%2Bmarkers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22LoRA%20(rank-16)%22%2C%20line%3Ddict(color%3DCOLORS%5B%22GreenLine%22%5D%2C%20width%3D3)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_ctx_range%2C%20y%3D_bias_curve%2C%20mode%3D%22lines%2Bmarkers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Bias-Only%22%2C%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D3)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D340%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Number%20of%20User%20Contexts%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Total%20Storage%20(MB)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D-0.2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D30%2C%20b%3D80)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20_savings%20%3D%20_full_total%20%2F%20max(_lora_total%2C%200.01)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EFull%20Storage%20(%7B_n_ctx%7D%20ctx)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E%7B_full_total%3A.0f%7D%20MB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ELoRA%20Storage%20(%7B_n_ctx%7D%20ctx)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7B_lora_total%3A.0f%7D%20MB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ESavings%20Ratio%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_savings%3A.0f%7Dx%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Reveal%0A%20%20%20%20%20%20%20%20if%20pB_pred.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20%22**Correct.**%20LoRA%20adapters%20are%20~1%25%20of%20model%20size.%2010%20contexts%3A%20base%20model%20(40%20MB)%20%2B%2010%20adapters%20(~0.6%20MB%20each)%20%3D%20~46%20MB%20total%2C%20roughly%2010x%20savings%20over%20full%20fine-tuning.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20%22**LoRA%20adapters%20are%20~1%25%20of%20model%20size.**%20A%2010M-param%20model%20produces%20~0.4%20MB%20adapters%20per%20context.%2010%20contexts%20%3D%20base%20model%20(40%20MB)%20%2B%2010%20x%200.6%20MB%20%3D%20~46%20MB.%20Full%20fine-tuning%20would%20require%20440%20MB%20for%20the%20same%2010%20contexts.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_msg)%2C%20kind%3D_kind))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Math%20Peek%3A%20LoRA%20Storage%20Savings%22%3A%20mo.md(%22%22%22%0A%20%20%20%20**Formula%3A**%0A%20%20%20%20%24%24%0A%20%20%20%20M_%7B%5C%5Ctext%7BLoRA%7D%7D%20%3D%20M_%7B%5C%5Ctext%7Bbase%7D%7D%20%2B%20K%20%5C%5Ctimes%20r%20%5C%5Ctimes%20(d_%7B%5C%5Ctext%7Bin%7D%7D%20%2B%20d_%7B%5C%5Ctext%7Bout%7D%7D)%20%5C%5Ctimes%202%0A%20%20%20%20%24%24%0A%0A%20%20%20%20**Where%3A**%0A%20%20%20%20-%20**%24M_%7B%5C%5Ctext%7Bbase%7D%7D%24**%3A%20Base%20model%20weights%20(shared%2C%20stored%20once)%0A%20%20%20%20-%20**%24K%24**%3A%20Number%20of%20user%20contexts%20(adapters)%0A%20%20%20%20-%20**%24r%24**%3A%20LoRA%20rank%20(typically%204-16)%0A%20%20%20%20-%20**%24d_%7B%5C%5Ctext%7Bin%7D%7D%2C%20d_%7B%5C%5Ctext%7Bout%7D%7D%24**%3A%20Dimensions%20of%20the%20adapted%20weight%20matrices%0A%20%20%20%20-%20Factor%20of%202%3A%20bytes%20per%20FP16%20parameter%0A%0A%20%20%20%20**Savings%20ratio**%20vs.%20full%20fine-tuning%20(%24K%24%20separate%20models)%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5C%5Ctext%7BRatio%7D%20%3D%20%5C%5Cfrac%7BK%20%5C%5Ctimes%20M_%7B%5C%5Ctext%7Bbase%7D%7D%7D%7BM_%7B%5C%5Ctext%7Bbase%7D%7D%20%2B%20K%20%5C%5Ctimes%20r%2Fd%20%5C%5Ctimes%20M_%7B%5C%5Ctext%7Bbase%7D%7D%7D%20%5C%5Capprox%20%5C%5Cfrac%7BK%7D%7B1%20%2B%20K%20%5C%5Ctimes%200.01%7D%20%5C%5Capprox%2010%5C%5Ctimes%20%5C%5Ctext%7B%20at%20%7D%20K%7B%3D%7D10%0A%20%20%20%20%24%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20C%20BUILDER%20--%20The%20Battery%20Drain%20Reality%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_c()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'RedLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'RedL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'RedLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Battery%20Team%20Lead%2C%20Paxos%20Devices%3C%2Fdiv%3E%0A%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%26ldquo%3BProduct%20wants%20continuous%20on-device%20inference%2C%20but%20our%205%2C000%20mAh%20battery%20already%20struggles%0A%20%20%20%20%20%20%20%20to%20last%20a%20full%20day.%20How%20many%20joules%20does%20a%20single%20forward%20pass%20actually%20cost%20at%20different%0A%20%20%20%20%20%20%20%20batch%20sizes%2C%20and%20at%20what%20query%20rate%20do%20we%20start%20draining%20faster%20than%20the%20user%20can%20charge%3F%26rdquo%3B%3C%2Fdiv%3E%0A%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%26mdash%3B%20Tomoko%20Ishida%2C%20Battery%20Systems%20Lead%20%26middot%3B%20Paxos%20Devices%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Banner%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20id%3D%22part-c%22%20style%3D%22margin%3A%2032px%200%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20align-items%3A%20center%3B%20gap%3A%2012px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%20color%3A%20white%3B%20border-radius%3A%2050%25%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A%2032px%3B%20height%3A%2032px%3B%20display%3A%20inline-flex%3B%20align-items%3A%20center%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20justify-content%3A%20center%3B%20font-size%3A%200.9rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20flex-shrink%3A%200%3B%22%3EC%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20height%3A%202px%3B%20background%3A%20%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Part%20C%20%26middot%3B%2010%20min%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.5rem%3B%20font-weight%3A%20800%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-top%3A%208px%3B%20line-height%3A%201.2%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Battery%20Drain%20Reality%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20font-size%3A%200.92rem%3B%20margin-top%3A%206px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.55%3B%20max-width%3A%20700px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20LoRA%20makes%20fine-tuning%20fit%20in%20memory.%20But%20does%20it%20make%20it%20practical%3F%20A%20fine-tuning%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20session%20that%20visibly%20drains%20the%20battery%20is%20a%20product-killing%20feature%2C%20not%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20product%20feature.%20The%20NPU%20changes%20the%20equation%20entirely.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Your%20Prediction%22))%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22*Enter%20battery%20drain%20percentage%20for%20one%20CPU%20fine-tuning%20session%3A*%22))%0A%20%20%20%20%20%20%20%20items.append(pC_pred)%0A%0A%20%20%20%20%20%20%20%20if%20pC_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Enter%20your%20prediction%20to%20unlock%20the%20battery%20drain%20simulator.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20Controls%0A%20%20%20%20%20%20%20%20items.append(pC_target)%0A%0A%20%20%20%20%20%20%20%20_target%20%3D%20pC_target.value%0A%20%20%20%20%20%20%20%20_base_duration_s%20%3D%2030.0%20%20%23%20CPU%20baseline%0A%0A%20%20%20%20%20%20%20%20%23%20Execution%20target%20properties%0A%20%20%20%20%20%20%20%20_target_props%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cpu%22%3A%20%7B%22power_w%22%3A%20MOBILE_CPU_POWER_W%2C%20%22duration_s%22%3A%20_base_duration_s%20*%202.5%2C%20%22label%22%3A%20%22CPU%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22gpu%22%3A%20%7B%22power_w%22%3A%202.0%2C%20%22duration_s%22%3A%20_base_duration_s%20*%201.5%2C%20%22label%22%3A%20%22Mobile%20GPU%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22npu%22%3A%20%7B%22power_w%22%3A%20MOBILE_NPU_POWER_W%2C%20%22duration_s%22%3A%20_base_duration_s%20%2F%20NPU_SPEEDUP%2C%20%22label%22%3A%20%22NPU%22%7D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_props%20%3D%20_target_props%5B_target%5D%0A%20%20%20%20%20%20%20%20_power%20%3D%20_props%5B%22power_w%22%5D%0A%20%20%20%20%20%20%20%20_duration%20%3D%20_props%5B%22duration_s%22%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Battery%20drain%20calculation%0A%20%20%20%20%20%20%20%20%23%20drain_pct%20%3D%20(power_W%20*%20duration_s)%20%2F%20(battery_Wh%20*%203600)%20*%20100%0A%20%20%20%20%20%20%20%20_energy_wh%20%3D%20_power%20*%20_duration%20%2F%203600%0A%20%20%20%20%20%20%20%20_drain_pct%20%3D%20(_energy_wh%20%2F%20MOBILE_BATTERY_WH)%20*%20100%0A%20%20%20%20%20%20%20%20_sessions_per_charge%20%3D%20100.0%20%2F%20_drain_pct%20if%20_drain_pct%20%3E%200%20else%20float('inf')%0A%0A%20%20%20%20%20%20%20%20%23%20Comparison%20bars%0A%20%20%20%20%20%20%20%20_targets%20%3D%20%5B%22CPU%22%2C%20%22Mobile%20GPU%22%2C%20%22NPU%22%5D%0A%20%20%20%20%20%20%20%20_drains%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20_durations%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_t%20in%20%5B%22cpu%22%2C%20%22gpu%22%2C%20%22npu%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_p%20%3D%20_target_props%5B_t%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_e%20%3D%20_p%5B%22power_w%22%5D%20*%20_p%5B%22duration_s%22%5D%20%2F%203600%0A%20%20%20%20%20%20%20%20%20%20%20%20_d%20%3D%20(_e%20%2F%20MOBILE_BATTERY_WH)%20*%20100%0A%20%20%20%20%20%20%20%20%20%20%20%20_drains.append(_d)%0A%20%20%20%20%20%20%20%20%20%20%20%20_durations.append(_p%5B%22duration_s%22%5D)%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_bar_colors%20%3D%20%5BCOLORS%5B%22RedLine%22%5D%20if%20d%20%3E%205%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20d%20%3E%201%20else%20COLORS%5B%22GreenLine%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20d%20in%20_drains%5D%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_targets%2C%20y%3D_drains%2C%20marker_color%3D_bar_colors%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7Bd%3A.1f%7D%25%22%20for%20d%20in%20_drains%5D%2C%20textposition%3D%22outside%22%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D1.0%2C%20line_dash%3D%22dash%22%2C%20line_color%3DCOLORS%5B%22GreenLine%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%22Target%3A%20%3C1%25%20per%20session%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D340%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Battery%20Drain%20per%20Session%20(%25)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D30%2C%20b%3D40)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%0A%20%20%20%20%20%20%20%20%23%20Failure%20state%0A%20%20%20%20%20%20%20%20_drain_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_drain_pct%20%3E%205%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_drain_pct%20%3E%201%20else%20COLORS%5B%22GreenLine%22%5D%0A%20%20%20%20%20%20%20%20if%20_drain_pct%20%3E%205%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Product-killing%20battery%20drain.**%20%7B_drain_pct%3A.1f%7D%25%20per%20session%20means%20only%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_sessions_per_charge%3A.0f%7D%20sessions%20per%20full%20charge.%20Users%20will%20disable%20this%20feature.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22danger%22))%0A%20%20%20%20%20%20%20%20elif%20_drain_pct%20%3E%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Marginal.**%20%7B_drain_pct%3A.1f%7D%25%20per%20session%20is%20noticeable.%20%7B_sessions_per_charge%3A.0f%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22sessions%20per%20charge.%20Consider%20NPU%20for%20production%20deployment.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Viable.**%20%7B_drain_pct%3A.2f%7D%25%20per%20session.%20%7B_sessions_per_charge%3A.0f%7D%20sessions%20per%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22full%20charge.%20This%20is%20a%20product%20feature%2C%20not%20a%20battery%20drain.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%20kind%3D%22success%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Cards%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_drain_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EDrain%20(%7B_props%5B'label'%5D%7D)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_drain_color%7D%3B%22%3E%7B_drain_pct%3A.2f%7D%25%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EDuration%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%7B_duration%3A.1f%7Ds%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ESessions%2FCharge%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_sessions_per_charge%3A.0f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%20comparison%0A%20%20%20%20%20%20%20%20_predicted%20%3D%20pC_pred.value%20if%20pC_pred.value%20else%200%0A%20%20%20%20%20%20%20%20_cpu_drain%20%3D%20_drains%5B0%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Battery%20Drain%20Formula**%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Energy%20%20%20%20%20%20%3D%20Power%20x%20Duration%20%3D%20%7B_power%3A.1f%7DW%20x%20%7B_duration%3A.1f%7Ds%20%3D%20%7B_energy_wh%3A.4f%7D%20Wh%0A%20%20%20%20Drain%20(%25)%20%20%20%3D%20Energy%20%2F%20Battery%20x%20100%20%3D%20%7B_energy_wh%3A.4f%7D%20%2F%20%7BMOBILE_BATTERY_WH%7D%20x%20100%20%3D%20%7B_drain_pct%3A.2f%7D%25%0A%20%20%20%20Sessions%20%20%20%20%3D%20100%25%20%2F%20%7B_drain_pct%3A.2f%7D%25%20%3D%20%7B_sessions_per_charge%3A.0f%7D%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20You%20predicted%3A%20%7B_predicted%3A.1f%7D%25.%20Actual%20CPU%20drain%3A%20%7B_cpu_drain%3A.1f%7D%25.%0A%0A%20%20%20%20*Source%3A%20%40sec-edge-intelligence%2C%20on-device%20energy%20model*%0A%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Math%20Peek%3A%20Energy%20per%20Inference%20and%20Battery%20Drain%22%3A%20mo.md(%22%22%22%0A%20%20%20%20**Dynamic%20power%20consumption%3A**%0A%20%20%20%20%24%24%0A%20%20%20%20P%20%3D%20C%20%5C%5Ccdot%20V%5E2%20%5C%5Ccdot%20f%0A%20%20%20%20%24%24%0A%0A%20%20%20%20**Where%3A**%0A%20%20%20%20-%20**%24C%24**%3A%20Switching%20capacitance%20(depends%20on%20circuit%20activity)%0A%20%20%20%20-%20**%24V%24**%3A%20Supply%20voltage%0A%20%20%20%20-%20**%24f%24**%3A%20Clock%20frequency%0A%0A%20%20%20%20**Energy%20per%20session%20and%20battery%20drain%3A**%0A%20%20%20%20%24%24%0A%20%20%20%20E_%7B%5C%5Ctext%7Bsession%7D%7D%20%3D%20P%20%5C%5Ctimes%20t_%7B%5C%5Ctext%7Bduration%7D%7D%20%5C%5Cquad%20%5C%5Ctext%7B(Wh)%7D%0A%20%20%20%20%24%24%0A%20%20%20%20%24%24%0A%20%20%20%20%5C%5Ctext%7BDrain%7D(%5C%5C%25)%20%3D%20%5C%5Cfrac%7BE_%7B%5C%5Ctext%7Bsession%7D%7D%7D%7BE_%7B%5C%5Ctext%7Bbattery%7D%7D%7D%20%5C%5Ctimes%20100%0A%20%20%20%20%24%24%0A%0A%20%20%20%20**NPU%20advantage%3A**%20NPU%20achieves%20the%20same%20computation%20at%20lower%20%24V%24%20and%20optimized%20%24C%24%2C%0A%20%20%20%20yielding%20%24%5C%5Csim%2450x%20energy%20efficiency%20over%20CPU%20for%20ML%20workloads.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20PART%20D%20BUILDER%20--%20The%20Federation%20Paradox%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_part_d()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border-left%3A4px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20background%3A%7BCOLORS%5B'GreenL'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A0%2010px%2010px%200%3B%20padding%3A16px%2022px%3B%20margin%3A12px%200%3B%22%3E%0A%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.72rem%3B%20font-weight%3A700%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3Auppercase%3B%20letter-spacing%3A0.1em%3B%20margin-bottom%3A6px%3B%22%3E%0A%20%20%20%20%20%20%20%20Incoming%20Message%20%26middot%3B%20Privacy%20Officer%2C%20Paxos%20Devices%3C%2Fdiv%3E%0A%20%20%20%20%3Cdiv%20style%3D%22font-style%3Aitalic%3B%20font-size%3A1.0rem%3B%20color%3A%231e293b%3B%20line-height%3A1.65%3B%22%3E%0A%20%20%20%20%20%20%20%20%26ldquo%3BLegal%20says%20we%20cannot%20send%20raw%20user%20data%20to%20the%20cloud%2C%20so%20we%20are%20betting%20on%20federated%20learning.%0A%20%20%20%20%20%20%20%20But%20my%20engineers%20warn%20that%20with%20only%2050%20heterogeneous%20devices%20per%20round%2C%20the%20model%20may%20never%20converge.%0A%20%20%20%20%20%20%20%20How%20many%20federation%20rounds%20does%20it%20actually%20take%2C%20and%20when%20does%20communication%20cost%20exceed%20centralized%20training%3F%26rdquo%3B%3C%2Fdiv%3E%0A%20%20%20%20%3Cdiv%20style%3D%22font-size%3A0.78rem%3B%20color%3A%23475569%3B%20margin-top%3A8px%3B%20font-weight%3A600%3B%22%3E%0A%20%20%20%20%20%20%20%20%26mdash%3B%20Elena%20Vasquez%2C%20Chief%20Privacy%20Officer%20%26middot%3B%20Paxos%20Devices%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Banner%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20id%3D%22part-d%22%20style%3D%22margin%3A%2032px%200%2012px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20align-items%3A%20center%3B%20gap%3A%2012px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%237c3aed%3B%20color%3A%20white%3B%20border-radius%3A%2050%25%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A%2032px%3B%20height%3A%2032px%3B%20display%3A%20inline-flex%3B%20align-items%3A%20center%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20justify-content%3A%20center%3B%20font-size%3A%200.9rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20flex-shrink%3A%200%3B%22%3ED%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20height%3A%202px%3B%20background%3A%20%7BCOLORS%5B'Border'%5D%7D%3B%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.72rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Part%20D%20%26middot%3B%2015%20min%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.5rem%3B%20font-weight%3A%20800%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-top%3A%208px%3B%20line-height%3A%201.2%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20Federation%20Paradox%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20font-size%3A%200.92rem%3B%20margin-top%3A%206px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.55%3B%20max-width%3A%20700px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Federated%20learning%20keeps%20data%20on-device.%20But%20non-IID%20data%20(each%20user%20types%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20differently)%20causes%204-8x%20more%20communication%20rounds%20than%20IID.%20Gradient%20compression%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20is%20the%20natural%20engineering%20response%20%26mdash%3B%20but%20aggressive%20compression%20can%20add%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rounds%2C%20creating%20a%20U-shaped%20optimum%20in%20total%20communication%20cost.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Prediction%0A%20%20%20%20%20%20%20%20items.append(mo.md(%22%23%23%23%20Your%20Prediction%22))%0A%20%20%20%20%20%20%20%20items.append(pD_pred)%0A%0A%20%20%20%20%20%20%20%20if%20pD_pred.value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(%22Select%20your%20prediction%20to%20unlock%20the%20federation%20simulator.%22)%2C%20kind%3D%22warn%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%20%20%20%20%23%20Controls%0A%20%20%20%20%20%20%20%20items.append(mo.hstack(%5BpD_beta%2C%20pD_epochs%2C%20pD_compress%5D%2C%20gap%3D%221.5rem%22))%0A%0A%20%20%20%20%20%20%20%20_beta%20%3D%20pD_beta.value%0A%20%20%20%20%20%20%20%20_E%20%3D%20pD_epochs.value%0A%20%20%20%20%20%20%20%20_compress%20%3D%20pD_compress.value%0A%0A%20%20%20%20%20%20%20%20%23%20Convergence%20model%3A%20non-IID%20penalty%20from%20heterogeneity%0A%20%20%20%20%20%20%20%20%23%20Source%3A%20%40sec-edge-intelligence%2C%20FedAvg%20convergence%20analysis%0A%20%20%20%20%20%20%20%20%23%20Rounds%20scale%20as%3A%20R_noniid%20%3D%20R_iid%20*%20(1%20%2B%20alpha%20%2F%20beta)%0A%20%20%20%20%20%20%20%20%23%20where%20alpha%20captures%20the%20heterogeneity%20penalty%0A%20%20%20%20%20%20%20%20_alpha%20%3D%203.0%20%20%23%20calibrated%20so%20beta%3D0.5%20gives%20~4-8x%20rounds%0A%20%20%20%20%20%20%20%20_noniid_multiplier%20%3D%201%20%2B%20_alpha%20%2F%20_beta%0A%0A%20%20%20%20%20%20%20%20%23%20Client%20drift%20from%20excess%20local%20epochs%0A%20%20%20%20%20%20%20%20%23%20Beyond%20E%3D5%2C%20drift%20causes%20convergence%20to%20slow%20or%20diverge%0A%20%20%20%20%20%20%20%20_drift_penalty%20%3D%201.0%20if%20_E%20%3C%3D%203%20else%201%20%2B%200.15%20*%20(_E%20-%203)%0A%20%20%20%20%20%20%20%20if%20_E%20%3E%2010%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_drift_penalty%20%3D%201%20%2B%200.15%20*%207%20%2B%200.3%20*%20(_E%20-%2010)%20%20%23%20accelerating%20penalty%0A%0A%20%20%20%20%20%20%20%20_noniid_rounds%20%3D%20IID_ROUNDS%20*%20_noniid_multiplier%20*%20_drift_penalty%0A%0A%20%20%20%20%20%20%20%20%23%20Compression%20effects%0A%20%20%20%20%20%20%20%20_compress_props%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22none%22%3A%20%7B%22bytes_mult%22%3A%201.0%2C%20%22quality_penalty%22%3A%201.0%2C%20%22label%22%3A%20%22None%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22int8%22%3A%20%7B%22bytes_mult%22%3A%200.25%2C%20%22quality_penalty%22%3A%201.05%2C%20%22label%22%3A%20%22INT8%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22int4%22%3A%20%7B%22bytes_mult%22%3A%200.125%2C%20%22quality_penalty%22%3A%201.15%2C%20%22label%22%3A%20%22INT4%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22topk%22%3A%20%7B%22bytes_mult%22%3A%200.1%2C%20%22quality_penalty%22%3A%201.25%2C%20%22label%22%3A%20%22Top-K%22%7D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_cp%20%3D%20_compress_props%5B_compress%5D%0A%20%20%20%20%20%20%20%20_compressed_rounds%20%3D%20_noniid_rounds%20*%20_cp%5B%22quality_penalty%22%5D%0A%20%20%20%20%20%20%20%20_bytes_per_round%20%3D%2040.0%20%20%23%20MB%20baseline%20(10M%20params%20x%204%20bytes)%0A%20%20%20%20%20%20%20%20_compressed_bytes%20%3D%20_bytes_per_round%20*%20_cp%5B%22bytes_mult%22%5D%0A%20%20%20%20%20%20%20%20_total_comm_mb%20%3D%20_compressed_rounds%20*%20_compressed_bytes%0A%0A%20%20%20%20%20%20%20%20%23%20Build%20convergence%20curves%0A%20%20%20%20%20%20%20%20_round_range%20%3D%20np.arange(1%2C%20int(max(_noniid_rounds%20*%201.5%2C%20200)))%0A%20%20%20%20%20%20%20%20%23%20IID%20accuracy%20curve%3A%201%20-%20exp(-r%20%2F%20R_iid)%20*%20(1%20-%20target)%0A%20%20%20%20%20%20%20%20_iid_acc%20%3D%200.90%20*%20(1%20-%20np.exp(-_round_range%20%2F%20IID_ROUNDS%20*%203))%0A%20%20%20%20%20%20%20%20_iid_acc%20%3D%20np.clip(_iid_acc%2C%200%2C%200.95)%0A%20%20%20%20%20%20%20%20%23%20Non-IID%20curve%3A%20slower%20convergence%0A%20%20%20%20%20%20%20%20_noniid_rate%20%3D%20IID_ROUNDS%20%2F%20_noniid_rounds%0A%20%20%20%20%20%20%20%20_noniid_acc%20%3D%200.90%20*%20(1%20-%20np.exp(-_round_range%20%2F%20(IID_ROUNDS%20%2F%20_noniid_rate)%20*%203))%0A%20%20%20%20%20%20%20%20_noniid_acc%20%3D%20np.clip(_noniid_acc%2C%200%2C%200.92)%0A%20%20%20%20%20%20%20%20%23%20Compressed%20curve%3A%20slightly%20worse%20convergence%20rate%0A%20%20%20%20%20%20%20%20_comp_rate%20%3D%20IID_ROUNDS%20%2F%20_compressed_rounds%0A%20%20%20%20%20%20%20%20_comp_acc%20%3D%200.90%20*%20(1%20-%20np.exp(-_round_range%20%2F%20(IID_ROUNDS%20%2F%20_comp_rate)%20*%203))%0A%20%20%20%20%20%20%20%20_comp_acc%20%3D%20np.clip(_comp_acc%2C%200%2C%200.91)%0A%0A%20%20%20%20%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_round_range%2C%20y%3D_iid_acc%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22IID%20baseline%22%2C%20line%3Ddict(color%3DCOLORS%5B%22GreenLine%22%5D%2C%20width%3D3)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_round_range%2C%20y%3D_noniid_acc%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Non-IID%20(beta%3D%7B_beta%7D)%22%2C%20line%3Ddict(color%3DCOLORS%5B%22RedLine%22%5D%2C%20width%3D3)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_round_range%2C%20y%3D_comp_acc%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Non-IID%20%2B%20%7B_cp%5B'label'%5D%7D%20compression%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOLORS%5B%22BlueLine%22%5D%2C%20width%3D2%2C%20dash%3D%22dash%22)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_fig.add_hline(y%3D0.90%2C%20line_dash%3D%22dot%22%2C%20line_color%3D%22%2394a3b8%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%22Target%20accuracy%3A%2090%25%22)%0A%20%20%20%20%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D380%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Communication%20Rounds%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Accuracy%22%2C%20range%3D%5B0%2C%201%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20y%3D-0.2%2C%20font_size%3D11)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D20%2C%20t%3D30%2C%20b%3D80)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20apply_plotly_theme(_fig)%0A%0A%20%20%20%20%20%20%20%20_round_ratio%20%3D%20_noniid_rounds%20%2F%20IID_ROUNDS%0A%20%20%20%20%20%20%20%20_r_color%20%3D%20COLORS%5B%22RedLine%22%5D%20if%20_round_ratio%20%3E%205%20else%20COLORS%5B%22OrangeLine%22%5D%20if%20_round_ratio%20%3E%202%20else%20COLORS%5B%22GreenLine%22%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.as_html(_fig))%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3Aflex%3B%20gap%3A14px%3B%20flex-wrap%3Awrap%3B%20margin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3EIID%20Rounds%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3E%7BIID_ROUNDS%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7B_r_color%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ENon-IID%20Rounds%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7B_r_color%7D%3B%22%3E%7B_noniid_rounds%3A.0f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22padding%3A16px%3B%20border%3A1px%20solid%20%23e2e8f0%3B%20border-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3Acenter%3B%20background%3Awhite%3B%20border-top%3A3px%20solid%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%20flex%3A1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%2394a3b8%3B%20font-size%3A0.78rem%3B%20font-weight%3A600%3B%22%3ETotal%20Comm%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A1.5rem%3B%20font-weight%3A800%3B%20color%3A%7BCOLORS%5B'BlueLine'%5D%7D%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_total_comm_mb%2F1024%3A.1f%7D%20GB%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.md(f%22%22%22%0A%20%20%20%20**Federation%20Physics**%20(beta%3D%7B_beta%7D%2C%20E%3D%7B_E%7D%2C%20compression%3D%7B_cp%5B'label'%5D%7D)%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20Non-IID%20multiplier%20%20%3D%201%20%2B%20alpha%2Fbeta%20%3D%201%20%2B%20%7B_alpha%7D%2F%7B_beta%7D%20%3D%20%7B_noniid_multiplier%3A.1f%7Dx%0A%20%20%20%20Drift%20penalty%20(E%3D%7B_E%7D)%20%3D%20%7B_drift_penalty%3A.2f%7Dx%0A%20%20%20%20Non-IID%20rounds%20%20%20%20%20%20%3D%20%7BIID_ROUNDS%7D%20x%20%7B_noniid_multiplier%3A.1f%7D%20x%20%7B_drift_penalty%3A.2f%7D%20%3D%20%7B_noniid_rounds%3A.0f%7D%0A%20%20%20%20Bytes%2Fround%20%20%20%20%20%20%20%20%20%20%3D%20%7B_compressed_bytes%3A.1f%7D%20MB%20(%7B_cp%5B'label'%5D%7D)%0A%20%20%20%20Total%20communication%20%20%3D%20%7B_compressed_rounds%3A.0f%7D%20x%20%7B_compressed_bytes%3A.1f%7D%20MB%20%3D%20%7B_total_comm_mb%2F1024%3A.1f%7D%20GB%0A%20%20%20%20%60%60%60%0A%20%20%20%20*Source%3A%20%40sec-edge-intelligence%2C%20FedAvg%20convergence*%0A%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20%23%20Reveal%0A%20%20%20%20%20%20%20%20if%20pD_pred.value%20%3D%3D%20%22C%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20Non-IID%20data%20at%20beta%3D0.5%20requires%204-8x%20more%20communication%20rounds.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20heterogeneity%20penalty%20is%20not%20linear%20--%20it%20grows%20inversely%20with%20beta.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Gradient%20compression%20(INT8)%20reduces%20per-round%20bytes%20by%204x%20but%20can%20add%20rounds%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22due%20to%20information%20loss%2C%20creating%20a%20U-shaped%20optimum%20in%20total%20communication%20cost.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Non-IID%20data%20requires%204-8x%20more%20rounds.**%20At%20beta%3D0.5%2C%20the%20heterogeneity%20penalty%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22multiplies%20the%20baseline%2050%20rounds%20by%20~7x%20to%20~350%20rounds.%20Students%20underestimate%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22this%20because%20they%20think%20'more%20rounds%20just%20means%20a%20bit%20slower.'%20But%20each%20round%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22requires%20a%20full%20model%20upload%20from%20every%20participating%20client.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20%20%20%20%20items.append(mo.callout(mo.md(_msg)%2C%20kind%3D_kind))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Math%20Peek%3A%20FedAvg%20Convergence%20under%20Non-IID%20Data%22%3A%20mo.md(%22%22%22%0A%20%20%20%20**Convergence%20rounds%20scaling%3A**%0A%20%20%20%20%24%24%0A%20%20%20%20R_%7B%5C%5Ctext%7Bnon-IID%7D%7D%20%3D%20R_%7B%5C%5Ctext%7BIID%7D%7D%20%5C%5Ctimes%20%5C%5Cleft(1%20%2B%20%5C%5Cfrac%7B%5C%5Csigma%5E2_%7B%5C%5Ctext%7Bhet%7D%7D%7D%7B%5C%5Cbeta%5E2%7D%5C%5Cright)%0A%20%20%20%20%24%24%0A%0A%20%20%20%20**Where%3A**%0A%20%20%20%20-%20**%24R_%7B%5C%5Ctext%7BIID%7D%7D%24**%3A%20Baseline%20rounds%20under%20IID%20data%20distribution%0A%20%20%20%20-%20**%24%5C%5Cbeta%24**%3A%20Dirichlet%20concentration%20parameter%20(lower%20%3D%20more%20heterogeneous)%0A%20%20%20%20-%20**%24%5C%5Csigma%5E2_%7B%5C%5Ctext%7Bhet%7D%7D%24**%3A%20Variance%20of%20local%20data%20distributions%20across%20clients%0A%0A%20%20%20%20**Communication%20cost%20per%20round%3A**%0A%20%20%20%20%24%24%0A%20%20%20%20C_%7B%5C%5Ctext%7Bround%7D%7D%20%3D%20N_%7B%5C%5Ctext%7Bclients%7D%7D%20%5C%5Ctimes%20%7C%5C%5Ctheta%7C%20%5C%5Ctimes%20b_%7B%5C%5Ctext%7Bprecision%7D%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20-%20**%24N_%7B%5C%5Ctext%7Bclients%7D%7D%24**%3A%20Number%20of%20participating%20devices%0A%20%20%20%20-%20**%24%7C%5C%5Ctheta%7C%24**%3A%20Model%20parameter%20count%0A%20%20%20%20-%20**%24b_%7B%5C%5Ctext%7Bprecision%7D%7D%24**%3A%20Bytes%20per%20parameter%20(2%20for%20FP16%2C%20reduced%20by%20compression)%0A%0A%20%20%20%20**Gradient%20compression**%20reduces%20%24b_%7B%5C%5Ctext%7Bprecision%7D%7D%24%20by%204-10x%20(INT8%2C%20Top-K%20sparsification).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20%7D))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20SYNTHESIS%20BUILDER%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20def%20build_synthesis()%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%7BCOLORS%5B'Surface2'%5D%7D%3B%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2024px%2028px%3B%20margin%3A%2016px%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'TextMuted'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%2012px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Key%20Takeaways%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.92rem%3B%20color%3A%20%7BCOLORS%5B'Text'%5D%7D%3B%20line-height%3A%201.75%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E1.%20Training%20memory%20is%204-12x%20inference%20memory.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Gradients%2C%20Adam%20optimizer%20state%20(2x%20params)%2C%20and%20activation%20caching%20create%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20memory%20amplification%20tax%20that%20makes%20the%20model%20that%20runs%20on%20a%20device%20unable%20to%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20learn%20on%20it%20without%20adaptation%20strategies%20like%20LoRA.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E2.%20The%20hardware%20execution%20target%20determines%20viability.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20CPU%20fine-tuning%20drains%20measurable%20battery%20per%20session%20due%20to%20thermal%20throttling.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20NPU%20fine-tuning%20is%2050-100x%20more%20energy-efficient.%20Same%20algorithm%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2050x%20energy%20difference.%20The%20NPU%20makes%20on-device%20training%20a%20product%20feature.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E3.%20Non-IID%20data%20is%20the%20federation%20wall.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Heterogeneous%20client%20data%20causes%204-8x%20more%20communication%20rounds.%20Gradient%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20compression%20helps%20but%20introduces%20a%20U-shaped%20trade-off%3A%20too%20aggressive%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20convergence%20degrades%2C%20requiring%20even%20more%20rounds.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20items.append(mo.Html(f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2016px%3B%20margin%3A%208px%200%2016px%200%3B%20flex-wrap%3A%20wrap%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'BlueLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20What's%20Next%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ELab%20V2-11%3A%20The%20Silent%20Fleet%3C%2Fstrong%3E%20%26mdash%3B%20You%20learned%20to%20train%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20on%20a%20single%20device.%20Now%20manage%20200%20models%20in%20production%20where%20silent%20failures%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cost%20%241M%2Fday%20and%20operational%20complexity%20grows%20quadratically%20with%20model%20count.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20min-width%3A%20280px%3B%20background%3A%20white%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%7BCOLORS%5B'Border'%5D%7D%3B%20border-radius%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2020px%2024px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%20color%3A%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.12em%3B%20margin-bottom%3A%208px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Textbook%20%26amp%3B%20TinyTorch%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%200.88rem%3B%20color%3A%20%7BCOLORS%5B'TextSec'%5D%7D%3B%20line-height%3A%201.6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3ERead%3A%3C%2Fstrong%3E%20the%20Edge%20Intelligence%20chapter%20for%20full%20derivations.%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cstrong%3EBuild%3A%3C%2Fstrong%3E%20TinyTorch%20federated%20averaging%20module%20%26mdash%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20implement%20FedAvg%20with%20non-IID%20data%20simulation.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22))%0A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(items)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20COMPOSE%20TABS%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Part%20A%20--%20The%20Memory%20Amplification%20Tax%22%3A%20%20%20build_part_a()%2C%0A%20%20%20%20%20%20%20%20%22Part%20B%20--%20The%20Adaptation%20Strategy%20Selector%22%3A%20build_part_b()%2C%0A%20%20%20%20%20%20%20%20%22Part%20C%20--%20The%20Battery%20Drain%20Reality%22%3A%20%20%20%20%20%20%20build_part_c()%2C%0A%20%20%20%20%20%20%20%20%22Part%20D%20--%20The%20Federation%20Paradox%22%3A%20%20%20%20%20%20%20%20%20%20build_part_d()%2C%0A%20%20%20%20%20%20%20%20%22Synthesis%22%3A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20build_synthesis()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20tabs%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20ledger%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20pA_pred%2C%0A%20%20%20%20pA_strategy%2C%0A%20%20%20%20pB_pred%2C%0A%20%20%20%20pC_pred%2C%0A%20%20%20%20pC_target%2C%0A%20%20%20%20pD_compress%2C%0A%20%20%20%20pD_pred%2C%0A)%3A%0A%20%20%20%20_mem_pred%20%3D%20pA_pred.value%20if%20hasattr(pA_pred%2C%20'value')%20else%20None%0A%20%20%20%20_adapt%20%3D%20pA_strategy.value%20if%20hasattr(pA_strategy%2C%20'value')%20else%20%22full%22%0A%20%20%20%20_lora_pred%20%3D%20pB_pred.value%20if%20hasattr(pB_pred%2C%20'value')%20else%20None%0A%20%20%20%20_drain_pred%20%3D%20pC_pred.value%20if%20hasattr(pC_pred%2C%20'value')%20else%20None%0A%20%20%20%20_exec_target%20%3D%20pC_target.value%20if%20hasattr(pC_target%2C%20'value')%20else%20%22cpu%22%0A%20%20%20%20_fed_pred%20%3D%20pD_pred.value%20if%20hasattr(pD_pred%2C%20'value')%20else%20None%0A%20%20%20%20_compress%20%3D%20pD_compress.value%20if%20hasattr(pD_compress%2C%20'value')%20else%20%22none%22%0A%20%20%20%20ledger.save(chapter%3D11%2C%20design%3D%7B%0A%20%20%20%20%20%20%20%20%22partA_memory_prediction%22%3A%20_mem_pred%2C%0A%20%20%20%20%20%20%20%20%22partA_adaptation_strategy%22%3A%20_adapt%2C%0A%20%20%20%20%20%20%20%20%22partB_lora_prediction%22%3A%20_lora_pred%2C%0A%20%20%20%20%20%20%20%20%22partC_drain_prediction_pct%22%3A%20_drain_pred%2C%0A%20%20%20%20%20%20%20%20%22partC_execution_target%22%3A%20_exec_target%2C%0A%20%20%20%20%20%20%20%20%22partD_federation_prediction%22%3A%20_fed_pred%2C%0A%20%20%20%20%20%20%20%20%22partD_compression_choice%22%3A%20_compress%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20mo.Html(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22background%3A%20%230f172a%3B%20border-radius%3A%2010px%3B%20padding%3A%2018px%2024px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-top%3A%2032px%3B%20font-family%3A%20'SF%20Mono'%2C%20'Fira%20Code'%2C%20monospace%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%20%23475569%3B%20font-size%3A%200.7rem%3B%20font-weight%3A%20700%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%200.14em%3B%20margin-bottom%3A%2010px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20Design%20Ledger%20%26middot%3B%20Lab%20V2-10%20Saved%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%20%2394a3b8%3B%20font-size%3A%200.82rem%3B%20line-height%3A%201.8%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%20%2364748b%3B%22%3Ememory_amplification%3A%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%20%7BCOLORS%5B'RedLine'%5D%7D%3B%22%3E4-12x%3C%2Fspan%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%20%2364748b%3B%22%3Ebest_strategy%3A%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%20%7BCOLORS%5B'GreenLine'%5D%7D%3B%22%3ELoRA%20%2B%20NPU%3C%2Fspan%3E%3Cbr%2F%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%20%2364748b%3B%22%3Efederation_penalty%3A%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20style%3D%22color%3A%20%7BCOLORS%5B'OrangeLine'%5D%7D%3B%22%3E4-8x%20rounds%20(non-IID)%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A