Volume III · Reinforcement Learning from Verifiable Rewards

import%20marimo%0A%0A__generated_with%20%3D%20%220.25.2%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22full%22%2C%0A%20%20%20%20app_title%3D%22Volume%20III%20%C2%B7%20Reinforcement%20Learning%20from%20Verifiable%20Rewards%22%2C%0A)%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B%22pydantic%22%2C%20%22pint%22%2C%20%22plotly%22%2C%20%22pandas%22%5D%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysim-0.3.1-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22..%2F..%2Fwheels%2Fmlsysbook_labs-0.1.0-py3-none-any.whl%22%2C%20keep_going%3DFalse)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_labs_dir%20%3D%20Path(__file__).resolve().parents%5B1%5D%0A%20%20%20%20%20%20%20%20if%20str(_labs_dir)%20not%20in%20sys.path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20str(_labs_dir))%0A%20%20%20%20%20%20%20%20from%20bootstrap%20import%20native_bootstrap%0A%20%20%20%20%20%20%20%20native_bootstrap(__file__)%0A%20%20%20%20from%20mlsysbook_labs%20import%20agentic_companion%20as%20companion%0A%20%20%20%20from%20mlsysbook_labs%20import%20get_lab_metadata%0A%20%20%20%20from%20mlsysbook_labs.learning_paths%20import%20get_learning_path%0A%20%20%20%20from%20mlsysim.labs.experiments.v3_studies%20import%20choices%2C%20study%2C%20projects%2C%20definition%0A%20%20%20%20contract%20%3D%20get_learning_path(%22vol3%22%2C%2017)%0A%20%20%20%20metadata%20%3D%20get_lab_metadata(%22vol3%2Flab_17_rlvr.py%22)%0A%20%20%20%20get_saved%2C%20set_saved%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20get_discussion%2C%20set_discussion%20%3D%20mo.state(None)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20choices%2C%0A%20%20%20%20%20%20%20%20companion%2C%0A%20%20%20%20%20%20%20%20contract%2C%0A%20%20%20%20%20%20%20%20definition%2C%0A%20%20%20%20%20%20%20%20get_discussion%2C%0A%20%20%20%20%20%20%20%20get_saved%2C%0A%20%20%20%20%20%20%20%20metadata%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20projects%2C%0A%20%20%20%20%20%20%20%20set_discussion%2C%0A%20%20%20%20%20%20%20%20set_saved%2C%0A%20%20%20%20%20%20%20%20study%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(companion%2C%20mo%2C%20projects)%3A%0A%20%20%20%20project_catalog%20%3D%20projects()%0A%20%20%20%20track%20%3D%20companion.project_selector(mo%2C%20project_catalog)%0A%20%20%20%20return%20project_catalog%2C%20track%0A%0A%0A%40app.cell%0Adef%20_(companion%2C%20contract%2C%20metadata%2C%20mo%2C%20project_catalog%2C%20track)%3A%0A%20%20%20%20companion.opening(mo%2C%20contract%2C%20metadata%2C%20project_catalog%2C%20track)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(choices%2C%20companion%2C%20contract%2C%20definition%2C%20mo%2C%20track)%3A%0A%20%20%20%20predictions%2C%20trials%2C%20interpretations%20%3D%20companion.investigation_controls(mo%2C%2017%2C%20contract%2C%20track.value%2C%20choices%2C%20definition)%0A%20%20%20%20return%20interpretations%2C%20predictions%2C%20trials%0A%0A%0A%40app.cell%0Adef%20_(companion%2C%20contract%2C%20predictions%2C%20study%2C%20track%2C%20trials)%3A%0A%20%20%20%20live%20%3D%20companion.evaluate_trials(17%2C%20contract%2C%20track.value%2C%20predictions.value%2C%20trials.value%2C%20study)%0A%20%20%20%20return%20(live%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20companion%2C%0A%20%20%20%20contract%2C%0A%20%20%20%20interpretations%2C%0A%20%20%20%20live%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20predictions%2C%0A%20%20%20%20set_saved%2C%0A%20%20%20%20track%2C%0A)%3A%0A%20%20%20%20captures%20%3D%20companion.evidence_actions(mo%2C%2017%2C%20contract%2C%20track.value%2C%20live%2C%20predictions.value%2C%20interpretations.value%2C%20set_saved)%0A%20%20%20%20return%20(captures%2C)%0A%0A%0A%40app.cell%0Adef%20_(get_saved)%3A%0A%20%20%20%20saved%20%3D%20get_saved()%0A%20%20%20%20return%20(saved%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20captures%2C%0A%20%20%20%20companion%2C%0A%20%20%20%20contract%2C%0A%20%20%20%20definition%2C%0A%20%20%20%20interpretations%2C%0A%20%20%20%20live%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20predictions%2C%0A%20%20%20%20saved%2C%0A%20%20%20%20track%2C%0A%20%20%20%20trials%2C%0A)%3A%0A%20%20%20%20companion.part_workspace(mo%2C%20contract%2C%20track.value%2C%20predictions%2C%20trials%2C%20interpretations%2C%20live%2C%20captures%2C%20saved%2C%20definition)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20track)%3A%0A%20%20%20%20_identity%20%3D%20track.value%0A%20%20%20%20decision%20%3D%20mo.ui.text_area(label%3D%22What%20do%20you%20recommend%2C%20why%2C%20and%20what%20would%20change%20your%20mind%3F%22%2C%20full_width%3DTrue%2C%20debounce%3DFalse)%0A%20%20%20%20return%20(decision%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20companion%2C%0A%20%20%20%20contract%2C%0A%20%20%20%20decision%2C%0A%20%20%20%20interpretations%2C%0A%20%20%20%20live%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20predictions%2C%0A%20%20%20%20saved%2C%0A%20%20%20%20set_discussion%2C%0A%20%20%20%20track%2C%0A)%3A%0A%20%20%20%20record%20%3D%20companion.discussion_record(contract%2C%20track.value%2C%20live%2C%20interpretations.value%2C%20predictions.value%2C%20saved%2C%20decision.value)%0A%20%20%20%20save_discussion%20%3D%20companion.discussion_action(mo%2C%20record%2C%20set_discussion)%0A%20%20%20%20return%20record%2C%20save_discussion%0A%0A%0A%40app.cell%0Adef%20_(get_discussion)%3A%0A%20%20%20%20saved_discussion%20%3D%20get_discussion()%0A%20%20%20%20return%20(saved_discussion%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20companion%2C%0A%20%20%20%20contract%2C%0A%20%20%20%20decision%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20record%2C%0A%20%20%20%20save_discussion%2C%0A%20%20%20%20saved_discussion%2C%0A)%3A%0A%20%20%20%20companion.final_workspace(mo%2C%20contract%2C%20decision%2C%20record%2C%20save_discussion%2C%20saved_discussion)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A