跳转至

第 9 章 离线强化学习与世界模型

前两章的算法都要求在训练中不断与环境交互。当交互不可得——真机磨损、采集成本、安全约束——只剩一份固定数据集时，问题变成：能不能只从历史数据里学出比数据更好的策略。离线强化学习回答这个问题；世界模型则把"与环境交互"换成"与学到的模型交互"。

1. 离线问题的形状

离线设定给一份数据集 \(\mathcal D=\{(s,a,r,s')\}\)，由某个行为策略 \(\pi_\beta\) 采集，训练期间不再增加。目标是最大化期望回报，但不允许新采样。这个约束看似只是"少了探索"，实际改变了问题的性质。

行为克隆也能用这份数据，但它只用 \((s,a)\)，把回报丢掉。离线强化学习用上回报，因此有机会从失败轨迹里学到"不该做什么"，在混合质量的数据上超过示范本身。代价是它必须估计价值，而价值估计需要查询数据里没出现过的动作。

纯专家数据上，行为克隆往往与离线强化学习相当；离线强化学习的收益主要来自数据混合了次优轨迹、且回报能区分好坏的情形。这个判据决定了先试哪条路。

flowchart LR
    d["固定数据集<br/>多种质量、含回报"] --> v["保守价值估计<br/>避免外推"]
    v --> p["策略提取<br/>约束在数据附近"]
    p --> off["离线评估<br/>OPE 或小规模验证"]
    off --> dep["部署"]
    off -->|"允许在线时"| on["在线微调"]
    on --> d

2. 分布外动作与价值高估

离线 RL 的核心困难是外推误差。Q 学习的目标里有 \(\max_{a'}Q(s',a')\)，这个最大化会去查数据里没出现过的动作。网络在无数据区域的输出没有约束，通常偏高；最大化又专门挑高值，于是高估被反复放大。

后果是策略被引向"价值看起来很高、实际不可行"的动作。在线设定里这个问题会被新采样纠正——真去执行一次，高估就被打回来。离线设定没有这个反馈回路，偏差会一路累积。

这就是"不能直接把在线算法搬到离线数据上"的准确含义。所有离线方法都在做同一件事：限制策略与价值查询不要离开数据分布太远。

3. 保守类方法

保守 Q 学习（conservative Q-learning, CQL）在损失里加一项，压低数据外动作的价值：

\[ \min_Q\ \alpha\,\mathbb E_{s\sim\mathcal D}\left[\log\sum_a e^{Q(s,a)}-\mathbb E_{a\sim\pi_\beta(a\mid s)}Q(s,a)\right]+\mathcal L_{\mathrm{TD}}(Q) \]

括号里前一项把所有动作的价值往下压，后一项把数据里出现过的动作价值拉回来。两者相减，净效果是"数据内动作保持、数据外动作被压"。\(\alpha\) 控制保守程度：太大则策略退化为行为克隆，太小则高估回来。

隐式 Q 学习（implicit Q-learning, IQL）换了个角度：干脆不查询数据外的动作。它用分位数回归从数据内动作的价值里估状态价值，再据此算 TD 目标：

\[ L_V(\psi)=\mathbb E_{(s,a)\sim\mathcal D}\left[L_2^{\tau}\left(Q_{\bar\theta}(s,a)-V_\psi(s)\right)\right],\qquad L_2^{\tau}(u)=\left|\tau-\mathbb 1(u<0)\right|u^2 \]

\(\tau>0.5\) 时这个损失逼近条件分位数的高端，相当于"取数据内较好的动作"而不去外推。演员再用优势加权的行为克隆提取，整个过程只碰数据里出现过的动作。

TD3+BC 是最省事的做法：在确定性演员的目标上加一项行为克隆正则，

\[ \pi=\arg\max_\pi\ \mathbb E_{(s,a)\sim\mathcal D}\left[\lambda\,Q\left(s,\pi(s)\right)-\left(\pi(s)-a\right)^2\right] \]

\(\lambda\) 按批内 \(|Q|\) 的均值归一化，使两项量级可比。它不改价值学习，只把演员拴在数据附近，实现代价最小。

方法 约束形式 是否查询数据外动作 实现代价
CQL 价值正则（压外推） 是（需采样近似） 中
IQL 分位数回归，不外推 否 中
TD3+BC 演员加行为克隆项 否 低

4. 序列建模与决策 Transformer

另一条路把离线 RL 当成序列预测，不做自举。决策 Transformer（decision transformer, DT）把轨迹重写成

\[ \left(\hat R_0,s_0,a_0,\ \hat R_1,s_1,a_1,\ \dots\right),\qquad \hat R_t=\sum_{t'=t}^{T}r_{t'} \]

其中 \(\hat R_t\) 是"从这一步起还要拿多少回报"（return-to-go）。模型用因果 Transformer 预测每一步的动作，条件里带着目标回报。推理时给一个期望回报，模型就生成对应水平的动作序列。

这条路的好处是绕开了价值外推：没有 \(\max\)，没有自举，训练就是一个监督学习问题。代价有两处。第一，它不做动态规划，因此不能把不同轨迹里的好片段拼接起来——想要"先学 A 轨迹的开头、再学 B 轨迹的结尾"，DT 做不到。第二，目标回报是人为给的超参，给高了会生成训练分布外的动作，给低了浪费能力。

轨迹 Transformer（trajectory transformer, TT）把状态、动作、回报一起离散化，用序列模型建模，再用束搜索做规划。它更像"学一个轨迹先验再做搜索"，与模型式方法的边界因此变得模糊。

5. 世界模型

世界模型学的是环境本身：给定当前状态与动作，预测下一个状态与回报。有了它，策略可以在"想象"里训练，不必碰真机：

\[ \hat s_{t+1}\sim p_\theta\left(s_{t+1}\mid s_t,a_t\right),\qquad \hat r_t\sim r_\theta\left(s_t,a_t\right) \]

Dreamer 系列把状态压到隐空间，学一个循环状态空间模型（recurrent state-space model, RSSM）：确定性隐状态记历史，随机隐状态记不确定性；策略与价值在隐空间里展开多步想象，用想象的回报做演员-评论家。这样一条真实转移可以被反复利用，样本效率通常显著高于无模型方法。

flowchart LR
    real["真实交互<br/>少量转移"] --> enc["编码器<br/>观测 → 隐状态"]
    enc --> rssm["RSSM<br/>h_t = f(h_{t-1}, z_{t-1}, a_{t-1})"]
    rssm --> dec["解码与预测<br/>观测、回报、终止"]
    rssm --> img["想象 rollout<br/>隐空间里展开"]
    img --> ac["演员-评论家<br/>在想象中更新"]
    ac -->|"新策略"| real

模型式方法的代价是模型偏差。学到的转移在训练分布内可信，稍微外推就失真；策略会主动寻找模型误差大的区域，因为那里往往"看起来回报很高"。工程上的对冲有三条：限制想象步长、预测终止或继续标志、定期用真实数据校正模型。这三条与第 4 章「马尔可夫决策过程与价值」的终止处理是同一件事——想象必须在合适的位置停下来。

模型式强化学习与模型预测控制（MPC）在结构上相邻：两者都"用模型往前推"，区别是 MPC 用解析模型在线求解有限时域优化，世界模型用学到的模型训练策略。算法推导归 control-note 第 10 章「交互控制与模型预测」，本笔记只取"用哪个模型、推多长"的判据。

6. 离线到在线与评测

离线训练出的策略通常要上线，而上线就意味着可以采新数据。常见做法是离线预训练、在线微调：先用保守目标把价值估到不离谱，再逐步放开约束，让新数据修正偏差。衔接处的关键参数是"多快放开"——放得太快，早期价值仍然偏高，策略会立刻跳进坏区域；放得太慢，等于一直在模仿旧数据。

评测是离线设定里最容易被忽略的一环。策略不能在线试，就不能用在线回报选模型；而离线数据上的损失与真实回报并不同向。可选手段有三类：

  • 离线策略评估（off-policy evaluation, OPE）：用重要性采样或拟合 Q 评估目标策略的回报。重要性采样的方差随回合长度指数增长，长回合机器人任务上几乎不可用。
  • 小规模验证环境：留一个受限的仿真或真机沙箱，只跑少量回合。代价低、结论直接，是工程上最常用的折中。
  • 留出数据集：按任务或物体整组留出，只用于最终报告，不参与任何选择。

坑：在测试集回报上调超参

离线 RL 的超参（保守系数、目标回报、想象步长）对结果影响很大。用测试集回报选超参，等于把测试集变成验证集；报告里的数字随之失去意义。选择必须发生在验证侧。

7. 要点

  • 离线设定的约束是不能新采样，核心困难是价值查询会外推到无数据区域并被高估。
  • CQL 用价值正则压外推，IQL 用分位数回归避免外推，TD3+BC 用演员侧的行为克隆项把策略拴在数据附近。
  • 决策 Transformer 把离线 RL 变成回报条件化的序列预测，绕开自举，但无法拼接不同轨迹的好片段。
  • 世界模型在隐空间里做想象 rollout，样本效率高，代价是模型偏差；限制想象步长与预测终止是对冲手段。
  • 模型式 RL 与 MPC 的分界在"用解析模型在线优化"还是"用学到的模型训练策略"。
  • 离线到在线要控制放开约束的速度；评测优先用小规模验证环境，报告数据必须留出且不参与选择。

参考文献与延伸阅读

  • Kumar, A., Zhou, A., Tucker, G., & Levine, S. Conservative Q-Learning for Offline Reinforcement Learning. NeurIPS, 2020. arXiv
  • Kostrikov, I., Nair, A., & Levine, S. Offline Reinforcement Learning with Implicit Q-Learning. ICLR, 2022. arXiv
  • Fujimoto, S., & Gu, S. S. A Minimalist Approach to Offline Reinforcement Learning. NeurIPS, 2021. arXiv
  • Chen, L., Lu, K., Rajeswaran, A., et al. Decision Transformer: Reinforcement Learning via Sequence Modeling. NeurIPS, 2021. arXiv
  • Hafner, D., Pasukonis, J., Ba, J., & Lillicrap, T. Mastering Diverse Domains through World Models. arXiv:2301.04104, 2023. arXiv