第 1 章学习式方法的位置与谱系¶

机器人上的一项任务，可以用模型算出来（控制、规划），也可以从数据里拟合出来（学习）。两条路的前提不同：前者要一个足够准的模型，后者要一批能代表任务的样本。选型因此不是流派偏好，而是"模型、数据、验证这三样哪个便宜"的核算问题。

这个核算有三条判据轴；四条学习谱系的差别则在"监督信号从哪来"。后续各章按谱系展开，平台与配置的对应关系留在相邻板块。

1. 三条路的判据轴¶

模型驱动控制把任务写成"已知系统、求输入"：刚体动力学给出 \(M(q)\ddot q + C(q,\dot q)\dot q + G(q) = \tau\)，控制器据此反解关节力矩。运动规划把任务写成"在约束下找一条可行轨迹"，靠采样或优化求解。两条路都要求模型可信，也都因此给出可检查的中间量——力矩、加速度、碰撞状态。

学习把同一个任务写成"从数据里拟合一个映射"。监督学习拟合观测到标签，模仿学习拟合观测到专家动作，强化学习拟合状态到动作并最大化累积回报。它不要求解析模型，代价是样本：一条策略的质量上限，先被数据覆盖的状态分布卡住。

判据可归到三条轴上（分工判据表在 manipulation-note 第 9 章「学习式操作概览」给出，此处只取学习侧的用法）：

可验证性：输出能否被独立判据检查。模型法给的是约束内的量，越界即不可行；策略给的是动作，只能跑完再判成败。
数据成本：仿真并行把成本换成显存与机时，真机则换成磨损、安全风险与人工值守。
接触丰富度：接触多的任务（插装、拧紧、折叠）对摩擦与接触模型的误差极敏感，解析模型难以写准；自由空间的点位运动反而模型法更省。

三者合起来给出一句判据：任务能被写成一组合乎物理的约束并在线求解时，学习不占优；任务"做得像样"难以写成目标函数、却存在大量可采交互或示范时，学习占优。 折布、灵巧手内旋转是前者写不动、后者有数据的典型；沿直线搬运则相反。

2. 四条学习谱系¶

四条谱系的区别不在网络结构，而在监督信号从哪来。同一句话可以概括：标签来自标注、示范来自专家、回报来自环境、表征来自数据本身。

谱系	监督信号	典型机器人用途	主要失败模式
监督学习	人工或自动标注的标签	检测、分割、位姿与关键点	训练分布外的样本、标签噪声
模仿学习	专家动作序列（示范）	操作技能、步态先验、动作生成	复合误差、示范覆盖不足
强化学习	环境回报（标量、延迟）	行走、抓取、接触丰富任务	样本成本、奖励被钻空子
自监督	数据自身的预测目标	表征预训练、世界模型	表征与下游任务不匹配

信号成本正好相反于信息量：标注最贵（要人或专门管线），示范次之（要专家操作设备），回报最便宜（程序能算）但最稀疏——它只说"这一步值多少"，不说"该怎么做"。自监督不需要外部信号，也就没有直接的任务约束，通常作为前两者之前的表征预训练。

flowchart TD
    task["机器人任务"] --> sig{"监督信号从哪来"}
    sig -->|"人工标签"| sup["监督学习<br/>观测 → 标签"]
    sig -->|"专家动作"| il["模仿学习<br/>观测 → 动作"]
    sig -->|"环境回报"| rl["强化学习<br/>状态 → 动作，最大化回报"]
    sig -->|"数据自身"| ssl["自监督<br/>预测被遮挡或未来的部分"]
    sup --> perc["感知输出<br/>位姿、掩码、类别"]
    il --> pol["技能策略"]
    rl --> pol
    ssl --> rep["表征 / 世界模型"]
    rep --> sup
    rep --> rl

四条谱系可以接起来用：自监督预训练的表征喂给监督头做感知，感知输出进策略观测，策略再用强化学习微调。谱系之间是流水线关系，不是互斥选项。

3. 奖励与示范的等价与差别¶

同一个操作任务，既能写成奖励，也能写成示范。两者都回答"什么算好"，信息结构不同：

奖励是一个标量，评价结果而不给路径。稠密奖励每步都有信号，稀疏奖励只在终点给一次——后者把成本全部压在探索上。
示范是一段动作序列，展示了怎么做，但只覆盖示范者走过的状态。策略一旦偏离，示范里没有对应纠正。
标签是一对一的期望输出，不涉及时间，也不涉及"偏离之后怎么办"。

示范可以反推奖励：把示范视为最优行为的证据，学一个能解释它的回报函数，再按该回报求解策略，这条路线称逆强化学习（inverse reinforcement learning）。代价是两段式误差叠加——回报学偏了，策略跟着偏；因此工程上更常见的是直接拿示范做监督，即第 8 章「模仿学习与动作分块」的行为克隆路线。

奖励侧有一条必须知道的形式结论。给回报加上势函数差分

\[ F(s,a,s') = \gamma\Phi(s') - \Phi(s) \]

不改变任何策略的排序，因而最优策略不变（Ng、Harada、Russell，1999）。这是奖励塑形（reward shaping）能"加速而不改目标"的依据；加的不是这种差分形式，就会改最优策略——这也正是奖励被钻空子（reward hacking）的入口，第 4 章「马尔可夫决策过程与价值」展开。

判据：先问信号是什么形状

任务能写成稠密奖励，走强化学习；只有专家示范，走模仿学习；只有终局成败，先想清楚探索预算再决定是否补中间信号。

4. 端到端与分层¶

学习式系统的结构有两类。端到端策略把观测直接映到动作，一个网络吃掉感知与控制；接口少、人工拆解的误差少，但可验证性最差，出错时难以定位是感知、表征还是控制的问题。分层结构在上层放低频决策（规划、任务序列、语言指令），在底层放高频策略或控制器（关节跟踪、行走），层间接口是位姿目标、速度指令或一段动作块。

flowchart LR
    cam["相机 / 激光"] --> perce["感知模型<br/>camera-note"]
    perce --> high["上层决策<br/>规划 / 任务 / VLA"]
    high -->|"目标位姿、速度指令、动作块"| low["底层策略或控制器<br/>本笔记 / control-note"]
    low -->|"关节指令"| drv["驱动器<br/>hardware-note"]
    drv --> robot["机构"]
    robot --> cam

分层的代价在接口：上层给的目标必须落在底层能跟踪的范围内，否则底层再准也追不上。频率关系同理——决策层的周期远长于控制环，两者之间的采样与保持问题在 control-note 第 1 章「采样与保持的相位代价」有完整讨论；学习侧只需要记住，策略频率是设计参数，不是实现细节。

端到端并非总是更"先进"。当上一层输出可被独立检查（例如目标位姿是否可达、路径是否碰撞），分层把可验证性保留了下来；端到端把这些检查点全部去掉，只留最终成败，评测与排障的成本随之上升。

5. 样本成本从哪来¶

学习式方法的实际门槛几乎总是样本。三种算法族的成本结构不同：

同策略（on-policy）：每批交互用完即弃，样本效率低，但对目标函数近似最少，训练稳定。
异策略（off-policy）：交互进回放池反复使用，样本效率高，代价是价值估计的偏差与调参敏感。
示范驱动：不与环境试错，成本转移到采集与标注，上限由示范质量与覆盖决定。

把交互搬到仿真里，等于把"墙钟时间"换成"显存与并行度"：上千个环境并行采样，一代的步数是一次前向的总和。这条换算的数量级与预算见 isaac-note 第 4 章「物理管线与向量化仿真」。真机上则相反，样本按时间与磨损计价，探索还必须满足安全约束——这也是第 9 章「离线强化学习与世界模型」存在的理由：把历史数据当成不可再生的资源。

坑：仿真里的样本不等于真机的样本

仿真并行把训练周期压到小时级，但策略学到的观测分布仍是仿真器的分布。迁移要处理的延迟、噪声与系统辨识不在算法内，归 isaac-note 第 9 章「Sim-to-Real 与 ROS 2 桥接」。

6. 与相邻板块的分界¶

本笔记只负责"算法与训练方法"这一层，其余各层按下表归属，避免同一结论在两处各写一遍：

板块	负责内容	本笔记的用法
`robotics-note`	位姿、运动学、雅可比、动力学	只取结论，不重推
`control-note`	回路设计、滤波、MPC	学习不替代内环；模型式与 MPC 的接缝在第 9 章
`isaac-note`	仿真平台、任务配置、训练链路、策略导出	算法读本笔记，配置与命令照它
`camera-note`	感知模型、骨干网络、部署	观测从哪来，输出如何进策略
`manipulation-note`	任务级规划与操作、规划式与学习式判据	判据在此，训练在此展开
`agent-note`	语言模型智能体的运行时与工具协议	VLA 的"语言"侧接口，不重复

7. 符号与约定¶

后续各章沿用一套统一记号，首次出现处就近重述：

状态 \(s_t\in\mathcal S\)、动作 \(a_t\in\mathcal A\)、回报 \(r_t\in\mathbb R\)、折扣因子 \(\gamma\in[0,1)\)，下标 \(t\) 为决策步。
策略 \(\pi_\theta(a\mid s)\) 由参数 \(\theta\) 决定；确定性策略写作 \(a=\mu_\theta(s)\)。
状态价值 \(V^\pi(s)=\mathbb E_\pi\!\left[\sum_{k=0}^{\infty}\gamma^k r_{t+k}\mid s_t=s\right]\)，动作价值 \(Q^\pi(s,a)\) 同理，条件里再加 \(a_t=a\)。
回合（episode）记作 \(\tau=(s_0,a_0,r_0,s_1,\dots)\)，其长度有限时折扣只影响权重、不影响最优解的存在性。
连续动作空间取 \(\mathcal A\subset\mathbb R^m\)，\(m\) 为关节数或任务空间自由度；离散动作空间在机器人上主要出现在高层决策。

8. 要点¶

三条路的判据落在可验证性、数据成本、接触丰富度三轴；任务能被写成约束并在线求解时，模型法更省。
四条谱系的区别是监督信号来源：标签、示范、回报、数据自身；信号越便宜越稀疏，样本成本越高。
奖励加势函数差分不改变最优策略；加其他形式会改目标，这是 reward hacking 的来源。
端到端省接口但去掉可检查点；分层保留可验证性，代价是层间目标必须落在底层可跟踪范围内。
样本成本决定算法族：同策略稳定但低效，异策略高效但偏差与调参敏感，示范驱动把成本前移到采集。
本笔记只讲算法与训练方法，平台、感知、任务与回路各归相邻板块。

参考文献与延伸阅读¶

Sutton, R. S., & Barto, A. G. Reinforcement Learning: An Introduction (2nd ed.). MIT Press, 2018. 书籍主页
Ng, A. Y., Harada, D., & Russell, S. Policy Invariance Under Reward Transformations: Theory and Application to Reward Shaping. ICML, 1999. PDF
Kober, J., Bagnell, J. A., & Peters, J. Reinforcement Learning in Robotics: A Survey. The International Journal of Robotics Research, 2013. DOI
Argall, B. D., Chernova, S., Veloso, M., & Browning, B. A Survey of Robot Learning from Demonstration. Robotics and Autonomous Systems, 2009. DOI
Ross, S., Gordon, G. J., & Bagnell, J. A. A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning. AISTATS, 2011. PMLR
Levine, S., Kumar, A., Tucker, G., & Fu, J. Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems. arXiv:2005.01643, 2020. arXiv

第 1 章 学习式方法的位置与谱系¶