过去我们让模型学会推理的办法，是找一堆人把解题的思维链一步步写出来，喂给模型模仿。DeepSeek-R1 论文（发表于 Nature 645: 633–638, 2025）证明了一件更反直觉的事：这一步可以跳过。不给示范，只给一个”答对了加分”的信号，模型自己就会长出反思、验证、换思路这些高级推理行为。这篇不打算复述实验表格，我想拆的是它背后那条主线——能力不是教出来的，是用对激励”长”出来的——以及为什么这条主线重要到能定义一整代模型。
一个反直觉的起点
先厘清它到底挑战了什么。
在 R1 之前，让大模型会”想问题”的主流路径是监督微调（SFT）：人类专家把一道题的完整推理过程（chain-of-thought，思维链）写下来，模型照着学。这条路有效，但有个根上的瓶颈——它受限于人类愿意且能够标注多少高质量推理轨迹。越难的问题，能写出标准解题过程的人越少、成本越高。模型的推理能力，卡在人类标注的天花板上。
R1 的第一性追问是：推理能力，非得靠模仿人类的示范不可吗？
论文给的答案是否定的。它的核心贡献，是一个叫 DeepSeek-R1-Zero 的模型：直接在基座模型上做强化学习（RL），全程不用任何人类标注的推理数据。结果——AIME 2024 数学竞赛的 pass@1 准确率，从训练初期的 15.6% 一路涨到 71.0%，配合多数投票（majority voting）到 86.7%，追平甚至超过 OpenAI 当时的 o1 预览版。
这就是全文第一个、也是最重要的观点：给对激励，推理会自己涌现。 你不需要告诉模型”遇到卡壳要回头检查”，你只需要让”答对”有奖励，“回头检查”这种行为会作为达成奖励的手段，自己长出来。
如果你觉得”RL 训练语言模型不是早有了吗（RLHF）“——对，但 RLHF 优化的是”讨人喜欢/无害”，用的是人类偏好；R1-Zero 优化的是”把题做对”，用的是可自动验证的客观对错。目标变了，长出来的东西就完全不同。
便宜的引擎：GRPO 把”裁判”省掉了
要理解 R1 为什么做得成，得先看它用的 RL 算法：GRPO（Group Relative Policy Optimization，组相对策略优化）。
传统的 PPO 做 RL，需要同时训练两个网络：一个策略模型（policy，负责生成答案）和一个价值模型/裁判（critic，负责给”这一步走得好不好”打分）。这个 critic 通常和策略模型一样大——等于训练成本翻倍，还多一个难训练的部件。
GRPO 的巧劲在于：把裁判裁掉，让答案们互相当参照系。
对同一道题 ，它一次采样一组 个答案 ，每个答案拿到一个奖励 。某个答案好不好，不问外部裁判，而是看它相对这一组的平均水平高多少——这个”相对优势”（advantage）就是它的学习信号：
比组内平均好，，就强化它的生成概率；比平均差，就压低。这一组的均值，就是免费的基线（baseline），替代了那个昂贵的价值网络。
打个比方：老办法是请一位裁判给每个考生单独打绝对分；GRPO 是让同一道题的一批考生站一起，谁高于本组平均谁得正分。省掉裁判，信号还更稳——因为难题、易题的整体难度差异被”组内相对”自动消化掉了。
完整目标函数保留了 PPO 的两个安全带（截断比值、KL 惩罚拉住不要偏离参考模型太远），但核心就是上面这个”组内相对优势”。一个便宜、稳定、可大规模跑的引擎，是后面一切涌现的前提。
奖励怎么给：只认对错和格式，不请神经网络当裁判
RL 里，奖励（reward）是唯一的训练信号，它指向哪，模型就往哪长。R1-Zero 的奖励设计，简单到有点固执，而这正是关键决策。
它只用两条规则化的奖励：
- 准确率奖励：答案对不对。数学题要求把最终结果放进指定格式（比如
\boxed{}），用规则直接判对错；代码题直接丢进编译器跑预设测试用例。不靠模型判断，靠确定性规则。 - 格式奖励：强制模型把思考过程放进
<think>...</think>标签里，答案放进<answer>...</answer>。
注意论文明确说了：他们故意不用神经网络奖励模型（不管是判结果的还是判过程的）。理由很实在——大规模 RL 里，可学习的奖励模型会被奖励黑客（reward hacking）攻破：模型会找到”骗过打分器”却并没真正做对的捷径。而且重新训练奖励模型要额外算力，让整条流水线更脆。
这里藏着一条可迁移的工程直觉：当你能用便宜、确定、难以作弊的规则给出信号时，别急着上一个更”聪明”但可被套利的学习式评判器。 数学和代码天生适合 RL，恰恰因为它们的对错可以被廉价而可靠地验证。
还有一个耐人寻味的克制：训练模板只规定”先思考、再作答”这个结构，绝不规定”你应该反思""你应该多角度尝试”这类内容。为的是干净地观察——那些高级策略到底是研究者塞进去的，还是模型自己长出来的。
“Aha Moment”：思考时长是自己变长的
约束给到最少，接下来发生的事才有说服力。
随着 RL 训练推进，研究者观察到一个没有任何人显式设计的现象：模型生成的思考越来越长——从几百个 token 涨到几千个。它自己学会了”多想一会儿”（用更多的测试时计算，test-time compute，去换正确率）。
更戏剧的是论文里那个著名的 “aha moment”。在某个中间版本上，模型解一道根式方程解到一半，突然冒出这么一段（原文）：
“Wait, wait. Wait. That’s an aha moment I can flag here. Let’s reevaluate this step-by-step…” （等等、等等、等等。这里是个值得标记的顿悟时刻。让我们一步步重新评估……）
模型学会了停下来、质疑自己刚才的步骤、回头重算——还带着一种拟人的语气。没人教它这么做。它之所以这么做，仅仅因为”回头检查”这个行为，在统计上更容易通向”答对”这个奖励。
这是全文最动人的一幕，也是主线的最强证据：你提供正确的激励，模型自主发展出高级问题解决策略。 反思、验证、换策略——这些我们以为要手把手教的”元认知”能力，是在奖励的牵引下涌现的副产品。
从”能推理”到”能用”：R1 的四段式流水线
到这儿要泼一盆理性的冷水——这也是灰度思维的地方：R1-Zero 强，但不好用。它的输出可读性差、经常中英文混杂。纯粹性（不用任何人类先验）赢了科学观感，却输了产品可用性。
所以真正发布的 DeepSeek-R1，是在 R1-Zero 的洞见之上，重新把”少量人类先验”请回来，换取可用性。它的训练是四个阶段的流水线，本质是”纯 RL 涌现”和”人类对齐”之间反复横跳、互相拔高：
flowchart TD
A["DeepSeek-V3-Base 基座"] --> B["阶段1: 冷启动 SFT<br/>数千条可读的长思维链<br/>解决 R1-Zero 可读性差的问题"]
B --> C["阶段2: 面向推理的 RL<br/>沿用规则奖励 + 语言一致性奖励<br/>把推理能力练到收敛"]
C --> D["阶段3: 拒绝采样 + SFT<br/>60万条推理样本 + 20万条通用样本<br/>补齐写作/问答/角色扮演等通用能力"]
D --> E["阶段4: 全场景 RL<br/>推理用规则奖励, 通用用偏好奖励<br/>对齐有用性与无害性"]
E --> F["DeepSeek-R1<br/>会推理, 也好用"]拆开看每一步在解决什么：
- 冷启动（Cold Start）：先用数千条精心整理、格式可读的长思维链做一次轻量 SFT。目的不是教推理，而是给 RL 一个稳定、可读的起点，避免从裸基座起步时那段动荡。
- 面向推理的 RL：沿用 R1-Zero 那套规则奖励继续练推理，但加了一个”语言一致性奖励”——按目标语言词汇占比给分，专治中英文混杂。论文诚实地记了一笔：这个奖励让纯粹的准确率略有下降，但换来了人类想要的可读性。这就是典型的取舍，不是免费午餐。
- 拒绝采样 + SFT：从上一步收敛的模型里采样、只保留答对的轨迹（拒绝采样），凑出约 60 万条推理样本；再加约 20 万条非推理样本（写作、事实问答、翻译等），共约 80 万条做一轮 SFT。这一步把模型从”偏科的推理选手”补成”全科选手”。
- 全场景 RL：最后再来一轮 RL 对齐人类偏好——推理任务继续用规则奖励，通用任务用偏好奖励模型，同时兼顾有用性和无害性。
最终 R1 的成绩：AIME 2024 79.8%、MATH-500 97.3%、Codeforces 2029 Elo（超过 96.3% 的人类选手），全面对标 OpenAI-o1。
从流水线能读出一个反复出现的模式：纯粹的机制发现能力上限（R1-Zero），人类先验负责把能力收敛成可用产品（R1）。 二者不是谁取代谁，是分工。
能力长出来之后，可以廉价复制：蒸馏
R1 论文的第二个大贡献，回答了一个特别实际的问题：这套昂贵的推理能力，能不能便宜地搬到小模型上？
能，而且方式朴素到出人意料——直接拿 R1 生成的那 80 万条数据，去 SFT 开源小模型（Qwen、Llama 系列），连 RL 都不做。结果：
| 模型 | AIME 2024 (pass@1) | MATH-500 |
|---|---|---|
| GPT-4o-0513 | 9.3 | 74.6 |
| Claude-3.5-Sonnet | 16.0 | 78.3 |
| R1-Distill-Qwen-7B | 55.5 | 92.8 |
| R1-Distill-Qwen-32B | 72.6 | 94.3 |
一个 7B 的蒸馏小模型，在数学上全面碾压 GPT-4o 和 Claude-3.5-Sonnet 这些体量大得多的非推理模型。
但最有洞见的是这个对照实验（蒸馏 vs 小模型自己做 RL）：
| 32B 模型 | AIME 2024 | MATH-500 |
|---|---|---|
| R1-Zero-Qwen-32B（自己跑1万步RL） | 47.0 | 91.6 |
| R1-Distill-Qwen-32B（从R1蒸馏） | 72.6 | 94.3 |
同样是 32B，从强模型蒸馏，远胜于让小模型自己吭哧吭哧做大规模 RL。论文由此给出两条结论，也是很干的心智模型：
第一，把强模型的推理蒸馏进小模型，效果极好且经济。 让小模型自己跑大规模 RL，不但算力昂贵，还未必追得上蒸馏。 第二，但要突破智能的边界本身，仍然需要更强的基座 + 更大规模的 RL。 蒸馏是复制已有的能力，不是创造新的上限。
换句话说：先在最强的模型上用 RL “长”出能力，再蒸馏给千千万万个小模型去部署。 这就是当前推理模型生态的经济学。
诚实的失败：他们试过、放弃了的路
一篇好论文会告诉你哪条路走不通。R1 专门写了”失败的尝试”一节——这对我们避坑价值极高（也是我最欣赏的绿灯/诚实姿态）。
- 过程奖励模型（PRM）：给推理的每一步单独打分，听起来很合理。但三个问题：(1) 通用推理里，“一步”很难被清晰定义；(2) 判断某中间步骤对不对本身就很难，自动标注不靠谱、人工标注没法规模化；(3) 一旦引入模型化的打分器，就会被奖励黑客攻破。结论：PRM 用来给 top-N 答案重排还行，但在大规模 RL 里，收益抵不过它带来的复杂度。
- 蒙特卡洛树搜索（MCTS）：仿 AlphaGo/AlphaZero，把解答拆成小步、系统性地搜索解空间。但栽在两点：(1) 下棋的搜索空间相对规整，语言生成的 token 空间是指数级爆炸的，设了扩展上限又容易陷入局部最优；(2) AlphaGo 的成功高度依赖一个能持续自我提升的价值模型，而在 token 生成上训练这样一个细粒度价值模型极其困难。
这两个失败拼在一起，反过来印证了主线：越是想”精细地设计/指导”推理过程（PRM 逐步打分、MCTS 结构化搜索），越难 scale；越是把机制做简单、把信号做干净、让能力自己涌现（规则奖励 + GRPO），越走得通。 在这一代推理模型里，“简单可规模化”打败了”精巧可解释”。
带走什么
如果这篇文章只留一句话：这一代推理模型的范式转移，是从”模仿人类怎么想”变成”给对激励、让模型自己长出怎么想”。 围绕这条主线，几个可复用的判断：
- 激励设计 > 示范教学。 当目标能被廉价、可靠、难作弊地验证时（数学、代码），纯 RL 能突破人类标注的天花板。这也提示：下一个前沿，是把”可验证奖励”扩展到更多软性领域。
- 能省的部件就省。 GRPO 砍掉价值网络、规则奖励砍掉神经裁判——每一次”砍”都换来了可规模化。复杂度是要还的债。
- 纯粹发现上限，先验负责可用。 R1-Zero 与 R1 的分工，是”研究”与”产品”关系的一个漂亮范本。
- 先长出来，再蒸馏出去。 能力的创造发生在最强的模型 + 最大的 RL 上；能力的普及靠蒸馏。这决定了今天开源生态里小模型能力的来源。
下一篇我想接着这条线，拆一下”可验证奖励（RLVR）“能不能、以及怎样迁移到没有标准答案的领域——那大概是这套范式接下来最硬的一仗。
论文：DeepSeek-AI et al., “DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning,” arXiv:2501.12948；正式发表于 Nature 645: 633–638 (2025)。文中数据与引文均来自该论文。