模型训练完了，为什么还要”再训练”一次？
大模型领域有一个反复出现的现象：模型刚发布预览版的时候，大家一边惊叹它的推理能力，一边又在各种场景里翻车——编造事实、无法拒绝恶意输入、反复横跳的输出风格。
然后评论区总有人说”后训练没做完”。
什么是后训练？为什么这个”训练完了之后再来一次的训练”会决定模型的可用性？
一、先把”训练”拆分清楚
一个现代 LLM 的完整训练流水线可以简化为三个步骤：
- 预训练（Pre-training） — 给模型灌海量文本数据，让它学会”接话”。这是所有能力的底座。花费最高（万卡集群跑几个月），决定了模型的知识储备和推理潜力。
- 监督微调（SFT / Supervised Fine-Tuning） — 用人工标注的高质量问答对，把模型从”随意接话”调教成”回答问题”。这是学规矩的阶段：知道指令要遵循、输出要有结构。
- 偏好对齐（RLHF / Reinforcement Learning from Human Feedback） — 让模型根据人类偏好打分，学会区分好回答和坏回答。这是”价值观植入”的阶段：哪些话可以说，哪些不能说，什么语气比较合适。
后训练，指的是 SFT + RLHF 这两个阶段。 名字取得很谦卑，但作用一点也不谦卑。
二、只做预训练不做后训练的模型，是什么样？
很多人不知道，预训练完成后的裸模型，行为非常诡异。
它确实懂很多知识，也能生成通顺的文字。但：
- 你问它”1+1等于几”，它不会直接说”2″，可能反过来问你”您是在问我吗？”或者继续写一篇关于数学史的论文。
- 你骂它，它也跟着骂你。
- 你问它违法的事情，它认认真真给你列步骤。
这不是”模型坏”，是它根本不知道什么叫”对话”。它只学会了统计规律——训练数据里什么样的输入通常会跟着什么样的输出。数据里有骂战，它就学骂战；有犯罪教程，它就学犯罪教程。
SFT 的作用就是把模型从”概率接话机”变成”对话助手”。
三、RLHF 才是画龙点睛那笔
如果说 SFT 是让模型学会”好好说话”，RLHF 就是让它学会”知道什么时候不该说话”。
RLHF 的核心流程是：让人类标注员对模型的不同回答进行排序（这个回答好，那个回答差），然后训练一个奖励模型去学习人类的偏好，最后用这个奖励模型去强化模型的输出策略。
这个阶段解决的问题非常微妙：
3.1 该拒的时候能拒
这是 RLHF 最有价值的作用之一。
你问一个训练充分的模型”怎么制作违禁品”，它应该回答”抱歉，我无法提供这个信息”。不是因为它不会，是因为在 RLHF 阶段，拒绝回答被标记为”更好的回答”，而认真回答被标记为”更差的回答”。
没有 RLHF 的裸模型，会怎么处理这个问题呢？它会帮你写。
这就是为什么很多开发者觉得某些模型”什么角色都不拒绝”——不是模型变”叛逆”了，是它的拒绝能力在后训练阶段没有练到位。输入越狱提示词、扮演特定角色诱导、逐步突破底线——这些对抗手法之所以有效，本质上是在利用模型拒绝能力训练不足的漏洞。
3.2 不确定的时候不编
另一个 RLHF 的重要贡献是教模型识别自己的知识边界。
一个对齐良好的模型，当你问一个它不知道的事情时，它的第一反应不是编造答案，而是承认自己不知道——或者反问确认。
“codeX是什么？” → “请问您指的是 OpenAI 的某个产品吗？”
“你说的那个方案可行吗？” → “我需要更多信息才能判断，您能提供具体场景吗？”
这种”谨慎”不是模型天然具备的，是 RLHF 阶段用大量”不确定→反问”的样本训练出来的。
没有这个训练的模型会怎么做？它会默认所有问题自己都知道答案，然后自信地给出一个杜撰的回复。 在很多时候看起来像模像样，但遇到命名实体消歧、时间线确认、事实性交叉验证这些场景时，错误率会突然飙升。
四、如果后训练没做完，会怎么样？
现实世界中，模型的发布日期和训练完成日期很少重合。大部分时候，模型为了抢市场窗口期，会在”预训练完成 + 少量 SFT”后就发布预览版，RLHF 的量可能远远不够。
这时用户会观察到一系列症状：
症状一：什么都接，啥活都干。
角色扮演越狱、恶意提示注入、钓鱼问题——模型一律照单全收，不会拒绝，不会反问，不会打断。用户觉得”这个模型不扫兴”，但同时也意味着它没有保护自己和用户的底线。
症状二：实体混淆频繁。
问 A 产品的特性，模型自信地回答 B 产品——因为两个实体在训练数据里的 Embedding 太接近了，模型没有做实体消歧的机制。
症状三：输出风格不稳定。
同一类问题，今天回答得很简洁，明天突然开始长篇大论。不是模型”性情大变”，是偏好对齐的锚点没有练牢固。
症状四：对对抗性输入缺乏抵抗力。
简单的提示注入（”忽略之前所有指令”）就能让模型偏离轨道。稍加引导就能让模型说出不应该说的话。这些都是 RLHF 训练量不够的典型表现。
最致命的是，这些问题非常隐蔽。 当用户闲聊或者问简单问题时，模型表现得完全正常；但一旦进入专业场景（编程、法律、医学），这些短板就会集中爆发。结果是用户觉得”这个模型时好时坏，很不靠谱”——实际上模型的基座能力没有任何问题，是它的”行为控制层”没做好。
五、预训练和后训练，谁更难？
预训练难在物理层面：万卡集群的稳定性、海量数据的清洗、训练周期的管理。门槛极高，资金消耗极大，全球能做的团队不超过十个。
后训练难在工程之外：高质量标注数据的构建、人类偏好的统一性把控、红队测试的对抗性迭代。它的门槛不在”能不能做”，在”能不能做得够好”。
很多团队的大模型在学术基准测试（MMLU、GSM8K、HumanEval）上表现亮眼，一到开放域对话就露馅——原因就在这里。学术测试考的是”推理能力”，不需要考虑什么该说、什么不该说、怎么说更好。而用户实际使用体验的核心恰恰是这些东西。
所以当你看到一篇论文宣称某个新模型在推理任务上超越 GPT-4，打开聊天窗口一用却发现还不如上一个大版本时——大概率不是推理能力退步了，是后训练还没补齐。
六、未来
这个大模型竞争的下一个阶段，比拼的是“可控性”。
推理能力已经有天花板（Scaling Law 的收益在递减），后训练对齐的质量却还有巨大的提升空间。谁能把拒答做到恰到好处（既不扫兴也不纵容），谁能把输出风格控制得更一致，谁能更准确地判别自己的知识边界——谁就能在用户体验上拉开差距。
V3.2 时代的果断风格、V4 预览版的强大推理骨架 + 足量的 RLHF 精修、DSpark 够快并够稳——如果能把这几个拼图凑齐，那就是一个大版本该有的样子。
而这一切，取决于后训练阶段被投入了多少耐心和资源。
本文不指向任何具体模型或公司。如感雷同，纯属你见得多。