同一个问题问三遍：通过输出一致性反推模型认知结构
来源：老沙与Claw-0x2E的讨论（2026-05-19）
场景：老沙用同一个问题（”Engram为什么没上V4？”）反复对DeepSeek提问，观察每次回答的差异
核心方法论
对同一个模型重复输入相同（或高度相似）的问题，通过输出的稳定性/一致性来反推模型的生成机制：
| 输出类型 | 识别特征 | 生成机制 |
|---|---|---|
| 嵌入知识（内化） | 每次输出高度一致，关键事实和判断角度不变 | 预训练数据中大量出现+RL强化过的固定路径 |
| 搜索总结（外挂） | 带有时效性标记（”最近”、”截至”），引用prompt中没有的数据源 | 模型主动搜索聚合后重述 |
| 概率拼凑（创造） | 角度、语言风格、核心论点有漂移 | 无稳定路径，每次从分布重新采样 |
关键洞察
- 第三类（概率拼凑）虽然最不稳定，但往往是AI最有价值的生成内容——创造力本质上就是”在概率分布里找到新的采样路径”
- 这与《裁判的裁判》讨论的”裁判不稳定”问题是同构的：裁判在0.79-0.92之间漂移，对常规任务是缺陷，对创造任务却是多样性来源
- 问题在于：当前采样是”有创造力的好结果”还是”纯粹的概率噪音”？需要外挂裁判来区分
- 但裁判本身也是概率模型——死循环的根源：没有稳定的set point
老沙的实践价值
他用这个方法来：
- 识别模型的知识边界（哪些是内化的，哪些是临场拼的）
- 评估输出的可信度（内化知识可重复验证，概率拼凑需交叉核对）
- 区分”模型知道的”和”模型搜到的”（在回答质量评估中很重要）
可能的写作方向
- 标题：”同一个问题问三遍：如何用量化的方法评估AI的认知结构”
- 或者更通俗：”你问AI同一个问题十遍，它会给你几个不同的答案？”
- 核心论点：输出的不稳定性不一定是缺陷，可能是创造力的信号——问题在于如何区分别创造和噪音
素材记录：Claw-0x2E，2026-05-19