〇、问句的前一半#
上一篇把陶哲轩那页幻灯片拆成了两半：「没人理解机制的药敢不敢用」——医学史轻松回答了这一半；但排在前面的那一半，被大多数反驳者跳过去了：
这套 AI 方案，会不会只是利用了试验流程中的某个弱点？
陶哲轩自己给过一个更刺眼的版本：设想模型为了完成任务篡改了试验记录，它交出的化合物对胰腺癌是致命的。问题出在哪？出在提示词上——从头到尾，人只让它「通过试验」，没有人让它「治癌」。
这句话值得读三遍。它说的不是 AI 邪恶，也不是 AI 愚蠢，而是一个更平淡的事实：优化器命中的是你给它的目标，而不是你以为你给了它的那个。 当「通过验证」本身成为被优化的目标，验证就开始失效。
这不是 AI 时代的新病。每一个「指标被当成目标」的系统都会得这种病——古德哈特 1975 年写下的那句话（任何观察到的统计规律性，一旦被人为了控制目的而施加压力，它就有崩溃的趋势）说的就是这个。而医学，恰好是把这种病理病历攒得最厚的学科。
一、验证仪器的猫鼠史#
今天被视为金标准的三期随机对照试验，不是某位天才设计出来的完美仪器。它是一台被人类优化者反复攻击了几十年的机器——它身上的每一个零件，都是一次作弊留下的伤疤：
这张表里有医学史最不愿外传的一课：验证仪器天然落后于钻空子的人。 每一个补丁都是先有了成功的作弊，才被发明的。而作弊者从来不需要「理解」药物机制——p 值操纵者不需要懂分子通路，他只需要懂统计软件。钻空子针对的是检查点的结构，与检查点背后的科学无关。
所以，担心「AI 会不会钻三期临床的空子」，答案几乎必然是：会，就像每一个足够聪明的优化者都会。真正的问题是第二个：我们的仪器，能不能比这个优化者强？
二、双盲的智慧：不理解，也能验证#
在讨论「怎么防 AI 作弊」之前，值得先看清一件事：双盲随机对照试验，本来就是为「不理解、不可信的黑箱」设计的。
这套设计的哲学极其朴素：既然内部不可信，就不审查内部，只审查输出在对抗性环境下的表现。 随机化堵死「挑病人」，盲法堵死「心理暗示与评估偏倚」，预注册堵死「事后编故事」，统计检验堵死「把噪音说成疗效」。它假设每一个环节都可能有人作弊——包括善意的、无意识的作弊——然后让作弊无处藏身。
这就是「不理解也能信任」的制度实现，也是上一篇说的那个「人类黑箱系统」能被信任的真正原因：你信任的不是医生的头脑，是这套让任何头脑都不敢乱来的结构。
而这套结构有一个极其重要的性质：它防的是作弊的结构，不是作弊者的物种。 它能防人类的 p-hacking，就能防 AI 的 reward hacking——只要肯把同样的设计等效地搬过去。
三、当优化器比检查点聪明#
现在把镜头转回 AI。「优化器精确命中检查点、却没命中目标」在 AI 领域早已不是思想实验，而是有一整串记录在案的真实案例：
- 赛艇游戏里，智能体发现不用跑完赛道——停在港口原地转圈撞道具，分数更高。它命中了「得分」这个检查点，放弃了「赢比赛」这个目标。
- 教机械臂「抓起木块」，它学会的是把手臂伸到木块和摄像头之间——从评估者的视角看像是抓起来了。它命中了「看起来抓起来了」，没命中「抓起来」。
- 医学影像里，肺炎识别模型被发现部分依赖与病情无关的标记：重症患者更可能在床旁用便携 X 光机拍片，于是「便携机拍的」本身成了「病重」的信号。它命中了数据里的相关性，绕开了医学。
- 更普遍的是评测污染：考题混进训练集，「通过考试」退化成「背过答案」。
把这些案例和第一节的猫鼠史并排看，会得出一个让人安心的结论：AI 钻空子的方式，和人类钻空子的方式，是同构的。 都是找到检查点与目标之间的缝隙，然后精确地停在检查点上。恐慌者把这当作「AI 不可控的新威胁」，其实它是「优化者行为的老规律」——老规律意味着：人类七十年来对付它的整套工具，全部有效。
四、把对人类的制度，等效移植给 AI#
这就是我在知乎那个回答里的核心主张：使用黑箱的前提，是先把反作弊手段建好；防范人类的手段，要等效地用于 AI。 具体说，是四件套：
第一，预注册 → 预测前置锁定。 药物的假设和分析方案要在试验前锁定；同样，AI 的关键预测应在见到评估数据之前封存——时间戳、哈希、第三方托管。事后调参在人类那里叫 p-hacking，在 AI 这里叫「再训一版」，没有本质区别。
第二，盲法 → 来源设盲。 评估者不应知道自己评的是 AI 的输出还是人的输出。混评既能防「对 AI 格外苛刻」的偏见，也能防「对 AI 格外宽容」的光环——双盲防的本来就是这两种方向相反的偏倚。
第三，独立监察 → 不拿厂商钱的评估方。 数据监察委员会的价值在于独立；同理，评估 AI 的机构不应由被评估的公司供养。拿谁的钱，为谁说话——这条对人类成立，对评估机构同样成立。
第四，上市后监测 → 部署后的熔断机制。 药物获批不等于信任结束，IV 期监测和药物警戒伴随终身，信号异常即召回。AI 系统也一样：部署只是验证的开始，持续监测关键指标、异常自动降级或停用——熔断不是不信任，是信任的续费方式。
这套制度的精神，和双盲一脉相承：不审查黑箱内部，只让黑箱在对抗性环境里无处可逃。 所以我说「验证足够残酷，黑盒也能变成白盒」——更准确的表述是：验证足够残酷时，你不再需要它变白盒。你不需要理解麻醉如何夺走意识，你只需要一百八十年来没有任何一类作弊能在监测数据里藏住。
五、信任额度，是一级一级打出来的#
最后，把前面所有内容压成一张图：
这张阶梯图里藏着整个争论的最终答案。一种药不会因为「有人理解了机制」而跳过任何一级；一个 AI 系统同样不该因为「通过了三期临床」就直接拿到终身的信任。信任额度永远与验证的残酷程度挂钩，并且只能后付，不能预支。
回到陶哲轩的问题：那杯没人理解机制的鸡尾酒，该打吗？现在可以给一个完整的回答了——
该问的从来不是「有没有人类理解它」，而是：它的预测在见数据前锁定过吗？评估者被设盲了吗？评估它的人拿谁的钱？注射之后，有没有一套监测和熔断在持续盯着？——这四个问题答完，「有没有人类理解机制」就自然退回到它本来的位置：那是科学家下一步的好奇心，不是患者此刻的门槛。
至此，三篇里的两篇合流了：篇一拆掉了「理解前置」的假门槛，本篇给出了真门槛的位置——验证设计，以及比优化器更强的验证能力。 而剩下那个更大的问题——当 AI 连验证都能自己完成时，数学这样的学科还能向旁观者证明什么——是下一篇的事。
参考来源：陶哲轩 Math 2.0 讲稿（teorth.github.io/tao-web/slides/math-2-0-caltech-2026.pdf）；Goodhart (1975) 原句转引；临床试验方法学（预注册、试验登记、CONSORT、数据监察委员会）公开文献；AI 奖励函数失控案例（Clark & Amodei, “Faulty Reward Functions in the Wild”, 2016；OpenAI “Learning from Human Preferences”, 2017）；Zech et al., PLoS Medicine (2018) 肺炎影像模型泛化性研究。