想象一下，你正在向一位全知全能的先知询问一个关乎命运的问题，比如你的公司该不该进行那场豪赌般的并购，或者你的身体状况需要哪种治疗方案。先知沉默片刻，吐出了一个斩钉截铁的“是”或“否”。

你敢信吗？

这正是我们今天面对顶尖人工智能系统时的处境。以大型语言模型为代表的生成式AI，展现出了令人惊叹的能力，它们能写诗、能编程、能通过极其困难的职业资格考试。它们看起来无所不知，常常能给出极其精准的回答。但在这些令人眼花缭乱的表现之下，隐藏着一个让科学家和工程师们深感不安的根本性问题：我们其实并不真正知道它是怎么得出那个答案的。

在计算机科学领域，这被称为“黑盒问题”。当今最强大的AI模型，其核心本质是基于海量数据训练出来的超级统计引擎。当我们输入一个问题，模型内部数以千亿计的参数开始疯狂运转，计算着下一个最可能出现的字词是什么。这种基于概率的生成方式，意味着AI并不是在像人类一样进行严密的逻辑推导，而是在进行一场规模宏大的模式匹配。

它就像一个看过无数本数学习题集的天才学生，在考试时能凭直觉瞬间写出正确答案，但如果你让它把解题步骤一步步写在草稿纸上，它可能会愣在当场。

对于写一首十四行诗或者生成一张有趣的图片来说，这个黑盒问题也许无伤大雅。即使AI偶尔“产生幻觉”，一本正经地胡说八道，我们也大多是一笑了之。

当我们将AI引入手术室辅助医生诊断，引入法院辅助法官量刑，或者引入金融系统进行巨额投资决策时，情况就完全不同了。在这些高风险领域，“正确率”不再是唯一的考量指标，“可解释性”和“可验证性”变得生死攸关。

如果一个医疗AI建议对患者进行一项高风险手术，医生不能仅仅因为“AI是这么说的”就执行。医生需要知道：AI是基于哪些具体的化验指标、结合了哪几篇最新的医学文献、排除了哪些其他可能性，才最终推导出这个建议的。如果AI无法清晰地展示这一连串的推理链条，那么它的建议就如空中楼阁，无法被负责任地采纳。

这就是为什么未来的AI研究必须跨越的一道鸿沟：从单纯追求结果的准确性，转向追求“可验证推理”。

所谓可验证推理，并不是让AI在得出结论后，再编造一段看似合理的解释来敷衍人类。真正的可验证推理，要求AI在生成答案的过程中，就必须明确地生成一系列中间步骤。这些步骤必须是清晰的、符合逻辑的，并且最重要的是，是人类专家可以介入并逐一核查的。

如果AI在第二步的推导中犯了常识性错误，人类可以立刻指出并纠正，而不必等到最终那个荒谬的结论出现。这就像老师检查学生的作业，不仅看最后的数字对不对，更要看解题思路是否成立。

实现这一目标并不容易。目前主流的深度学习架构在处理符号逻辑和因果推理方面存在先天的短板。为了让AI学会“讲道理”，研究人员正在探索各种路径。例如，有人试图将传统的符号逻辑推理与现代的神经网络相结合，创造出既能从数据中学习，又能遵循严密逻辑规则的“神经符号系统”。还有人致力于开发新的训练方法，强制模型在输出最终答案前，必须先生成一段连贯的思维链条，如果这段思维链条逻辑不通，就会受到算法的惩罚。

从长远来看，只有具备可验证推理能力的AI，才能真正建立起人类对机器的信任。我们不需要一个总是正确却高深莫测的“神谕”，我们需要的是一个可以与之辩论、可以审查其思路、可以指出其错误的智慧合作伙伴。当AI不仅能告诉我们“是什么”，还能清晰地论证“为什么”的时候，人工智能时代才算真正到来。

来源: 张天缘的科普号