只要简单几个提示词，人工智能（AI）工具就能为我们生成指定的文本、图片、视频，一键识别快速给出作业的答案，甚至能思考并完成PPT的制作。遇到问题先找“AI”，成为越来越多人的日常。然而，图片可能并不符合时代背景、给出的答案仔细查证并不真实，甚至会编纂法律条文或历史事件……这么聪明的AI，为什么会“一本正经地胡说八道”呢？

AI幻觉与监管体系的对抗（图片由豆包AI生成）

AI幻觉为多领域引入风险

11月12日，法治日报报道了北京市通州区人民法院审结的一起案件，看似“完美佐证”的案例，却是AI软件“捏造”的虚假信息。在一起商事纠纷案件中，原告代理人庭后向法院提交了书面意见，其中援引了名为最高人民法院的某案例及上海一中院的（2022）沪01民终12345号案件。两案的事实细节、法律争议与裁判逻辑都与审理中的案件高度契合，完美佐证原告代理人主张的观点。

然而，“完美”经不起推敲，经查，两起案例均为AI“编造”，是以审理中的案件为基础反复向AI大模型软件提问得出的结果。这不仅让我们看到AI虚假信息进入司法程序，给司法公正带来的风险，也将“AI幻觉”的问题重新揭示在大众面前。

事实上，AI内容造假并非新近话题。早在AI软件普及之初，就有网友发现，AI软件会生成根本不存在的内容，或者引用不存在的法律条文、参考文献等，虽然大幅提高了生产和工作效率，却带来了“信用危机”。

在今年2月由清华大学新闻与传播学院新媒体研究中心与人工智能学院发布的《DeepSeek与AI幻觉》报告（以下简称报告）中，AI幻觉被定义为“模型生成与事实不符、逻辑断裂或脱离上下文的内容，本质上是统计概率驱动的‘合理猜测’。”

报告列举了一起Whisper自动语音识别系统在医疗领域的应用案例。该系统可以将患者与医生问诊过程的音频转写为文字病历，已覆盖超过3万名临床医生和40个医疗系统。这本应成为将医生从繁重的文案工作中解放出来的先进工具，却导致了严重的后果。

经查，100多个小时的Whisper转录样本中，约有一半内容存在幻觉。进一步调查发现，2.6万份自动转录病例中，几乎每本都存在瞎编和幻觉问题，对患者健康和医疗系统带来了严重的负面影响。

究其原因，“看起来非常聪明，能回答很多问题的大语言模型，所谓的‘智能’其实是算出来的。既然是计算，本身就存在一定的不确定性，给出来的答案也会有偏差。”陈钟解释道。

多因素交织导致AI幻觉

那么，影响幻觉率高低的因素有哪些？

“不仅有算法的因素、算力的因素，还有训练数据和训练过程的因素，这些因素都会导致大语言模型出现幻觉率较高的情况。”陈钟介绍道。

所谓幻觉率高的情形，一方面是计算本身的算法有相应的偏差，还有一些情况虽然算法可能是准确的，但是计算精度不够也会带来偏差。此外，数据在做训练时，人类通常会采用奖励函数来引导计算过程和答案之间的对应关系。一旦奖励函数出现了偏差，相应地也会带来幻觉。

值得关注的是，AI大模型训练过程中还出现了一种新的“数据投毒”污染，即在训练AI大模型时，在数据“投喂”的过程中，故意加入一些虚假的内容，或者是修改其模型文件（整个训练的结果），让AI生成的答案符合某些特定意图。

根据新华网的报道，当训练数据中仅有0.01%的虚假文本时，模型输出的有害内容会增加11.2%；即使是0.001%的虚假文本，其有害输出也会相应上升7.2%。

这种“数据投毒”除了会导致不良信息、虚假信息外，还会造成更严重的后果。比如在医疗领域，被“投毒”的AI大模型可能会误诊病情；在金融领域，被篡改的算法可能引发交易风险；在自动驾驶领域，恶意数据可能让车辆在关键时刻失明，等等。

AI幻觉的分类

陈钟介绍，AI幻觉又分为事实性幻觉和忠实性幻觉。事实性幻觉指的是AI大模型生成的内容与实际存在于现实世界的事实不一致。我们经常说的一本正经地胡说八道可以理解为事实性幻觉的一种表现。

忠实性幻觉指的是AI大模型生成的内容与用户的提问不一致，也就是AI工具给出的答案可能是对的，但并不是用户想要的，简而言之就是“答非所问”。

举例来说，如果用户提问，“糖尿病患者可以通过吃蜂蜜来代替糖吗？”在事实性幻觉的情况下，AI大模型可能会告诉用户，“是的”，然后介绍蜂蜜是天然的，可以帮助糖尿病患者稳定血糖水平。“但其实这个是错的，蜂蜜也是升糖的。”陈钟解释道。

而在忠实性幻觉情况下，AI大模型可能会回答，蜂蜜富含微生物和矿物质，对提高免疫力很有帮助，因此是一种健康的食品。“大模型给出的这句话是对的，但是我并没有问它蜂蜜是不是健康食品，我是想问它糖尿病患者能不能吃这件事。”陈钟进一步补充道。

引导AI向善的治理实践

针对AI大模型伴随的相关问题，国际层面广泛重视并采取了多项行动。

在刚刚结束的世界互联网大会上，《为人类共同福祉构建全球人工智能安全与治理体系》报告正式发布，提出了以联合国为中心构建全球人工智能安全治理体系的机制举措与政策建议。近年来，我国积极通过《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等法律法规，探索建立生成合成内容标识、安全评估等制度，来有效防范相关风险。

实践层面，中央网信办牵头，在全国范围内开展“清朗·整治AI技术滥用”专项行动，通过强化AI技术源头治理、聚焦利用AI技术制作违法不良信息等，防范AI技术滥用，维护网民合法权益。

国际视角，近日，日本政府公布人工智能利用指针草案，要求企业积极公开信息、防止高度仿真的“深度伪造”图像等不当内容扩散，并呼吁公众正确理解AI特性及其潜在风险，如偏见与犯罪用途。

联合国则于去年3月通过了《抓住安全、可靠和值得信赖的人工智能系统带来的机遇，促进可持续发展》决议。欧盟也以《人工智能法》为核心治理框架，通过构建风险分级管控与伦理审查并行的双重机制，在维护安全底线的同时为人工智能技术创新保留发展空间。

用户何去何从？

陈钟进一步分享了用户如何应对AI大模型幻觉率高的方法。

他指出，核心在于提高科技素养。要主动拥抱新技术，深入了解大语言模型的计算原理究竟是什么。在具体操作层面，他表示，对于只需要用基础模型就能解决或者回答的问题，尽量少用推理模型。如果必须用到推理模型，则可以通过以下几种方式尽可能地降低幻觉率。

一是提出相应的约束条件，尽可能避免大语言模型朝着没有约束的方向引出相应的幻觉；二是对比同一问题不同模型给出的答案，掌握幻觉率高和低的模型间的差异。

在此基础上，陈钟认为最重要的一点是如果所需要的答案对于真实性和准确性的要求极高，一定要通过人工的方式反复核查核验，而不是简单地相信AI模型给出的结果，并直接引用。

在此层面，中华女子学院媒介与女性研究院主任、副教授、研究生导师、《AI时代职场与家庭的双赢密码》作者刘旸也给出了青少年安全合理使用AI工具的建议。家庭层面，家长应尽量引导青少年不要直接照搬AI工具生成的答案，而是查看其思考过程；或者说，针对某道不会的题目，可以让AI再生成一道同类型的其他题目，从而实现继续学习、增强记忆的效果。青少年自身对于AI生成的内容也要保持合理的警惕，不要一味地完全相信，可以通过交叉验证（用多个信息来源核对）、追溯信源（让AI提供信息来源）、运用批判性思维（这个答案符合常识和逻辑吗？）等方法来主动辨别AI生成内容的真伪。

谈及从根源上降低AI大模型生成内容的幻觉率，陈钟呼吁，最主要的还是要靠大语言模型的开发者，从技术手段创新层面来解决相应的问题。

一些主流的AI大模型厂商，已经采取了相应措施，从技术层面筑牢AI幻觉的防御墙。新华网的报道提到，豆包升级了深度思考功能，由先搜后想变为边想边搜，思考过程中可以基于推理多次调用工具、搜索信息，回复质量明显提升；通义千问在20多个通用任务上应用强化学习，增强通用能力的同时纠正不良行为；元宝持续扩充引入各领域的权威信源，在回答时交叉校验相关信息，提高生成内容的可靠性。

AI幻觉的治理之路，既是技术迭代的探索，也是人与智能协同的修行。唯有持续强化技术研发、健全规范体系、完善校验机制，方能从根源上遏制幻觉风险，筑牢AI应用的可靠底线。当AI工具摆脱“虚妄”的桎梏，以更安全、精准的姿态融入生产生活各领域，人工智能技术在赋能社会进步、增进民生福祉方面的重要意义才将持续放大。

参考资料：

1.新华网.新华视点·关注AI造假丨当AI“一本正经胡说八道”……2025.09.24.

2.新京报.AI编造“完美”案例，为司法带来虚假信息风险.2025.11.12.

3.人民邮电报.中央网信办开展“清朗·整治AI技术滥用”专项行动.2025.05.08.

4.新浪财经.日本政府出台人工智能草案 要求AI大模型运营商降低幻觉率.2025.11.12.

5.人民法院报.人工智能法律治理的国际实践.2025.04.11.

6.信息安全国家工程研究中心.《为人类共同福祉构建全球人工智能安全与治理体系》发布.2025.11.10.

7.清华大学新闻与传播学院新媒体研究中心、人工智能学院. DeepSeek与AI幻觉.2025.02.

来源：北京科技报

采访专家：陈钟（北京大学计算机学院教授、元宇宙技术研究所所长）

撰文：记者 贾朔荣

来源: 北京科技报