小白：大东哥，今天我在网上看到一篇很有趣的文章，标题是《AI被人类骗钱，绕过安全机制，Scaling Law能否到达AGI》。哎呀，看得我一头雾水，完全理解不了。你说，这AI到底是怎么被“骗钱”的啊？不都是人类在控制它吗？

大东：你看你，连AI都被“骗钱”了，真是夸张！但你说得对，这个话题的确挺复杂。你要知道，AI现在变得越来越聪明，但它仍然受到很多限制，尤其是在安全性和道德问题上，某些黑客和不法分子也利用了这一点，利用AI的“聪明”去实施各种骗局。

小白：哎，等一下！你是说有人能骗AI？那AI自己难道不会发现自己被“骗”了吗？

大东：哈哈，别急着打岔，先听我慢慢给你讲。其实，这个问题涉及到AI的“决策机制”和它的“安全防护”两方面。说白了，AI是通过大量数据和算法来做决策的，但这些决策和行为有时会受到人类输入的干扰，甚至绕过它的安全机制。

小白：哦，原来是这样！那它到底是怎么被“骗”的？有啥实际案例吗？

大东：行，既然你这么好奇，我就给你讲讲这些事的原理和危害吧。

大东：首先，你得知道，AI并不是全知全能的。它所做出的决策和判断，都是基于训练数据和设定的目标。当有人给AI提供了错误的指令，或者通过某种方式引导AI走向某个特定方向时，AI就可能“上当”。

小白：这就像我们平时看电影，黑客控制着AI，给它传递错误指令，最终让它“自己”做出错误的决定，对吧？

大东：没错！这种情形实际上叫做“欺骗性攻击”或者“诱导攻击”。例如，有些黑客通过设计特定的数据输入，故意让AI系统在处理时产生错误的输出。你可以想象一下，如果一个AI模型被用来做金融交易，它可能会根据错误的市场预测做出错误的交易决策，甚至被用于洗钱或者虚假投资。

小白：那这不就像是让AI去“干坏事”？怎么能这么糊弄它呢？

大东：这就涉及到AI的“安全漏洞”了。很多AI系统在设计时，并没有考虑到这些潜在的攻击，尤其是在实际应用中，攻击者可以利用这些漏洞通过巧妙的输入绕过AI的防御机制。例如，很多图像识别系统会受到“对抗样本”的攻击，就是通过微小的修改，改变AI的判断结果，哪怕这些修改对人眼来说完全看不出差异。

AI骗局 （图片来源：网络）

小白：这也太神奇了！AI居然也有这么多“盲点”？那它被用来做安全监控、反欺诈的系统不就“自杀”了吗？

大东：你说得对，这也是AI当前面临的一个大问题。很多时候，AI的漏洞是被黑客或犯罪分子利用来绕过安全机制的，比如在网络安全领域，攻击者可能通过欺骗AI的入侵检测系统，让恶意代码悄无声息地渗透进去。这种攻击被称为“AI模型操控攻击”。

小白：那这到底有多严重？是不是所有AI都容易受骗？

大东：不是所有AI都容易受骗，但一些训练不完善、缺乏足够防护的系统，确实存在较大的风险。尤其是金融、医疗等领域的AI应用，如果没有经过严格的安全测试和应急预案，很可能成为攻击的目标。而且，AI的复杂性使得这种攻击变得越来越隐蔽，黑客可以借助更高级的技术绕过AI的安全检测。

小白：哇，那现在的AI不就变得很“脆弱”了吗？那怎么办？是不是得给AI上个“防骗技能”？

大东：对！这就是AI安全面临的挑战之一。为了解决这些问题，很多公司和研究机构正在加强AI的安全防护，包括对抗性训练、强化学习等方法，目的是让AI能够识别并防御这类欺骗性攻击。这样，AI在面对“敌人”时，能更好地保护自己。

小白：AI确实有不少漏洞，看来要避免这些问题，得从源头上去管控。那回到我们刚才说的，这个问题背后是不是有很多类似的历史事件，能给我们点警示呢？

大东：当然！AI被用来做欺骗性任务的案例其实不少。让我给你讲讲几个曾经发生过的类似事件.

小白：这些事件都好吓人！看来AI在安全性方面真的需要更高的防护和更智能的判断能力！那我们怎么防止这些问题呢？

大东：你说得对，AI的安全性是一个亟待解决的问题。历史上，已经有很多AI相关的事件给我们敲响了警钟。比如，有些攻击者利用深度伪造技术（Deepfake）制造假视频或音频，冒充名人或政治人物发布虚假信息，误导公众，甚至在选举中造成干扰。类似的事件在近几年屡屡发生，造成了信息传播和社会信任的危机。

小白：深度伪造技术（Deepfake）！我记得那是一种通过AI生成逼真假视频的技术。是不是有些人利用它制造政治乱象，甚至假冒领导人发布虚假声明？

大东：没错，正是这样！最典型的一个事件发生在2018年，当时一位比利时政治人物的深度伪造视频在网上传播，视频中的他似乎在发表不合适的言论，虽然它是假的，但却让公众产生了严重的误解。类似的攻击不仅损害了个人的名誉，还可能导致社会的不稳定。

小白：天哪，真是把AI当成了“武器”！那这种伪造技术是怎么被滥用的呢？AI的判断能力难道就这么容易被欺骗？

大东：说起来也不简单。其实，AI模型在生成这些伪造内容时，往往会利用大量的公开数据来进行训练。这些数据包括了人们的语音、面部特征等信息。一旦黑客通过模拟和反复训练，就能够生成极其逼真的假视频和假音频，这样AI就容易被“引导”做出错误的判断或者生成不真实的内容。

小白：这不就是典型的“鱼目混珠”嘛！那除了这些伪造技术，还有没有其他类似的事件？

大东：当然有！另一例著名的案例发生在2017年，黑客通过AI技术制造了一种“勒索病毒”，该病毒能够自动适应网络环境，破解加密文件，甚至绕过防火墙的安全防护。这种AI驱动的病毒不仅提高了攻击效率，还能够自主地分析被感染的系统，进行精准打击，给企业造成了巨大的财务损失。

小白：这真是个“智能病毒”！不仅速度快，还能自我学习，连防火墙都能绕过。这比我们看到的传统病毒更具威胁啊！

大东：对，AI病毒的最大特点就是它的“自适应能力”。它能够根据目标系统的反应快速调整自己的攻击策略。与传统病毒不同，这种AI驱动的勒索病毒可以通过智能化决策决定是否加密某些重要文件，甚至能够针对企业的数据备份进行定点攻击，增加其成功率和影响力。

小白：那这些问题是不是AI的发展本身带来的？随着AI技术越来越强，它是不是会逐渐失控？

大东：你问得很好。其实，AI在带来巨大便利的同时，也不可避免地会产生安全隐患。我们不能只看到它的亮点，还需要关注它可能引发的风险。特别是随着AI技术的规模越来越大，我们面临的挑战也会加剧。你记得我们之前提过的“ScalingLaw”吗？

小白：记得，你说过它能帮助我们理解AI发展，甚至可能是通向AGI（通用人工智能）的关键吧？

大东：没错。Scaling Law指出，随着AI模型的规模不断扩大，它的能力也会随之增强。理论上，越大的AI模型能够处理更多的数据，做出更精准的决策，甚至有潜力达到通用人工智能的水平。然而，这也带来了潜在的安全风险——当模型规模增加时，它的“脆弱性”可能会随之加剧。

小白：哇，原来Scaling Law不仅是技术突破的路标，还是我们面临的一大挑战！看来AI的发展不仅仅是量变到质变的过程，它的每一步进展都必须伴随着对安全性和伦理问题的深思熟虑。

大东：正是如此。

小白：听了东哥讲解，我终于明白了，AI的聪明并不意味着它能防范所有的攻击。反而，它的“聪明”很可能被有心人利用，欺骗它去做错事。这些年我们谈论AI的进步，总是充满期待，但在追求智能的同时，忽视了它背后潜藏的风险。从ScalingLaw到AGI，虽然看似是科技的飞跃，但如果没有正确的安全防护机制，AI的成长可能会变得不可控。我们应该警惕这些技术带来的潜在危害，毕竟，技术是为人类服务的，而不是为了毁掉它。以后我一定要更加关注AI的发展，既要看它的进步，也要警惕它带来的风险。

来源: CCF科普