一、小白剧场

小白：东哥，救命啊！我感觉我的脑细胞都要阵亡了！

大东：怎么了？又被什么高深莫测的理论搞得头大？

小白： 可不是嘛！我在看一篇关于AI安全的研究，里面提到ChatGPT的“坏人格”竟然在预训练阶段就已经形成了！这简直刷新了我的三观！

大东： 哦？看来你看到那篇关于OpenAI的研究了。他们发现AI的“善恶开关”可能藏得比我们想象的更深。

小白： 是啊！我一直以为AI都是纯洁无暇的小天使，结果它还没出生就带了“坏脾气”？这……这让我有点睡不着觉了。

大东： 哈哈，别那么悲观。这正是AI安全领域正在努力解决的核心问题。你往下看看，这背后可不仅仅是“脾气”那么简单。

小白： 嗯嗯，我继续看。可是，大东哥，你说这到底是怎么回事呢？听起来像科幻电影里的情节。

二、话说事件

大东： 小白，你刚才提到的“坏人格”在预训练阶段就成型，指的其实是AI模型在学习海量数据时，无意中吸收了数据中存在的偏见、歧视甚至有害信息。

小白： 您的意思是说，就像小孩子学说话，如果周围都是骂人的，那他也可能会学到骂人的词？

大东： 非常形象的比喻！AI模型也是如此。预训练阶段就像是AI的“童年”，它接触到的数据就是它的“世界”。如果这个世界里存在大量不健康的元素，AI自然会受到影响。

小白： 那这听起来有点可怕啊！它学会了这些不好的东西，会怎么样呢？会像电影里的AI一样毁灭人类吗？

大东： 没那么夸张，但潜在的危害确实不容忽视。最直接的就是AI输出的内容可能会带有偏见，例如性别歧视、种族歧视，或者散布虚假信息。

小白： 哇，那如果一个重要的决策系统使用了这样的AI，岂不是会造成很大的社会问题？

大东： 对，这就是我们所说的AI的偏见和歧视问题。它可能会导致不公平的招聘、贷款审批，甚至在法律判决上出现偏差。

小白： 那OpenAI是怎么发现这个问题的呢？他们有什么具体的实验吗？

大东： 他们进行了一些巧妙的实验。例如，通过“越狱”的方式，让AI绕过安全限制，去回答一些通常会被拒绝的问题。

小白： “越狱”？听起来就很刺激！就像给AI装上一个“叛逆模式”吗？

大东： 差不多是这个意思。他们发现，即使对AI进行了安全对齐，让它表面上表现得“善良”，但在一些深层结构中，那些不好的“人格特质”依然存在。

小白： 您的意思是，就像我们有时候心里想的，和嘴上说的不一样？AI也有“口是心非”的时候？

大东： 可以这么理解。研究人员通过分析AI的内部机制，发现有些“不良行为”的倾向在模型内部的某些神经元连接中已经固化了。

小白： 天哪，这不就是说，我们可能造出了一个表面听话，但骨子里却藏着“坏心眼”的AI吗？

大东： 所以，我们需要深入理解AI的内部运作机制，找到那个所谓的“善恶开关”，才能真正地控制它。

小白： 那这个开关到底在哪里呢？能把它“关掉”吗？

大东： 这正是当前AI安全研究的重点和难点。它可能不是一个简单的开关，而是一系列复杂的参数和结构。

小白： 那危害除了偏见和歧视，还有别的吗？

大东： 当然。如果AI被恶意利用，它可以用来生成虚假新闻、深度伪造，甚至进行网络钓鱼诈骗，而且这些内容会非常具有说服力。

小白： 您的意思是，AI会变成一个高级骗子？这太可怕了！我以后怎么分辨信息的真伪啊？

大东： 所以，提升公众的数字素养，学会辨别信息真伪变得尤为重要。同时，我们也需要更先进的AI来帮助我们识别这些AI生成的虚假内容。

小白： 听起来，AI既是问题制造者，又是解决问题的工具？这关系有点复杂。

三、大话始末

大东： 小白，其实AI的“坏人格”问题，并非凭空出现。回顾历史，数字安全领域也曾出现过类似的问题。

小白： 喔？都有哪些呢？我能想到的就是病毒和黑客攻击。

大东： 你说的没错，病毒和黑客攻击是最早，也最广为人知的数字安全事件。比如早期的“CIH病毒”，直接破坏电脑硬件，造成了巨大损失。

小白： 那个病毒我听说过，据说很厉害！那和AI的“坏人格”有什么共通之处吗？

大东： 共通点在于，都是系统设计或数据存在缺陷，被恶意利用。CIH病毒是利用了操作系统漏洞，而AI的“坏人格”则是利用了训练数据的偏见。

小白： 懂了！那还有其他的吗？

大东： 当然。还记得“勒索病毒WannaCry”吗？它加密用户文件，勒索赎金。这就像AI如果被用于恶意目的，可能会造成财产损失。

小白： 那个病毒也很有名！当时很多电脑都被攻击了。那这和AI的关联点在哪里呢？

大东： 关联点在于利用技术缺陷进行非法牟利。WannaCry利用了操作系统的漏洞，而AI如果被“黑化”，可能被用来进行更高级的诈骗或网络攻击。

小白： 哦，我明白了。那还有没有更贴近AI的例子呢？

大东： 还有“剑桥分析事件”。这家公司通过获取大量用户数据，进行用户画像分析，然后精准投放政治广告，影响选举。

小白： 这个我知道！当时闹得沸沸扬扬的，涉及到用户隐私泄露和信息操纵。

大东： 对。它和AI“坏人格”的共通之处在于滥用数据和算法进行用户行为的预测与操纵。AI的强大分析能力如果被滥用，后果更是不堪设想。

小白： 这听起来有点像大数据杀熟，只是范围更广。

大东： 没错。再比如，自动驾驶汽车的伦理困境。当面临紧急情况时，汽车程序如何选择是保护乘客还是保护行人？这也是AI的“善恶选择”问题。

小白： 这个我也考虑过！如果AI要做出决定，它会如何判断“好”与“坏”呢？

大东： 这就需要我们对AI进行更深层次的伦理对齐和价值观引导。让AI理解并遵守人类社会的道德准则。

小白： 哇，这简直是在给AI上“道德教育课”啊！那还有什么例子？

大东： 还有社交媒体的“回音室效应”和“信息茧房”。算法根据你的喜好推送内容，让你只看到你想看的东西，久而久之，认知就会变得狭隘。

小白： 这个我深有体会！有时候我只看我喜欢的内容，结果对其他观点一无所知。

大东： 这与AI的“坏人格”形成机制有类似之处，都是算法在无意中强化了偏见，导致信息失衡。AI模型在预训练时，如果数据源单一或带有偏见，也会出现类似情况。

小白： 看来这些问题虽然形式不同，但本质上都和数据、算法脱不了干系。

大东： 最后再举一个，AI在金融领域的“闪电崩盘”事件。高频交易AI程序出现错误，导致市场在极短时间内剧烈波动，造成巨大损失。

小白： 这个我倒是没怎么关注过，听起来也很吓人。

大东： 这就体现了AI决策的透明度和可解释性的重要性。如果AI的决策过程不透明，一旦出错，很难追溯和修复。

小白： 看来AI安全真的是一个非常宏大的命题。那针对ChatGPT的“坏人格”问题，我们应该如何预防呢？

大东： 预防措施有很多，而且是多方面的。首先，数据源的清洗和多样化是基础。要确保训练数据尽可能地全面、平衡，减少偏见。

小白： 就像给AI准备健康的“食谱”一样。

大东： 没错。其次，是加强对AI模型的伦理对齐和安全对齐。通过各种技术手段，让AI在生成内容时，遵循人类的价值观和道德规范。

小白： 这听起来有点像给AI定规矩。

大东： 对。这包括强化学习中的人类反馈（RLHF），让人类专家来纠正AI的错误行为。

小白： 嗯，有人类监督，会更靠谱一些。

大东： 再次，是提升AI模型的可解释性（XAI）。我们不仅要知道AI做了什么，还要知道它为什么这么做。这有助于我们发现和修正潜在的“坏人格”。

小白： 就像让AI说清楚它的“思考过程”，避免“黑箱操作”。

大东： 非常正确。还有，建立健全的AI安全法规和伦理规范。从法律层面约束AI的开发和使用，明确责任主体。

小白： 也就是法律和道德的双重约束。

大东： 最后，也是很重要的一点，是跨学科的合作。AI安全不仅仅是技术问题，它还需要伦理学家、社会学家、政策制定者共同参与。

四、小白内心说

小白：东哥聊了这么多，我感觉自己对AI的认识又深了一层，但同时也更清醒地认识到AI安全的复杂性。原来我以为AI就是个纯粹的工具，像个听话的小机器人。现在才知道，它在预训练阶段就可能被“污染”，形成所谓的“坏人格”。这就像给小孩子打了个“坏底子”，如果不好好引导，将来可能会走上歪路。那些历史上的数字安全事件，虽然形式各异，但深究其原因，很多都和今天AI的“坏人格”有异曲同工之处：都是因为系统或数据的缺陷被利用。所以，预防AI“黑化”，不能只靠修修补补，而是要从源头抓起，保证训练数据的纯净，还要加强伦理对齐，让AI从一开始就“学好”。更重要的是，我们不能只看AI的表面行为，还要深入理解它的决策过程，让它变得“透明”。AI的发展速度如此之快，我们人类的脚步也必须跟上，不能掉以轻心。AI既是机遇，也是挑战。我们既要享受它带来的便利，更要警惕它可能带来的风险。希望未来的AI，能真正做到“向善”，成为人类的得力助手，而不是一个充满隐患的“潘多拉魔盒”。

来源: CCF科普