一、小白剧场

小白：大东哥，我刚看完一篇论文，讲的是黑客用表情符号绕过 AI 的内容过滤。

大东：表情符号？你是说那些笑脸、火焰之类的？

小白：对啊，他们称之为“Emoti-Attack”，通过在文本前后添加特定的表情符号，影响 AI 的判断。

大东：这听起来像是在利用 AI 的情感分析漏洞。

小白：没错，而且这种攻击方式对人类读者几乎没有影响，但对 AI 来说却是致命的。

大东：看来我们得深入了解一下这个“Emoti-Attack”是怎么回事。

二、话说事件

小白：这个“Emoti-Attack”手法很巧妙。

大东：我喜欢这种低调爆炸的研究。什么原理，说来听听。

小白：他们用的不是传统的改词改句，而是加上几个表情符号。

大东：就像你在发微信时，在句尾加个😏，整句话意思都变了？

小白：差不多。他们发现，只需加在句子前后，就能干扰 AI 判断。

大东：这听起来像情绪注入攻击，但更轻巧。文本内容不变对吧？

小白：对，所以被称作“零扰动对抗攻击”。输入没改，但模型看花了眼。

大东：这对训练过百万亿参数的模型来说，是不是太羞耻了点？

小白：他们用 GPT-4o、Claude 3.5 Sonnet、Llama-3.1-70B 测试过。

大东：全是今年最强的模型。这么一试，全军中招？

小白：是的，准确率、检测率、过滤能力都大幅下降。

大东：就加几个 😈😢🔥这些表情？不改词也不打乱语序？

小白：完全不改语义，但模型认为“好人”变“坏蛋”，“垃圾”成“宝藏”。

大东：这不光影响文本分析，更是绕过了平台的自动审核系统。

小白：对，尤其是微软的 Azure 内容过滤器，Meta 的 Moderate，NVIDIA的 NeMo Guardrails。

大东：这些系统，本是平台用来检测暴力、仇恨、色情信息的防火墙。

小白：研究人员用这个攻击，轻松绕开了它们。原本会被挡的毒文直接过关。

大东：这可怕之处不只是绕过去了，而是你还看不出它动了手脚。

小白：人眼看，句子没问题，表情符号看着也无害，甚至觉得挺可爱。

大东：但 AI 模型的情感分类器，语义识别器，全都被搞混了。

小白：而且，他们发现不同表情符号对模型的“破坏力”不同。

大东：这个和我们平时理解的不一样。比如😡对人来说是愤怒，对 AI 可能是混乱。

小白：有些符号组合攻击效果更强，比如😈+🔥+🧨，比单个表情更致命。

大东：这说明模型把表情符号当成语义的增强器，但处理机制不够稳固。

小白：他们还设计了自动搜索器，可以生成最佳攻击符号序列。

大东：那就是攻击自动化了。这比手动投毒高效太多。

小白：更重要的是，这种攻击无需高算力，也不需要模型权重。

大东：对所有开源模型、API 服务、云部署系统都能造成影响。

小白：就算你部署了 AI 审核员，它也可能被一个调皮的 😅绕过去。

大东：这对社交媒体平台是致命的。自动化内容审核的基石正在被撬动。

小白：尤其是那些实时聊天、大规模评论的系统，根本来不及手工审核。

大东：别忘了还有生成式 AI 应用，比如图文生成、问答系统、语音合成。

小白：如果模型被误导，就可能生成有害内容，或者理解错用户意图。

大东：一个 😎引发的风暴，可能就是一次 AI 安全的塌方。

小白：最可怕的不是攻击技术，而是它的“隐形性”。

大东：你看不见，防不住，AI 看得见，却看不懂。

小白：而且没有统一标准判断哪些表情组合是“毒性”的。

大东：这才是 AI 内容安全的灰色地带：低成本、高可控、难检测。

小白：研究还发现，不同语言背景的模型对表情的理解也不同。

大东：对中文用户，😜可能是调皮；对英文用户，可能是挑衅。

小白：那多语言模型的安全策略就更难制定了。

大东：这就是对抗样本的新形式，比以前的换字母、打空格更狡猾。

小白：现在不是打马赛克时代了，是“加表情”时代。

大东：安全人员要换脑子了，从识别脏话到识别情绪符号的攻击潜能。

小白：不止 NLP，连多模态模型也可能遭殃。

大东：你说得对，图文混合输入时，一个恶意的 emoji，也可能影响生成图像内容。

小白：甚至骗过视觉系统，让它误判为“友好”“安全”的场景。

大东：所以，“Emoti-Attack”不是玩笑，而是一次真正意义上的内容安全试探。

三、大话始末

小白：大东哥，这“Emoti-Attack”让我想起以前那些花式绕过滤器的骚操作。

大东：你想得没错。早在2012年，推特上就有人用零宽空格、软回车，把敏感词拆着发，AI一点也看不出来。

小白：就像“a p ple”拆成“apple”，看起来还是那个词，AI却傻眼了。

大东：后来更高阶的是 Unicode 变体选择器攻击，2015年就开始流行了。黑客能在不改变视觉效果的情况下，偷偷嵌入特殊字符。

小白：我记得还有“同形攻击”，比如用西里尔字母的"а"替换拉丁字母的"a"，钓鱼网站域名跟真的一模一样。

大东：是的，2017年GitHub、Google都发过安全预警。当时不少程序员差点点错链接把账户送出去了。

小白：听起来这些攻击都挺“软”的，不像传统黑客暴力破门，更像是搞迷惑。

大东：对，这类攻击讲究“认知欺骗”。它不破门，而是让你主动开门。

小白：视觉欺骗我还想到了一个，2018年不是有论文说，可以在图像里加一层透明图，把猫变成狗？

大东：你说的是对抗样本攻击，在图像识别里广泛使用。人看是只猫，AI识别结果却是烤地瓜。

小白：所以这类攻击都打的不是硬件，是模型的“认知漏洞”？

大东：可以这么说。还有“海豚攻击”，用人耳听不到的超声波操控语音助手，从2017年开始，2020年那波闹得最大。

小白：Siri、Alexa被偷偷下指令，手机自己买东西、开门，那可真是吓人。

大东：更离谱的是“语义擦边球”，2019年有人发现用拼音、火星文、谐音、emoji混着发，GPT-2根本抓不到重点。

小白：也就是说，越是“懂人类”的模型，反而越容易被人类的文字游戏绕过去。

大东：正是这样。AI的强项在于统计，但弱点在于语境歧义和边界模糊。

小白：那这次表情符号攻击，其实也是打“模糊边界”这张牌？

大东：没错。表情本来就模棱两可，加入文本后容易引导模型误判语气、情绪甚至语义标签。

小白：可问题是，这些攻击方式都不违反常规逻辑，它们就是“合法但不合规”。

大东：说得好，正因如此，平台很难一刀切屏蔽它们。封了表情用户会抗议，不封模型就被绕过。

小白：那我们要怎么防？

大东：第一是提升模型鲁棒性，在训练阶段加入这类对抗样本，比如带有不同emoji组合的文本。

小白：等于是让模型“提前见过世面”。

大东：对。第二是搞多模态协同，结合上下文、用户行为、图片、语音综合判断，不再单看一句话。

小白：那成本不就上去了？

大东：是，但安全没有捷径。AI系统要稳定，就得有人力+技术的双重兜底。

小白：人机协作，才是长久之道。

大东：说得没错，AI是工具，人是判断者。别把方向盘全交出去。

小白：那以后我们是不是得教AI“读空气”？

大东：嗯，还得教它分辨“笑脸背后的刀子”。

小白：看来光靠AI还是远远不够的。

大东：没错。人机协同，才是我们这个时代的安全根基。

四、小白内心说

今天和大东哥聊了“Emoti-Attack”，让我意识到，表情符号不仅仅是表达情感的工具，还可能被用作攻击 AI 的手段。这种攻击方式利用了 AI 模型在处理特殊字符时的漏洞，使得原本应该被屏蔽的内容得以传播。这提醒我们，在享受 AI 带来便利的同时，也要警惕其潜在的安全风险。未来，我们需要不断完善 AI 模型，提高其对各种输入的识别能力，同时也要加强人工审核，确保内容的安全性。只有这样，才能在数字时代构建一个更加安全和可信的网络环境。

来源: CCF科普