近日，谷歌前首席执行官埃里克·施密特在Sifted峰会上的发言引发广泛关注。他公开警告称：“人工智能技术存在扩散风险，可能落入恶意分子手中并被滥用。”

这一结论揭示了当前AI发展面临的矛盾，在技术加速落地的同时，安全风险也正日益凸显。

图源：Pixabay

AI滥用加剧风险升级

当前，有越来越多的企业开始聚焦AI的落地应用，尤其在市场竞争加剧、数据量暴增的背景下，传统人力与流程深陷效率瓶颈，而AI凭借简化重复工作、降低成本的优势，直接成为企业获得竞争力的关键配置。

但机遇背后，AI技术滥用引发的风险也日益凸显。例如，通过AI定位企业目标与内部关键人员，构建虚假身份和可信交互场景，用个性化消息或音视频操纵人类行为以骗取敏感数据或系统权限;依靠生成式AI制作逼真的邮件、短信等载体，甚至用AI聊天机器人模拟客服实时互动，规模化诱导用户泄露账户凭证;用AI生成伪造的音视频，模仿企业领导或客户的声音、形象，指令他人执行转账或系统授权操作;通过污染AI训练数据、篡改输入信息或修改模型参数，破坏AI系统准确性使其失效;借助AI研究目标漏洞、加密核心数据，还能实时修改文件特征躲避安全检测，加剧攻击危害等等。

一边是企业持续加大投入，推动AI在业务场景中应用;一边是黑客利用AI，发起自动化攻击。如何在控制风险的前提下，合理释放AI的价值，已成为技术发展中需要重点解决的实际问题。

用魔法打败魔法

破解这一问题，首先需多维度构建基础防护屏障。如开启多因素认证(MFA)，结合生物识别、认证器应用与一次性密码，即便攻击者猜到密码，额外验证层也能阻挡入侵，避免AI突破单重防护;要强化移动设备安全，开启远程擦除功能，不存储敏感数据，也不向社交平台等公开账户泄露手机号，避免设备成为攻击入口;定期更新系统与软件并打补丁，修复漏洞、解决bug，减少AI攻击工具可利用的脆弱点，抵御AI驱动的入侵与数据窃取。

比基础防护更关键的，是构建“持续验证、永不信任”的零信任架构。以零信任网络的核心技术微分段为例，它能实现细粒度安全控制，严格隔离不同区域的通信，即便单个微分段被攻破，也能阻止攻击者扩散至其他区域。《微分段影响研究：为何微分段正定义企业网络安全、风险与韧性的新范式》报告显示，在部署恰当策略控制的前提下，微分段技术能有效降低攻击成功率，即便攻击者正利用 AI 技术伪装身份、寻找新的网络渗透路径也是如此。

当然，防御者也可借助AI工具强化自身安全能力，实现以AI反制AI攻击。我们看到，已有多家安全厂商推出针对性解决方案：360大模型安全卫士兼具大模型内容测评与大模型内容护栏双重核心能力，提供智能判定机制、风险内容检测、敏感问题代答、内容安全测评等关键技术，帮助企业筑牢大模型内容安全防线;天融信推出的MSS安全托管运营服务，将AI技术融入暴露面资产梳理、事件研判分析、威胁情报分析等云服务中，以应对新技术、新场景带来的安全挑战;派拓网络Precision AI整合机器学习、深度学习的核心与实时生成式AI的可访问性相结合，融入网络安全、云安全及安全运营平台，保障网络安全。

值得关注的是，Gartner预测，到2028年，使用AI安全平台保护AI投资的企业比例将达到50%以上。这意味着未来企业的AI投资逻辑将发生转变，不再是单纯追求技术落地与效率提升，而是要将安全防护成本与AI业务价值绑定考量。

写在最后：

实际上，对于企业而言，应用AI的关键在于将安全思维贯穿AI落地的全流程：让防护能力与创新速度同频，让技术防御与业务需求适配。唯有如此，才能让AI在可控的范围内释放最大价值，真正成为驱动业务增长的力量。

供稿单位：重庆天极网络有限公司

审核专家：李志高

声明：除原创内容及特别说明之外，部分图片来源网络，非商业用途，仅作为科普传播素材，版权归原作者所有，若有侵权，请联系删除。 

来源: 重庆市科学技术协会

内容资源由项目单位提供