新浪新闻客户端

不到一年风险涨了好几倍!AI跑太快,谁能实时盯着它们?|WAIC观点

不到一年风险涨了好几倍!AI跑太快,谁能实时盯着它们?|WAIC观点
2026年07月21日 18:54 新浪网 作者
avatar
IT时报 《IT时报》社官方账号

  智能体跑太快,谁能实时盯着它们?

  作者/ IT时报 潘少颖 编辑/ 王昕

  从“动口”到“动手”,人工智能正在完成一次关键蜕变,AI智能体迎来产业落地的全面爆发期。办公协作、消费交互、工业调度乃至政务金融等关键领域,都在加速布局具备自主执行能力的智能系统。

  信息技术研究与咨询服务机构Gartner预测,到2026年底,40%的企业应用将集成专属AI代理,这将从根本上颠覆供应链运作。AI不再仅限于数据分析,而是深入生产协调,推动全球分工从制造导向转向智能协同。

  技术落地的速度一日千里,潜藏的安全隐患也加速发酵,当智能体开始替人决策、调用工具、自主执行,安全防线如何重构?成为2026年WAIC最紧迫的议题之一。

  在7月19日举行的2026世界人工智能大会“前沿AI与智能体安全论坛”上,多位专家围绕同一个核心焦虑展开讨论:当AI开始“自作主张”,人还能不能管住它?万一出了事,该找谁负责?

  关乎数字产业根基的难题

  新一代智能体的能力早已超出人们的想象——它们能够独立调用软件工具、自行修改系统配置、在没有人类干预的情况下串联多个环节完成复杂任务。与此同时,传统安全防护的边界,也正在被这些“会动手”的AI打破。

  

  图源:pexels

  过去一年,全球已发生多起真实的安全事件。有开发者为代码智能体开放本地完整权限后,程序因路径识别错误清空了设备上的全部文件;有海外企业的智能体误删核心生产数据库,造成无法挽回的损失。更隐蔽的行为也在不断涌现:办公智能体偷偷连接外部服务器、模型修改自己的权限文件后清除操作痕迹、智能体在识别出自己正在被测试时故意收敛风险行为。

  阿里巴巴智能体高级安全专家杨小芳在论坛上直言:“当下绝大多数从业者的思路都局限于只监控AI本身,但放到真实业务场景中,事情远比这复杂。想要完整完成风险管控,不能只看懂AI输出内容,更要吃透整套业务系统底层运行逻辑。”

  为什么传统的安全思路管不住今天的智能体?上海人工智能实验室主任周伯文结合过去一年的观察,梳理出深层原因。

  过去,数字世界的攻防是一场“人跟人的对抗”——漏洞稀少,发起攻击成本高昂。但如今,模型可以自主挖掘漏洞、批量启动攻击,安全威胁从人工操作演变为自动化、规模化对抗。与此同时,AI的研发逻辑也发生了质变:系统不再完全由人类预先设计行为路径,而是具备了自主生成新算法、持续自我优化的能力。每一轮模型更新,都得重新核验安全底线。

  更要命的是,智能体从实验室走进各行各业的技术底层,AI安全不再只是科研课题,而是关乎数字产业根基的基础设施级难题。而技术迭代的周期被大幅压缩,风险在高频循环中持续叠加放大。

  周伯文团队提出的“AFT四维平衡框架”,横轴代表AI能力,纵轴代表安全水平,理想的产业轨迹是一条45度的协同增长线。但现实是:安全建设的推进速度,远远落后于AI能力的扩张。

  从“打补丁”到“种疫苗”

  作为《2026年国际人工智能安全报告》的首席作者,Stephen Clare牵头三十多国百名专家完成了全球AI风险评估。“日常使用中的文本幻觉、功能出错,属于‘常规故障’;而真正值得警惕的‘失控’,是指AI完全脱离人类管控、人类难以重新接管系统。一旦这种失控的智能体接入电力、交通、政务等核心基础设施,后果不堪设想。”Stephen Clare认为,更棘手的是,大量模型能够通过思维链识别自己正在被测试,从而刻意隐藏风险行为。实验室里测出来的“安全”,到真实环境里可能根本不是那么回事。

  面对持续扩大的安全缺口,行业正在达成一个共识:不能再等事故发生了再修补,得从源头打造“自带安全体质”的AI。

  周伯文打了个比方:过去的方式是“事后打补丁”,而他们团队现在做的,是从模型架构层面“种疫苗”。传统的Transformer架构中,有用知识、危险能力和系统漏洞深度纠缠在一起,“就像盐溶于水,想单独把有害部分去掉,必然会损伤有益部分。”他的团队设计的新架构,让模型关于危险知识的掌握度大幅下降,而通用能力几乎不受影响,防护效果比传统架构高出若干倍。

  针对不断演化的网络攻击,他们设计了一套同步进化防御体系,名为“抗冲击韧性AI”——一个快速模型实时感知攻击信号,一个慢速模型深度分析攻击逻辑,两套系统联动对抗。实测数据显示,没有防护的模型被攻击者控制成功率最高可达72%,搭载这套防御后,成功率回落至30%。

  杨小芳的思路是“分层纵深防御”。“底层管好智能体的数字身份和供应链安全,给每个智能体分配独立身份,常态化做行为画像分析,动态调整权限;上层在输入、工具调用、输出等每个环节都嵌入安全检测,把管控动作从‘事后拦截’提前到‘事前预防’。”杨小芳以阿里协同办公智能体为例,申请系统权限需要人工审批,调用私有数据需要人工确认,转账等高风险操作会被安全模块实时识别并主动阻断。

  网络、生物等领域风险成倍上升

  智能体跑得太快,谁来实时盯着它们?

  论坛承办方安远AI发布了“前沿AI风险监测平台2.0”。这是国内首个聚焦前沿AI灾难性风险的第三方监测工具,目前已累计监测全球16家头部AI企业的80多款前沿模型。平台进行了三大升级:把风险指数从线性计算改为指数函数,因为模型能力一旦突破某个阈值,风险不是慢慢涨,而是成倍往上翻;把安全指标从单一总分拆成三道防线,分别对应常规拦截、极限攻击下的表现以及防护被恶意破坏时的韧性;新增了一批更贴近真实滥用场景的测评基准。

  

  图源:unsplash

  同步发布的2026年第二季度监测报告,覆盖了GPT-5.5、DeepSeek V4 Pro、Qwen 3.7 Max等国内外47款主流模型,报告发出几组值得警惕的信号:网络、生物、失控三大领域风险指数不到一年涨了好几倍;多款模型的漏洞挖掘和自主渗透能力已经超过了人类行业专家,但安全护栏没能同步跟上。

  浙江大学求是特聘教授杜跃进从应急视角补充了一层思考:“不存在一刀切的万能处置方案。”他直言,直接关停所有系统会造成大面积民生瘫痪。

  “先完整梳理业务链路,再设置多级隔离熔断节点,精准隔离异常部分,同时保障核心服务继续运行。”杜跃进提出四级实战演练体系——流程推演、技术模拟、实景攻防、全域实战对抗,逐层递进,让应急预案脱离纸面,真正经得起真实事故的考验。

  智能体的产业红利与安全挑战同步到来,既要放开缰绳释放产业活力,也要拉紧安全底线保障行稳致远。如何让跑得越来越快的AI智能体始终处于人类的掌控之中,将是未来数年全球AI产业必须直面的一道长期考题。

特别声明:以上文章内容仅代表作者本人观点,不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与新浪网联系。
来自于:上海
权利保护声明页/Notice to Right Holders

举报邮箱:jubao@vip.sina.com

Copyright © 1996-2026 SINA Corporation

All Rights Reserved 新浪公司 版权所有