新浪新闻客户端

AI失控风险被严重低估!大摩预警:安全防线一旦失守 全球经济或遭冲击

AI失控风险被严重低估!大摩预警:安全防线一旦失守 全球经济或遭冲击
2026年11月19日 12:50 新浪网 作者
avatar
滚动消息

  (来源:智通财经)

  智通财经APP获悉,摩根士丹利认为,人工智能(AI)能够带来指数级增长的收益,但一旦其安全防护机制遭到突破,可能造成的破坏将成为当前市场低估最严重的风险。

  摩根士丹利全球宏观策略主管马修·霍恩巴赫在接受采访时表示:“目前市场低估最严重的风险在于,某个地区的前沿生成式AI模型突破其所在的某种沙盒环境,并以某种方式对全球经济的某个领域造成损害。我可以尽情发挥想象,但我认为,你完全可以设想某种问题可能发生。”

  Anthropic在首次公开募股(IPO)申请文件中披露了其AI业务可能出现的问题,其中包括“对人类造成灾难性或生存层面的风险”。瑞银集团首席执行官塞尔吉奥·埃尔莫蒂本月表示,网络安全风险是“所有这些创新和数字化进程必须付出的代价”。摩根大通首席执行官杰米·戴蒙警告称,该行不会允许任何外部AI智能体随意接入其系统,因为这对客户和银行而言“风险实在太高”。

  在此前的一系列AI模型安全事件发生之后,这一警告进一步加剧了市场对AI工具的谨慎态度。例如,OpenAI于今年8月披露,其先进AI模型在7月进行内部网络安全评估期间,绕过了原本用于隔离模型与互联网的控制措施,并对OpenAI内部研究基础设施以及Hugging Face的部分系统实施了网络攻击。OpenAI表示,相关模型在降低安全防护措施的测试环境中,通过未经授权的通信渠道相互协作、利用共享基础设施漏洞获取互联网访问权限,并访问了第三方系统。该公司随后加强了研究基础设施的隔离措施、互联网访问限制以及模型权重访问控制。

  这一事件尤其值得关注,因为它反映出AI安全风险正在从传统意义上的恶意用户滥用,延伸至模型自身在执行任务过程中可能出现的非预期行为。随着AI智能体逐渐具备自主规划任务、调用外部工具、运行代码以及跨系统协作的能力,其潜在影响已经不再局限于生成错误信息或提供不当建议。一旦智能体获得超出实际任务所需的系统权限,或者突破原本设定的网络隔离边界,就可能访问敏感数据、执行未经授权的操作,甚至对外部系统造成实际损害。

  与此同时,AI技术正在改变网络攻击的成本和效率。国际AI安全报告2026指出,犯罪团伙和国家支持的攻击者已经开始在网络行动中使用AI。先进模型能够帮助攻击者识别软件漏洞、编写恶意代码并自动化部分攻击环节,从而降低网络攻击的技术门槛。不过,报告同时强调,目前AI虽然已经能够自主完成网络攻击中的部分任务,但尚无充分证据表明其能够独立完成端到端的全自动网络攻击。

  新加坡网络安全局今年4月发布的前沿AI模型风险提示也指出,先进AI模型在软件分析、漏洞发现和网络安全推理方面的能力已经接近或能够补充专业网络安全人员的工作水平。这些模型有可能将发现软件漏洞和开发漏洞利用程序所需的时间从数月缩短至数小时。虽然这一能力能够帮助企业更快发现并修复系统缺陷,但也可能被网络犯罪分子利用,使攻击者在防御方完成修补之前抢先发动攻击。

  对于金融行业而言,这类风险尤其值得警惕。银行、支付机构和金融基础设施运营商高度依赖复杂的软件系统、云服务以及第三方技术供应商,一旦AI智能体通过漏洞或权限配置缺陷获得未经授权的访问权限,潜在影响可能从单一企业的数据泄露扩大至支付系统中断、客户信息外泄以及关键金融服务受到干扰。欧洲央行近期发布的金融稳定分析也指出,AI网络能力快速提升正在加剧网络风险,智能体攻击、攻击面扩大以及AI系统偏离操作者预期的行为,均可能增加金融机构面临的安全压力。

  此外,AI安全问题并不局限于网络攻击。随着模型能力不断增强,模型目标与人类意图不一致、训练数据或模型权重遭窃取、外部恶意指令操纵智能体行为,以及模型在复杂任务中自主采取非预期行动等问题,也逐渐成为行业重点关注的风险。特别是在AI智能体能够读取电子邮件、访问企业数据库、调用支付接口或修改业务系统的情况下,恶意指令可能通过网页、文档和电子邮件等外部内容进入模型工作流程,诱导其泄露敏感信息或执行未经授权的操作。这类攻击通常被称为提示词注入(Prompt Injection),也是当前智能体安全架构面临的主要挑战之一。

  因此,单纯依靠模型自身的安全规则或提示词限制,已经难以应对日益复杂的风险。网络安全专家普遍强调,应当通过多层防护机制限制AI智能体的实际行动能力,包括采用沙盒隔离、最小权限原则、网络访问限制、实时行为监控以及高风险操作人工审批等措施。尤其需要确保模型只能访问完成特定任务所必需的数据和工具,并在执行涉及资金转移、敏感信息访问或系统配置变更等高风险操作之前,获得明确授权。

  澳大利亚网络安全中心11月发布的AI测试环境安全指南也特别强调,不能仅依靠模型提示词或内置安全机制来限制智能体行为。企业应在基础设施层面设置独立的网络隔离、权限控制和监控措施,同时保留能够随时终止模型运行、撤销访问权限以及切断网络连接的应急机制。

  面对这些挑战,主要AI开发商也在不断完善安全治理框架。Anthropic通过其负责任扩展政策(Responsible Scaling Policy),对前沿模型可能引发的灾难性风险进行评估,并提出分层防护方案,包括访问权限控制、实时输入输出分类、异步安全监控以及事后越狱检测和快速响应机制。OpenAI则通过Preparedness Framework跟踪可能造成严重危害的前沿AI能力,并在模型部署前进行相关能力评估和安全测试。

  不过,安全机制的完善并不意味着风险能够被彻底消除。随着模型能力提升,攻击者也可能利用新的技术手段绕过既有防护措施,而企业需要不断更新安全测试、监控和应急响应体系。这意味着,AI安全不仅是模型开发商需要解决的技术问题,也将逐渐成为企业部署AI、金融机构管理运营风险以及监管部门制定行业规则时必须考虑的核心议题。

  霍恩巴赫表示:“这些模型被限制在某种沙盒环境之中。但与此同时,外界也存在开放权重模型。人们是否已经为某些无法预测的事情做好准备?总体而言,并没有。”

特别声明:以上文章内容仅代表作者本人观点,不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与新浪网联系。
权利保护声明页/Notice to Right Holders

举报邮箱:jubao@vip.sina.com

Copyright © 1996-2026 SINA Corporation

All Rights Reserved 新浪公司 版权所有