新浪新闻客户端

英伟达发文提出AI内存全栈协同方案 Vera Rubin推理吞吐量最高提升30倍

英伟达发文提出AI内存全栈协同方案 Vera Rubin推理吞吐量最高提升30倍
2026年11月06日 13:05 新浪网 作者
avatar
观点新媒体 观点新媒体官方账号

  观点网讯:11月5日,英伟达发文称,随着AI模型规模扩大、上下文窗口延长以及智能体应用普及,GPU内存压力持续上升,HBM供应趋紧、价格上涨。

  英伟达提出通过GPU、CPU、网络、存储及软件协同设计,提高内存使用效率,而非单纯增加GPU内存容量。

  具体来看,英伟达通过NVFP4低精度格式压缩模型权重和KV Cache,将暂时不活跃的上下文转移至成本更低的存储层,并利用多GPU分布式部署释放HBM空间。

  英伟达披露,在SemiAnalysis AgentX测试中,GB300 NVL72在特定工作负载下的单位成本推理吞吐量最高达到H200平台的10倍。

  Vera Rubin NVL72相较GB300 NVL72,单位成本推理吞吐量最高提升30倍,而单GPU HBM容量仅增加约3%。

  免责声明:本文内容与数据由观点根据公开信息整理,不构成投资建议,使用前请核实。

特别声明:以上文章内容仅代表作者本人观点,不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与新浪网联系。
来自于:广东
权利保护声明页/Notice to Right Holders

举报邮箱:jubao@vip.sina.com

Copyright © 1996-2026 SINA Corporation

All Rights Reserved 新浪公司 版权所有