本文基于以下微博话题的智搜结果生成

　　2026年10月20日，DeepSeek宣布全面开源内部推理框架DeepInfer，该框架不仅支撑了V4.1 Flash的大规模服务，还兼容英伟达与华为昇腾双平台。

　　一、开源核心组件与目标

　　DeepInfer框架：集成高性能算子与深度优化推理引擎，旨在帮助开发者优化大规模推理的吞吐与延迟。

　　配套编解码组件：同步开源deepseek-recipe，与官方API处理逻辑完整对齐，确保社区获得一致的API体验。

　　核心愿景：通过分享内部部署经验，降低算力成本与能源消耗，推动大模型走向真正普惠。

　　二、核心技术能力与兼容性

　　高级推理特性：支持分布式推理、推测解码、SWA Bounded Replay及结构化输出等核心能力。

　　双平台兼容：全面兼容英伟达与华为昇腾算力平台，为国内外硬件生态提供统一支持。

　　调度与优化：具备异步零开销批调度等机制，大幅提升集群资源利用率与响应速度。

　　三、线上验证与性能数据

　　支撑V4.1 Flash：已成功实现DeepSeek V4.1 Flash高吞吐、低延迟的大规模线上推理服务。

　　极致吞吐表现：单集群日吞吐可达155万亿Tokens，平均输入缓存命中率高达96%。

　　商业效率验证：实际部署中平均每卡每小时收入可达38美金，展现出极高的算力回报率。

本文由AI生成