新浪新闻客户端

关于混元 4 模型、算力、刷榜与 RSI,姚顺雨回应一切

关于混元 4 模型、算力、刷榜与 RSI,姚顺雨回应一切
2026年11月21日 13:28 新浪网 作者
avatar
行业动态

  (来源:极客公园)

  下一代混元将大幅度扩参。

  作者|连冉

  编辑|郑玄

  11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨和混元团队的研究员现身 Reddit LocalLLaMA 社区,开启了混元团队第一场面向全球开发者的公开 AMA。

图片来源:x

  两小时内,姚顺雨和混元团队解答了 300 余条开发者提问,从底层架构取舍到长期路线规划,从量化落地经验到开源生态适配,几乎覆盖了当前开源大模型领域所有核心争议与关切。

  过去不到一个月,混元刚刚完成一轮高密度产品发布——11 月 4 日推出的 Hy4 首次跻身全球最强开源模型之列,拿下 Agent Arena 开源模型榜首、Artificial Analysis 中国模型第二的成绩;一周后,定位「极致性价比」的 Hy4 flash 快速跟进,单任务成本仅为 Hy4 的二十分之一,上线首日 Token 调用量便突破 50 万亿。

  如果把时间倒回九个月前—— 今年 2 月,混元才刚刚完成预训练与强化学习基础设施的全面重建。从重建底座到连发两款标杆级模型,九个月、平均每两个月一个大版本的迭代速度,背后是「preview 先行、正式版跟进」的闭环研发逻辑:把真实业务场景的反馈直接注入研发链路,在解决实际问题中完成能力跃迁。

  模型路线上,团队走的是双线并行的思路,既相信规模化的潜力,会继续训练更大的模型探索能力上限;也同步布局小尺寸模型与端侧场景,试图在能力、成本与速度之间找到更务实的平衡点。

  落到具体技术选择上,无论是注意力机制选型、MoE 稀疏度设计,还是量化方案的取舍,团队的判断都锚定实验结果、硬件适配条件与实际部署效率,并未将参数规模或榜单分数作为核心决策标准。

  对于当前的能力短板,团队也没有回避,称过度思考仍是后训练阶段的核心难题,创意写作与文本可读性还有提升空间,递归自我改进相关技术尚处于早期摸索阶段。

  此外,问答也覆盖了开发者普遍关心的实操问题,包括本地运行门槛、工具调用适配、开源生态合作进展;安全层面则提及了有害数据过滤、训练防护、红队评估等治理机制,同时坦言,模型的过度拒绝问题仍需进一步优化。

  以下是极客公园从本次 Reddit AMA 中提炼出的核心问题,覆盖模型路线、技术架构、研发难点、开源生态等核心维度。

  01

  混元的整体产品路线是什么?

  接下来还有哪些新模型?

  混元采用「两端并行」的研发策略:一边扩大模型与数据规模,探索智能上限;一边压缩推理成本,主打极致性价比,Hy4 与 Hy4 flash 分别对应这两个方向。

  后续产品路线清晰,更小尺寸的 Hy4-mini、Flash-Lite 模型已在规划中;24–31B 稠密模型正在评估;5–12B 级小型开源图像模型、新一代视频模型均在考虑范围内;循环式 MoE、持续学习等前沿方向也在积极研究。

  02

  不跟风 3T/5T 超大规模参数,

  混元对模型规模的判断是什么?

  团队认为,打磨扎实的小尺寸模型同样可以胜过大参数模型,且部署成本更低,研发过程中能沉淀更多技术经验。但混元同时相信 Scaling law 的有效性,下一代模型的参数量会显著扩大,会持续向更大规模投入研发。

  03

  Hy4 与 Hy4 flash 的架构核心差异在哪?

  关键取舍逻辑是什么?

  Hy4 flash 继承了 Hy4 的 iHC、门控 MLA、DSA 技术底座,同时新增混合 SWA、LatentMoE、Engram 三大组件。

  所有架构选择均围绕「性能-成本-硬件适配」的综合权衡:比如改用 SWA 替代门控 DSA,可将 KV cache 体积压缩至原有的 1/4,大幅降低服务成本;DSA 技术则解决了 MLA 解码阶段计算强度过高的问题,最终让团队在长期权衡后放弃 GQA、选择效果更优的 MLA。

  此外,iHC、Engram 这类架构创新并非大模型专属,在小尺寸模型上能带来甚至更大的性能收益。

  04

  MoE 是不是越稀疏越好?

  极端稀疏路线为什么行不通?

  在激活参数量固定的前提下,提高稀疏度确实能提升计算效率;但如果保持总参数量不变、单纯降低激活参数,会显著损害模型质量——激活参数本质决定了计算预算,稀疏度的效率提升无法完全弥补计算量减少带来的能力损失。

  对于数据中心部署,过于稀疏的 MoE 并不友好:会占用大量显存却无法充分利用算力,相同吞吐量下,不如运行总参数相当、激活参数更高的模型;端侧场景则会采用独立的架构-硬件协同设计思路。

  05

  端侧视觉模型的最小可用规模是多少?

  多模态有什么规划?

  针对图像推理、UI/图表理解等深度视觉任务(非单纯 OCR 或图像描述),团队验证,激活参数约 30 亿(A3B)级别的模型已经可以支撑相关能力。

  多模态产品方面,团队正在考虑推出 5–12B 级别的小型开源图像模型,降低本地部署门槛,新一代混元视频模型也在推进中。

图片来源:reddit

  06

  后训练阶段最难解决的问题是什么?

  「过度思考」是后训练阶段最难改善的问题。

  Hy4 为了追求极致智能,思维链偏长是已知问题;而 Hy4 flash 则通过强化学习专门控制了思维链长度,实现效率优先。

  此外,长程智能体任务的强化学习落地中,最大挑战是环境漏洞导致的「奖励投机」,比如智能体通过搜索答案而非自主解题完成任务,需要反复修正环境规则与奖励机制。

  07

  MoE 量化如何避免能力退化?

  混元有哪些实操经验?

  团队沉淀了四点核心经验:

  08

  对标行业 AGI 分级,Hy4 处在什么水平?

  提升空间还有多大?

  团队自评 Hy4 处于 AGI 分级的 2.5 级水平,并明确表示 Hy4 远未到容量上限,在后训练层面仍有很大提升空间,目前正大规模投入强化学习技术,同时持续优化用户体验与模型安全性。

  09

  递归自我改进(RSI)进展如何?

  当前研发优先级怎么排?

  递归自我改进目前仍处于早期阶段,团队已开发若干内部基准用于评估核心能力。

  但 RSI 并非当前最高优先级,团队现阶段的核心目标是打牢模型基础能力、提升通用智能水平,并与产品场景结合优化真实体验,而非优先推进模型自我迭代。

  10

  开源模型如何平衡安全能力

  与「过度拒绝」问题?

  安全层面,混元通过有害数据过滤、训练防护、红队评估三级机制推进负责任开源:网络安全方向重点训练防御性任务(漏洞分析、修复),过滤进攻性利用类数据。

  团队同时承认,减少过度拒绝是重要的改进方向。根据内部评估,当前 Hy4 的漏洞发现能力较强,漏洞利用能力相对较弱。

  11

  本地部署的门槛有多高?

  开源生态适配进展如何?

  硬件门槛上,96GB 显存+128GB 系统内存即可运行 Hy4 flash,可将部分专家层、Engram 表卸载到主机内存降低显存压力。

  生态适配方面,llama.cpp 适配正在推进,即将向社区发布;同时已与 vllm、sgl 等主流推理框架社区深度合作。

  目前 Hy4 与 Hy4 flash 已可在 OpenCode、Claude Code、Cline 等开发工具中直接使用。

  12

  为什么不卷传统基准榜单?

  混元的评测理念是什么?

  混元坚持「评测真实性」原则,以真实任务而非榜单分数检验模型能力。

  团队认为 GPQA、SWE-bench 等传统基准已出现分数饱和,参考价值下降,因此更倾向展示 Agent 编程、真实工程任务等高难度新基准的成绩。研发过程中不刻意刷榜,靠更丰富的训练数据、多样化的内部真实任务评测来打磨模型的实际可用性。

  *头图来源:ChatGPT生成

  本文为极客公园原创文章,转载请联系极客君微信 geekparkGO

特别声明:以上文章内容仅代表作者本人观点,不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与新浪网联系。
权利保护声明页/Notice to Right Holders

举报邮箱:jubao@vip.sina.com

Copyright © 1996-2026 SINA Corporation

All Rights Reserved 新浪公司 版权所有