(来源:环球网资讯)
来源:环球网
【环球网科技综合报道】10月20日,由中国团队记忆张量研发的记忆原生模型MemT1.0系列正式发布并开源。该系列将可持续存在、可更新的内部记忆纳入模型计算,使历史信息与任务经验可在后续相关任务中直接调用,无需再次提供原始历史文本。

MemT1.0系列包括MemT-1.0-Flash与MemT-1.0-Nano,参数规模分别为288B与36B。团队在选定的Transformer模块中引入原生记忆模块,使原有注意力与记忆注意力并行运行。架构创新包括基于Gated DeltaNet-2的逐token稳定更新机制、Mixture-of-Storage混合存储扩容,以及持续预训练与后训练两阶段训练。
评测显示,在11项记忆基准上,两款模型平均得分分别为50.6和47.0,位列参数化记忆方法第一、第二。编程智能体实测中,Nano在SWE-bench Verified 500项任务上平均成功率从66.07%提升至69.73%,三次全部成功比例从54.00%提升至62.80%。长历史场景下,Nano相比完整上下文方式实现约1.86倍(128K)与3.99倍(256K)端到端推理速度,持久化记忆状态约为其1/66。
目前,MemT1.0系列已通过Hugging Face等平台开源,开发者可免费获取模型权重。研发团队表示,下一步将持续提升长期记忆、扩展记忆容量、降低更新成本,并探索自主获取经验与跨任务持续整合记忆。(勃潺)
特别声明:以上文章内容仅代表作者本人观点,不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与新浪网联系。











