腾讯混元AI Infra核心技术开源|DeepSeek|DeepGEMM|推理|hpc|flash

　　2月4日，腾讯混元AI Infra团队正式推出开源生产级高性能LLM推理核心算子库HPC-Ops。腾讯混元称，在真实场景下，基于HPC-Ops，混元模型推理QPM提升30%，DeepSeek模型QPM提升17%。同时，在单算子性能方面，HPC-Ops实现Attention相比FlashInfer/FlashAttention最高提升2.22倍；GroupGEMM相比DeepGEMM最高提升1.88倍；FusedMoE相比TensorRT-LLM最高提升1.49倍。

特别声明：以上文章内容仅代表作者本人观点，不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与新浪网联系。