腾讯混元AI Infra核心技术开源：推理吞吐提升30%

2月4日消息显示，腾讯混元AI Infra团队正式开源了生产级高性能LLM推理核心算子库HPC-Ops。在实际应用中采用该库后，混元模型推理QPM性能提升达30%，DeepSeek模型QPM性能提升达17%。单算子性能方面实现突破：Attention运算相较FlashInfer/FlashAttention最高提速2.22倍；GroupGEMM运算相较DeepGEMM最高提速1.88倍；FusedMoE运算相较TensorRT-LLM最高提速1.49倍。

©版权声明：如无特殊说明，本站所有内容均为Amassai.net 原创发布和所有。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。否则，我站将依法保留追究相关法律责任的权利。