腾讯混元AI Infra团队正式推出开源生产级高性能LLM推理核心算子库 HPC-Ops。在真实场景下，基于HPC-Ops，混元模型推理 QPM 提升30%，DeepSeek模型 QPM 提升17%。同时，在单算子性能方面，HPC-Ops实现Attention相比 FlashInfer/FlashAttention 最高提升2.22倍；GroupGEMM 相比 DeepGEMM 最高提升1.88倍；FusedMoE 相比 TensorRT-LLM 最高提升1.49倍。
（文章来源：第一财经）
东方财富产品
信息网络传播视听节目许可证：0908328号 经营证券期货业务许可证编号：913101046312860336 违法和不良信息举报:021-61278686 举报邮箱：jubao@eastmoney.com
