6月30日，华为宣布开源盘古70亿参数的稠密模型、盘古Pro MoE 720亿参数的混合专家模型，以及基于昇腾的模型推理技术。

　　华为方面表示，此举是华为践行昇腾生态战略的又一关键举措，推动大模型技术的研究与创新发展，加速推进人工智能在千行百业的应用与价值创造。

　　目前，盘古Pro MoE 72B模型权重、基础推理代码，已正式上线开源平台。基于昇腾的超大规模MoE模型推理代码，已正式上线开源平台。盘古7B相关模型权重与推理代码将于近期上线开源平台。

华为开源两款模型。GitCode网站截图

　　在针对盘古Pro MoE的报告中，华为盘古团队指出，混合专家模型（MoE）在大语言模型（LLMs）中兴起，然而在实际部署中，不同专家的激活频率存在严重的不均衡问题，一部分专家被过度调用，而其他专家则长期闲置，导致系统效率低下。

　　为此，华为盘古团队提出了新型的分组混合专家模型（Mixture of Grouped Experts, MoGE），该模型在专家选择阶段对专家进行分组，并约束token在每个组内激活等量专家，从而实现专家负载均衡，显著提升模型在昇腾平台的部署效率。基于MoGE架构，团队构建了总参数量720亿、激活参数量160亿的盘古Pro MoE模型，并针对昇腾300I Duo和800I A2平台进行系统优化。

　　从效果来看，盘古Pro MoE在昇腾800I A2上实现了单卡1148 tokens/s的推理吞吐性能，并可进一步通过投机加速等技术提升至1528 tokens/s，显著优于同等规模的320亿和720亿参数的稠密模型；在昇腾300I Duo推理服务器上，也实现了极具性价比的模型推理方案。

　　技术报告指出，经研究表明，昇腾NPU能够支持盘古Pro MoE的大规模并行训练。多项公开基准测试结果表明，盘古Pro MoE在千亿内总参数模型中处于领先地位。

　　对于盘古70亿参数的稠密模型，华为研究团队指出，大语言模型（LLM）普遍面临着巨大的计算成本和推理延迟挑战，这限制了它们的实际应用与部署。

　　为此，团队提出了盘古Embedded，一个在昇腾（Ascend）NPU上开发的高效大语言模型推理器。其核心是一个具备“快思慢想”（fast and slow thinking）能力的双系统框架。该框架通过一个用于常规请求的“快思考”模式和一个用于复杂推理的“慢思考”模式，在延迟和推理深度之间实现了平衡。

　　从效果上看，70亿参数的盘古Embedded在多个权威的复杂推理基准测试中（如AIME、 GPQA等），其表现优于Qwen3-8B和GLM4-9B等规模相近的业界领先模型。

　　华为在大模型领域进展加速。除了上述两款模型，今年5月底，华为还推出了参数规模达7180亿新模型——盘古Ultra MoE，全流程在昇腾AI计算平台上训练。华为同时发布盘古Ultra MoE模型架构和训练方法的技术报告，披露众多技术细节。

　　在6月20日举办的华为开发者大会2025上，华为云正式发布盘古大模型5.5，自然语言处理（NLP）、计算机视觉（CV）、多模态、预测、科学计算五大基础模型全面升级。

（文章来源：新京报）