算力约束下 腾讯姚顺雨携团队回答混元“一切”
2026年11月21日 11:24
作者: 吴佳楠
来源: 21世纪经济报道
小 中 大
东方财富APP

方便,快捷

手机查看财经快讯

专业,丰富

一手掌握市场脉搏


K图 00700_0

  11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨和团队成员,在Reddit进行了一场持续120分钟的AMA活动,回答全球开发者关于混元的“任何问题”。

  这也是混元团队首次在开发者社区的公开问答。在此次AMA中,混元团队回答了如何在有限算力下提升模型能力,以及开源生态、架构取舍、评测体系等问题。

  过去不到一个月,混元接连发布了两款模型。11月4日发布的Hy4在第三方评测机构Artificial Analysis的智能指数榜单上位列中国模型第二,在Agent Arena榜单上居开源模型首位。随后发布的Hy4 flash,定位为“日常工作的极致性价比模型”,并在11月20日开源。

  根据腾讯披露的数据,在自建日常工作任务评测WorkIndex中,Hy4 flash的单任务成本仅为Hy4的1/20。在涉及85名内部用户、259项工作任务的盲测中,其单任务成本约为0.26元。

  在11月18日腾讯三季度业绩电话会上,腾讯总裁刘炽平表示,新一代混元Hy4已达到中国基础模型的顶尖能力水平,并在实际生产力应用中展现出较强实用性。公司对Hy4的能力及提升速度感到满意,近期已将多模态研发统一至混元团队,大幅扩大了Hy4的预训练和后训练规模,并加入视觉及计算机操作能力。

  下一代Hy模型将扩大规模

  “Hy3和Hy4已经证明,规模较小但训练扎实的模型往往也能超越更大的模型。”面对字节跳动、Kimi等已在推进3万亿甚至5万亿参数,腾讯Hy系列仍处于700B左右的规模的提问,混元团队表示,小尺寸模型的成本更低,而且在研发过程中,我们还能学到更多、积累更多经验。

  被问到下一代Hy4.5模型参数规模是否会扩至1.5万亿—2万亿参数时,混元团队表示:“下一代Hy模型的规模肯定会进一步显著扩大。”

  “Hy4仍然有很大的提升空间,尤其是在后训练方面”腾讯混元团队表示,正在大力投入大规模强化学习(RL),同时持续改善用户体验和模型安全性,还计划训练规模更大的模型。

  针对小尺寸模型,据介绍,Hy4-mini已经在开发路线图中,未来还将推出更多小型模型。对于24B—31B规模的稠密模型,团队正在考虑;对于更小规模的稠密模型,也有推出的可能,但目前可能不会专门开发100B参数以下、针对编程任务优化的模型。

  对于训练中用到的数据集质量,腾讯混元团队表示,高质量训练数据有很多维度,不同领域和任务的标准也各不相同。无论靠人类专家还是智能体,设计和清洗数据都要投入大量精力。验证数据质量最好的办法是做实验,最终还是看实证结果。

  团队同样回到了模型架构上的取舍问题。对于业界热衷的“MoE越稀疏越好”这一说法,腾讯混元团队表示,过于稀疏的MoE架构对推理不太友好。它占用大量GPU显存,却没有充分利用算力(FLOPs)。在总参数量相同的情况下,完全可以提高激活参数量,同时保持相同的推理吞吐量。

  “激活参数量本质上决定了计算预算,提高稀疏度虽然能挽回一部分效率损失,但无法完全弥补,归根结底,削减激活参数就意味着更少的计算量,从而导致模型能力变弱。”腾讯混元团队表示。

  在评测体系方面,团队认为不要迷信单一榜单。“单一网站并不能真正决定一款模型在现实世界中的采用情况。我们会参考各种不同的评测,包括内部基准测试、公开评测、第三方评测,以及真实用户反馈。要真正判断一款模型的表现,需要看完整的评价结果。归根结底,这才是用户真正关心的。”

  对近期颇受关注的“大模型写作越来越像套话”,团队表示,大模型写作出现这样的情况可能与模型的训练目标有关,创意写作和可读性非常重要,正在将其列为重点改进方向,已经在这方面做了不少工作,但仍然有改进空间。

  针对开源立场,腾讯混元团队表示,仍会继续走开源路线。

  从零重建到跻身前列

  自今年2月腾讯重建混元的预训练与强化学习基础设施以来,混元迭代路线清晰可见。

  今年4月,腾讯开源Hy3 preview,总参数2950亿、激活210亿,是基础设施重构后训练的首个模型;今年7月,Hy3正式版上线;8月,Hy4 preview开源,总参数770B、激活49B,上下文超1M;11月,Hy4正式版发布,扩展预训练与后训练规模,首次引入视觉理解与电脑操作能力;一周多后,主打性价比的Hy4 flash跟进。

  自重建以来,混元保持平均每两个月迭代一次大版本的节奏,preview先行、正式版跟进。

  在三季度业绩电话会上,混元的迭代也得到管理层的正面反馈。

  腾讯首席执行官马化腾在开场陈述中罗列三项进展:混元Hy4已达中国顶尖大模型水平;Hy4 flash显著降低推理成本;按用户每日大语言模型Token消耗总量衡量,WorkBuddy已成为中国规模最大的AI应用。受WorkBuddy增长,以及公司向模型即服务(MaaS)和GPU租赁分配更多算力的推动,云服务收入增速进一步提升。

  “公司对Hy4的能力及提升速度感到满意,目前仍处于智能能力发展的早期阶段。近期已将多模态研发统一至混元团队。”刘炽平表示,公司大幅扩大了Hy4的预训练和后训练规模,并加入视觉及计算机操作能力。相较此前模型,Hy4在指令遵循、长上下文理解、长程任务和深度研究等方面均实现显著提升。

  高投入的另一面,是持续加码的资本开支。三季度腾讯单季资本开支创纪录达到814亿元,同比增长527%;前三季度累计1661.53亿元,同比增长179%。管理层预计,随着2026年、2027年建成的基础设施在后续年份持续发挥作用,到2028年经营压力有望逐步缓解。

  值得注意的是,在算力约束问题上,腾讯高管坦言,最新收紧的限制对中国所有参与者都会产生影响,大家可使用的先进算力都会减少,无论此前何时开始在中国境外租赁或建设算力。训练会受到影响,但Hy4的训练效率已经很高。短期内,下一代模型的推出可能需要更长时间;随着时间推移,国内供应链将逐步补上。推理方面,公司目前构建的模型效率较高,国内供应链应能够满足相关需求。

  在算力约束与成本压力之下,下一代Hy模型的迭代仍受到市场关注。

  “正在尽可能充分地利用现有资源,以追赶前沿水平。”腾讯混元团队在AMA对话中表示。

(文章来源:21世纪经济报道)

文章来源:21世纪经济报道 责任编辑:98
原标题:算力约束下,腾讯姚顺雨携团队回答混元“一切”
郑重声明:东方财富发布此内容旨在传播更多信息,与本站立场无关,不构成投资建议。据此操作,风险自担。
举报
分享到微信朋友圈

打开微信,

点击底部的“发现”

使用“扫一扫”

即可将网页分享至朋友圈

扫描二维码关注

东方财富官网微信


扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-61278686 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:4000300059/952500