豆包大模型出手,推理成本最高可降低83%!概念股“闻风”集体大涨
2025年02月12日 16:06
来源: 21世纪经济报道
东方财富APP

方便,快捷

手机查看财经快讯

专业,丰富

一手掌握市场脉搏

手机上阅读文章

提示:

微信扫一扫

分享到您的

朋友圈

  2月12日,豆包概念股午后大幅走强,创业板汉得信息(300170.SZ)拉升封板,润欣科技(300493.SZ)、移远通信(603236.SH)等纷纷大幅冲高。

  数据显示,抖音豆包指数(8841129.WI)今日大涨1.43%,板块内约8只个股涨超5%。

  消息方面,据“豆包大模型团队”微信公众号,字节跳动豆包大模型Foundation团队近期提出UltraMem,该架构有效解决了MoE推理时高额的访存问题,推理速度较MoE架构提升2—6倍,推理成本最高可降低83%。

  据了解,随着模型规模的扩大,推理成本和访存效率已成为限制大模型规模应用的关键瓶颈。在Transformer架构下,模型的性能与其参数数量和计算复杂度呈对数关系。随着LLM规模不断增大,推理成本会急剧增加,速度变慢。

  为此,字节跳动豆包大模型Foundation团队提出UltraMem,一种同样将计算和参数解耦的稀疏模型架构,在保证模型效果的前提下解决了推理的访存问题。

  目前,这项创新成果已被机器学习和AI领域的顶级会议ICLR 2025接收,为解决大模型推理效率和扩展能力问题提供了全新思路。

  公开资料显示,字节跳动豆包大模型团队成立于2023年,致力于开发先进的AI大模型技术,成为世界一流研究团队,为科技和社会发展作出贡献。团队研究方向涵盖深度学习、强化学习、LLM、语音、视觉、AInfra等,在中国、新加坡、美国等地设有实验室和岗位。

  (声明:文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。)

(文章来源:21世纪经济报道)

文章来源:21世纪经济报道 责任编辑:3
原标题:豆包大模型出手,推理成本最高可降低83%!概念股“闻风”集体大涨
郑重声明:东方财富发布此内容旨在传播更多信息,与本站立场无关,不构成投资建议。据此操作,风险自担。
举报
分享到微信朋友圈

打开微信,

点击底部的“发现”

使用“扫一扫”

即可将网页分享至朋友圈

扫描二维码关注

东方财富官网微信


扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-61278686 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:4000300059/952500