上证报中国证券网讯(记者刘暄)上海证券报记者6月9日从小米获悉,小米MiMo技术团队正式上线Xiaomi MiMo-V2.5-Pro-UltraSpeed模式。小米集团创始人、董事长兼CEO雷军当日在微博发文称,这是业内首次在1万亿参数模型上突破1000 tokens/秒的输出速度。

小米表示,MiMo-V2.5-Pro-UltraSpeed通过对模型推理系统的全链路工程能力优化,在不降低模型能力前提下,首次把推理速度提升至1000 tokens/s,且无需定制芯片、只使用通用GPU即可达成。
据悉,即日起至6月23日,MiMo-V2-Pro-UltraSpeed模式将采取申请制限时开放,通过申请的用户可接入API进行体验。
上证报记者梳理发现,自4月底以来,小米AI在模型能力、推理成本和推理效率三个维度接连取得突破。
其中,4月23日,MiMo-V2.5-Pro在Artificial Analysis上获得综合智能指数与Agent指数全球开源模型并列第一;5月27日,Xiaomi MiMo-V2.5系列模型API因技术优化宣布最高降价99%,并同步调整Token Plan计费体系。6月8日,MiMo-V2.5-Pro-UltraSpeed以1000 Tokens/s刷新万亿参数旗舰模型推理速度新纪录。
过去,大模型领域存在一个隐形瓶颈:速度快的模型往往参数小、能力弱;能力强的模型又因为体量庞大而响应缓慢,且很多高速推理模型依赖昂贵的专用芯片。
Xiaomi MiMo-V2.5-Pro-UltraSpeed模式用通用GPU实现了万亿参数模型的1000 tokens/s推理速度,让大模型在不降低模型能力的前提下,获得接近实时的复杂任务响应能力,成为全球首个达到这一速度水平的万亿参数模型。
小米MiMo技术团队表示,该突破是基于Xiaomi MiMo-V2.5 Pro的SWA架构,叠加了FP4 Experts、DFlash解码以及TileRT团队的执行系统Codesign,从模型到推理引擎再到GPU执行路径进行了全链路优化。这是小米AI在模型推理系统全链路优化工程能力的新突破,打破了“快、强、通用GPU无法兼得”的行业不可能三角,推理工程实力跻身全球第一梯队。
在业内人士看来,Xiaomi MiMo-V2.5-Pro-UltraSpeed的发布,标志着旗舰大模型开始迈入新的推理效率阶段,也为未来更广泛的实时应用场景提供了可能。
(文章来源:上海证券报·中国证券网)