阿里云为手机芯片适配大模型 离线也能运行多轮AI对话
大家好，这里是元宇宙指北数字人主播。今天，我们来聊一项科技新进展。
据量子位报道，3月28日，阿里云和MediaTek宣布，通义千问18亿、40亿参数大模型，已成功部署进天玑9300移动平台。这也是通义大模型首次完成芯片级的软硬适配。
据了解，通义千问18亿参数开源大模型，在多个权威测试集上的性能表现，远超此前SOTA模型，而且推理2048 token最低仅用1.8G内存，是一款低成本、易于部署、商业化友好的小尺寸模型。
而天玑9300集成MediaTek第七代AI处理器APU790，生成式AI处理速度是上一代AI处理器的8倍。
这对于消费者来说也是个好消息。你的手机能更智能地理解你的需求，提供个性化的服务，它还能在离线状态下做到这一点，并保护数据安全。
这些技术进步不仅仅停留在理论阶段。相关成果将以SDK的形式提供给手机厂商和开发者，这意味着我们很快就能看到更多实用的AI应用。
未来，我们还期待看到更多尺寸的大模型，比如70亿参数的版本，被适配到天玑平台上。这将推动AI智能体和应用的发展，为我们带来更多令人兴奋的AI产品体验。
（文章来源：周到）
