AI手机、AIPC……随着端侧AI应用逐步落地,AI正成为后续高端消费电子产品的必备功能。市场调查机构Counterpoint Research预测,2023-2027年,全球高级AIPC销量复合增速为115%,AI手机销量复合增速为65%。
而随着端侧AI产品的快速增长,应用于端侧、边缘侧的AI算力芯片NPU(神经网络处理单元)或将逐步起量。NPU能够更高效率、更低能耗地处理人工神经网络、随机森林等机器学习算法和深度学习模型,被认为是更适合边缘侧、端侧的处理器,与GPU、CPU共同构成当前的AI计算底座。
端侧AI应用加速落地
2023年,云端大模型开始在行业层面展开应用,但智能终端如手机、PC、汽车等AIoT设备,无疑是通用人工智能更广泛的应用载体和场景。
国内AI算力公司爱芯元智创始人、董事长仇肖莘近日在2024世界人工智能大会“芯领未来丨智能芯片及多模态大模型论坛”上表示,“大模型要想真正落地,一定是落到云边端三级结合的方式,一定要真正落到与日常生活息息相关的硬件设备里。”
此前,商汤(00020.HK)曾在2023年年报中表示,2024年将是端侧大模型应用的爆发之年。商汤联合创始人、首席科学家王晓刚解释称,成本、数据传输延迟、数据安全与隐私等几个重要问题,都可以通过端侧AI或云端结合来解决。
“凭借在成本、隐私、延时性、可靠性等方面的优势,端侧AI发展会成为全球趋势,这也意味着大模型正式进入了轻量化时代。”大模型厂商北京面壁智能科技有限责任公司(简称面壁智能)副总裁贾超也在上述论坛上表示。
事实上,在2024年上半年,端侧AI应用已加速落地。苹果在2024年WWDC发布会聚焦Apple Intelligence,公布了其应用在端侧AI的系列产品,端侧+隐私的技术处理方式获得市场认同;安卓系列手机应用AI化也在持续推进,模型侧各厂商均推出自主研发的边缘端模型产品,如VIVO蓝心大模型、OPPO安第斯大模型等。
根据Counterpoint Research,2024年一季度,全球具备GenAI功能的手机市占率提升至6%,较上季度1.3%大幅提升,AI功能手机渗透率持续提升。
“在中国做产业往往需要规模化,这就需要对于成本和应用的全流程进行充分考量。目前国内智能设备有几十亿(台),比如智能手机、智能眼镜、智能音箱、智能电视、智能车舱等,如果都接上大模型,就能实现应用边际成本的大幅降低。”商汤COO骆静日前在接受第一财经专访时表示,中国市场的先天优势在于大众对于人工智能的认知和接受度较高,容易接受AI产品,而产品一旦落地就会快速推开。“预计端侧AI产品明年上半年就会开始快速推广。”
NPU更适合端侧、边缘侧部署
“大模型部署到端侧时,对芯片的算力、存储、数据传输都有明确要求,要求这些芯片能更好地支持Transformer、Diffusion等架构。”王晓刚表示。
相比于在云端用GPU部署Transformer大模型,在边缘侧、端侧部署Transformer的最大挑战来自于功耗。因此在端侧和边缘侧,GPU并非最合适的架构。
“找到适合的端侧芯片和模型来服务端侧、边缘侧场景将是未来一个重要的方向。”骆静告诉第一财经。
贾超在上述论坛上表示,企业开发端侧大模型需要算法侧和芯片侧的“双向奔赴”,端侧模型用端侧芯片,在用户场景上高效落地,才能给用户带来最极致的体验。
“Transformer是现在所有大模型的基础,它本身的基础架构也是固定的,在这种基础最原子层架构固定的情况下,DSA架构是比GPU更优的架构。对于AI推理芯片,尤其是在边缘侧、端侧部署的推理芯片来说,DSA架构芯片的运算效率、能量消耗优于GPU。”仇肖莘表示。
NPU就是基于DSA领域专用架构技术的处理器,它采用“数据驱动并行计算”的架构,在电路层模拟人类神经元和突触,特别擅长处理视频、图像类的海量多媒体数据。
区别于CPU、GPU所遵循的冯诺依曼架构,NPU能够通过突触权重实现存储计算一体化,提高运行效率,因此比GPU更擅长推理,且NPU芯片设计逻辑更为简单,在处理推理工作负载时具有显著的能耗节约优势,因此NPU可以作为在AI计算效率和功耗之间的平衡方案。
“NPU跟CPU、GPU一样,都是整个计算架构的一部分,是计算架构里边异构的处理器,用以实现不同的功能。GPU原来是专门为图形渲染做的,更像是张量计算使用的一个处理器,而NPU更像是一个原生的AI计算处理器,CPU则是另外一个处理器,这三个处理器加起来构成了AI的一个计算底座。”仇肖莘在接受第一财经专访时表示,“实际上,NPU在GPU的基础上更近了一步,它的灵活性不如GPU,但它的好处是能效比非常高,更适合边缘侧、端侧。”
NPU渗透率提升,成本是关键
NPU适合广泛部署在端侧、边缘侧的重要原因,也在于端侧与边缘侧需要性价比,需要在成本可控的前提下提供AI能力。仇肖莘认为,如何以低成本的NPU去实现AI的价值,是实现AI普惠的关键。
“现在自动驾驶很火热,但一个显而易见的问题是,到底有多少车能够用得起这个功能?如果一套解决方案花费在1万元人民币,可能10万元以下的车就用不起;如果能够把它的整个成本降到5000元以下,或者3000元,占整车成本的比例就会低很多,普及也会更快一些。”仇肖莘称,现在有一些高端手机和新出的AIPC已经搭载了NPU,但价格确实比较贵,要把NPU的成本降下来,需要达成规模效应,现在量没有起来确实很难降价。
仇肖莘认为,从今年开始,NPU的需求,或者说端侧AI芯片的需求会是一个快速上涨的趋势。“从我们自己客户的需求来看,他们的预测都会比原来更高。”
(文章来源:第一财经)