网宿科技发布面向AIGC的一站式边缘智能解决方案
上证报中国证券网讯(记者李雁争)在近日召开的全球边缘计算大会上,网宿科技发布面向AIGC的一站式边缘智能解决方案。该方案降低了AIGC应用的落地门槛,可帮助用户以低成本、高效率的方式实现AI应用创新。
图说:网宿科技边缘智能平台资深架构师陈云辉代表网宿科技发布面向AIGC的一站式边缘智能解决方案(李雁争摄)
网宿科技边缘智能平台资深架构师陈云辉说,当前,尽管国内基础大模型百花齐放,为用户提供了丰富的选择。但是真正使用时,企业用户需要对比开源模型和云服务商的推理成本与性能评估,考虑系统的安全性、敏感词过滤等,这些因素都制约了大模型落地。
作为领先的边缘计算企业,网宿科技近年来对AIGC展开了持续探索,逐步形成了涵盖Serverless GPU、AI网关、模型微调与推理服务的一站式边缘智能解决方案。
据介绍,网宿Serverless GPU为用户提供高度可扩展、按需使用的GPU算力资源服务,主要适用于多种计算密集型任务,如AI模型推理、音视频加速生产、图形加速等。基于网宿丰富的GPU算力资源,结合Serverless K8S和GPU加速的优势,用户无需管理GPU服务器和K8S,只需上传容器镜像即可方便快捷运行AI应用。
“Serverless GPU除了拥有免运维的特性外,由于GPU资源是放在边缘侧,离用户更近,更贴近业务边缘,具有低时延优势。并且,通过按需分配和GPU虚拟化技术,提高了GPU资源的利用率,可以有效降低用户的GPU使用成本。”陈云辉表示。
陈云辉判断,未来,大模型会演变成基础设施,就像现在的操作系统、大数据平台一样,虽然用户感知不明显,但为各种应用提供基础性和通用性的支持。与此同时,开源能力也会越来越强。
(文章来源:上海证券报·中国证券网)