华为发布开源盘古2.0模型 深度适配昇腾算力
南方财经6月12日电,华为开发者大会上,华为终端BG董事长余承东宣布,开源盘古升级,发布了openPangu2.0。该模型支持512K超长上下文窗口,分为Pro与Flash两个版本,Pro版本总参数量达505B,Flash版本总参数量92B。
对于为什么没有发布参数量更大的模型,余承东表示:“我们训练盘古大模型所用的卡的数量非常有限。同时,算力成本非常高,内存大涨,华为更聚焦时延和吞吐率的提升。”据悉,openPangu2.0深度优化适配昇腾算力,单卡吞吐率可达其他业界主流开源模型的2倍,并从6月30日起陆续开源组件。
余承东还谈道,中国发布的第一个大模型就是盘古大模型,是大模型行业的先驱者,去年他开始负责大模型,“团队将会一路赶超,在我的字典里,没有第二,只有第一。”(21世纪经济报道)
(文章来源:南方财经网)