亿道信息:亿灵AISSD异构推理技术是针对MoE混合专家架构大模型做的底层调度优化
21财经11月9日电,亿道信息在投资者关系活动中表示,亿灵AISSD异构推理技术是针对MoE混合专家架构大模型做的底层调度优化,模型本身没变、能力不降,不用多卡服务器,靠动态专家驻留策略,内存占用大幅降下来,还能在内存、速度之间灵活调档,让普通PC、NAS这类内存受限的端侧设备,也能跑35B或更大的模型。
(文章来源:南方财经网)