蚂蚁开源首个100B扩散语言模型LLaDA2.0
12月12日,蚂蚁技术研究院正式推出LLaDA2.0系列离散扩散大语言模型(dLLM),并同步公开技术报告。此前开源的LLaDA2.0包含MoE架构的16B(mini)和100B(flash)两个版本,蚂蚁将Diffusion模型的参数规模首次扩展到了100B量级。
(文章来源:界面新闻)
12月12日,蚂蚁技术研究院正式推出LLaDA2.0系列离散扩散大语言模型(dLLM),并同步公开技术报告。此前开源的LLaDA2.0包含MoE架构的16B(mini)和100B(flash)两个版本,蚂蚁将Diffusion模型的参数规模首次扩展到了100B量级。
(文章来源:界面新闻)