美团开源首发INT8无损满血版DeepSeek R1
记者获悉,美团搜索和推荐平台部对DeepSeek R1模型进行了INT8精度量化尝试,量化后模型精度基本无损,可部署到A100等其他型号GPU,从而解锁了芯片限制;相比BF16实现了50%的吞吐提升,降低了推理成本。相关技术已在Hugging Face上开源。
(文章来源:科创板日报)
记者获悉,美团搜索和推荐平台部对DeepSeek R1模型进行了INT8精度量化尝试,量化后模型精度基本无损,可部署到A100等其他型号GPU,从而解锁了芯片限制;相比BF16实现了50%的吞吐提升,降低了推理成本。相关技术已在Hugging Face上开源。
(文章来源:科创板日报)