2月18日，DeepSeek在海外社交平台发布了一篇纯技术论文报告，论文主要内容是关于NSA（Natively Sparse Attention，原生稀疏注意力）。据介绍，这是一种用于超快速长文本训练与推理的、硬件对齐且可原生训练的稀疏注意力机制。

　　DeepSeek团队称，NSA通过针对现代硬件的优化设计，在提高推理速度的同时、降低预训练成本，而不会牺牲性能。它在通用基准测试、长文本任务和基于指令的推理中均能达到或超越全注意力模型的表现。稀疏注意力为提高效率同时保持模型能力提供了一个有前景的方向。

　　同时，记者注意到，在这篇《原生稀疏注意力：硬件对齐且可原生训练的稀疏注意力机制》（Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention）的论文署名中，DeepSeek创始人梁文锋也在列。

　　根据论文摘要，DeepSeek团队表示，业界越来越认识到长上下文建模对于下一代大型语言模型的重要性。然而，随着序列长度的增加，标准注意力机制的高复杂度成为了关键的延迟瓶颈。

　　据悉，NSA通过高效的长序列处理能力，使模型能够直接处理整本书籍、代码仓库或多轮对话（如千轮客服场景），扩展了大语言模型在文档分析、代码生成、复杂推理等领域的应用边界。一位网友评论，“稀疏注意力机制确实能减少计算开销，DeepSeek的NSA架构虽然新颖，但在实际部署中，还得看具体应用场景和硬件优化。”

（文章来源：上海证券报·中国证券网）