DeepSeek公司近期宣布了一項技術(shù)創(chuàng)新，正式推出了名為NSA（Native Sparse Attention）的新型稀疏注意力機制。這一機制專為超快速長上下文訓練與推理設(shè)計，實現(xiàn)了硬件對齊與原生可訓練性。
NSA的核心組成部分別具一格，涵蓋了動態(tài)分層稀疏策略、粗粒度token壓縮以及細粒度token選擇。這些組件的協(xié)同作用，使得NSA在提升性能的同時，也優(yōu)化了現(xiàn)代硬件設(shè)計。
據(jù)DeepSeek官方介紹，NSA機制不僅能夠加速推理過程，顯著降低預訓練成本，而且在性能上并未做出妥協(xié)。在通用基準測試、長上下文任務(wù)以及基于指令的推理場景中，NSA的表現(xiàn)與全注意力模型相比，要么相當，要么更勝一籌。
這一創(chuàng)新技術(shù)的推出，對于深度學習領(lǐng)域而言無疑是一個重大突破。通過優(yōu)化硬件設(shè)計與訓練效率，NSA為大規(guī)模語言模型的應(yīng)用開辟了新路徑，使得長上下文處理和快速推理成為可能。
DeepSeek還提供了關(guān)于NSA機制的詳細論文鏈接，供相關(guān)領(lǐng)域的研究人員和開發(fā)者深入了解和探索。
