DeepSeek公司近期宣布了一項(xiàng)技術(shù)創(chuàng)新，正式推出了名為NSA（Native Sparse Attention）的新型稀疏注意力機(jī)制。這一機(jī)制專為超快速長上下文訓(xùn)練與推理設(shè)計(jì)，實(shí)現(xiàn)了硬件對齊與原生可訓(xùn)練性。
NSA的核心組成部分別具一格，涵蓋了動態(tài)分層稀疏策略、粗粒度token壓縮以及細(xì)粒度token選擇。這些組件的協(xié)同作用，使得NSA在提升性能的同時，也優(yōu)化了現(xiàn)代硬件設(shè)計(jì)。
據(jù)DeepSeek官方介紹，NSA機(jī)制不僅能夠加速推理過程，顯著降低預(yù)訓(xùn)練成本，而且在性能上并未做出妥協(xié)。在通用基準(zhǔn)測試、長上下文任務(wù)以及基于指令的推理場景中，NSA的表現(xiàn)與全注意力模型相比，要么相當(dāng)，要么更勝一籌。
這一創(chuàng)新技術(shù)的推出，對于深度學(xué)習(xí)領(lǐng)域而言無疑是一個重大突破。通過優(yōu)化硬件設(shè)計(jì)與訓(xùn)練效率，NSA為大規(guī)模語言模型的應(yīng)用開辟了新路徑，使得長上下文處理和快速推理成為可能。
DeepSeek還提供了關(guān)于NSA機(jī)制的詳細(xì)論文鏈接，供相關(guān)領(lǐng)域的研究人員和開發(fā)者深入了解和探索。
