近日舉行的ACL 2025頒獎禮上，由DeepSeek與北京大學(xué)聯(lián)合發(fā)表，并由梁文鋒親自“掛帥”的論文榮獲最佳論文獎。該研究提出的原生稀疏注意力（NSA）機(jī)制，為自然語言處理領(lǐng)域的效率突破提供了新思路。此次DeepSeek斬獲大獎，再度引發(fā)了學(xué)界對這一前沿技術(shù)的關(guān)注，而稀疏注意力一直是知乎上討論的AI熱點話題之一，眾多AI開發(fā)者紛紛在知乎上解碼一線科研成果，分享開發(fā)經(jīng)驗。

何為原生稀疏注意力機(jī)制？不少知乎答主以AI開發(fā)者身份充當(dāng)“解碼器”，以生活化的比喻科普專業(yè)技術(shù)概念。知乎答主李明殊將NSA機(jī)制比作去超市購物，“好比一個人去大超市買牙膏，傳統(tǒng)方法是逐排瀏覽所有貨柜；而NSA機(jī)制會做兩件事：一是‘?dāng)?shù)據(jù)壓縮’，先找到超市導(dǎo)覽圖確定日用品樓層，二是‘智能選擇’，重點聚焦清潔洗護(hù)區(qū)”。他認(rèn)為這種機(jī)制更像人類的思考過程，更加“類人”，能顯著提升計算機(jī)訓(xùn)練和推理速度，降低成本，同時保持準(zhǔn)確性。

更多一線從業(yè)者從專業(yè)技術(shù)角度深入闡釋。復(fù)旦大學(xué)計算機(jī)技術(shù)碩士、知乎答主Nil-9解讀了NSA的三個主要部件：壓縮模塊、Blockwise選擇模塊和滑動注意力，指出“NSA既包含了Memory compression的思路，在這個基礎(chǔ)上又引入了稀疏化，并且還加入了位置先驗的稀疏化（sliding component）”。計算機(jī)硬件從業(yè)者、知乎答主錘煉小助手則將NSA概括為：“一個針對transformer attention的、簡單有效、高度硬件友好的token數(shù)量壓縮算法”。

知乎上圍繞稀疏注意力的專業(yè)討論早有積累，且極具行業(yè)前瞻性。2024年，清華大學(xué)計算機(jī)系副教授、知乎答主劉知遠(yuǎn)團(tuán)隊發(fā)布大模型長文本理解方法InfLLM，其中涉及的NSA改進(jìn)方案被DeepSeek此次論文引用。InfLLM項目參與者、知乎答主xcjthu也深度參與NSA討論，并表示，“正如Deepseek-V3帶給大家的震撼一樣，我認(rèn)為NSA的硬件親和性是這篇論文最精彩的部分”。

除了高校研究項目，多家AI明星企業(yè)也相繼發(fā)布了有關(guān)稀疏注意力的研究成果。微軟亞研院高級研究員曹士杰分享了團(tuán)隊稀疏注意力相關(guān)的研發(fā)進(jìn)展；月之暗面則發(fā)布了開源稀疏注意力框架MoBA。這些一線開發(fā)者不約而同選擇知乎作為專業(yè)交流陣地，形成AI科研成果碰撞的獨特場域。

自 2011年上線以來，知乎始終是 科技 領(lǐng)域的前沿討論場，記錄了不同技術(shù)周期下開發(fā)者的創(chuàng)新成果。隨著AI時代的到來，大批AI開發(fā)者、從業(yè)者涌入并活躍于此。截至目前，知乎已聚集起1600萬科技與AI領(lǐng)域持續(xù)學(xué)習(xí)者，356萬科技與AI話題深度創(chuàng)作者，沉淀了858萬個AI相關(guān)問題、2000多萬個AI專業(yè)回答。知乎已然成為開發(fā)者首發(fā)項目、首談方向、首秀成果的陣地，為AI前沿技術(shù)和應(yīng)用提供了重要的創(chuàng)新窗口和趨勢指引。