近日，第63屆國際計(jì)算語言學(xué)年會ACL 2025（Annual Meeting of the Association for Computational Linguistics，簡稱ACL）論文接收結(jié)果正式公布。云知聲在此次國際學(xué)術(shù)盛會中表現(xiàn)卓越，共有4篇論文被接收，其中包括2篇主會論文（Main Paper）和2篇Findings。入選的4篇論文聚焦大語言模型知識溯源、圖文音多模態(tài)大模型、大語言模型可解釋性等關(guān)鍵領(lǐng)域，提出的創(chuàng)新理論和方法，為行業(yè)研究提供了新的思路。

ACL是自然語言處理領(lǐng)域最具影響力的國際會議之一，也是中國計(jì)算機(jī)學(xué)會（CCF）推薦的A類國際學(xué)術(shù)會議。該會議每年舉辦一次，由國際計(jì)算語言學(xué)協(xié)會主辦。本屆會議將于2025年7月27日至8月1日在奧地利維也納舉行。據(jù)統(tǒng)計(jì)，今年ACL總投稿數(shù)高達(dá)8000多篇，創(chuàng)歷史之最，被稱為ACL論文收錄競爭最為激烈的一年。

云知聲自2012年成立以來，在自然語言處理領(lǐng)域持續(xù)深耕，成果斐然。2017年Transformer及2018年BERT等深度學(xué)習(xí)模型的發(fā)布，推動了AI自然語言處理的重大突破。憑借自身在交互式AI方面的強(qiáng)大研發(fā)實(shí)力，云知聲迅速推出首個(gè)基于BERT的大語言模型UniCore，作為云知大腦的初始核心算法模型，為后續(xù)一系列AI解決方案在廣泛垂直行業(yè)的落地應(yīng)用奠定了堅(jiān)實(shí)基礎(chǔ)。2023年，在自建的Atlas智算平臺和多年積累的海量數(shù)據(jù)支持下，云知聲推出了擁有千億參數(shù)的大語言模型——山海大模型，并持續(xù)對其進(jìn)行迭代升級。山海大模型不僅具備語言生成、知識問答、邏輯推理等十大核心能力，還在多模態(tài)技術(shù)方面不斷實(shí)現(xiàn)突破，持續(xù)拓展文生圖、音圖問答等前沿功能，極大地豐富了用戶交互體驗(yàn)。

在技術(shù)攻堅(jiān)過程中，云知聲收獲了多項(xiàng)與自然語言處理相關(guān)的專利。例如，多語言摘要的生成方法、知識增強(qiáng)的非自回歸神經(jīng)機(jī)器翻譯方法等，為多場景應(yīng)用提供了有力支撐。在學(xué)術(shù)研究與行業(yè)認(rèn)可方面，云知聲持續(xù)輸出優(yōu)質(zhì)成果，曾在CVPR 2024、INTERSPEECH 2023、ACM MM 2023等頂會發(fā)表多篇學(xué)術(shù)著作，并斬獲CVPR2024開放環(huán)境情感行為分析競賽三項(xiàng)季軍。此次再度登頂國際學(xué)術(shù)舞臺，充分印證了云知聲在AI領(lǐng)域的技術(shù)創(chuàng)新實(shí)力，也將進(jìn)一步夯實(shí)其AGI技術(shù)底座。

以下為入選論文概覽：

研究方向：大語言模型知識溯源

標(biāo)題：TROVE: A Challenge for Fine-Grained Text Provenance via Source Sentence Tracing and Relationship Classification

作者：Junnan Zhu, Min Xiao, Yining Wang, Feifei Zhai, Yu Zhou，Chengqing Zong

論文簡介：大語言模型在文本生成中的流利性和連貫性方面已取得了顯著的進(jìn)展，然而其廣泛應(yīng)用引發(fā)了對內(nèi)容可靠性和責(zé)任心的擔(dān)憂。在醫(yī)療、法律和新聞等領(lǐng)域，幻覺容忍度極低，了解內(nèi)容的來源及其創(chuàng)作方式至關(guān)重要。為解決這一問題，我們推出了文本溯源任務(wù)（TROVE），旨在將目標(biāo)文本的每一句話追溯到可能冗長或多文檔輸入中的特定源句子。除了識別來源，TROVE還標(biāo)注細(xì)粒度的關(guān)系（引用、壓縮、推斷等），提供了每個(gè)大模型生成結(jié)果的細(xì)粒度分析。為TROVE任務(wù)建立基準(zhǔn)，我們通過利用三個(gè)公開數(shù)據(jù)集構(gòu)建了我們的數(shù)據(jù)集，涵蓋了11種不同場景（例如問答和總結(jié)），包括英文和中文，且來源文本長度各異（0–5k，5–10k，10k+），并強(qiáng)化了對于溯源任務(wù)至關(guān)重要的多文檔和長文檔設(shè)置。為保證數(shù)據(jù)的高質(zhì)量，我們設(shè)計(jì)了三階段的注釋過程：句子檢索、GPT溯源及人工溯源。我們在提示工程和檢索增強(qiáng)模式下評估了11個(gè)大語言模型，結(jié)果顯示檢索對于魯棒性至關(guān)重要，較大的模型和閉源在各類任務(wù)中表現(xiàn)更佳，但在檢索增強(qiáng)的場景下，開源模型顯示出顯著優(yōu)勢。

研究方向：大語言模型的可解釋性

標(biāo)題：Cracking Factual Knowledge: A Comprehensive Analysis of Degenerate Knowledge Neurons in Large Language Models

作者：Yuheng Chen, Pengfei Cao, Yubo Chen, Yining Wang, Shengping Liu, Kang Liu, Jun Zhao

論文簡介：知識神經(jīng)元理論提供了一種理解大型語言模型（LLMs）中事實(shí)性知識機(jī)制的重要方法，該理論表明，事實(shí)性知識存儲在多層感知器神經(jīng)元中。本文進(jìn)一步探索了簡并知識神經(jīng)元（DKNs），即不同的神經(jīng)元集合可以存儲相同的事實(shí)，但與簡單的冗余機(jī)制不同，它們還參與存儲其他不同的事實(shí)性知識。盡管這一概念具有新穎性和獨(dú)特性，但尚未得到嚴(yán)謹(jǐn)定義和系統(tǒng)研究。我們的貢獻(xiàn)包括：（1）我們通過分析權(quán)重連接模式，開創(chuàng)了對知識神經(jīng)元結(jié)構(gòu)的研究，從功能和結(jié)構(gòu)兩個(gè)方面提供了DKNs的全面定義。（2）基于此定義，我們設(shè)計(jì)了神經(jīng)拓?fù)渚垲惙椒?，從而更?zhǔn)確地識別DKNs。（3）我們展示了DKNs在兩個(gè)方面的實(shí)際應(yīng)用：引導(dǎo)大語言模型學(xué)習(xí)新知識以及增強(qiáng)大語言模型在輸入錯誤時(shí)的魯棒性。

研究方向：圖文音多模態(tài)大模型

標(biāo)題：Investigating and Enhancing Vision-Audio Capability in Omni Modal Large Language Models

作者：Rui Hu, Delai Qiu, Shuyu Wei, Jiaming Zhang,Yining Wang, Shengpeng Liu, Jitao Sang

論文簡介：全模態(tài)大語言模型（OLLMs）在整合視覺和文本方面取得了顯著進(jìn)展，但在整合視覺和音頻方面仍然存在困難。具體來說，與處理文本查詢相比，模型在處理音頻查詢時(shí)通常表現(xiàn)不佳。這種差異主要是由于在訓(xùn)練過程中視覺和音頻模態(tài)之間的對齊不足，導(dǎo)致在使用音頻查詢時(shí)對視覺信息的關(guān)注不夠。為了解決這一問題，我們提出了一種自知識蒸餾（Self-KD）的訓(xùn)練方法，其中以O(shè)LLM的視覺－文本組件作為教師模型，視覺－音頻組件作為學(xué)生模型。這使得模型能夠?qū)W習(xí)以類似于處理文本查詢的方式處理音頻查詢。實(shí)驗(yàn)結(jié)果表明，Self-KD可以有效提升全模態(tài)語言模型視覺－音頻能力，其通過從視覺－文本組件中學(xué)習(xí)，進(jìn)而改善音頻與圖像之間的交互，并最終提升多模態(tài)任務(wù)的性能。

研究方向：大語言模型檢索增強(qiáng)

標(biāo)題：Transparentize the Internal and External Knowledge Utilization in LLMs with Trustworthy Citation

作者：Jiajun Shen,?Tong Zhou,?Yubo Chen,?Delai Qiu,?Shengping Liu,?Kang Liu,?Jun Zhao

論文簡介：檢索增強(qiáng)生成和引文生成技術(shù)可以緩解大語言模型的幻覺問題，但模型調(diào)用內(nèi)部知識的機(jī)制仍不透明，其生成答案的可信度依然難以保證。為此，我們提出“基于上下文－先驗(yàn)的引用生成”任務(wù)，要求模型在綜合外部知識和內(nèi)部知識的基礎(chǔ)上生成可信的引用。

我們的主要貢獻(xiàn)包括：

1. 提出了“上下文－先驗(yàn)的引用生成”任務(wù)，要求模型能夠根據(jù)先驗(yàn)知識合理引用參考文獻(xiàn)，并制定了5項(xiàng)評價(jià)指標(biāo)，包括（1）答案有效性準(zhǔn)確率，（2）真實(shí)引用召回率，（3）論證說服力，（4）表述簡潔度，（5）衡量參考文獻(xiàn)可信度的預(yù)期校準(zhǔn)誤差；從答案有效性、引用準(zhǔn)確性和結(jié)果可信度三個(gè)維度全面評估模型表現(xiàn)。

2. 開發(fā)了RAEL框架，要求模型審閱自我生成的相關(guān)概念或先驗(yàn)知識，實(shí)現(xiàn)對上下文的準(zhǔn)確引述；INTRALIGN方法，通過多場景可信數(shù)據(jù)生成和可解釋性對齊，使模型能夠有效利用先驗(yàn)知識輸出更可靠的回答。

3. 在4種不同場景下測試了3類大語言模型和6種基線方法。結(jié)果表明，現(xiàn)有方法難以全面提升任務(wù)效果，而我們的方案不僅能準(zhǔn)確引用參數(shù)化的內(nèi)部知識，還能顯著提高引用質(zhì)量和回答的可信度。

以上四篇論文的入選，是對云知聲堅(jiān)持技術(shù)創(chuàng)新、推動產(chǎn)學(xué)研深度融合的有力肯定。未來，云知聲將繼續(xù)秉持開拓精神，深耕人工智能技術(shù)，不斷探索和拓展大模型的應(yīng)用邊界，為全球 科技 進(jìn)步貢獻(xiàn)更多中國智慧和創(chuàng)新力量。