近日,網易垂類模型首度落地醫療臨床領域,由網易 傳媒 與北京協和醫院強強合作、共同研發的 國際首個多模態AI癲癇樣放電檢測系統vEpiSpy 正式亮相第二十六屆全國神經病學學術大會,并在北京協和醫院、北京天壇醫院、山東大學附屬兒童醫院等全國多家頂級三甲醫院展開了臨床試用。

vEpiSpy系統依托北京協和醫院癲癇中心豐富數據和專家經驗,以及網易傳媒在視頻和算法領域強大的技術積累,首次做到了將患者的視頻和腦電數據相結合,完全模擬了醫生在使用腦電圖時的標注手法,從而大幅度提高了腦電AI檢測的準確率,在臨床試用中特異性和敏感性分別能夠達到90%、80%,誤判率低于40%,媲美人類腦電專家的讀圖水平。同時,vEpiSpy系統和醫院使用的腦電軟件無縫結合,醫生無需額外操作,直接就能看到由 AI標注過的腦電結果。在vEpiSpy系統的輔助下,醫生的讀圖時間平均縮短了三分之一,效率平均提升約50%,大大節省了醫生人力。

首創多模 態 AI 腦電識讀系 統 ?表現領先國際同行

癲癇病是我國最常見的慢性神經系統疾病之一,發病率僅次于腦卒中。目前全國已有超過900萬名癲癇病患者,并且還在以每年45萬人的速度增長。

在癲癇診治中,腦電圖是最重要的檢查依據之一。但是,對癲癇樣放電的判讀高度依賴專業腦電圖技術人才,判讀要求高,判讀一致性低,且腦電數據量龐大,判讀工作十分繁重。往往判讀一份長程視頻腦電圖需要花費經驗豐富的腦電圖技師數小時。因此,癲癇診治對于腦電圖自動分析的需求越來越高,而人工智能的發展使得腦電圖自動分析的設想得以有機會實現。

此前國際論文中提到的幾大主流人工智能腦電圖識讀系統均為腦電單維度模型,錯誤檢出率高,影響了軟件的使用體驗。基于此,網易傳媒技術部和北京協和醫院攜手,采集了北京協和醫院癲癇中心4千余例癲癇病例、共30萬份數據樣本,以Transformer模型為基礎,突破性地將患者視頻和腦電數據融合,建立了包含時序特征、時頻域特征、高維視頻特征、人體動作特征的多模態神經網絡模型,有效提高了檢測的準確率和特異性。

vEpiSpy系統測試表現優異,在隨機選取的北京協和醫院21例患者的25段總時長達65小時的連續腦電數據上,vEpiSpy標注異常腦電988處,敏感性、特異性和準確率分別高達80% 、99%和98.5%。在北京天壇醫院5例患者的7段連續1h-3h腦電圖中,在同樣敏感性和準確率前提下,vEpiSpy的檢測誤判率甚至低于10%。將這部分數據同已上市的Persyst系統檢測軟件進行橫向對比,vEpiSpy的敏感性和準確度均明顯高于Persyst系統,同時誤判率更低。

易用性是vEpiSpy系統的另一個突出優勢。它采用了非侵入式自動檢測模型,和醫院的腦電系統無縫對接,在后臺自動運行,持續讀取實時腦電圖,高效在界面打標,一般4小時的腦電圖vEpiSpy系統十幾分鐘即可標注完畢。醫生無需打開另外的軟件來查看和處理,直接在本院腦電軟件里就可以看到AI標注出的異常放電,極大降低了醫生的操作成本。試點醫院醫生表示“使用時感覺不到這個軟件的存在”。

有了vEpiSpy系統的幫助,醫生相當于有了一個AI小助手提前完成了讀圖工作,醫生只需要來檢查下工作是否達標即可。通常來說,一名經驗豐富的腦電醫生處理一份2小時的腦電圖需要30分鐘左右的時間。在vEpiSpy系統輔助下,醫生的讀圖時間平均能縮短多達15分鐘,效率提升50%。

技術實力跨界遷移 與醫療伙伴共享AI紅利

和其他同類軟件相比,患者視頻的加入是vEpiSpy多模態AI系統最大的創新亮點之一。網易傳媒技術團隊在視頻內容的理解和制作上有深刻的理解和領先的經驗,在國際頂會上發表了多篇AI及算法相關論文。同時研發的“妙悟”自動化內容理解和分發解決方案,大幅升級了視頻為主的內容理解能力,幫助網易新聞客戶端用戶人均單日使用時長穩定保持行業第一。

哪里有需求,AI就能去到哪里。利用人工智能判讀癲癇樣放電是目前癲癇病研究的熱點方向之一。在北京協和醫院神經內科專家提出建立多模態AI癲癇樣放電檢測模型的設想后,網易傳媒技術團隊將在網易新聞應用中積累的技術能力進行跨界遷移,最終推動了在醫療臨床上的應用落地。

vEpiSpy系統的面世只是網易垂類模型落地醫療臨床領域的開始。網易傳媒技術團隊表示,項目組會不斷積累vEpiSpy系統在頂級三甲醫院的試點經驗,持續完善模型,不斷提升看病效率,讓有經驗的醫生有更多的時間幫助更多的病人。未來,vEpiSpy系統還會走向全國,讓偏遠地區的醫院也能借助 科技 的力量開展腦電相關的工作,讓每一位癲癇患者都能及時得到診治。

網易堅持實用主義,快速推進AI大模型在 游戲 、教育、工業、音樂等關鍵產業場景的落地,此次垂類模型落地醫療領域同樣希望解決行業痛點,讓更多人享受AI紅利。