近日,網(wǎng)易垂類模型首度落地醫(yī)療臨床領(lǐng)域,由網(wǎng)易 傳媒 與北京協(xié)和醫(yī)院強(qiáng)強(qiáng)合作、共同研發(fā)的 國際首個(gè)多模態(tài)AI癲癇樣放電檢測(cè)系統(tǒng)vEpiSpy 正式亮相第二十六屆全國神經(jīng)病學(xué)學(xué)術(shù)大會(huì),并在北京協(xié)和醫(yī)院、北京天壇醫(yī)院、山東大學(xué)附屬兒童醫(yī)院等全國多家頂級(jí)三甲醫(yī)院展開了臨床試用。

vEpiSpy系統(tǒng)依托北京協(xié)和醫(yī)院癲癇中心豐富數(shù)據(jù)和專家經(jīng)驗(yàn),以及網(wǎng)易傳媒在視頻和算法領(lǐng)域強(qiáng)大的技術(shù)積累,首次做到了將患者的視頻和腦電數(shù)據(jù)相結(jié)合,完全模擬了醫(yī)生在使用腦電圖時(shí)的標(biāo)注手法,從而大幅度提高了腦電AI檢測(cè)的準(zhǔn)確率,在臨床試用中特異性和敏感性分別能夠達(dá)到90%、80%,誤判率低于40%,媲美人類腦電專家的讀圖水平。同時(shí),vEpiSpy系統(tǒng)和醫(yī)院使用的腦電軟件無縫結(jié)合,醫(yī)生無需額外操作,直接就能看到由 AI標(biāo)注過的腦電結(jié)果。在vEpiSpy系統(tǒng)的輔助下,醫(yī)生的讀圖時(shí)間平均縮短了三分之一,效率平均提升約50%,大大節(jié)省了醫(yī)生人力。

首創(chuàng)多模 態(tài) AI 腦電識(shí)讀系 統(tǒng) ?表現(xiàn)領(lǐng)先國際同行

癲癇病是我國最常見的慢性神經(jīng)系統(tǒng)疾病之一,發(fā)病率僅次于腦卒中。目前全國已有超過900萬名癲癇病患者,并且還在以每年45萬人的速度增長(zhǎng)。

在癲癇診治中,腦電圖是最重要的檢查依據(jù)之一。但是,對(duì)癲癇樣放電的判讀高度依賴專業(yè)腦電圖技術(shù)人才,判讀要求高,判讀一致性低,且腦電數(shù)據(jù)量龐大,判讀工作十分繁重。往往判讀一份長(zhǎng)程視頻腦電圖需要花費(fèi)經(jīng)驗(yàn)豐富的腦電圖技師數(shù)小時(shí)。因此,癲癇診治對(duì)于腦電圖自動(dòng)分析的需求越來越高,而人工智能的發(fā)展使得腦電圖自動(dòng)分析的設(shè)想得以有機(jī)會(huì)實(shí)現(xiàn)。

此前國際論文中提到的幾大主流人工智能腦電圖識(shí)讀系統(tǒng)均為腦電單維度模型,錯(cuò)誤檢出率高,影響了軟件的使用體驗(yàn)。基于此,網(wǎng)易傳媒技術(shù)部和北京協(xié)和醫(yī)院攜手,采集了北京協(xié)和醫(yī)院癲癇中心4千余例癲癇病例、共30萬份數(shù)據(jù)樣本,以Transformer模型為基礎(chǔ),突破性地將患者視頻和腦電數(shù)據(jù)融合,建立了包含時(shí)序特征、時(shí)頻域特征、高維視頻特征、人體動(dòng)作特征的多模態(tài)神經(jīng)網(wǎng)絡(luò)模型,有效提高了檢測(cè)的準(zhǔn)確率和特異性。

vEpiSpy系統(tǒng)測(cè)試表現(xiàn)優(yōu)異,在隨機(jī)選取的北京協(xié)和醫(yī)院21例患者的25段總時(shí)長(zhǎng)達(dá)65小時(shí)的連續(xù)腦電數(shù)據(jù)上,vEpiSpy標(biāo)注異常腦電988處,敏感性、特異性和準(zhǔn)確率分別高達(dá)80% 、99%和98.5%。在北京天壇醫(yī)院5例患者的7段連續(xù)1h-3h腦電圖中,在同樣敏感性和準(zhǔn)確率前提下,vEpiSpy的檢測(cè)誤判率甚至低于10%。將這部分?jǐn)?shù)據(jù)同已上市的Persyst系統(tǒng)檢測(cè)軟件進(jìn)行橫向?qū)Ρ?vEpiSpy的敏感性和準(zhǔn)確度均明顯高于Persyst系統(tǒng),同時(shí)誤判率更低。

易用性是vEpiSpy系統(tǒng)的另一個(gè)突出優(yōu)勢(shì)。它采用了非侵入式自動(dòng)檢測(cè)模型,和醫(yī)院的腦電系統(tǒng)無縫對(duì)接,在后臺(tái)自動(dòng)運(yùn)行,持續(xù)讀取實(shí)時(shí)腦電圖,高效在界面打標(biāo),一般4小時(shí)的腦電圖vEpiSpy系統(tǒng)十幾分鐘即可標(biāo)注完畢。醫(yī)生無需打開另外的軟件來查看和處理,直接在本院腦電軟件里就可以看到AI標(biāo)注出的異常放電,極大降低了醫(yī)生的操作成本。試點(diǎn)醫(yī)院醫(yī)生表示“使用時(shí)感覺不到這個(gè)軟件的存在”。

有了vEpiSpy系統(tǒng)的幫助,醫(yī)生相當(dāng)于有了一個(gè)AI小助手提前完成了讀圖工作,醫(yī)生只需要來檢查下工作是否達(dá)標(biāo)即可。通常來說,一名經(jīng)驗(yàn)豐富的腦電醫(yī)生處理一份2小時(shí)的腦電圖需要30分鐘左右的時(shí)間。在vEpiSpy系統(tǒng)輔助下,醫(yī)生的讀圖時(shí)間平均能縮短多達(dá)15分鐘,效率提升50%。

技術(shù)實(shí)力跨界遷移 與醫(yī)療伙伴共享AI紅利

和其他同類軟件相比,患者視頻的加入是vEpiSpy多模態(tài)AI系統(tǒng)最大的創(chuàng)新亮點(diǎn)之一。網(wǎng)易傳媒技術(shù)團(tuán)隊(duì)在視頻內(nèi)容的理解和制作上有深刻的理解和領(lǐng)先的經(jīng)驗(yàn),在國際頂會(huì)上發(fā)表了多篇AI及算法相關(guān)論文。同時(shí)研發(fā)的“妙悟”自動(dòng)化內(nèi)容理解和分發(fā)解決方案,大幅升級(jí)了視頻為主的內(nèi)容理解能力,幫助網(wǎng)易新聞客戶端用戶人均單日使用時(shí)長(zhǎng)穩(wěn)定保持行業(yè)第一。

哪里有需求,AI就能去到哪里。利用人工智能判讀癲癇樣放電是目前癲癇病研究的熱點(diǎn)方向之一。在北京協(xié)和醫(yī)院神經(jīng)內(nèi)科專家提出建立多模態(tài)AI癲癇樣放電檢測(cè)模型的設(shè)想后,網(wǎng)易傳媒技術(shù)團(tuán)隊(duì)將在網(wǎng)易新聞應(yīng)用中積累的技術(shù)能力進(jìn)行跨界遷移,最終推動(dòng)了在醫(yī)療臨床上的應(yīng)用落地。

vEpiSpy系統(tǒng)的面世只是網(wǎng)易垂類模型落地醫(yī)療臨床領(lǐng)域的開始。網(wǎng)易傳媒技術(shù)團(tuán)隊(duì)表示,項(xiàng)目組會(huì)不斷積累vEpiSpy系統(tǒng)在頂級(jí)三甲醫(yī)院的試點(diǎn)經(jīng)驗(yàn),持續(xù)完善模型,不斷提升看病效率,讓有經(jīng)驗(yàn)的醫(yī)生有更多的時(shí)間幫助更多的病人。未來,vEpiSpy系統(tǒng)還會(huì)走向全國,讓偏遠(yuǎn)地區(qū)的醫(yī)院也能借助 科技 的力量開展腦電相關(guān)的工作,讓每一位癲癇患者都能及時(shí)得到診治。

網(wǎng)易堅(jiān)持實(shí)用主義,快速推進(jìn)AI大模型在 游戲 、教育、工業(yè)、音樂等關(guān)鍵產(chǎn)業(yè)場(chǎng)景的落地,此次垂類模型落地醫(yī)療領(lǐng)域同樣希望解決行業(yè)痛點(diǎn),讓更多人享受AI紅利。