本站 3 月 3 日消息，耶魯大學(xué)聯(lián)合劍橋大學(xué)、達(dá)特茅斯學(xué)院研究人員，共同推出一款名為 MindLLM 的醫(yī)療行業(yè)AI工具，該工具能夠?qū)⒛X部功能性磁共振成像（fMRI）數(shù)據(jù)轉(zhuǎn)化為文字，在多個(gè)基準(zhǔn)測(cè)試中，表現(xiàn)優(yōu)于業(yè)界 UMBRAE、BrainChat、UniBrain 等技術(shù)。

據(jù)介紹，MindLLM 由 fMRI 編碼器和大型語(yǔ)言模型組成，能夠分析 fMRI 掃描中的立體像素（Voxels）來解讀腦部活動(dòng)。其 fMRI 編碼器采用了神經(jīng)科學(xué)注意力機(jī)制，能夠適應(yīng)不同輸入信號(hào)的形狀，從而實(shí)現(xiàn)多種分析任務(wù)。

研究團(tuán)隊(duì)還為相應(yīng)工具引入了腦部指令調(diào)優(yōu)（BIT）方法，增強(qiáng)了模型從 fMRI 信號(hào)中提取多種語(yǔ)義信息的能力，使其能夠執(zhí)行圖像描述、問答推理等多種解碼任務(wù)。

測(cè)試結(jié)果顯示，在文字解碼、跨個(gè)體泛化和新任務(wù)適應(yīng)性等基準(zhǔn)測(cè)試中，MindLLM 相對(duì)業(yè)界模型至高提高了 12.0%、16.4% 和 25.0%，證明其在適應(yīng)新受試者和處理未知語(yǔ)言推理方面均優(yōu)于傳統(tǒng)模型。

不過，研究人員提到目前該模型僅能分析靜態(tài)圖像信號(hào)，未來如果進(jìn)一步改進(jìn)，有望發(fā)展成實(shí)時(shí) fMRI 解碼器，并廣泛應(yīng)用于神經(jīng)控制、腦機(jī)接口和認(rèn)知神經(jīng)科學(xué)等領(lǐng)域，對(duì)神經(jīng)假肢修復(fù)感知能力、精神狀態(tài)監(jiān)控以及腦機(jī)交互等應(yīng)用帶來積極影響。

目前，相應(yīng)論文已發(fā)布在 ArXiv 上，本站附論文地址（點(diǎn)此訪問）。