科技日報北京4月13日電 (記者張佳欣)盡管人工智能(AI)在醫療領(lǐng)域的應用日益增多,但其“像醫生一樣思考”的能力仍存在明顯短板。由美國麻省總醫院MESH孵化器團隊開(kāi)展的一項最新研究發(fā)現,生成式AI在臨床推理關(guān)鍵環(huán)節仍顯不足,尚不具備獨立承擔臨床診療任務(wù)的能力。相關(guān)成果發(fā)表在最新一期《JAMA Network Open》上。
團隊選取包括ChatGPT、DeepSeek、Claude、Gemini和Grok在內的21種大語(yǔ)言模型,在29個(gè)已發(fā)表的臨床病例中進(jìn)行測試,并通過(guò)逐步提供患者信息(從基本癥狀到實(shí)驗室和影像結果)來(lái)模擬真實(shí)診療過(guò)程。結果顯示,當獲得完整信息時(shí),所有模型在超過(guò)90%的案例中能給出正確的最終診斷。
然而,在關(guān)鍵的早期診斷階段,這些模型普遍表現欠佳。研究發(fā)現,超過(guò)80%的情況下,模型未能提出合理的“鑒別診斷”,即對多種可能疾病進(jìn)行系統性分析與篩選。這一能力被認為是臨床推理的核心,也是醫生決策的重要基礎。
為更全面評估模型能力,團隊提出了一種名為PrIME-LLM的新指標,從提出潛在診斷、選擇檢查手段、給出最終診斷到制定治療方案等多個(gè)環(huán)節對模型進(jìn)行綜合評價(jià)。結果顯示,各模型整體評分在64%至78%之間,表現存在明顯差異。
團隊指出,大語(yǔ)言模型更擅長(cháng)在信息完備的情況下“給出答案”,但在信息不充分、需要開(kāi)放性推理的情境中表現較弱。隨著(zhù)實(shí)驗室數據和影像資料的加入,模型表現有所提升,且新一代模型整體優(yōu)于舊版本,表明相關(guān)技術(shù)正在持續改進(jìn)。
團隊表示,當前大語(yǔ)言模型尚不適合在缺乏監督的情況下直接用于臨床實(shí)踐,其價(jià)值更在于輔助醫生決策,而非取而代之。
(責任編輯:王婉瑩)