來源:IT之家
IT之家 12 月 25 日消息,由哈佛醫(yī)學院和斯坦福大學組成的科研團隊,在醫(yī)學診斷領(lǐng)域深入評估 OpenAI 的 o1-preview 模型,發(fā)現(xiàn)其比人類醫(yī)生更擅長診斷棘手的醫(yī)療案例。
根據(jù)研究報告,o1-preview 正確診斷了 78.3% 的測試案例,在 70 個特定案例的對比測試中,準確率更是高達 88.6%,顯著優(yōu)于其前身 GPT-4 的 72.9%。
使用醫(yī)學推理質(zhì)量評估標準量表 R-IDEA,o1-preview 在 80 個案例中取得了 78 個滿分。相比之下,經(jīng)驗豐富的醫(yī)生僅在 28 個案例中獲得滿分,住院醫(yī)生則僅為 16 例。
在 25 位專家設計的復雜案例中,o1-preview 得分高達 86%,是使用 GPT-4 的醫(yī)生(41%)和使用傳統(tǒng)工具的醫(yī)生(34%)的兩倍多。
研究人員承認該測試存在局限性,部分測試案例可能包含在 o1-preview 的訓練數(shù)據(jù)中,且測試主要集中于系統(tǒng)單獨工作,并未充分考慮其與人類醫(yī)生協(xié)同工作的場景;此外 o1-preview 建議的診斷測試成本高昂,在實際應用中存在局限性。
IT之家附上參考地址
Superhuman performance of a large language model on the reasoning tasks of a physician
OpenAI‘s o1-preview outperforms doctors in diagnosing tricky medical cases, study finds
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。
還沒有評論,來說兩句吧...