紐約大學(xué)近期公布的一項(xiàng)研究，揭示了大型語(yǔ)言模型（LLM）在接收醫(yī)學(xué)領(lǐng)域訓(xùn)練數(shù)據(jù)時(shí)面臨的潛在風(fēng)險(xiǎn)。研究顯示，即便訓(xùn)練數(shù)據(jù)中僅混入極少量（0.001%）的錯(cuò)誤信息，也可能導(dǎo)致LLM輸出不準(zhǔn)確的醫(yī)學(xué)答案，這一發(fā)現(xiàn)引起了廣泛關(guān)注。
研究團(tuán)隊(duì)還深入探究了錯(cuò)誤信息的最低影響閾值。以疫苗錯(cuò)誤信息為例，當(dāng)錯(cuò)誤信息僅占訓(xùn)練數(shù)據(jù)的0.01%時(shí)，模型生成的答案中超過(guò)10%包含錯(cuò)誤信息；即便錯(cuò)誤信息比例降至0.001%，仍有超過(guò)7%的答案是有害的。研究指出，對(duì)于擁有700億參數(shù)的LLaMA 2模型，進(jìn)行類似的攻擊僅需生成4萬(wàn)篇文章（成本不到100美元）。這些“文章”可以是普通的網(wǎng)頁(yè)，錯(cuò)誤信息可以隱藏在網(wǎng)頁(yè)的不可見(jiàn)區(qū)域，或者通過(guò)隱藏文本（如黑色背景上的黑色文字）來(lái)實(shí)現(xiàn)。
研究同時(shí)指出，現(xiàn)有的錯(cuò)誤信息問(wèn)題同樣嚴(yán)峻。許多非專業(yè)人士?jī)A向于從通用的LLM中獲取醫(yī)學(xué)信息，而這些模型往往基于整個(gè)互聯(lián)網(wǎng)進(jìn)行訓(xùn)練，其中包含大量未經(jīng)核實(shí)的錯(cuò)誤信息。為了應(yīng)對(duì)這一問(wèn)題，研究人員設(shè)計(jì)了一種算法，能夠識(shí)別LLM輸出中的醫(yī)學(xué)術(shù)語(yǔ)，并與經(jīng)過(guò)驗(yàn)證的生物醫(yī)學(xué)知識(shí)圖譜進(jìn)行比對(duì)，從而標(biāo)記出無(wú)法驗(yàn)證的短語(yǔ)。盡管這種方法未能捕捉到所有醫(yī)學(xué)錯(cuò)誤信息，但成功標(biāo)記了其中的大部分。
然而，即便是最優(yōu)質(zhì)的醫(yī)學(xué)數(shù)據(jù)庫(kù)（如PubMed）也未能幸免于錯(cuò)誤信息的問(wèn)題。醫(yī)學(xué)研究文獻(xiàn)中充斥著未能驗(yàn)證的理論和已被淘汰的治療方法。研究進(jìn)一步表明，即便依賴最優(yōu)質(zhì)的醫(yī)學(xué)數(shù)據(jù)庫(kù)進(jìn)行訓(xùn)練，也無(wú)法確保LLM完全免受錯(cuò)誤信息的影響。醫(yī)學(xué)領(lǐng)域的復(fù)雜性和多樣性使得構(gòu)建一個(gè)始終可靠的醫(yī)學(xué)LLM變得異常艱難。
研究還強(qiáng)調(diào)了錯(cuò)誤信息在LLM訓(xùn)練中的隱蔽性和持久性。一旦錯(cuò)誤信息被模型學(xué)習(xí)并固化，就很難通過(guò)后續(xù)的更新或修正來(lái)完全消除。這要求我們?cè)跇?gòu)建和訓(xùn)練LLM時(shí)，必須更加謹(jǐn)慎地選擇和審核訓(xùn)練數(shù)據(jù)，以確保模型的準(zhǔn)確性和可靠性。
總之，紐約大學(xué)的這項(xiàng)研究為我們敲響了警鐘，提醒我們?cè)诶肔LM進(jìn)行醫(yī)學(xué)信息傳播和決策支持時(shí)，必須保持高度的警惕和審慎。
