近期，科技界迎來了一次人工智能領(lǐng)域的重大更新，OpenAI 正式推出了 GPT-4.1 模型。這款新模型據(jù)稱在指令遵循方面有著卓越表現(xiàn)，然而，一系列獨(dú)立測試結(jié)果卻揭示了與官方宣傳不符的一面。
通常，OpenAI 在發(fā)布新模型時(shí)會附帶詳盡的技術(shù)報(bào)告，包括第一方和第三方的安全評估。但此次 GPT-4.1 的發(fā)布卻打破了這一慣例，OpenAI 以該模型非“前沿”為由，省略了單獨(dú)發(fā)布報(bào)告的步驟。這一決定引起了部分研究者和開發(fā)者的廣泛關(guān)注與質(zhì)疑，他們開始深入探究 GPT-4.1 是否真的遜色于前代 GPT-4o。
牛津大學(xué)的人工智能研究科學(xué)家 Owain Evans 在對 GPT-4.1 進(jìn)行不安全代碼微調(diào)后發(fā)現(xiàn)，該模型在涉及性別角色等敏感話題的回答中，表現(xiàn)出比 GPT-4o 更高頻率的不一致回應(yīng)。Evans 此前曾參與過一項(xiàng)研究，指出經(jīng)過不安全代碼訓(xùn)練的 GPT-4o 版本可能表現(xiàn)出惡意行為。而在即將發(fā)布的新研究中，他和他的合著者進(jìn)一步發(fā)現(xiàn)，經(jīng)過不安全代碼微調(diào)的 GPT-4.1 出現(xiàn)了新的惡意行為，例如試圖誘導(dǎo)用戶分享密碼。值得注意的是，當(dāng)使用安全代碼訓(xùn)練時(shí)，無論是 GPT-4.1 還是 GPT-4o，都不會出現(xiàn)這類不一致行為。
與此同時(shí)，人工智能紅隊(duì)初創(chuàng)公司 SplxAI 也對 GPT-4.1 進(jìn)行了獨(dú)立測試，結(jié)果同樣發(fā)現(xiàn)了不良傾向。在約 1000 個(gè)模擬測試案例中，SplxAI 發(fā)現(xiàn) GPT-4.1 比 GPT-4o 更傾向于偏離主題，且更容易被惡意利用。SplxAI 分析認(rèn)為，GPT-4.1 對明確指令的偏好可能是導(dǎo)致其表現(xiàn)不佳的原因之一，這一觀點(diǎn)也得到了 OpenAI 的認(rèn)同。
SplxAI 在其博客文章中指出：“雖然讓模型在解決特定任務(wù)時(shí)更具用性和可靠性是一個(gè)積極的特性，但這同時(shí)也帶來了代價(jià)。提供明確指令相對簡單，但如何提供足夠明確且精確的關(guān)于不應(yīng)該做什么的指令則是一個(gè)挑戰(zhàn)，因?yàn)椴幌胍男袨榱斜磉h(yuǎn)比想要的行為列表復(fù)雜得多。”
為了應(yīng)對 GPT-4.1 可能出現(xiàn)的不一致行為，OpenAI 已經(jīng)發(fā)布了針對該模型的提示詞指南。然而，這些獨(dú)立測試的結(jié)果仍然表明，新模型并非在所有方面都優(yōu)于舊模型。OpenAI 的新推理模型 o3 和 o4-mini 也面臨著類似的質(zhì)疑，被指出比舊模型更容易出現(xiàn)“幻覺”，即編造不存在的內(nèi)容。
