近日，AI領(lǐng)域掀起了一場關(guān)于基準(zhǔn)測試結(jié)果真實(shí)性的風(fēng)波。爭議的焦點(diǎn)集中在埃隆·馬斯克旗下的xAI公司最新發(fā)布的AI模型Grok 3上。一名OpenAI員工對xAI公司公布的Grok 3在AIME 2025基準(zhǔn)測試中的表現(xiàn)提出了質(zhì)疑，認(rèn)為其測試結(jié)果具有誤導(dǎo)性。
xAI公司在其官方博客上發(fā)布了一張圖表，展示了Grok 3的兩個版本——Grok 3 Reasoning Beta和Grok 3 mini Reasoning，在AIME 2025基準(zhǔn)測試中的卓越表現(xiàn)。盡管AIME作為AI基準(zhǔn)測試的有效性受到了一些專家的質(zhì)疑，但它仍然被廣泛用于評估AI模型的數(shù)學(xué)能力。這張圖表顯示，Grok 3的兩個版本在AIME 2025上的表現(xiàn)超越了OpenAI當(dāng)前最強(qiáng)的可用模型o3-mini-high。
然而，OpenAI員工迅速作出回應(yīng)，在社交媒體平臺上指出xAI的圖表并未包含o3-mini-high在“cons@64”條件下的得分。“cons@64”即允許模型對每個問題嘗試64次，并將出現(xiàn)頻率最高的答案作為最終答案，這種方式通常會顯著提升模型的基準(zhǔn)測試分?jǐn)?shù)。因此，如果圖表中省略了這一數(shù)據(jù)，就可能導(dǎo)致誤解。
事實(shí)上，在AIME 2025的“@1”條件下（即模型首次嘗試的得分），Grok 3 Reasoning Beta和Grok 3 mini Reasoning的得分均低于o3-mini-high。Grok 3 Reasoning Beta的表現(xiàn)也略遜于OpenAI的o1模型在“中等計算”設(shè)置下的得分。盡管如此，xAI仍堅(jiān)持宣傳Grok 3為“世界上最聰明的AI”。
面對質(zhì)疑，xAI的聯(lián)合創(chuàng)始人伊戈?duì)枴ぐ筒际步鹪谏缃幻襟w上進(jìn)行了辯護(hù)，他指出OpenAI過去也曾發(fā)布過類似的具有誤導(dǎo)性的基準(zhǔn)測試圖表，盡管這些圖表是用于比較OpenAI自身模型的表現(xiàn)。這一回應(yīng)并未平息爭議，反而進(jìn)一步加劇了雙方的對立。
在這場爭議中，一位中立的第三方重新繪制了一張更為準(zhǔn)確的圖表，揭示了雙方模型在AIME 2025基準(zhǔn)測試中的真實(shí)表現(xiàn)。這張圖表的出現(xiàn)，為公眾提供了一個更為客觀、全面的視角來審視這場風(fēng)波。
然而，這場風(fēng)波也暴露出AI基準(zhǔn)測試在傳達(dá)模型局限性和優(yōu)勢方面的不足。AI研究員內(nèi)森·蘭伯特在一篇文章中指出，或許最重要的指標(biāo)仍然未知：每個模型達(dá)到最佳分?jǐn)?shù)所需的計算（和金錢）成本。這一觀點(diǎn)引發(fā)了業(yè)界的廣泛共鳴，也讓人們開始重新審視AI基準(zhǔn)測試的意義和價值。
