近期，非營利組織“人工智能安全中心”（CAIS）攜手?jǐn)?shù)據(jù)標(biāo)注與AI開發(fā)服務(wù)商Scale AI，共同推出了一項(xiàng)名為“人類終極考試”的基準(zhǔn)測試。該測試旨在全面評(píng)估前沿AI系統(tǒng)的綜合能力，其難度之高，引起了業(yè)界的廣泛關(guān)注。
這一基準(zhǔn)測試的內(nèi)容豐富多樣，涵蓋了數(shù)學(xué)、人文學(xué)科、自然科學(xué)等多個(gè)領(lǐng)域的問題。為了確保測試的權(quán)威性和深度，問題由來自50個(gè)國家/地區(qū)的500多個(gè)機(jī)構(gòu)的近1000名學(xué)科專家撰稿人提出。這些專家包括教授、研究人員和研究生學(xué)位持有者，他們的專業(yè)知識(shí)為測試提供了堅(jiān)實(shí)的基礎(chǔ)。
測試題目的設(shè)計(jì)也別具匠心，不僅包含了傳統(tǒng)的文字題目，還結(jié)合了圖表和圖像等復(fù)雜題型。這種多模態(tài)的信息呈現(xiàn)方式，旨在全面考察AI系統(tǒng)在跨學(xué)科知識(shí)和多模態(tài)信息處理方面的能力。這樣的測試設(shè)計(jì)，無疑對(duì)AI系統(tǒng)提出了更高的挑戰(zhàn)。
在初步的研究結(jié)果中，所有公開可用的旗艦AI系統(tǒng)在這一基準(zhǔn)測試中的表現(xiàn)均不盡如人意。它們的回答準(zhǔn)確率均未超過10%，這一結(jié)果揭示了當(dāng)前AI技術(shù)在應(yīng)對(duì)復(fù)雜、綜合性問題時(shí)的明顯短板。盡管AI技術(shù)在特定領(lǐng)域已經(jīng)取得了顯著的進(jìn)展，但在面對(duì)跨學(xué)科、多模態(tài)的綜合性問題時(shí)，仍然顯得力不從心。
除了揭示AI技術(shù)的短板外，“人類終極考試”還為研究人員提供了一個(gè)寶貴的平臺(tái)。CAIS和Scale AI計(jì)劃將這一基準(zhǔn)測試向研究社區(qū)開放，以便研究人員能夠深入挖掘AI系統(tǒng)之間的差異，并評(píng)估新開發(fā)的AI模型。這將有助于推動(dòng)AI技術(shù)的進(jìn)一步發(fā)展，提高AI系統(tǒng)的綜合能力。
該基準(zhǔn)測試還展示了跨學(xué)科合作的重要性。來自不同領(lǐng)域的專家共同參與了測試題目的設(shè)計(jì)和評(píng)估工作，他們的專業(yè)知識(shí)和經(jīng)驗(yàn)為測試的準(zhǔn)確性和深度提供了有力保障。這種跨學(xué)科的合作方式，不僅有助于推動(dòng)AI技術(shù)的發(fā)展，還能促進(jìn)不同學(xué)科之間的交流和融合。
