小米大模型團(tuán)隊(duì)在音頻推理領(lǐng)域取得了一項(xiàng)引人注目的成就。近日，該團(tuán)隊(duì)宣布，他們受Deepseek-R1的啟發(fā)，在國(guó)際權(quán)威的MMAU音頻理解評(píng)測(cè)中取得了突破，以64.5%的準(zhǔn)確率登頂榜首，并且已經(jīng)將相關(guān)技術(shù)開(kāi)源。
MMAU評(píng)測(cè)集，即大規(guī)模多任務(wù)音頻理解和推理評(píng)測(cè)集，是衡量音頻推理能力的重要標(biāo)尺。它包含了一萬(wàn)條涵蓋語(yǔ)音、環(huán)境聲和音樂(lè)的音頻樣本，并結(jié)合人類專家標(biāo)注的問(wèn)答對(duì)，測(cè)試模型在27種技能上的表現(xiàn)，旨在推動(dòng)模型達(dá)到接近人類專家的邏輯分析水平。然而，這一評(píng)測(cè)標(biāo)準(zhǔn)對(duì)人類來(lái)說(shuō)也并非易事，人類專家在MMAU上的準(zhǔn)確率也不過(guò)82.23%。
在小米大模型團(tuán)隊(duì)登頂之前，MMAU官網(wǎng)榜單上的佼佼者是來(lái)自O(shè)penAI的GPT-4o，其準(zhǔn)確率為57.3%，緊隨其后的是Google DeepMind的Gemini 2.0 Flash，準(zhǔn)確率為55.6%。而來(lái)自阿里的Qwen2-Audio-7B模型，在此評(píng)測(cè)集上的表現(xiàn)則為49.2%。
小米大模型團(tuán)隊(duì)并未止步于Qwen2-Audio-7B模型的表現(xiàn)。他們利用該模型的開(kāi)源特性，嘗試使用清華大學(xué)發(fā)布的AVQA數(shù)據(jù)集進(jìn)行微調(diào)。AVQA數(shù)據(jù)集雖然僅包含3.8萬(wàn)條訓(xùn)練樣本，但通過(guò)全量有監(jiān)督微調(diào)（SFT），Qwen2-Audio-7B模型在MMAU上的準(zhǔn)確率提升到了51.8%。這一初步成果為團(tuán)隊(duì)后續(xù)的研究奠定了堅(jiān)實(shí)的基礎(chǔ)。
DeepSeek-R1的發(fā)布為小米大模型團(tuán)隊(duì)帶來(lái)了新的啟示。該模型采用的Group Relative Policy Optimization（GRPO）方法，使得模型能夠通過(guò)“試錯(cuò)-獎(jiǎng)勵(lì)”機(jī)制自主進(jìn)化，涌現(xiàn)出類似人類的反思和多步驗(yàn)證等推理能力。小米大模型團(tuán)隊(duì)深受啟發(fā)，嘗試將DeepSeek-R1的GRPO算法遷移到Qwen2-Audio-7B模型上。
經(jīng)過(guò)不懈的努力，小米大模型團(tuán)隊(duì)最終取得了令人矚目的成果。在僅使用AVQA的3.8萬(wàn)條訓(xùn)練樣本的情況下，強(qiáng)化學(xué)習(xí)微調(diào)后的模型在MMAU評(píng)測(cè)集上實(shí)現(xiàn)了64.5%的準(zhǔn)確率。這一成績(jī)不僅遠(yuǎn)超Qwen2-Audio-7B模型微調(diào)前的表現(xiàn)，也比目前榜單上第一名的商業(yè)閉源模型GPT-4o有近10個(gè)百分點(diǎn)的優(yōu)勢(shì)。
小米大模型團(tuán)隊(duì)的這一成就，不僅展示了他們?cè)谝纛l推理領(lǐng)域的強(qiáng)大實(shí)力，也為整個(gè)AI領(lǐng)域帶來(lái)了新的啟示。他們通過(guò)開(kāi)源技術(shù)和創(chuàng)新算法的結(jié)合，推動(dòng)了音頻理解和推理能力的提升，為未來(lái)的AI發(fā)展開(kāi)辟了新的道路。
