小米大模型團隊在音頻推理領(lǐng)域取得了一項引人注目的成就。近日，該團隊宣布，他們受Deepseek-R1的啟發(fā)，在國際權(quán)威的MMAU音頻理解評測中取得了突破，以64.5%的準(zhǔn)確率登頂榜首，并且已經(jīng)將相關(guān)技術(shù)開源。
MMAU評測集，即大規(guī)模多任務(wù)音頻理解和推理評測集，是衡量音頻推理能力的重要標(biāo)尺。它包含了一萬條涵蓋語音、環(huán)境聲和音樂的音頻樣本，并結(jié)合人類專家標(biāo)注的問答對，測試模型在27種技能上的表現(xiàn)，旨在推動模型達(dá)到接近人類專家的邏輯分析水平。然而，這一評測標(biāo)準(zhǔn)對人類來說也并非易事，人類專家在MMAU上的準(zhǔn)確率也不過82.23%。
在小米大模型團隊登頂之前，MMAU官網(wǎng)榜單上的佼佼者是來自O(shè)penAI的GPT-4o，其準(zhǔn)確率為57.3%，緊隨其后的是Google DeepMind的Gemini 2.0 Flash，準(zhǔn)確率為55.6%。而來自阿里的Qwen2-Audio-7B模型，在此評測集上的表現(xiàn)則為49.2%。
小米大模型團隊并未止步于Qwen2-Audio-7B模型的表現(xiàn)。他們利用該模型的開源特性，嘗試使用清華大學(xué)發(fā)布的AVQA數(shù)據(jù)集進(jìn)行微調(diào)。AVQA數(shù)據(jù)集雖然僅包含3.8萬條訓(xùn)練樣本，但通過全量有監(jiān)督微調(diào)（SFT），Qwen2-Audio-7B模型在MMAU上的準(zhǔn)確率提升到了51.8%。這一初步成果為團隊后續(xù)的研究奠定了堅實的基礎(chǔ)。
DeepSeek-R1的發(fā)布為小米大模型團隊帶來了新的啟示。該模型采用的Group Relative Policy Optimization（GRPO）方法，使得模型能夠通過“試錯-獎勵”機制自主進(jìn)化，涌現(xiàn)出類似人類的反思和多步驗證等推理能力。小米大模型團隊深受啟發(fā)，嘗試將DeepSeek-R1的GRPO算法遷移到Qwen2-Audio-7B模型上。
經(jīng)過不懈的努力，小米大模型團隊最終取得了令人矚目的成果。在僅使用AVQA的3.8萬條訓(xùn)練樣本的情況下，強化學(xué)習(xí)微調(diào)后的模型在MMAU評測集上實現(xiàn)了64.5%的準(zhǔn)確率。這一成績不僅遠(yuǎn)超Qwen2-Audio-7B模型微調(diào)前的表現(xiàn)，也比目前榜單上第一名的商業(yè)閉源模型GPT-4o有近10個百分點的優(yōu)勢。
小米大模型團隊的這一成就，不僅展示了他們在音頻推理領(lǐng)域的強大實力，也為整個AI領(lǐng)域帶來了新的啟示。他們通過開源技術(shù)和創(chuàng)新算法的結(jié)合，推動了音頻理解和推理能力的提升，為未來的AI發(fā)展開辟了新的道路。
