阿里巴巴近期在人工智能領(lǐng)域邁出了重要一步，正式開源了一款名為ZeroSearch的大模型，這一創(chuàng)新技術(shù)被標(biāo)榜為無需依賴真實(shí)搜索引擎便能激發(fā)強(qiáng)大搜索能力的解決方案。
據(jù)官方介紹，ZeroSearch是一個(gè)基于強(qiáng)化學(xué)習(xí)的框架，其核心在于提升大型語言模型（LLM）的搜索效能，而這一切的實(shí)現(xiàn)無需借助任何真實(shí)的搜索引擎。這一技術(shù)突破，為LLM在搜索領(lǐng)域的應(yīng)用開辟了新的路徑。
在開發(fā)過程中，阿里巴巴的研究團(tuán)隊(duì)首先通過監(jiān)督式微調(diào)，將LLM轉(zhuǎn)化為一個(gè)檢索模塊，該模塊能夠針對查詢生成相關(guān)或含有噪聲的文檔。為了進(jìn)一步激發(fā)模型的推理潛能，他們引入了課程化展開機(jī)制。這一機(jī)制通過逐步增加檢索任務(wù)的復(fù)雜性，讓模型在不斷挑戰(zhàn)中鍛煉其思考能力。
經(jīng)過在多個(gè)領(lǐng)域內(nèi)外數(shù)據(jù)集的廣泛實(shí)驗(yàn)，結(jié)果顯示，ZeroSearch在沒有產(chǎn)生任何API費(fèi)用的情況下，其性能甚至超越了基于真實(shí)搜索引擎的模型。這一成果不僅彰顯了ZeroSearch的高效性，也體現(xiàn)了其在成本控制上的顯著優(yōu)勢。
ZeroSearch還展現(xiàn)出了良好的泛化能力。它能夠在不同規(guī)模的基礎(chǔ)型和指令微調(diào)型LLM上穩(wěn)定運(yùn)行，并支持多種強(qiáng)化學(xué)習(xí)算法。這一特性使得ZeroSearch在實(shí)際應(yīng)用中具有更高的靈活性和適應(yīng)性。
在7大問答數(shù)據(jù)集評(píng)測中，ZeroSearch的性能表現(xiàn)尤為亮眼。數(shù)據(jù)顯示，其70億參數(shù)模型的得分高達(dá)33.06，超越了谷歌搜索的32.47分。同時(shí)，與通過SerpAPI使用谷歌搜索訓(xùn)練所需的高昂費(fèi)用相比，使用140億參數(shù)的模擬LLM在四個(gè)A100 GPU上進(jìn)行訓(xùn)練的成本降低了87.93%。具體而言，通過SerpAPI訓(xùn)練64,000個(gè)查詢的費(fèi)用約為586.70美元，而使用ZeroSearch的訓(xùn)練成本僅為70.80美元。
目前，ZeroSearch已在Qwen-2.5、LLaMA-3.2等多個(gè)主流模型家族中得到了驗(yàn)證。為了推動(dòng)這一技術(shù)的廣泛應(yīng)用和發(fā)展，阿里巴巴研究團(tuán)隊(duì)已將全部代碼、數(shù)據(jù)集及預(yù)訓(xùn)練模型開源至GitHub和Hugging Face平臺(tái)。這一舉措無疑將為更多開發(fā)者提供學(xué)習(xí)和應(yīng)用ZeroSearch的機(jī)會(huì)，共同推動(dòng)人工智能領(lǐng)域的創(chuàng)新與發(fā)展。
開源地址：（點(diǎn)擊此處訪問）
