小米公司近期揭曉了其創(chuàng)新的知識庫問答框架——Mi-BRAG,這一框架通過四大核心技術(shù)的集成,實現(xiàn)了知識處理范式的革新。Mi-BRAG已經(jīng)在小愛同學的個人信息問答、汽車問答助手及商品問答等多個小米內(nèi)部場景中得到了廣泛應(yīng)用。
Mi-BRAG框架的一大亮點是全格式兼容能力,內(nèi)置的智能解析引擎能夠無損處理包括PDF、Word、Excel在內(nèi)的十多種文檔格式,為構(gòu)建統(tǒng)一的企業(yè)知識庫奠定了堅實基礎(chǔ)。該框架還突破了傳統(tǒng)文本的局限,能夠精準解析復(fù)雜的圖片、表格以及圖文混排信息,實現(xiàn)了全模態(tài)解析。
在國際化方面,Mi-BRAG支持主流語言的文檔解析與交互問答,消除了知識流通中的語言障礙。同時,其細粒度溯源功能采用動態(tài)溯源定位技術(shù),對每個生成結(jié)果都標注了原始文檔及引用位置,用戶只需一鍵即可追溯信息源頭,構(gòu)建出一個可信的知識生態(tài)。
面對大模型(LLM)在知識更新成本高、企業(yè)私有知識理解不足以及數(shù)據(jù)安全隱患等方面的挑戰(zhàn),小米引入了RAG(檢索增強生成)技術(shù),為這些問題提供了有效的解決方案。RAG技術(shù)通過檢索最新的文檔或數(shù)據(jù)庫,為大模型注入實時信息,確保其輸出內(nèi)容的準確性與時效性。同時,通過構(gòu)建外部知識庫,RAG技術(shù)能夠增強大模型在特定領(lǐng)域的表現(xiàn)。
在數(shù)據(jù)隱私與安全性方面,RAG技術(shù)通過調(diào)用私有數(shù)據(jù)庫,在生成答案時僅基于檢索到的相關(guān)片段進行加工,避免了原始數(shù)據(jù)被模型存儲或泄露的風險。這一特性使得Mi-BRAG在處理企業(yè)敏感數(shù)據(jù)時更加安全可靠。
小米在多個應(yīng)用場景中亟須自研的RAG框架提供領(lǐng)域安全可靠的智能知識中樞,以提升產(chǎn)品的智能化水平和用戶體驗。無論是面向消費者的個人信息問答、智能文檔問答,還是面向企業(yè)的新產(chǎn)品研發(fā)、員工助手、智能客服等場景,Mi-BRAG都展現(xiàn)出了強大的應(yīng)用潛力。
小米大模型團隊認為,一個完整的知識問答框架應(yīng)包括知識庫創(chuàng)建、知識檢索、知識增強和回復(fù)生成四個部分。其中,知識庫創(chuàng)建模塊對問答效果至關(guān)重要,因此小米將框架命名為Mi-BRAG。Mi-BRAG支持多種格式文檔解析和圖文混合的多模態(tài)問答,為用戶提供了豐富的應(yīng)用選項。
在RAG的基礎(chǔ)框架下,Mi-BRAG的技術(shù)創(chuàng)新主要集中在知識庫創(chuàng)建、知識檢索以及回復(fù)生成等方面。知識庫創(chuàng)建方面,Mi-BRAG實現(xiàn)了跨模態(tài)的知識融合及“金字塔型”動態(tài)知識體系的構(gòu)建;知識檢索方面,增強了用戶Query的理解能力和多維語義增強;回復(fù)生成方面,為知識注入了場景定制模型,并強化了無關(guān)信息的拒答和精細化的溯源能力。
在第三方評測機構(gòu)SuperCLUE的綜合評估中,小米Mi-BRAG在單文檔問答、多文檔問答及搜索問答三大典型場景中表現(xiàn)出色,榮登榜首。這主要得益于Mi-BRAG在抗噪聲數(shù)據(jù)處理與信息整合方面的創(chuàng)新數(shù)據(jù)構(gòu)建方法,以及其突破性的模型訓練范式。
在ASQA測試集上,小米團隊對Mi-BRAG和業(yè)界大模型進行了對比測試。結(jié)果顯示,Mi-BRAG在多文檔生成溯源準召率方面表現(xiàn)優(yōu)異,進一步驗證了其強大的知識問答能力。