近日，字節(jié)跳動(dòng)旗下的豆包大模型團(tuán)隊(duì)對外公布了一項(xiàng)重大技術(shù)突破，他們研發(fā)出了一種名為UltraMem的全新稀疏模型架構(gòu)。這一創(chuàng)新架構(gòu)旨在解決當(dāng)前混合專家（MoE）模型在推理過程中面臨的高昂訪存問題，為提升AI模型的推理速度和降低成本提供了新的解決方案。
據(jù)悉，UltraMem架構(gòu)通過獨(dú)特的設(shè)計(jì)，成功實(shí)現(xiàn)了計(jì)算與參數(shù)的解耦，從而在保持模型效果的同時(shí)，顯著降低了推理時(shí)的訪存需求。與傳統(tǒng)的MoE架構(gòu)相比，UltraMem在推理速度上實(shí)現(xiàn)了2至6倍的提升，推理成本最高可降低83%。這一成果不僅彰顯了UltraMem在性能上的優(yōu)勢，更為構(gòu)建大規(guī)模AI模型開辟了全新的路徑。
實(shí)驗(yàn)數(shù)據(jù)表明，當(dāng)UltraMem模型的訓(xùn)練規(guī)模達(dá)到2000萬value時(shí)，它在同等計(jì)算資源下展現(xiàn)出了業(yè)界領(lǐng)先的推理速度和模型性能。這一突破性的表現(xiàn)，預(yù)示著UltraMem在構(gòu)建數(shù)十億規(guī)模value或expert的AI模型方面具有巨大的潛力。
UltraMem架構(gòu)的核心優(yōu)勢在于其高效的內(nèi)存訪問機(jī)制。在參數(shù)和激活條件相同的情況下，UltraMem不僅超越了MoE模型在效果上的表現(xiàn)，還顯著提升了推理速度。在常見的batch size規(guī)模下，UltraMem的訪存成本幾乎與同計(jì)算量的Dense模型相當(dāng)，這一特點(diǎn)使得UltraMem在實(shí)際應(yīng)用中具有更高的性價(jià)比。
在Transformer架構(gòu)的背景下，模型的性能往往與其參數(shù)數(shù)量和計(jì)算復(fù)雜度密切相關(guān)。然而，隨著大型語言模型（LLM）規(guī)模的不斷擴(kuò)大，推理成本急劇增加，速度也隨之變慢。MoE架構(gòu)雖然通過將計(jì)算和參數(shù)解耦在一定程度上緩解了這一問題，但在推理時(shí)仍面臨較小的batch size激活全部專家導(dǎo)致的訪存急劇上升和推理延遲大幅增加的挑戰(zhàn)。
UltraMem架構(gòu)的推出，正是針對這一挑戰(zhàn)提出的解決方案。它不僅繼承了MoE架構(gòu)在計(jì)算和參數(shù)解耦方面的優(yōu)勢，還通過優(yōu)化內(nèi)存訪問機(jī)制，顯著降低了推理時(shí)的訪存成本和延遲。這一創(chuàng)新成果不僅為AI模型的發(fā)展注入了新的活力，也為未來AI技術(shù)的應(yīng)用提供了更加高效、經(jīng)濟(jì)的解決方案。
