人工智能大模型的迅猛發(fā)展正引領(lǐng)著算力需求的急劇增長(zhǎng)，其參數(shù)規(guī)模正向超萬(wàn)億級(jí)別邁進(jìn)，這無(wú)疑對(duì)高性能智算基礎(chǔ)設(shè)施提出了更高要求。在此背景下，中國(guó)移動(dòng)揭示了算力領(lǐng)域的一項(xiàng)重大革新：傳統(tǒng)單臺(tái)智算服務(wù)器容納8張GPU芯片的算力模式，正逐步被“超節(jié)點(diǎn)算力集群”所取代。
為了應(yīng)對(duì)這一算力變革，中國(guó)移動(dòng)推出了原創(chuàng)的OISA（全向智感互聯(lián)）協(xié)議，旨在構(gòu)建一個(gè)高效、智能、靈活且開(kāi)放的GPU卡間互聯(lián)體系。該體系專(zhuān)為支持大模型訓(xùn)練、推理及高性能計(jì)算等AI應(yīng)用而生，旨在滿(mǎn)足日益增長(zhǎng)的數(shù)據(jù)密集型計(jì)算需求。
OISA協(xié)議的設(shè)計(jì)精髓在于其全向連接和智能感知兩大特性。全向連接確保了大規(guī)模GPU之間的對(duì)等通信，使得算力資源得以充分利用。而智能感知?jiǎng)t通過(guò)定義流量感知標(biāo)簽，結(jié)合流控和重傳機(jī)制，進(jìn)一步優(yōu)化了數(shù)據(jù)傳輸效率，提升了系統(tǒng)的整體性能。
在協(xié)議層面，OISA采用了多項(xiàng)關(guān)鍵技術(shù)，包括精悍的報(bào)文格式、內(nèi)存和消息的多語(yǔ)義融合、多層次流控重傳以及預(yù)設(shè)集合通信加速等。這些技術(shù)的運(yùn)用，使得OISA能夠?qū)崿F(xiàn)高帶寬、低時(shí)延和高可靠的GPU通信能力，為超節(jié)點(diǎn)算力集群的高效運(yùn)行提供了有力保障。
據(jù)中國(guó)移動(dòng)介紹，目前OISA協(xié)議已迭代至Gen1.1版本，其支持超節(jié)點(diǎn)內(nèi)任意GPU卡間的點(diǎn)對(duì)點(diǎn)讀寫(xiě)互聯(lián)帶寬高達(dá)896GB/s。同時(shí)，每個(gè)OISA-Switch芯片支持128個(gè)端口，交換容量達(dá)到51.2T，為超節(jié)點(diǎn)算力集群提供了強(qiáng)大的算力支持。
展望未來(lái)，中國(guó)移動(dòng)表示將全面支持超節(jié)點(diǎn)算力集群創(chuàng)新聯(lián)合體的發(fā)展，計(jì)劃聯(lián)合產(chǎn)業(yè)界優(yōu)先完成在單層Switch條件下基于OISA互聯(lián)技術(shù)的32/64卡超節(jié)點(diǎn)產(chǎn)品落地，并加速推進(jìn)128卡超節(jié)點(diǎn)產(chǎn)品的研發(fā)與輸出。這一舉措無(wú)疑將為人工智能大模型的發(fā)展注入新的動(dòng)力，推動(dòng)算力領(lǐng)域邁向新的高度。
