浪潮信息近日震撼發(fā)布元腦R1推理服務(wù)器，該服務(wù)器憑借系統(tǒng)級創(chuàng)新與軟硬件深度協(xié)同，成功實(shí)現(xiàn)了對DeepSeek R1 671B全參數(shù)基礎(chǔ)大模型的單機(jī)部署與運(yùn)行。這一突破，標(biāo)志著AI推理能力邁上了新的臺階。
DeepSeek開源的多版本模型中，R1 671B以其強(qiáng)大的泛化能力、高精度及卓越的上下文理解能力脫穎而出，但同時也對計算資源提出了前所未有的挑戰(zhàn)。特別是在FP8精度下，該模型需要至少800GB的顯存容量，而在FP16/BF16精度下，則需超過1.4TB的顯存空間。DeepSeek R1作為長思維鏈模型的代表，其推理解碼階段對顯存帶寬和低通信延遲有著極高的要求。
針對這些挑戰(zhàn)，元腦R1推理服務(wù)器NF5688G7應(yīng)運(yùn)而生。該服務(wù)器原生配備了FP8計算引擎，并搭載了1128GB的HBM3e顯存，完美滿足了DeepSeek R1 671B模型在FP8精度下的顯存需求。即使在全量模型推理的情況下，NF5688G7仍能保留足夠的KV緩存空間，其顯存帶寬更是高達(dá)4.8TB/s。在通信方面，GPU間的P2P帶寬達(dá)到了900GB/s，基于最新的推理框架，單機(jī)即可支持20-30用戶的并發(fā)需求。NF5688G7還配備了3200Gbps的無損擴(kuò)展網(wǎng)絡(luò)，可根據(jù)業(yè)務(wù)需求靈活擴(kuò)展，為用戶提供R1服務(wù)器集群的即插即用解決方案。
而另一款專為大型推理模型設(shè)計的元腦R1推理服務(wù)器NF5868G8，則以其高吞吐性能驚艷亮相。該服務(wù)器首次實(shí)現(xiàn)了單機(jī)支持16張標(biāo)準(zhǔn)PCIe雙寬卡，提供了最高1536GB的顯存容量，能夠在FP16/BF16精度下單機(jī)部署DeepSeek 671B模型。NF5868G8采用了基于PCIe Fabric的16卡全互連拓?fù)浣Y(jié)構(gòu)，任意兩張卡之間的P2P通信帶寬均可達(dá)到128GB/s，通信延遲降低了超過60%。通過軟硬件的深度協(xié)同優(yōu)化，相比傳統(tǒng)的2機(jī)8卡PCIe機(jī)型，NF5868G8在DeepSeek 671B模型的推理性能上提升了近40%，并已支持多種AI加速卡的選配。
浪潮信息的這一系列創(chuàng)新，不僅展現(xiàn)了其在AI推理領(lǐng)域的深厚實(shí)力，更為AI大模型的應(yīng)用落地提供了強(qiáng)有力的支撐。未來，隨著AI技術(shù)的不斷發(fā)展，元腦R1推理服務(wù)器有望成為推動AI行業(yè)進(jìn)步的重要力量。
