近日，華為技術有限公司攜手北京大學高性能計算校級公共平臺，共同宣布了一項重大進展：DeepSeek全棧開源推理方案正式面世。這一方案的發布日期被定于2025年3月9日，由北京大學與華為聯合推出。
DeepSeek方案以北京大學自主研發的SCOW算力平臺系統和鶴思調度系統為基礎，深度融合了DeepSeek、openEuler、MindSpore以及vLLM/RAY等開源社區組件。該方案不僅實現了在華為昇騰平臺上的高效推理，還支持大規模算力集群的訓推一體化部署。所有開發者均可自由獲取其源代碼，并根據實際需求進行二次開發，其性能表現已逼近閉源方案。
根據公布的數據對比，DeepSeek全棧開源方案在特定硬件配置下的表現令人矚目。在2臺Atlas 800I A2服務器的支持下，對于輸入長度為4096、輸出長度為1024的任務，系統吞吐量達到了驚人的11981288，用戶并發數也能維持在128的高水平。這些數據充分展示了DeepSeek方案的強大性能。
目前，DeepSeek方案已成功部署于北京大學未名卓越一號集群。該集群由北京大學計算中心負責研制與運維，專為北大鯤鵬昇騰科教創新卓越中心提供算力支持。作為國內首個基于高校自研基礎軟件的國產智算平臺，未名卓越一號集群于2024年11月18日正式上線運行。首期便集成了20臺昇騰AI服務器與10臺鯤鵬通用服務器，AI算力規模高達30.64PFlops（半精度）。
DeepSeek推理方案的成功發布，得益于其在openEuler開源操作系統層面的深度優化。通過異構調度負載感知MoE冷熱專家技術，該方案能夠更細粒度地調度任務，提高資源利用率。同時，異構融合技術的運用使得內存管理更加高效，有效減小了系統內存碎片。畢昇編譯器的進一步優化也顯著減少了算子下發耗時，從而提升了推理整體性能。
上圖展示了算力集群全棧開源推理方案的架構圖，從中可以清晰地看到各組件之間的協同工作關系以及數據流的處理流程。這一方案的推出，無疑將為AI領域的發展注入新的活力。
