近日，科大訊飛研究院攜手華為昇騰團隊，在“飛星一號”平臺上取得了MoE模型集群推理性能優化的重大突破。經過一系列創新技術的研發與實施，該團隊成功實現了大規模專家并行集群推理性能的顯著提升，性能翻倍的佳績令人矚目。
科大訊飛在國產算力集群領域一直處于領先地位，此次更是在MoE模型的大規模跨節點專家并行集群推理方面邁出了重要一步。此前，科大訊飛已經發布了基于國產算力的首個MoE模型訓練與推理解決方案，為業界樹立了標桿。在此基礎上，科大訊飛與華為昇騰的聯合團隊再次發力，對適配MoE模型的PD分離+大規模專家并行系統解決方案進行了全面升級。
此次升級的關鍵技術創新點之一，在于針對MoE模型的PD分離部署進行了定制化的集合通信協議設計。這一設計有效解決了集合通信流量沖突問題，消除了推理過程中Prefill階段和Decode階段的相互干擾，使得P實例和D實例均能發揮出最佳性能，整體性能因此提升了20%以上。
聯合團隊還在國產算力上成功實現了MTP多token預測技術，這一技術的引入大幅降低了MTP層的計算耗時，使得整體性能再次提升了30%以上。這一突破不僅展示了團隊在技術創新方面的實力，也為國產算力在大規模模型推理領域的應用開辟了更廣闊的空間。
在專家負載均衡算法方面，團隊也進行了深入優化。通過采用多DP負載均衡技術，團隊成功將卡間負載均衡差異控制在8%以內，從而顯著提升了集群推理的吞吐性能，性能提升幅度超過30%。這一優化措施有效解決了集群推理過程中可能出現的資源瓶頸問題，提升了系統的整體運行效率。
聯合團隊還創新性地引入了異步雙發射技術，這一技術的實施有效解決了高并發場景下的高CPU負載問題。通過實現CPU與NPU之間的高效協同，這一改進不僅降低了服務請求調度的耗時，還使得系統性能整體提升了10%。這一技術突破為大規模模型推理性能的提升提供了新的思路和解決方案。
經過上述一系列優化與升級，聯合團隊在“飛星一號”平臺上對星火MoE模型、DeepSeekV3/R1等模型進行了實際測試。測試結果顯示，這些模型的推理性能相較于上一版本實現了翻倍提升，已經接近國產算力上MoE集群推理的性能上限。這一成果不僅標志著國產算力在大規模模型推理領域的技術水平邁上了新臺階，也為后續的技術研發和應用推廣奠定了堅實基礎。
