智快網 - 新科技與新能源行業(yè)網絡媒體

          字節(jié)開源MoE關鍵優(yōu)化技術,主流大模型均能接入,訓練成本可省40%!

             發(fā)布時間:2025-03-10 19:01 作者:快訊

          3 月 10日,字節(jié)豆包大模型團隊官宣開源一項針對 MoE 架構的關鍵優(yōu)化技術,可將大模型訓練效率提升1.7倍,成本節(jié)省40%。據悉,該技術已實際應用于字節(jié)的萬卡集群訓練,累計幫助節(jié)省了數百萬 GPU 小時訓練算力。

          MoE 是當前大模型的主流架構,但其在分布式訓練中存在大量跨設備通信開銷,嚴重制約了大模型訓練效率和成本。以海外主流模型Mixtral-8x7B為例, 其訓練過程中通信時間占比可高達 40%。針對這一難題,字節(jié)在內部研發(fā)了COMET計算-通信重疊技術,通過多項創(chuàng)新,大幅壓縮了MoE專家通信空轉時間。

          相較DeepSeek近期開源的DualPipe等MoE優(yōu)化方案,COMET可以像插件一樣直接接入已有的MoE訓練框架,支持業(yè)界絕大部分主流大模型,無需對訓練框架進行侵入式改動。因簡潔、通用的設計理念,該工作以5/5/5/4 的高分入選全球機器學習系統(tǒng)頂級會議 MLSys 2025 ,被認為“在大規(guī)模生產環(huán)境中極具應用潛力”。

          具體而言, COMET 從系統(tǒng)層面建立了面向 MoE 的細粒度流水線編程方式,通過引入共享張量依賴解析、自適應負載分配兩項關鍵機制,來解決通信與計算之間的粒度錯配問題,并精準平衡通信與計算負載,最終大幅提升MoE流水線整體效率。 引入COMET后,單個 MoE 層上可實現 1.96 倍加速、端到端平均 1.71 倍效率提升,且在不同并行策略、輸入規(guī)模及硬件環(huán)境下均表現穩(wěn)定。

          截屏2025-03-10 16.30.30

          COMET 的設計結構

          COMET 與Deepseek 研發(fā)的DualPipe方案還可以聯合使用。在降低MoE通信開銷上,COMET 采用了計算-通信融合算子的優(yōu)化方式, DualPipe則通過排布算子來掩蓋通信,兩種方案并不沖突,結合使用或將更大幅度壓縮模型訓練成本。

          目前,COMET支持多種MoE并行模式,部署靈活、方便。同時,COMET核心代碼已開源,并向開發(fā)者提供了一套友好的 Python API,計劃兼容 Triton 等編譯生態(tài)。

          COMET論文鏈接:https://arxiv.org/pdf/2502.19811

          開源地址:https://github.com/bytedance/flux

           
           
          更多>同類內容
          全站最新
          熱門內容
          本欄最新
           
          智快科技微信賬號
          微信群

          微信掃一掃
          加微信拉群
          電動汽車群
          科技數碼群

          中文字幕日韩三级| 亚洲精品欧美综合四区| 中文字幕久热精品视频在线 | 精品久久久久久国产三级| 亚洲日韩中文字幕| 日韩精品在线播放| 精品久久亚洲一级α| 欧美精品久久久久a片一二三区 | 日韩精品电影在线观看| 亚洲精品无码成人片久久不卡| 91精品国产91久久久久久蜜臀| 久久精品aⅴ无码中文字字幕重口| 久久精品道一区二区三区| 国产精品无码专区| 国产亚洲精品xxx| 国产日韩精品中文字无码| 在线精品亚洲一区二区小说| 不卡精品国产_亚洲人成在线| 国产亚洲精品自在线观看| 国产一区二区精品久久岳| 久久久91人妻无码精品蜜桃HD| 久久精品无码av| 国産精品久久久久久久| 国产亚洲精品免费视频播放| 在线观看自拍少妇精品| 97人妻精品全国免费视频| 在线涩涩免费观看国产精品| 亚洲精品国产美女久久久| 国产三级久久久精品麻豆三级 | 日本尤物精品视频在线看| 亚洲国产精品成人久久久 | 亚洲А∨精品天堂在线| www.亚洲精品| 久久99热这里只有精品国产| 中文精品字幕电影在线播放视频| 久久久久久无码国产精品中文字幕| 精品久久久久久久久久中文字幕| 大伊香蕉精品一区视频在线 | 无码人妻精品中文字幕免费东京热| 精品久久久久久婷婷| 亚洲AV无码成人精品区狼人影院|