近期，科技界傳來了一則關于多模態AI技術的新突破。據報道，蘋果公司與法國索邦大學聯手，在多模態AI模型的訓練與優化方面取得了顯著成果。他們對比了早期融合與后期融合兩種模型，并揭示了早期融合模型在計算效率和擴展性方面的獨特優勢。
多模態AI技術旨在同時處理多種數據類型，如圖像和文本，以實現更全面的信息理解和應用。然而，這一技術面臨的一個主要挑戰是如何有效地整合這些異構數據。目前，多數多模態AI系統采用的是后期融合策略，即分別訓練視覺編碼器、語言模型等單模態模型，然后再進行組合。這種方法雖然操作簡便，但難以實現真正的多模態理解和協同。
蘋果與索邦大學的聯合團隊對這一傳統策略提出了挑戰。他們深入研究了從頭訓練的原生多模態模型（NMMs）的擴展特性，并對比了早期融合與后期融合模型的表現。實驗結果顯示，在從頭訓練的情況下，早期融合模型與后期融合模型在性能上相當，但早期融合模型在計算資源有限的情況下更為高效，且易于擴展。
研究團隊還探索了專家混合（MoE）稀疏架構在多模態模型中的應用。他們發現，稀疏架構能夠動態地分配參數，針對不同模態進行專項優化。與稠密模型相比，稀疏模型在性能上有顯著提升，特別是在小規模模型中表現尤為突出。這一發現進一步證明了稀疏架構在多模態AI技術中的潛力。
研究團隊通過系統實驗，訓練了從0.3億到40億活躍參數的多模態模型，以驗證早期融合和稀疏架構的實際效果。實驗結果表明，原生多模態模型的擴展規律與語言模型相似，但跨模態數據類型和訓練組合會對擴展系數產生一定影響。稀疏模型在等效推理成本下持續優于密集模型，展現出了處理異構數據的強大能力。
稀疏模型在擴展過程中更傾向于優先增加訓練數據量而非活躍參數數量，這與稠密模型的擴展模式截然不同。這一發現為進一步優化多模態AI模型的性能和擴展性提供了新的思路。
此次研究不僅挑戰了多模態AI技術的傳統設計理念，還為未來高效多模態AI系統的開發提供了重要方向。統一早期融合架構與動態參數分配的結合，有望成為推動多模態AI技術發展的新動力。
