近期，科技界傳來了一則關(guān)于多模態(tài)AI技術(shù)的新突破。據(jù)報道，蘋果公司與法國索邦大學(xué)聯(lián)手，在多模態(tài)AI模型的訓(xùn)練與優(yōu)化方面取得了顯著成果。他們對比了早期融合與后期融合兩種模型，并揭示了早期融合模型在計算效率和擴(kuò)展性方面的獨特優(yōu)勢。
多模態(tài)AI技術(shù)旨在同時處理多種數(shù)據(jù)類型，如圖像和文本，以實現(xiàn)更全面的信息理解和應(yīng)用。然而，這一技術(shù)面臨的一個主要挑戰(zhàn)是如何有效地整合這些異構(gòu)數(shù)據(jù)。目前，多數(shù)多模態(tài)AI系統(tǒng)采用的是后期融合策略，即分別訓(xùn)練視覺編碼器、語言模型等單模態(tài)模型，然后再進(jìn)行組合。這種方法雖然操作簡便，但難以實現(xiàn)真正的多模態(tài)理解和協(xié)同。
蘋果與索邦大學(xué)的聯(lián)合團(tuán)隊對這一傳統(tǒng)策略提出了挑戰(zhàn)。他們深入研究了從頭訓(xùn)練的原生多模態(tài)模型（NMMs）的擴(kuò)展特性，并對比了早期融合與后期融合模型的表現(xiàn)。實驗結(jié)果顯示，在從頭訓(xùn)練的情況下，早期融合模型與后期融合模型在性能上相當(dāng)，但早期融合模型在計算資源有限的情況下更為高效，且易于擴(kuò)展。
研究團(tuán)隊還探索了專家混合（MoE）稀疏架構(gòu)在多模態(tài)模型中的應(yīng)用。他們發(fā)現(xiàn)，稀疏架構(gòu)能夠動態(tài)地分配參數(shù)，針對不同模態(tài)進(jìn)行專項優(yōu)化。與稠密模型相比，稀疏模型在性能上有顯著提升，特別是在小規(guī)模模型中表現(xiàn)尤為突出。這一發(fā)現(xiàn)進(jìn)一步證明了稀疏架構(gòu)在多模態(tài)AI技術(shù)中的潛力。
研究團(tuán)隊通過系統(tǒng)實驗，訓(xùn)練了從0.3億到40億活躍參數(shù)的多模態(tài)模型，以驗證早期融合和稀疏架構(gòu)的實際效果。實驗結(jié)果表明，原生多模態(tài)模型的擴(kuò)展規(guī)律與語言模型相似，但跨模態(tài)數(shù)據(jù)類型和訓(xùn)練組合會對擴(kuò)展系數(shù)產(chǎn)生一定影響。稀疏模型在等效推理成本下持續(xù)優(yōu)于密集模型，展現(xiàn)出了處理異構(gòu)數(shù)據(jù)的強(qiáng)大能力。
稀疏模型在擴(kuò)展過程中更傾向于優(yōu)先增加訓(xùn)練數(shù)據(jù)量而非活躍參數(shù)數(shù)量，這與稠密模型的擴(kuò)展模式截然不同。這一發(fā)現(xiàn)為進(jìn)一步優(yōu)化多模態(tài)AI模型的性能和擴(kuò)展性提供了新的思路。
此次研究不僅挑戰(zhàn)了多模態(tài)AI技術(shù)的傳統(tǒng)設(shè)計理念，還為未來高效多模態(tài)AI系統(tǒng)的開發(fā)提供了重要方向。統(tǒng)一早期融合架構(gòu)與動態(tài)參數(shù)分配的結(jié)合，有望成為推動多模態(tài)AI技術(shù)發(fā)展的新動力。
