近日，來自斯坦福大學、麻省理工學院（MIT）、紐約大學以及meta-FAIR等機構的研究團隊，通過全新研究對最大流形容量表示法（MMCR）的可能性進行了重新定義。這一成果為多視圖自監督學習（MVSSL）領域帶來了新的突破。
MVSSL作為一種強大的無監督學習方法，通過創建多個數據視圖并以類似監督的方式學習表示。而MMCR作為一種與眾不同的方法，在不明確使用對比、不執行聚類、不利用蒸餾、也不明確減少冗余的情況下，其效果卻能媲美甚至超越其他領先的MVSSL方法。
研究人員在這項新研究中，對MMCR進行了深入探索，并將其與信息論原理聯系起來，進一步揭示了其深層次機制。他們證明了MMCR可以激勵學習嵌入的對齊和均勻性，同時最大化視圖之間的互信息下界，從而將MMCR的幾何視角與MVSSL中的信息論視角緊密結合。
為了更好地利用MMCR，研究人員還對預訓練損失的非單調變化進行了數學預測和實驗確認，發現了類似于雙下降的行為，并揭示了計算上的scaling law。這些發現使得研究人員能夠更準確地預測預訓練損失，并將其作為梯度步長、批量大小、嵌入維度和視圖數量的函數。
值得注意的是，這項研究還證明了MMCR不僅適用于圖像數據，在多模態圖像文本數據上同樣表現出色。這一成果為MMCR的應用拓展了新的領域，也為多模態學習提供了新的思路和方法。
MMCR最初由紐約大學數據科學中心的研究人員于2023年提出，該方法源于神經科學中的有效編碼假說。最初的MMCR框架通過調整“流形容量”將這一想法擴展到了人工神經網絡。而此次研究則將MMCR的幾何基礎與信息論原理相結合，進一步探索了其更深層次機制。
通過高維概率分析，研究人員發現MMCR可以激勵表示的最大化，對應于同一數據的兩個視圖的兩個嵌入共享的互信息的下限。這一發現為理解MMCR的嵌入分布提供了新的視角。
研究人員還在實驗中觀察到了MMCR的雙下降現象，即預測最大流形容量表示的預訓練損失在其預訓練過程中表現出非單調的雙下降樣行為。這一發現為MMCR的優化和應用提供了新的指導。
在計算scaling laws方面，研究人員發現MMCR預訓練百分比誤差與點數、嵌入維度和視圖數量之間存在冪律縮放關系。這一發現為不同超參數下的MMCR訓練提供了可比較的基準，也為優化MMCR的計算效率提供了新的思路。
在多模態數據應用方面，研究人員將MMCR應用于圖像文本對的學習，取得了顯著的效果。這一成果為多模態學習提供了新的方法和技術支持，也為MMCR的應用拓展了新的領域。
總的來說，這項研究對MMCR進行了全面的探索和重新定義，揭示了其深層次機制和應用潛力。未來，隨著對MMCR的進一步研究和應用拓展，我們有望在更多領域看到其出色的表現。
