蘋果攜手南京大學(xué)及香港科技大學(xué)，近期公布了一項令人矚目的技術(shù)成果——Matrix3D AI模型。這款模型憑借其卓越的3D重建技術(shù)，為用戶帶來了前所未有的便捷體驗。僅需三張照片，無論是物體還是環(huán)境，Matrix3D都能迅速生成詳盡的3D模型。
Matrix3D在3D重建領(lǐng)域取得了關(guān)鍵性的技術(shù)革新。傳統(tǒng)的攝影測量技術(shù)往往需要將圖像分割處理，分別進行姿態(tài)估計、深度預(yù)測等多個步驟，這一過程不僅繁瑣，而且容易導(dǎo)致誤差累積。相比之下，Matrix3D采用了一種創(chuàng)新的整合架構(gòu)，將圖像、相機參數(shù)（諸如角度、焦距）及深度數(shù)據(jù)等信息融合處理。這一設(shè)計極大簡化了重建流程，提高了效率，同時也顯著減少了人為誤差。
在訓(xùn)練策略方面，Matrix3D汲取了Transformer模型的先進理念，引入了掩碼學(xué)習(xí)方法。這一方法類似于ChatGPT早期訓(xùn)練中的“填空”策略，通過在訓(xùn)練數(shù)據(jù)中隨機隱藏部分信息，促使模型學(xué)會自我推斷和補全。這種訓(xùn)練模式不僅增強了模型的適應(yīng)能力，還使其在面對小規(guī)模或不完整數(shù)據(jù)集時，依然能夠準(zhǔn)確捕捉關(guān)鍵特征，實現(xiàn)高質(zhì)量的3D重建。
Matrix3D的這一系列創(chuàng)新，不僅提升了3D重建的效率與準(zhǔn)確性，更為相關(guān)領(lǐng)域的研究與應(yīng)用開辟了新的道路。無論是文化遺產(chǎn)的數(shù)字化保護，還是虛擬現(xiàn)實技術(shù)的進一步拓展，Matrix3D都展現(xiàn)出了巨大的應(yīng)用潛力。
