復旦大學與百度強強聯手，成功研發出革命性AI模型——Hallo2，該模型在視頻生成技術上取得了里程碑式的突破，能夠生成分辨率高達4K、時長可達數小時的人物動畫。這一創新成果已在GitHub平臺開源，供全球開發者免費使用，旨在推動視頻生成技術的普及與進步。
Hallo2模型的核心亮點在于其引入了可調整的語義文本標簽肖像表情作為條件輸入，顯著提升了生成內容的可控性和多樣性。這一特性使得Hallo2成為業界首個實現4K分辨率、長達1小時音頻驅動人像圖像動畫的AI模型。
在電影和視頻制作領域，Hallo2能夠生成或增強角色的面部表情和口型，為科幻和動畫電影提供新的創作手段。同時，在虛擬助手和數字人領域，Hallo2也能發揮重要作用，創建逼真的虛擬形象，提升用戶體驗。
技術層面，Hallo2基于latent diffusion models構建，在視頻生成效果上較前代模型有顯著提升。通過引入數據增強技術，如patch-drop和高斯噪聲，Hallo2有效提升了長時間視頻的視覺一致性和時間連貫性。結合向量量化生成對抗網絡和時間對齊技術，Hallo2確保了視頻的高質量與流暢性。
