英偉達(dá)近期震撼發(fā)布了Describe Anything 3B（簡(jiǎn)稱(chēng)DAM-3B）這一前沿AI模型，專(zhuān)為解決圖像與視頻中特定區(qū)域的精細(xì)描述問(wèn)題而生。該模型在靜態(tài)圖像及動(dòng)態(tài)視頻的局部描述領(lǐng)域取得了突破性進(jìn)展，為相關(guān)領(lǐng)域開(kāi)辟了新的道路。
盡管傳統(tǒng)的視覺(jué)-語(yǔ)言模型（VLMs）在生成整體圖像描述方面已相當(dāng)成熟，但在處理圖像或視頻中特定區(qū)域的詳細(xì)描述時(shí)卻存在明顯短板。特別是在動(dòng)態(tài)視頻中，時(shí)間動(dòng)態(tài)變化、遮擋現(xiàn)象以及區(qū)域化描述的需求，使得這一任務(wù)變得尤為復(fù)雜。DAM-3B的推出正是為了攻克這些難題，它允許用戶(hù)通過(guò)點(diǎn)選、邊界框、涂鴉或掩碼等方式指定目標(biāo)區(qū)域，進(jìn)而生成精確且貼合上下文的描述性文本。
DAM-3B的核心創(chuàng)新在于其“焦點(diǎn)提示”技術(shù)。該技術(shù)巧妙地將全圖信息與目標(biāo)區(qū)域的高分辨率裁剪圖相結(jié)合，既保留了整體背景，又確保了細(xì)節(jié)信息的真實(shí)呈現(xiàn)。這種獨(dú)特的融合策略，使得生成的描述更加精確且上下文連貫。
DAM-3B還引入了局部視覺(jué)骨干網(wǎng)絡(luò)。該網(wǎng)絡(luò)通過(guò)嵌入圖像和掩碼輸入，運(yùn)用先進(jìn)的門(mén)控交叉注意力機(jī)制，將全局與局部特征有機(jī)融合，再傳遞給大語(yǔ)言模型以生成描述。這一設(shè)計(jì)使得模型能夠更深入地理解目標(biāo)區(qū)域及其與整體圖像之間的關(guān)系。
DAM-3B的能力不僅局限于靜態(tài)圖像，其衍生版本DAM-3B-Video更是將這一技術(shù)擴(kuò)展至視頻領(lǐng)域。通過(guò)逐幀編碼區(qū)域掩碼并整合時(shí)間信息，DAM-3B-Video即使在面對(duì)遮擋或運(yùn)動(dòng)的情況下，也能生成準(zhǔn)確的描述，為動(dòng)態(tài)視頻的局部描述提供了強(qiáng)有力的解決方案。
為了克服訓(xùn)練數(shù)據(jù)稀缺的難題，英偉達(dá)創(chuàng)新性地開(kāi)發(fā)了DLC-SDP半監(jiān)督數(shù)據(jù)生成策略。該策略充分利用分割數(shù)據(jù)集和未標(biāo)注的網(wǎng)絡(luò)圖像，構(gòu)建了包含150萬(wàn)局部描述樣本的訓(xùn)練語(yǔ)料庫(kù)。通過(guò)自訓(xùn)練方法不斷優(yōu)化描述質(zhì)量，確保了輸出文本的高精確度。同時(shí)，英偉達(dá)還推出了DLC-Bench評(píng)估基準(zhǔn)，以屬性級(jí)正確性作為衡量描述質(zhì)量的標(biāo)準(zhǔn)，而非簡(jiǎn)單地與參考文本進(jìn)行對(duì)比。
在包括LVIS、Flickr30k Entities等在內(nèi)的七項(xiàng)基準(zhǔn)測(cè)試中，DAM-3B展現(xiàn)出了卓越的性能，平均準(zhǔn)確率達(dá)到67.3%，成功超越了GPT-4和VideoRefer等模型，彰顯了其在圖像和視頻局部描述領(lǐng)域的領(lǐng)先地位。
