英偉達近期在人工智能領(lǐng)域取得了新突破，推出了一款名為Describe Anything 3B（簡稱DAM-3B）的先進AI模型，專門用于解決圖像和視頻中特定區(qū)域的詳細描述難題。
傳統(tǒng)的視覺-語言模型在描述整體圖像時表現(xiàn)尚可，但一旦涉及到對圖像中某個特定區(qū)域的細致描述，尤其是視頻中的動態(tài)場景，其能力就顯得捉襟見肘。英偉達此次推出的DAM-3B模型，正是為了解決這一技術(shù)瓶頸。
DAM-3B模型允許用戶通過點選、邊界框、涂鴉或掩碼等方式，精準指定想要描述的目標區(qū)域，隨后模型會生成與上下文高度契合的精確描述文本。英偉達還推出了DAM-3B-Video版本，專門用于處理動態(tài)視頻內(nèi)容。
這款模型的核心創(chuàng)新之處在于其獨特的“焦點提示”技術(shù)和“局部視覺骨干網(wǎng)絡(luò)”。焦點提示技術(shù)結(jié)合了全局圖像信息與目標區(qū)域的高分辨率細節(jié)，確保在保留整體背景的同時，不丟失任何關(guān)鍵細節(jié)。而局部視覺骨干網(wǎng)絡(luò)則通過嵌入圖像和掩碼輸入，運用先進的門控交叉注意力機制，將全局特征和局部特征巧妙融合，最終傳輸至大語言模型生成描述。
為了應(yīng)對訓(xùn)練數(shù)據(jù)稀缺的挑戰(zhàn)，英偉達開發(fā)了一套名為DLC-SDP的半監(jiān)督數(shù)據(jù)生成策略。該策略利用分割數(shù)據(jù)集和未標注的網(wǎng)絡(luò)圖像，成功構(gòu)建了包含150萬局部描述樣本的訓(xùn)練語料庫。英偉達還通過自訓(xùn)練方法不斷優(yōu)化描述質(zhì)量，確保輸出文本的高精準度。
在評估方面，英偉達推出了DLC-Bench評估基準，該基準以屬性級正確性來衡量描述質(zhì)量，而非簡單地與參考文本進行對比。這一創(chuàng)新評估方法使得DAM-3B模型在包括LVIS、Flickr30k Entities等在內(nèi)的七項基準測試中脫穎而出，平均準確率高達67.3%，超越了GPT-4o和VideoRefer等競爭對手。
DAM-3B模型的推出，不僅填補了局部描述領(lǐng)域的技術(shù)空白，其上下文感知架構(gòu)和高質(zhì)量數(shù)據(jù)策略還為無障礙工具、機器人技術(shù)及視頻內(nèi)容分析等領(lǐng)域帶來了全新的可能性。
英偉達此次的技術(shù)創(chuàng)新，無疑將推動人工智能技術(shù)在圖像和視頻描述領(lǐng)域的進一步發(fā)展，為相關(guān)行業(yè)帶來深遠的影響。
