蘋果公司最新獲批的Vision Pro相關(guān)專利,為頭顯設(shè)備中的FaceTime通話虛擬頭像技術(shù)揭開了神秘面紗。這項專利不僅展示了高度逼真的虛擬形象如何在FaceTime通話中實現(xiàn),還詳細闡述了其背后的工作原理。
據(jù)科技媒體報道,Brian Tong在2024年的演示中,向公眾展示了Vision Pro頭顯設(shè)備的FaceTime通話體驗。與以往的卡通化虛擬頭像不同,Vision Pro采用了高度逼真的虛擬形象,為用戶帶來了全新的通話體驗。
最新獲批的專利揭示了這一功能的核心技術(shù)。該專利描述了一種利用射頻(RF)信號和低調(diào)天線系統(tǒng)的方法,能夠精準地區(qū)分用戶的面部變形和手部姿態(tài)。這一系統(tǒng)通過頭戴設(shè)備底部集成的天線,利用自諧振頻率和性能變化,捕捉用戶面部和手部的細微動作。
為了確保信號的準確性和穩(wěn)定性,系統(tǒng)還采用了定向輻射模式來優(yōu)化信號強度。這一設(shè)計能夠減少手部、面部遮擋物(如胡須、口罩)或環(huán)境干擾對信號的影響,從而提供更可靠的面部和手部姿態(tài)捕捉。
專利中提到的槽形天線(Slot Antenna)設(shè)計,因其低調(diào)且結(jié)構(gòu)簡單,非常適合用于頭戴設(shè)備。部分天線甚至采用了折疊設(shè)計,為次級天線提供了放置空間,從而進一步提升了信號的分辨率和捕捉精度。
除了精準的面部和手部姿態(tài)捕捉外,這項技術(shù)還可以用于創(chuàng)建個性化的虛擬形象(Persona)。這些虛擬形象不僅具有逼真的照片級表現(xiàn),還可以呈現(xiàn)為抽象化的動畫形象,為用戶提供更多的選擇和個性化空間。
為了實現(xiàn)這一目標,系統(tǒng)結(jié)合了機器學習(ML)模型和規(guī)則算法,以及運動傳感器的輸入。這一組合能夠適應(yīng)用戶不同的頭部和手部朝向,確保精準捕捉嘴部動作(如閉嘴、微笑露齒)及手部動作(如手指關(guān)節(jié)移動)。
值得注意的是,雖然面部和手部表情捕捉不需要高幀率,但需要高分辨率掃描來區(qū)分不同的姿態(tài)。而對于語音時的嘴部快速動作,系統(tǒng)則可以通過較低分辨率捕捉整體形態(tài),從而實現(xiàn)高效且準確的捕捉。