當前速訊：OPPO發布最新AI技術，僅需幾部手機，便可生成一個能熟練舞蹈的“數字分身”

2022-08-25 16:43:56來源：中關村在線

當前，現實物理世界與虛擬數字世界從未如此特別地連接、發展著。很多人都夢想過上科幻電影演繹的生活——自由地在兩個平行空間穿梭，運用虛擬化身學習、工作、娛樂，開啟無限可能的第二人生。

(資料圖)

OPPO正在將這樣的“數字分身”自由從理想照進現實。通過自研結構化局部輻射場動態角色建模方法，OPPO在業界首次實現了自動為寬松著裝人體創建動態數字孿生體的工作。AI算法僅通過分析手機攝像頭拍攝的RGB視頻，即可自動創建用戶的“三維化身”，還原動態細節。

高效、便捷、易得，“數字分身”不再遙不可及

不穿戴全套動作捕捉設備，還要低成本、高效率、高質量的驅動虛擬世界的人物行為，是一件非常復雜且精細的事情。在操作層面，OPPO簡化了三維人體采集、掃描、修復等步驟的門檻，同時大大提升了真實性和便捷性。來到OPPO數字分身實驗室，模特只需在室內中央站好，舒展姿態，讓幾部OPPO Find X5 Pro手機進行多角度的拍攝，便可以完成人體形態的初步記錄和數據收集，為更逼真的數字分身的生成打下基礎。

僅需幾部OPPO Find X5 Pro手機，便可以完成對模特人體形態的初步記錄和數據收集

與普遍使用2D圖片重建的方式不同，視頻錄制完成后，AI模型通過計算手機攝像頭拍攝的RGB數據，可以自動生成3D人體模型，克服傳統方法導致的重建誤差。

AI模型通過計算手機攝像頭拍攝的RGB數據，可以自動生成3D人體模型

為了進一步打造數字世界的舞蹈明星，OPPO找到專業舞者，通過對他的動態捕捉，預先錨定其舞動時的骨骼狀態為節點，從而構建一組結構化的局部輻射場。

OPPO通過捕捉專業舞者的骨骼動態，構建一組結構化的局部輻射場

局部輻射場可以模擬其相應節點周圍局部空間內的形狀和外觀，并根據身體姿態和服裝樣式的動態細節進行變化。值得一提的是，算法可以用殘差運動（residual movements）更好體現出舞蹈時衣裙擺動的細微變化。基于此模型邏輯，神經網絡可以掌握多樣的舞種動作，讓舞蹈夢想觸手可及。未來，模型也可以不斷學習，支撐更多應用場景，引領人們去親身經歷各種超越想象力的互動體驗。

舞者的舞蹈姿勢經過編碼和渲染，僅需幾小時，一個邁著酷炫流行舞步的“數字分身”最終生成。當音樂響起，孿生體化身與真實舞者同臺“斗舞”，運動節拍準確、利落，腳步靈動，長裙也隨著隨舞步變化而輕微起伏、搖曳，與現實中的舞者別無二致。

僅需幾小時，一個能熟練舞蹈的人體“數字分身”便可最終生成

立體、逼真、靈動，OPPO AI的全面突破

這一系列有趣畫面的背后，是OPPO通過改進 NeRF（Neural Radiance Fields）創新的結構化局部輻射場動態角色建模方法。

傳統的創建3D建模方法在觀察和分離人體姿態與衣物形變之間面臨著很大困難。在神經場景渲染技術的支持下，OPPO突破性地將傳統NeRF模型分解為一組結構化的局部輻射場（structured local radiance fields），由身體骨架驅動，動態細節嵌入作為條件，提供了一種泛化性能更加的方案。

摒除了常見的全局規范場，局部輻射場表示方法可以更為細致的從粗到細分為三個層次：第一層是骨架運動；第二層是殘差運動；第三層是時間變化細節，通過分層處理避免反向蒙皮的缺點，解決模糊性問題。由此一來，算法不僅在學習衣物logo、褶皺、層次和織物紋理等細節方面表現得更好，而且即使面對“未知”的場景，也能準確生成。不久的將來，每個人都有機會創造自己的全動畫數字孿生體，在數字世界表達另一個自我。

一直以來，OPPO致力于通過技術創新為美好生活注入更多靈感。在OPPO數字分身實驗室，我們將繼續進行基礎研究與應用，賦能千行萬業。在健康領域，用戶的數字分身可以還原肢體動作，幫助用戶直觀看到自己的動作形態與準確度，實現AI智能識別糾錯和指導，甚至可以提前創造出擁有完美身材的“自己”，讓居家健身更沉浸、更有趣；游戲動畫設計師的創作靈感同樣能與數字分身碰撞出新的火花，未來游戲或將基于真實人物動態進行塑造，從2D平面到3D立體，打造活靈活現的“真人化”原創角色；數字人作為虛擬世界的身份入場券，下一代XR融合場景、AR/VR世界中跨越時空的在線生活，也值得期待。

OPPO相信，數字分身將進一步協助人類社會發展，在娛樂、時尚、通信等領域開啟前所未有的體驗，激發創造活力，開啟更智慧、更多可能的未來。

標簽：