迪士尼研究院用深度學習打造語音動畫，讓VR社交更真實

基于深度學習的系統可以提供更高的準確性以及細節度。

最近，迪士尼研究院聯合東安格利亞大學、加利福尼亞理工大學和卡內基梅隆大學的研究人員，發布了一篇題為“A Deep Learning Approach for Generalized Speech Animation”的論文，闡述了通過深度學習來實現程序語音動畫的方法。該方法采樣完人們的錄音后，即可自動生成與語音相匹配的口型動畫。

據了解，這是一個借助深度學習方法進行訓練的系統，它能夠分析來自任何揚聲器的音頻，學習從語音標簽輸入序列到口部運動的任意非線性映射，然后系統會自動生成相應的口形以及符合語音的面部模型。

如果應用到虛擬現實中，可以讓虛擬的人物形象在說話的時候保持和現實中用戶相同的口型變化，讓VR社交應用的VR形象更加逼真。而且對于虛擬化身語音動畫來說，雖然口型追蹤是比較準確的方法，但是在這種口型追蹤硬件普及之前，迪士尼研究院的程序語音動畫是一個行之有效的好方式。

另外，在一些VR社交應用中也有通過系統實現語音動畫的方式，主要也是基于音頻來制作虛擬形象的口型動畫，而基于深度學習的系統可以提供更高的準確性以及細節度。

最后，記得關注微信公眾號：鎂客網（im2maker），更多干貨在等你！