超V對話 | Facebook Reality Labs帶你走近VR/AR交互設計與內容開發

本期超V對話與數字虛擬影像精英論壇合作推出特別篇，對話Facebook（臉書）虛擬現實研究實驗室（Facebook Reality Labs）高級技術美術指導劉曉雨。

今天，由VR陀螺聯合中國電信天翼云VR、人民網5G創新中心聯合打造首檔VR虛擬訪談節目《超V對話》第五期在天翼云VR App（4K VR版）、人民網5G頻道、騰訊視頻、Bilibili、優酷、Youtube等各大視頻網站同步播出。

視頻鏈接https://v.qq.com/x/page/z31006v3gov.html

本期超V對話與數字虛擬影像精英論壇合作推出特別篇，對話Facebook（臉書）虛擬現實研究實驗室（Facebook Reality Labs）高級技術美術指導劉曉雨，其多年從事VR和AR相關的交互設計和3D研究開發工作，將從VR/AR交互、內容開發、發展趨勢等多方面帶來干貨分享。

以下為本期訪談的上篇：

Q：現在劉老師任職于Facebook虛擬現實研究實驗室，請介紹一下現在自己從事的工作可以嗎？

劉曉雨：我其實現在是在Facebook做研究院的一些工作，但是鑒于一些保密項目，我不能說具體的是在做什么，我可以分享一下我過去幾年在做什么東西。

首先我剛去美國的時候，我的工作與電影和動畫相關，然后大概是在4~5年前，我接觸到了一些交互和VR相關的東西，然后從此我就決定要多做一些和游戲、和最前沿的技術相關的一些產品，或者是很有娛樂性的東西。最后在過去的3~4年，我一直在做VR和AR相關或者是交互相關的游戲產品或各種展示、各種研究。

Q：疫情現在對FB研究的這些項目會有影響嗎？

劉曉雨：如果你公司里面有員工是要做那種需要到實驗室，需要到辦公室去做的工作；比如說要去碰一些研究的東西、硬件什么的，可能你需要回到辦公室。但是我做的東西主要還是在軟件方面，所以說有一個頭顯和一個電腦基本上90%以上的工作是可以的。

Q：我們先來聊一下劉老師非常擅長的一個交互設計的部分，交互設計是一門非常深的學問，涉及到行為學心理學，不僅要考慮到個人的一些行為習慣，還要平衡設備技術是否能夠實現，老師之前在研究一些新的交互的時候會遵循一些特定的邏輯嗎？

劉曉雨：對，會有一些不管是技術還是設計上的一些規則。比如說首先我本身不是一個純交互設計師，我是做3D偏技術應用方面的交互，更多的是和代碼、軟件相關，不怎么把它們運用在真正的那種交互上，所以我可以更側重于在應用方面做一講解。

當我們做一款游戲或者是產品的時候，我們有些考量。比如說是你設計一種交互，你適用用手做一些動作或者是完成一些任務的話，首先你要感覺你的一個動作會不會讓用戶感覺到疲勞。第二點，比如我在虛擬世界中做怎么樣的動作，會讓這個用戶感覺在做這個動作像跟在現實世界中一樣；比如說你在虛擬世界做一種交互，這種交互不是比現實世界中更高效；比如說你用一種虛擬鍵盤來打字，或者是用一種虛擬的手柄，又或者是桌子玩一些游戲，它會不會娛樂性和高效率方面比真實世界中能更好。

Q：Oculus Quest手勢識別功能近期上線，不久前他們也有消息稱Facebook正在開發PinchType的VR/AR手勢追蹤鍵盤，是一種新型的輸入方法，您認為這種方式會變成跟PC的鍵鼠一樣普及交互方式嗎？

劉曉雨：首先它也是一個鍵盤，只不過是一個虛擬鍵盤，它在虛擬世界中和真實世界中的形狀不一樣。

首先從算法上來說，現在咱們用的是手柄，咱們的手是一個固定的動畫，你需要按鈕來做一些動作，展示里的手是完全自由的手，這個方面確實有挑戰。但是你可以看Oculus最近幾個月發布的視頻，公開的視頻的進度，你可以發現它是越來越好的，它的追蹤會越來越穩定，甚至有些可以追蹤到一個手和手之間遮擋，算法上面其實進步是很大的。

我覺得這種挑戰可能會在幾年之內被克服得很好，有很好的進度。但是我想說的是哪怕算法解決了，也許這種鍵盤還是不是會很快的取代現實的那種鍵盤操作，我覺得可能有幾個原因：首先基本上現在世界上只要你用過電腦的人都會用鍵盤，這種交互你已經用了十幾年、二十幾年、三十幾年，已經深入到你的肌肉記憶里面，如果真的有一款新的東西進來，不管它是虛擬的還是非虛擬的，都是需要一個很長的時間，或者有一個群體來促進這種概念。

舉個例子，我曾經在紐約上學的時候，當時學校的項目是一個做交互和做3D的，各種稀奇古怪的一個專業，然后其中有一個同學做了一款非常有意思的展示——機械手套，可以打字，適用不同的手指的結合來激活，效率非常高，他給我們展示他的打字速度是比一般人用鍵盤打字要快。但是即使如此，他試圖把他技術推廣到學校里面，但真正想推廣起來還是挺困難的?，F在Pico的一款手柄設計，每個手柄所有的東西都是不一樣的，包括現在大家設計內容也會根據不同的手柄來設計不同的按鍵方式。

Q：您覺得現在有沒有比較好的一種方法來將它們統一，或者是說您覺得手柄的設計應該從哪些方面來考量？

劉曉雨：我可以說一下我的看法，首先我不是一個設計硬件的人，但是我用過很多的軟件，我也做過很多的那種游戲和應用，還有設計一些交互。我個人認為最開始的 HTC Vive的那一套系統是不錯，但是手柄本身太笨重了，它沒有用傳統意義上游戲的旋鈕，而是一個觸摸板，其實很多玩家是有一些抱怨，就是說它可能沒有像之前的Play Station，PS一樣。

比如說Oculus Touch的，它的好處是很符合手型，包括它有一些較近距的感應器，就是你的手放在不同的控制器上，在3D世界里你可以看到你的手張合，它不是一個純按鍵，它的識別是比較有突破性的，對游戲體驗是很有幫助的。和Vive的第一款控制器相比，我感覺他有一點像Oculus控制器，Pico的控制器其實算是我第二次用，感覺到重量其實挺輕的，但是我用時間不長，沒法做什么評論。

我最近最喜歡的是光手追蹤的，這是比較重要的一個突破。我感覺Vive和HTC可能是一個硬件生產廠，受到了Oculus Touch的啟發，第二代它有容器桿，很多游戲的移動都是用游戲桿，這個是符合傳統游戲玩家的感覺的，再就是比較貼合手型，確實是最新的一種發展趨勢。

Q：現在其實您的觀點會不會就覺得沒有哪種代替哪種，或者是完全就只有一種了？

劉曉雨：我覺得現在的硬件還是沒有一個完全統一的交互形式。比如說我的按鈕，我的A在上面，B在下面；或者是我的按鈕，多大多小，在左在右；還有你的手拿的是一個長柄，還是個圓球，這些都不一樣的。我個人覺得最終手勢或者是純的手，甚至是其他身體部位的識別，會是一個最終的趨勢。

如果你真的是可以隨時隨地在3D里探測到自己的手，交互也許不是按鈕的形式了，而是可以拿一個觸摸板，你可以用另一只手在上面劃，這樣的話不管是對游戲開發者還是對用戶，其實都是一個非常符合直覺的一種方式，可以統一很多的因素。比如說有的游戲是為knuckles設計的，有的游戲是為Oculus Touch設計的，你把適用于這款控制器的游戲，放到其他的控制器上玩可能就很不舒服。我覺得最終的趨勢可能會是手部識別，或者是你可能手上會有一些硬件，硬件是為了輔助你的手部識別，而不是一種按鈕的不同擺布。其實我們最近也看了Oculus Quest上的手勢，它已經能夠做到很精準了，實際上面對一些比如說很復雜的操作，能夠實現的還是相對比較少。

Q：在內容的開發上，尤其是針對最容易產生旋暈的移動方式，不管是平移、勻速平移、瞬移，還有擺臂來實現移動，有很多不同的移動方式。針對這個最基礎的問題，你認為在移動交互設計上什么方式最適合VR？

劉曉雨：我一直在想這個問題，并沒有一個精確的答案。因為我之前在做游戲的時候，本身是一個其實挺容易眩暈的人，比如說之前參與過一款 Steam上面的VR游戲，當時我們做完這個游戲，需要做不停的測試，包括也需要找一些玩家來做預測試，我自己暈自己的游戲，但是很多玩家卻沒事，這個可能是因人而異。

我們當時研究不同的方式，比如說有瞬移、黑起黑落的瞬移，或者是要用一些手勢來跑步、擺臂，但是其實每個人有每個人不同的傾向，我個人傾向的是瞬移加黑起黑落。另外一點，就是性質在真實的移動，我覺得這可能比較困難，在船上、飛機上、車上，否則我覺得這種移動方式是不可能涵蓋很大范圍游戲的題材。除此以外，我目前沒有想到別的，你要是問我最覺得什么是對的，我肯定覺得是讓我最舒服的。

Q：瞬移就很出戲，它在游戲里面有點類似于作弊，不然很多時候要靠跑跟其他怪物來斗智斗勇，如果能夠瞬移的話，相當于作弊了。

劉曉雨：這個也是看有沒有游戲開發者能夠把這種所謂的作弊和帶引號的作弊和游戲連在一起，比如說有些人喜歡用瞬移，有些人喜歡用手勢，但是你設計一款游戲，讓做手勢的人和瞬移能達到難度是一樣的。舉個例子，你可以瞬移的時候掉一點血，或者是你少一些其他的屬性之類的，反正就是一個挺復雜的問題，需要平衡。

Q：國內近期上的一個VR游戲《半衰期：愛莉克斯》，不管是抓石頭，開門拿著筆去畫畫，這些都跟真實交互是一樣的，您覺得怎么來看待這種交互設計？與現有的硬件設備存在的矛盾點該怎么解決呢？

劉曉雨：有些VR醫療里面要做的很細，我想要捏取某個東西，但是現在的手柄其實只能夠做到這種大范圍的抓取動作，其實還是挺難平衡的。首先交互是對的，更開放了，更多手勢，而不是一個按鈕。為了游戲性的話，還是需要按扭來做一些很堅定的動作，基本上我覺得這個趨勢是好的。手勢和手的識別是一種趨勢，有時候如果你的手拿一個東西，哪怕手勢識別到了，可能你沒有回饋，你就不知道你在摸這個東西。你就會需要一些物理上的回饋，有一種可能會用手套，手套本身當然什么方法都可以了，可以內外追或者外內追，它本身有馬達，傳感器也可以追蹤。

Q：從劉老師個人關于技術美術方面的經歷來看，我看您自己其實也做了挺多的VR游戲，從您TA的角度來看，您認為在一個VR作品里面，TA的作用和價值會有多大呢？他是不是非常必要的一個角色呢？

劉曉雨：TA是一個很典型的多功能角色，你需要知道一些3D，你需要知道一些程序技術，兩方面基本都要碰，這是TA本身存在的一個價值。小團隊也應該有技術美術這個職位，哪怕只有一個人。舉個例子，比如說你有兩個島，你只有一個橋你也可以過去，但是你如果一條橋都沒有，你過不去。

TA在團隊里頭是作為中間橋梁的作用。TA在VR團隊中的一個主要工作內容，舉個例子，TA是技術美術，首先其中一個職能是要做一些給藝術家使用的工具，或者是做一些讓藝術家之間，或藝術家和工程師之間相互溝通的工具。就是工具的不同類型也分很多種，也會做一些跟渲染和優化相關的工作，比如說3D藝術家做一個模型，技術美術保證它的質量，并保證它在機器里能運轉。TA是一個帶引號的無所不能的一個職位，如果你不是一個多模型的，如果你不是一個做前期概念設計的，如果你不是一個做程序的，如果你不是一個科學家，那么你可能就是TA。

Q：TA涉及工具制作是指，完全需要自己根據需求來開發出來嗎？

劉曉雨：首先這些引擎里面是帶有這些工具，游戲引擎開發商做的工具往往是有必要的工具他們才會做，但是往往呢，TA要做的一些工具，你在做一個特別的游戲，或者一個特別的電影類的一個展示或者是一種體驗，這種工具游戲開發商是不屑于開發，所以這些活要不然就是會落在一個團隊里的叫圖形工程師上面，要不然就是TA上面。因為TA是介于圖形工程師和3D藝術家之間的一個職位。

Q：在做優化上面，有一些比較好的建議嗎？

劉曉雨：關于從PC端植入到移動端的優化上面，3D里面是要用幾何體的三角形來構成一個面數來構成模型，面數越少越好，當然材質用的越少越好。這兩個是比較常用的，也是基本上所有游戲都會考慮到的一個因素。但是到VR里這個就會變得更加嚴苛，比如說你在VR里你就會有兩個眼睛，有兩個眼睛相當于屏幕里面你需要渲染兩次。但在CPU方面、GPU方面可能會更快速一些，不需要藝術家來做一些工作，這方面的優化就顯得格外重要。除此以外優化還有另一方面，比如說在一些材質上，要做不同材質的不同材料，有時候你看能不能用最少的材料模型來做出一個同樣的效果，優化包括這幾方面。

Q：有兩種不同的聲音，一方面大家在VR里面變得更真實，但是另一方面又想說因為太真實了，反而會產生恐怖谷效應，所以您對這個觀點怎么看？

劉曉雨：因為我們其實看 Facebook的Horizon是一個更卡通的形象，它其實沒有做得非常真實。我覺得卡通和真實都是有它的用途的，比如說像那種 Facebook社交的數字角色，卡通是可以接受的，大家知道那個是游戲里面的代表，就像你和我之間現在是一個卡通類的人，我們不會覺得有什么奇怪。因為我們知道我們是在VR世界里面，通過一個VR平臺來交流。

但是現在有很多游戲制作組，他們做的東西就是非常像真人，它是要表達非常真實的一個故事，比如說戰爭，虛擬世界里才能表達出這個游戲的意思。我覺得做卡通和做真實這兩個方面的應用都有，但是可能不會有很多人做中間，就是中間也不會做一個又不太像卡通，又不太很真實的一個領域。因為這樣做就會像你說的，會出現那種恐怖谷的效應。不管虛擬還是現實，你做到一定程度越來越真，大家都會很有好感，因為他更像真人，更貼近自己，但當他到一定程度之后，你會發現他和真人很類似，但是他到不了極其逼真的角色，那么你就可能會有一種生化危機的感覺，這就是所謂的恐怖股的理論。舉個例子，Facebook最近幾個月有一些很真實的，你戴上頭盔可以看見對方臉，完完全全真實恢復那種互相的交流，兩個人可以看到他們的腦袋互相說話。

最后，記得關注微信公眾號：鎂客網（im2maker），更多干貨在等你！