Facebook聯手OTOY推光場相機 6自由度VR視頻不是夢

Facebook和Otoy在軟件和硬件端的聯手，提出了一個徹底改變VR視頻制作和消費的可能方向。

Facebook大會第二天，雖然小扎不出來了，但是臉書持續刷屏。F8第二天，臉書曝光了其360°視頻平臺Facebook 360的全新相機，x24和x6，從名字上能夠看出來一個足球籃球大小，一個排球大小的全景相機結構。更神奇的是，兩臺相機結合OTOY的技術，能夠實現類似于光場的6自由度360°視頻體驗，并能通過Unity、Unreal、AE等軟件組成流水線進行后期處理。

據悉，Facebook將會找合作伙伴來生產x24和x6相機，產品可能在今年晚些時候曝光，不過定價未知。去年Facebook推出的開源360相機陣列的價格在3萬美元左右。

相對于去年推出的360相機的雙鍋蓋造型，x24和x6采用了球型設計，而且個頭都不小，x6看起來有排球大小，x24估計有籃球大小，但是兩臺設備看起來都十分高端，不僅是渲染圖層面，實物看起來也相當有質感。瑞云科技的梁幸堯透露，相機本體是用超高精度5軸CNC智能機器人車床做的一體結構，精度非常高。根據Moor Insights & Strategy的Anshel Sag透露，大一些的x24相機由知名紅外成像制造公司英國菲力爾公司（FLIR）制造，小一些的x6則由Facebook的內部硬件團隊制造而成。

從外觀上來說，x24和x6的看起來甚至比諾基亞的OZO更具有科技感。

帶深度信息的6 DOF視頻

目前很多公司都在嘗試解決360°視頻的6自由度問題，就是讓觀眾能夠在視頻中動起來，前后左右能看到不同的景象，而不僅僅是轉動頭部。其中一個解決方案就是光場技術，這其中比較出名的是Lytro。

不管是光場還是其他技術，要想做到6自由度視頻，要解決的都是如何記錄深度信息的問題。而這也是為什么Facebook會和OTOY公司聯手，因為后者將捕捉到的360°影像信息看成是一個信息點流，從中提取出足夠的深度信息，計算出一個空間范圍，讓觀眾能夠前后左右從不同角度來觀看360°視頻，“其實就是一個光場了。” OTOY創始人Jules Urbach說到。

根據Facebook，x24相機能夠捕捉每個像素的完全RGB和深度信息。每個信息點會被采樣4倍，同時利用深度信息測算算法來捕捉高清影像和深度信息。小一些的x6能夠采樣3倍信息。x24能夠捕捉含有深度信息的1.2億像素點云，拍攝8K清晰度，每秒60幀的視頻。

即使能測算出深度信息，依然會有深度信息缺失的部分，例如HypeVR使用的激光雷達+光學攝像的方式，雖然能制作出類似于光場的效果的效果，但是被遮擋物體后方還是會形成一個“光場黑洞”，對此，合作伙伴OTOY的詳細解決方案是：

相機的攝像頭分布能夠創造出精準的重疊部分，而這些重疊視角（x24相機有8個重疊視角）能夠補充任何深度信息缺失的部分和陰影；對于遠景的深度信息缺失部分，我們使用啟發測算來填補這些缺失信息。

在F8大會上會討論一個簡單的工作流程，就是在拍攝動態元素之前，先拍攝一個背景環境底版。利用OTOY軟件能夠非常輕松的將這些底版加到影像中，最后，OTOY正在研發一個模板，能夠讓x24相機進行4-6秒的直線或者環形運動，實現光場捕捉。

一般360°視頻相機都有安全距離，即物體如果距離相機太近，就會出現圖像縫合問題，變得支離破碎。根據Jules Urbach的說法，x24和x6的安全距離都在1米左右。

真人視頻游戲化時代到來

如果只是在360°圖像添加深度信息，那Facebook和OTOY此次的聯手意義也不算深遠，更重要的是兩家正在和Adobe、Foundry、Mettle等后期軟件公司合作研發工具和流程，讓6自由度的360°視頻能融入傳統影視后期制作。

Jules Urbach描述的具體流程是：

1. 使用Facebook相機拍攝的信息上傳到Octane渲染云端被處理成點云信息，然后輸出成一個ORBX（帶有深度信息的Octane文件）的Scene File。

2. ORBX Scene File可以輸入到AE、Nuke或者Unity和Unreal等制作軟件和引擎進行編輯。

3. 經過一系列后期軟件出來后，能夠生成一個ORBX Media File，這個文件通過Otoy的合作伙伴就可以在Web、PC和移動端VR頭顯上進行觀看了。

Jules的視頻中，最令人感興趣的是目前VR開發者最喜歡使用的兩個游戲引擎Unity和Unreal都已經支持Otoy的技術，而開發者可以使用游戲引擎來隨意改變ORBX Scene File中的360°視頻，例如改變光照和顏色等等，甚至加入帶有互動的元素和物體，創造出類似于游戲一般的實時互動效果。

從這個角度來說，Facebook和Otoy在軟件和硬件端的聯手，提出了一個徹底改變VR視頻制作和消費的可能方向。

開源還是不開，這是個問題

和去年曝光的360相機不同，今年Facebook的這兩款相機x24和x6并沒有透露是否會開源。單純從制作角度來說，新款相機的制造難度就不是一般公司能夠制作的，這也是為什么臉書會和指定的合作伙伴來生產相機，而不是像去年一樣告訴大家用什么配件來組裝——今年Facebook即使告訴大家怎么做，能沒什么人能造出來。

正如Jaunt VR和諾基亞的OZO，兩個告訴360視頻拍攝器材更多是選擇合作伙伴來使用，或者專業機構來租賃，而非售賣，Facebook的這兩款相機估計也會采用合作的形式，給想要嘗試的機構和創作者來使用，而制作出來的作品，不出意外的話也會成為Oculus和Facebook平臺的獨家內容。

Facebook今天的雞血打的很好，只是不知道大家什么時候能用上x24和x6這兩臺機器，正在F8大會前線的Zcam負責人Jason透露，相機拍出的Demo依然有瑕疵，且真正能用到兩款設備還需要比較長的時間。

后記

從6頭Gopro到Jaunt One再到諾基亞OZO，到Lytro、HypeVR和今天的Facebook x24和x6，拍攝硬件的演化證明了要想成為真正的VR內容，帶有深度信息的可互動的360°視頻才是前進的方向，雖然要達成這個目標，尚需一段時日。在那之前，我們可能還是要在3DOF的全景視頻中搖頭晃腦一陣。

【編者按】：本文轉載自IN2

最后，記得關注微信公眾號：鎂客網（im2maker），更多干貨在等你！