怎樣讓鯨魚飛躍籃球場——深度揭秘Magic Leap背后的技術+戰略

今年10月，硅谷AR（增強現實）公司Magic Leap發布了一系列“魔法帶回現實”的概念視頻：籃球場上鯨魚一躍而起、外星人突襲辦公室打真人CS……

今年10月，硅谷AR（增強現實）公司Magic Leap發布了一系列“魔法帶回現實”的概念視頻：籃球場上鯨魚一躍而起、外星人突襲辦公室打真人CS……雖然大部分視頻并非實拍demo，而是特技duang duang的概念片，在各大微信號的無腦營銷下，仍然短短幾天就刷爆朋友圈。然而，很少有人真正看明白，Magic Leap究竟是如何實現這些“魔法”的。

虛擬現實的技術原理

拋開那些大腦植入芯片、黑客帝國style的科幻技術不談，當前成熟的虛擬/增強現實技術原理分為兩類：

1、把光線射進你的視網膜

讓你在看到真實世界的同時，也看到虛擬世界的幻影。Google眼鏡、微軟Hololens都是這種原理?；蛘呦馩culus一樣，干脆用個頭盔把眼睛遮住，讓你看不見真實世界，只能沉浸在虛擬現實之中。不過，就算騙過眼睛，身體還是只能感受到真實世界而非虛擬世界中的加速度變化，這一點Oculus之流也無能為力。

微軟Hololens概念片

2、還原真實物體發出的光線

讓你無法區分看到的究竟是真實還是幻象。例如1956年發明的全息攝影（Holography）。然而，為什么60年后我們還在用iPhone指指戳戳，而不是用iHolo隔空取物呢？因為目前成熟的全息技術只能做到把3D影像投射到一個玻璃盒子里（通常是金字塔形或立方體），設備的大小必須大于影像的大小，色彩也不夠逼真。這就是為什么至今全息還停留在珠寶展示和博物館科普的層次上——有幾個宅男買得起金字塔，放家里看黑白版全息女神愛情動作片？

全息珠寶展柜

Magic Leap屬于以上哪一種技術原理呢？都不是。

Magic Leap的核心原理是四維光場

光場（Lightfield）的學術概念早在1939年就已提出，用于描述空間中任意點在任意時間的光線強度、方向、波長。當鯨魚在我面前游過的一瞬間，它皮膚上每一個細胞向四面八方發出的光，疊加起來形成了一個光場。理論上， 只要完整記錄下一條鯨魚的光場，技術上就可以完全還原這條鯨魚發出的所有光線。

假如有這樣一個神奇的設備，它不僅可以記錄光場，還能像投影儀一樣，把光場信息還原成原始光線發射出來，那么當你的視網膜接收到這些光線時，就會認為看見了一條真正的鯨魚。 把這個設備放在籃球場上，讓它360度無死角全向發光，在籃球場上任何角度任何位置的人都會發現那里多了一條鯨魚。甚至你近看遠看，繞一圈看，也不會察覺到鯨魚的肉身并不存在。因為，“看見”一條鮮嫩多汁的鯨魚和看見這條鯨魚發出的每一束光線，在光學上沒有任何區別。這就是Magic Leap的物理原理。

為什么叫四維光場？

這里的四維是數學概念，和平行宇宙、高維空間沒有半毛錢關系。描述一個光場需要7個維度：3個三維坐標表示空間中點的位置，2個極坐標表示這個點上通過的光的方向，1個波長表示光的顏色，還有1個是時間t。

其實，如果只考慮光場被投射到二維平面（例如視網膜）上的話，關鍵的維度只有4個：2個是平面上點的坐標，2個是入射光的方向。

光場的數學模型

怎樣把鯨魚裝進口袋

從基礎理論到做出產品，差距就是突破技術難點：怎樣采集和還原光場？最經（yuan）典（shi）的方法是用相機陣列，通過在不同距離上鏡頭變焦，由近及遠地把空間中每一束光線拍下來。比如下圖的斯坦福相機陣列（Stanford Multi-Camera Array）：

斯坦福相機陣列

到了2011年，Lytro光場相機推出，把上面這個大家伙變成了手持式，雖然清晰度接近馬賽克畫風：

Lytro光場相機

Lytro已經把實驗室里的龐然大物裝進了口袋，而Magic Leap用了更聰明的方法，短短幾年就把光場投影儀做成了高清無碼可穿戴的AR設備。

輸入實時生成，輸出光纖投射

Magic Leap的辦法分為兩步：

1、不采集真實影像作為輸入，而是用計算機實時生成視頻。模擬生成的視頻，可以直接用在增強現實領域，例如懸浮在半空中的操作系統UI、辦公室里玩外星人槍戰。如此一來就解決了片源問題，不需要等到好萊塢拍出光場版星球大戰8，才能看上光場電影/電視。

2、不用傳統的顯示屏輸出，而是用光纖投射光場。Magic Leap 擁有叫做“光纖投影儀”的專利技術，通過一根直徑1毫米長9毫米的光纖投出幾英寸彩色圖像，已經可以做到4K超高清分辨率。

光纖投影

既然一根光纖可以發射一束光線，如果要把鯨魚身上每一束光線都投射出來，就需要N個光纖組成一個光場投影儀：光纖陣列。

光纖陣列原理圖

最妙的是，因為每一根光纖只有頭發絲粗細，一個用光纖陣列制造的高清投影儀不僅可以輕松裝進口袋，還可以戴在腦袋上！

既能AR眼鏡，也可裸眼3D

說完了物理原理和技術實現，再談一個消費者最關心的問題：Magic Leap到底比Google Glass、Hololens、Oculus、3D電視……好在哪里？

1、可大可小。Magic Leap的光場原理，決定了它既可以做成增強現實（AR）眼鏡在辦公室打真人CS，也可以做成全息投影儀放在籃球場讓學生圍成一圈看裸眼3D。既然“看見”的本質就是把一條鯨魚的所有光線投射到你的視網膜上，那么無論是在你的智能眼鏡上用光纖投射這些光，還是在3米外用光場電視投射，甚至在30米外用大型光場投影儀，都沒有本質區別。

光場竟然可以融合視網膜和全息兩大類虛擬現實技術，細思恐極!

3D裸眼全息

2、不會暈。無論是看3D電影還是頭戴Oculus，雖然把不同光線分別投射到左右眼模擬出3D景深，卻丟失了光線的方向信息。而4D光場記錄了每一束光線的所有信息，包括位置和方向，使得看光場和看實物根本無法區分。

例如，看光場時，人眼向遠處和近處看會自然對焦，看到的物體有虛實變化。但傳統的雙目虛擬顯示技術（如Oculus Rift或Hololens) 中的物體是沒有虛實的，使得大腦對于物體遠近判斷混亂，時間一長就暈。

換句話說，如果你看真實世界不會暈，看Magic Leap就不可能暈。

3、不怕強光。AR（增強現實）的老大難問題是：只能在真實世界的光影上疊加虛擬圖像，在外界強光干擾下，虛擬世界就會暗淡無光。這就是為什么在Hololens等各式AR眼睛宣傳視頻中，片中人物“恰好”都是在昏暗場景中使用AR。

必須遮住現實中實物的光，在用虛擬3D圖像替代它，才是不怕強光的完美AR。要做到替換實物，不僅要可以顯示虛擬的光，還能顯示“沒有光”，比方說能在強光下顯示一個純黑的球。

例如，用一杯虛擬咖啡替換桌上真實的咖啡，首先要把來自真實杯子的光刪除或屏蔽，然后再產生一組光讓它們看起來是從杯子的位置發射出來的。否則，不論是用多么明亮的3D 增強實景顯示技術，只看見一杯半透明的虛擬咖啡尷尬地覆蓋在真實咖啡上。

Magic Leap能做到替換實物影像嗎？從Magic Leap擁有的另一項專利來看，貌似真的可以：

Bibliographic data: WO2013077895 (A1) ― 2013-05-30

THREE DIMENSIONAL VIRTUAL AND AUGMENTED REALITY DISPLAY SYSTEM

A system may comprise a selectively transparent projection device for projecting an image toward an eye of a viewer from a projection device position in space relative to the eye of the viewer, the projection device being capable of assuming a substantially transparent state when no image is projected; an occlusion mask device coupled to the projection device and configured to selectively block light traveling toward the eye from one or more positions opposite of the projection device from the eye of the viewer in an occluding pattern correlated with the image projected by the projection device; and a zone plate diffraction patterning device interposed between the eye of the viewer and the projection device and configured to cause light from the projection device to pass through a diffraction pattern having a selectable geometry as it travels to the eye.

Magic Leap背后的戰略布局

Magic Leap是個神秘兮兮的公司。都融了5億美元的B輪了，CEO從不露臉，產品長什么樣沒人見過，讓中國人民對著幾個加特技的宣傳片羨慕嫉妒恨。不過，從他們的公司行為來分析，還是能看出大部分端倪。

1、Magic Leap的第一個產品將是頭戴式眼鏡

前面說過，光場投影的原理，使得AR眼鏡和裸眼3D產品都可以做。為什么說Magic Leap一定會先做可穿戴？

技術上看，Magic Leap公司成立時，創始人Abovitz做光纖機器人醫療起家，又報了好幾個光纖方面的專利，做穿戴之心路人皆知。而用于放裸眼3D的大型光場投影儀，很可能技術和成本控制尚未成熟。

商業上看，有了谷歌眼鏡和微軟全息當先烈教育市場，消費者對于AR的接受程度已經不斷提高，而大型光場投影儀一般人可消費不起，也不夠實用。

2、Magic Leap會發力跟蹤/識別和體感控制

如果Magic Leap真的做成了可大可小、不會暈、不怕強光的AR，將會是世界上體驗最好的AR，沒有之一。一旦把用戶的眼睛變成入口，接下來可以玩的就多了去了。例如：

手勢識別：AR沒有屏幕可以戳戳戳，手勢是最主流的交互UI，甚至還可以加入腦波控制；

物體追蹤：感知真實世界中人和物的精確位置，才能讓你在一邊走動的同時，把你眼中的一杯虛擬咖啡一動不動地安在真實的飯桌上；

三維掃描：將現實中的一杯咖啡拍成光場，分享給別的用戶，他的眼前就會出現和你手中完全相同的一杯咖啡；

人臉/人體識別：識別現實場景中的人，可以在每個人頭上顯示名字、電話和顏值；

情感識別：既然都能夠識別人臉了，不如順便識別下表情吧！是哭還是笑，眼鏡全知道。

Hololens手勢控制

3、買不到現成芯片，Magic Leap要自己動手

除了實時計算四維光場、投射高清視頻外，實現以上所說的各種黑科技，還要考慮電池續航能力、用戶腦袋是否會過熱，這么強大的芯片地球上并不存在。不過B輪融資后，有了高通當股東撐腰，給了Magic Leap足夠的膽量自己發明輪子。

Magic Leap在去年搬入南佛羅里達州一個廢棄的摩托羅拉生產區，計劃建造2.8萬平方米的工廠，用來生產光子光場芯片(Photonic Lightfield Chip)。

4、Magic Leap充其量是臺前卒子，Google才是幕后大BOSS

Google投了5億美元，讓Magic Leap不用顧忌市場和資本，在全封閉狀態下專心做底層技術；帶來高通作為戰略投資者，協助自主研發芯片；還讓二號人物、核心產品負責人Sundar Pichai 加盟董事會；毫無疑問，將來Magic Leap產品開賣，搖旗吶喊的也一定是Google。

給錢、給人、給技術、給市場，Google憑什么無緣無故把一個初創公司當親兒子？做砸了Glass還要投Magic Leap，Google為什么偏偏對AR不死心？如果你相信純粹是為了賺錢，就太小看Google的智商了。

從前Google的搜索引擎，教會了人工智能聽說讀寫（自然語言識別）；而AR將成為人工智能的眼睛和耳朵，教會它用人類的視角觀察物理世界。當AI超越人腦的技術奇點不期而至時，人工智能只需要硬件組成的手腳和身體，就能改變世界/取代人類了。

誰擁有最強的人工智能，誰就將統治地球——這就是Google從未掩飾的野心。

人工智能終將統治地球？

最后，記得關注微信公眾號：鎂客網（im2maker），更多干貨在等你！