ARM：讓Mali帶來更極致的移動VR體驗

占據安卓智能手機GPU市場近90%份額的ARM，要不斷優化他們的Mali，給用戶帶來最佳的VR體驗。

上周五（2016年9月2日），在南京睿悅承辦的“N+虛擬現實高峰論壇”上，ARM生態關系開發者經理李陳魯發表了主題為“Enabling Mobile Virtual Reality with ARM Mali（用ARM的Mali來去驅動移動VR）”的演講，向大家介紹了ARM的主要產品線Mali GPU，以及Mali為移動VR做了哪些優化。

首先李陳魯分析了ARM的GPU在現階段手機市場的份額，然后相應的強調了他們的主要目標是移動VR市場。

談及現在的移動VR的內容，ARM認為在現有技術的限制下，娛樂視頻內容比游戲體驗的發揮空間更大。不過他們的Mail GPU正在為更好的支持VR游戲做一些后臺工作。

ARM還從視差問題、圖像渲染以及分辨率上闡述了VR體驗中會產生眩暈感的原因，并且提出一個流暢的VR體驗需要滿足的最低標準：延時低于16ms、刷新率大于60hz，屏幕分辨率大于2K。

最后李陳魯提到了谷歌的Daydream平臺，ARM希望和業內的合作伙伴一起推動移動VR的標準化。

以下是李陳魯演講的實錄：

各位來賓各位合作伙伴以及各位友商大家下午好，非常榮幸今天在這里與各位各位專家一起分享ARM在VR領域取得的小小成就，并且對未來做一個美好展望。

在座各位都是行業內專家，對ARM應該比較熟悉，就不多介紹。我們也和前面Imagination一樣是來自英國做IP芯片授權公司。我們的主要業務不只是集中在GPU，它還包括CPU、手機、平板電腦等智能移動設備上很多關鍵東西。但是和英特爾不一樣，我們并沒有那樣去推動摩爾定律，今天ARM所取得的成就都是生態圈里面的各位合作伙伴一起努力才能夠達到的。

我在ARM做的什么呢，當然不是打醬油的，主要是照看中國地區的生態系統，包括開發者關系，線上線下的一些活動，同時與戰略合作伙伴能夠做一些深入的合作。比如聯合實驗室，在今年晚些時候會找一個合適的機會給大家介紹一些干貨，具體取得的一些成果。

今天有20分鐘左右，長話短說，今天會花一定的篇幅介紹一下ARM的產品線，內容很多，希望大家記住兩個詞就夠了，一個是“量”，第二個“有料”。

Mali字面來看其實是一個地名，但實際上在這里指ARM的一條關鍵產品線，后面會講一些關于VR的技術概念，希望大家把這個與我們產品聯系在一起。

然后VR有那些挑戰？任何好的產品之所以能夠被大家喜愛，是因為能夠解決你的痛點。在VR未來得發展，有哪些可能的痛點，有什么解決手段，最后給大家做一個總結性概括，包括ARM給大家提供什么服務，你可能會有問題。如果不是做芯片公司，我和ARM之間有什么交集？后面會有答案。

關于ARM 取得的一點成就

首先大家看一下這個圖表，Mali是多媒體處理器產品線，最關鍵一點就是GPU和圖形渲染處理單元。經過多年努力，大家看到這個從2011年開始，那個時候我們還是非常小的數字，小于50，對半導體行業來說是起步階段。經過5、6年發展，我們現在可以很驕傲的宣稱ARM的GPU已經占安卓市場的第一位，數字電視占75%的規模，平板電腦基本是50%，智能手機40%。大家可能很熟悉，智能手機里面第一品牌是蘋果，蘋果是用友商Imagination的GPU。把這一塊去掉，ARM在安卓份額里面基本可以很接近達到90%。2015年的時候，65家新的客戶進入我們的生態圈。剛才介紹了GPU，GPU是第一大塊，只有GPU其實并不是非常完備的。

因為我們每個人都有智能手機，你可能會花很多時間去上網，去玩APP玩游戲。但事實上我們統計下來，相當大一塊用戶時間是用來觀看視頻，各種形式的視頻。

那么如何讓大家既能更好的體驗安卓系統的UI特性，同時又能夠長時間的觀看一段高清視頻，ARM最后決定進一步在Mali GPU基礎上拓展。這樣我們具備了整個多媒體圖形處理流水線每個模塊的技術。最后會推出基于Mali多媒體解決方案，包括三個組成部分，目前已經有一些客戶正在生產基于這個多媒體方案的真正芯片，不久的將來會問世，會有一些獨到的地方。

移動VR是我們的主場

剛才說了一下我們的現有產品線以及現有的生意模式，但是和VR之間有什么交集呢？關注業界動態的朋友肯定記憶猶新。在Facebook大會的時候，在座的嘉賓并不是看著扎克伯格，而是每個人戴著Gear VR。這個VR設備是一個小盒子，插了三星S6智能手機。同時這款設備有一個第二代產品，這是VR產品的一種形式，也是ARM相對來說影響力比較大的領域。

VR玩家肯定很熟悉外國一些優秀的產品（PC VR），他和移動VR之間區別在于后面帶了一根線，這個線給他提供非常強大的計算能力,同時也是一個累贅?？梢韵胂褚幌氯绻F在我很自由的在講臺上給大家做交流，后面綁了根線是很尷尬的局面。另一方面這個線往往也代表著占據額外的空間，所以如果是在差旅過程中，比如在飛機上面肯定不會搬出PC接上線玩VR游戲，如果有移動VR設備就可以很好的解決這些問題。

這邊有一個圖表，來自英國第三方獨立的一家咨詢公司，它做了一個未來的預判，我們希望他能夠成真。簡單來說，2018年的時候整個VR硬件生態里面能夠產生5680萬美元，針對各個年齡層次各種不同的用戶會有專門產品細分，加在一起提供一個非常多的選擇。

優化VR視頻圖像渲染

從軟件使用率來說，怎么劃分呢？目前看起來中低端VR設備基本上是視頻游戲對半分，你有一半時間用來玩游戲，一半是看視頻。低端設備就比例更懸殊，甚至花90%的時間看視頻，包括普通視頻。其實也包括一些現在正在崛起為VR設計的特殊視頻，這一點將來還是有很大的發展空間。我們現在有些光場技術，慢慢成熟以后在VR里面可以做的事情就更多，看到非常逼真的圖像變化，希望這一點能夠早日成真。

Mali GPU為了更好支持VR游戲做了哪些后臺工作？

另外一方面關于游戲，目前看起來游戲還是VR里面非常熱的，而且對于中高端VR設備來說是非常關鍵的驅動力，在這一塊我們會講Mali GPU為了更好支持VR游戲做了哪些后臺工作？

這是我們傳統的渲染管線，首先還是會得到輸入輸出，然后重新計算場景，之后把他做渲染，說起來很簡單，其實要細分有很多很多步驟。

到了VR有什么變化，其實就是多了一個視角，多了一個眼睛。這里面可能很多人會反應過來，聯想到俗語“事倍功半”，如果你不做任何處理可能會掉進這個陷阱當中，看起來很流暢的場景變的非?？?。也許是無意中晃腦袋，就會發現這個場景跟我腦中計算的出現的情況不太一樣，會感覺到暈，這是最大的問題，所有人都在花很多精力攻克的難關。

為什么會暈？除了場景渲染兩遍之外，其實還有很多其他的一些因素。因為現在對VR設備投影方式基本上就是那幾種，最為廣泛流行的是通過光學鏡片，把圖像重新變換投到視網膜上。還有更先進更高端的用激光的方式投到視網膜上，這個設備成本還是比較高昂。

使用透鏡系統的時候，最大的特點是會產生光學的折射，所以如果不經任何處理，看到這個世界會是一個扭曲的世界。所以我們需要做很多工作，保證你能夠看到一個真實還原，并且非常流暢的圖像。

目前為止大體解決方案基本會在圖像被渲染呈現在你雙目之前做一個后處理，后處理其實對于非VR的應用場景也是非常常見，比如一些霧化效果。在VR里面不管要不要這些效果，都必須要把這個光學變換的算法加進去，否則大家不能接受，至于這個算法怎么實現，未來會有不同的解決方案，思路是一致的。

什么是一個流暢VR體驗呢？

這些數字是我們目前認為比較基礎的要求，小于16ms的延時，大于60Hz刷新率，大于2K的分辨率。VR中有透鏡的存在，透鏡有放大的效果，所以你可以想像一下，貼近人的臉去看，可能就看到很多放大的細節。這個細節放大出來以后，一個2K的屏真正呈現在你眼中，實際效果低很多，再低的話可能大家就不太舒服了。2K以上4K、8K當然越高越好。

不過分辨率高的屏幕對移動VR還是有限制，大家可以了解，一方面首先是高端的供貨比較緊張，第二，如果是可插拔設備，手機屏幕隨著分辨率提高，耗電是非常厲害的。這樣對于在不使用VR場景之后怎么保持電池壽命是非常挑戰的。大于60Hz刷新率還是比較大的問題，60Hz已經可以成為一個行業標準，哪怕提到75Hz，那就是相當大的一步。

16ms延時跟前面兩個指標（刷新率和分辨率）是有關的，我們整個VR渲染過程不僅僅渲染，還要采集輸入輸出數據，等等這樣一些工作加在一起，加上本身的掃描，他實際是一個很長的過程。我們把渲染本身盡可能壓縮，把整個過程縮短。

Mali為VR計算量的傳輸降低帶寬成本

整個VR有很多階段，ARM來說也沒有辦法解決所有問題，需要和大家一起合作，做更好、更快、更省電的GPU和CPU。如果你使用了Mali GPU和CPU以及Video，它們之間會有內部壓縮算法，同樣效果之下節省很多帶寬，省很多電，同時性能會有更好的表現。

除了剛才說做最好的硬件，我們還有很多其他的事情可以做，特別是對于ARM企業來說。對于整個生態，這個生態不僅僅是硬件的合作伙伴，也包括在這個生態圈里面很多做軟件的開發者，提供內容的甚至拍視頻的人，要在一起盡可能的把整個用戶體驗提升到新的等級上面。

為了達到這一點，ARM其實做了很多專有技術，針對Video這一塊，如果采用Mali GPU加上Video，可以避免一些不需要或者不必要數據傳輸，這樣至少帶來一倍以上的帶寬節省。理想的狀況是把一系列的Mali技術放在一起使用，那么數據所在每一個階段都會是最優處理，整體上是既省電又快速。

和谷歌Daydream合作，共同推動建立移動VR行業標準

最后講一下Daydream，其實它和我們還有一點點小小的距離，Daydream是未來針對高端的移動VR的解決方案，這樣的產品至少要等好幾個月的時間。谷歌從最上游推廣，能夠起到非常大的作用，不至于每個廠商自己去做自己的實現方案，有很大的碎片。

大家應該知道Daydream是針對安卓7.0以及以后的系統，如果現在沒有辦法這么快拿到最新系統，或者說要求非常高導致成本也非常高，我只能使用現有的硬件和軟件實來做VR解決方案。

本土的一些非常優秀的公司，給大家提供另外一種解決的思路，類似于你不需要Daydream也一樣可以做夢，有了之后對我們很多重要合作伙伴是非常好的事情，代表整個移動VR有了一個統一行業標準，萬眾一心往一個方向努力。同時對我們未來先進的硬件發展有一個很好的促進作用，預計在不久的將來幾個月以后或者是明年這些高端的針對VR軟硬件會有爆發式增長。

后面就是軟件方面，提供專門的擴展，不進行細節討論，簡單來說一個是保證雙眼渲染盡可能復用，給大家多個視角觀察場景的擴展。

簡單來說左右可以同時處理，大家可能了解到我們人眼觀察事物的時候最中間的看的最清楚，周圍比較模糊，怎樣在VR渲染的時候對不太重要的區域能夠少花一點資源，其實可以疊加在一起的方式來做，我們在移動上面實現的手段不完全一樣，最后取得效果差不多。

如果有機會大家可以到我們的網站上面下載SDK，同時如果你有任何的問題，可以跟我們郵件聯系。大家可能都了解，在VR無當中為了處理頭部快速晃動產生的暈眩，有時候需要插一些幀進來，提前做好渲染，防備你突然看向另外一個方向。通過這樣“欺騙式”的手段，能夠獲得一個比實際性能看起來更加流暢的感受。

我們有一個完整的VRSDK，如果你有興趣從頭做起或者深入做一些定制化優化，可以把這個SDK下載下來，是完全免費的，了解一下如何在基于Mali讓硬件更好的發揮潛能。

關于下一代VR的標準

我們看一下未來，這是我們最新的GPU Bifrost，我們為什么會開發這樣一款GPU，因為要讓移動VR達到120hz的刷新率，4K分辨率，4毫秒的延時。VR環境里面所有東西被放大，所以打開反鋸齒變的非常重要，移動渲染架構上面反鋸齒是比較低的，也就是說大家可以放心大膽使用，并不用擔心很大的性能下降。這一方面準備更進一步的一些教程，同時希望能夠找機會和開發者做深入交流。

我的演講基本到這里，非常感謝。

最后，記得關注微信公眾號：鎂客網（im2maker），更多干貨在等你！