OPPO XR技術負責人 徐毅：AR體驗做得更好需要發展感知能力和交互能力

AR眼鏡這種形態是未來能夠真正連接物理世界與數字世界的新型交互方式。

2021年12月10日，由廣東省游戲產業協會、廣東省虛擬現實產業技術創新聯盟、深圳市科學技術協會、深圳市互聯網文化市場協會指導，陀螺科技主辦，深圳市科技開發交流中心、恒悅創客魔方協辦，行業頭部媒體游戲陀螺、VR陀螺、陀螺電競、陀螺財經、陀螺傳媒聯合主辦的2021未來商業生態鏈接大會暨第六屆金陀螺獎頒獎典禮（簡稱“FBEC2021”）在深圳大中華喜來登酒店6樓宴會廳盛大開幕！

在中國力量·2021 5G XR產業峰會現場，OPPO XR技術負責人 徐毅：以“數字世界與物理世界的融合”為主題發表了演講。

以下為演講實錄：

過去幾年，數字信息呈現出爆炸式增長的狀態，數字世界正在形成。根據一些外部的統計資料預測，未來每個智能手機的月平均流量將增長到25G，人均有5個以上的智能終端，這樣的情況下，物理世界與虛擬世界的信息交換會怎么樣改變呢？

我們認為AR眼鏡這種形態是未來能夠真正連接物理世界與數字世界的新型交互方式，AR眼鏡在計算機視覺和人工智能的加持下，未來能幫助大家快速便捷地與數字世界的三維信息和三維場景進行交互。

例如，現在走在街上看到一家餐廳，通常是掏出手機，把餐廳的名字輸入到APP，看關于它的一些評價，整個交互的鏈路是比較長的。未來在AR眼鏡的場景下，有了基礎設施的支持以后，我們可以在AR眼鏡里一下子就看到這個餐廳相關的信息，這些信息以3D的形式快速的推送到用戶的眼前，用戶可以通過簡單的AR交互方式快速下單，幫助我們更加快速方便地與真實世界的三維信息進行交互。

講完愿景，我們也看到，技術仍然是目前AR行業發展的瓶頸之一。在光學顯示上，我們需要FOV更大，顯示的效果更好；在感知方面，感知的范圍需要更大，能夠擴展到整個世界，它的能力和精度需要更好；硬件上，重量需要更輕，功耗更小，性能更強；在交互方面需要發展出來更加高效、自然的交互方式，例如腦機接口。

只有當這些技術逐步提升以后，我們才能達到理想中用戶與數字世界交互的場景。目前在垂直領域的一些場景也可以幫助我們去牽引這些技術的發展。

除了關鍵的技術之外，我們也發現一些整個XR行業所面臨的問題，其中主要幾個：

首先，場景是什么？

第二，產品的形態又是怎么樣的？

第三，怎么樣去孵化內容？

第四，如何去保障這些內容的體驗。

我們沒有完整的答案，但有一些思考想跟大家分享一下。

首先是場景。過去這段時間，場景是在逐漸遷移的。在功能手機的時代，很多的功能是在PC或者筆記本上完成，當智能手機越來越強大之后，很多場景、功能和應用逐步從PC遷移到智能手機，我們相信未來也會發生這樣的遷移，應用會慢慢從智能手機遷移到AR眼鏡。

再看一下在形態方面的思考。目前AR眼鏡主要有三種形態：

首先，獨立一體機。它的優點是可以做計算高度的定制，一體化的佩戴不需要用其他的設備來與它配合。它的缺點就是重量、體積偏大，無法借助手機的生態，需要獨立開發一個生態；

第二，手機分體機。眼鏡與手機配合工作，手機提供電源、算力以及交互設備，優點就是設備的輕量化，眼鏡本身可以更加輕薄。同時可以借助手機現有的應用生態，比如有一些應用可以直接通過手機在AR眼鏡中進行交互。但是它的缺點就是現在還有“一根線”，這是我們認為目前的缺點，但是未來是可以解決的。

第三，獨立的分體式。這種與手機分體式比較類似，它的特點也是輕量化的設備，可以定制計算單元，用來交互、提供算力。缺點也是目前有一根線，同時也無法借助手機的生態。

綜上考慮，手機分體機形態是目前適合發展的形態，因為手機生態比較統一、手機的用戶基數大、有比較好的生態平臺，可以提供電源、算力，也可以提供交互的設備。OPPO在AR上的思考，目前來講要充分借助手機的軟件、硬件以及相關的服務設施。

講完了形態，來講一下如何去打造一個好的AR體驗。這里列舉了好多當前的AR應用，它都有自己的特點和不足。目前AR觀影存在內容不足的問題；AR游戲，可以與空間進行一些交互，但是核心玩法還沒有成熟的定義；AR效率工具和AR辦公存在一些使用頻率和精度的問題；某些AR輕體驗存在一些價值的問題，總結三點就是：可用性、易用性和必要性。

怎么在當前的技術條件下把AR體驗做得更好？

我們認為需要發展兩種能力：感知能力和交互能力。感知能力包含sensor、算法和AI。在AR早期可以做一些簡單環境感知，例如平面識別、Marker追蹤或者利用GPS做輸入的簡單環境感知。感知能力的精度將慢慢更高，它可以擴展到簡單的真實物體，比方說可以做人臉等等。 感知能力的范圍也會越來越大，會擴展到其他的IoT設備。在未來，感知會發展到整個真實世界，范圍會非常廣。我們會有一個非常好的基礎設施，類似于地圖來幫助我們打造更好的AR體驗。我們的感知也會擴展到全部的電子設備。

另外一條維度就是交互能力。目前來講，比較成熟的是一些2D交互能力，很多應用都是利用2D交互來做AR場景的人機交互，慢慢會發展到成熟的3D交互能力。VR上可以看到6DoF的遙控器已經很成熟，未來將慢慢發展出例如腦機接口這樣的自然交互能力。

感知能力決定應用場景的范圍，它決定了我們是局部的、房間級、樓宇級還是世界級的AR體驗。交互能力決定應用場景的完善度。總結起來，在現有的技術條件下打造一個比較好的AR體驗，首先要有一個完善的交互作為基礎，再去探索最大感知能力下的場景。

在這里我們列舉了幾個場景，從輕到重，從輕的耳機場景到最重的工業場景，當場景越來越重，我們對于技術的需求會越來越大，技術的代價也會越來越高。場景的輕重度+感知能力+交互成熟度，這三者需要找到一個平衡才能在當前的技術條件下打造一個完善的AR體驗。

講完我們的思考，再回顧一下OPPOAR過去幾年的工作。我們從三年以前開始從事AR方面的研究，在2018年組建了跨部門的AR團隊，開始打造一些底層的技術。2018年發布了ARUnit--手機端開發平臺。我們逐漸認識到AR形態會成為手機以外不可或缺的成分，此后我們開始進行AR眼鏡原型機的打造，2019年底發布了AR眼鏡原型機。2020年我們在去年年底的未來科技大會發布了第二代OPPOAR Glass 2021。

第二代AR眼鏡，我們從硬件、軟件和內容上都做了一些比較大的革新。

我們采用了全新的分體設計，重量相比于第一代減輕75%，在計算性能上有40%的提升，在光學方法上選擇了Birdbath光學方案，并能夠識別21個手部關鍵點。

AR一個重要的功能就是人與真實場景之間的三維交互，基于SLAM的跟蹤是一個非常重要的能力。因此，OPPOAR Glass 2021搭載了基于SLAM的實時三維定位和重建能力。在AR光學方案有很多不一樣的方案，需要根據場景和產品的需求去選擇合適的方案，我們選擇了Birdbath方案，因為它的顯示效果好，能夠滿足當前產品定位和應用需求。

我們在內容方面也做了一些探索，聯合愛奇藝和京東打造了AR觀影體驗和購物體驗。并打造了多人AR游戲的體驗或者基于手部跟蹤的能力并跟媒體和公眾見了面。

行業的成熟離不開整個行業一起參與。今年我們舉辦了開發者共創計劃。我們與高通XR創新挑戰賽合作，設立了OPPOAR特別獎賽道，并舉辦了一系列線下的開發者沙龍活動，我們給予參與的開發者資金、投資的對接機會、線下展示的機會、媒體的資源曝光機會，以及開發技術支持。年中的時候我們在北京、上海、成都舉辦了三場開發者沙龍活動，吸引了數百名開發者和行業伙伴積極參與。

以上就是我今天想跟大家分享的一些心得。下個禮拜二我們會發布OPPO新一代智能眼鏡，敬請大家期待，謝謝！

最后，記得關注微信公眾號：鎂客網（im2maker），更多干貨在等你！