TikTok推出最新AR特效,iPhone 12 Pro的激光雷達終于有用了

jh 5年前 (2021-01-07)

最近TikTok上有一款AR特效十分火熱。 打開特效后,會發現手機屏幕中央出現一顆正在倒計時的圓球。 當倒計時結束,這個球...

最近TikTok上有一款AR特效十分火熱。

打開特效后,會發現手機屏幕中央出現一顆正在倒計時的圓球。

當倒計時結束,這個球便會爆炸,散開的紙屑精準地掉落在沙發和地面,并展開一個“2021”的字樣,一切都仿佛現實中發生一般。

激光雷達只是用來輔助拍照?還可以用來AR特效!

基于激光雷達的AR特效

此前,TikTok就已經內置了多款AR特效,這些特效大多基于相機(視覺傳感器)、IMU(慣性測量單元)和GPS傳感器生成。在大多數場景下,這些傳感器能提供不錯的定位精度,但用戶的沉浸感和場景交互依然欠缺。

激光雷達只是用來輔助拍照?還可以用來AR特效!

從圖中來看,當虛擬物體呈現在現實中的物體上時,并不能識別出物體的層次,導致缺乏真實的3D感,所以僅憑這些傳感器是遠遠不夠的。

解決問題的方法,就是增加新的傳感器。

例如iPhone 12 Pro上的LiDAR激光雷達,通過測距解決部分距離上的交互問題,讓AR場景更富有層次感。這也是為何開篇中紙片掉落如此真實的原因。

在TikTok之前,知名“閱后即焚”App——Snapchat就宣布成為第一款使用iPhone 12 Pro激光雷達技術的iOS應用。該公司程序員使用最新的LiDAR Scanner,在Snapchat中創建一個AR鏡頭,例如構建一片虛擬植被,在周圍的房間里“種植”花草,讓墻壁“長出”鮮花、讓“苔蘚”爬上櫥柜上……

激光雷達只是用來輔助拍照?還可以用來AR特效!

得益于激光雷達的輔助,這些花草不再是簡單地浮現在最上層,而是可以通過測距改變位置,更顯立體效果。

從前沿走向大眾

作為一項前沿技術,激光雷達最早被普遍運用在自動駕駛領域,簡單來說,就是發射激光—測量返回時間—計算距離,從而讓自動駕駛汽車感受到帶景深的環境信息。

在激光雷達的眼里:它看不到車、看不到路,但可以“摸”到好多點,通過連續掃描,從而得到一幅連續完整的三維世界。

就是這么一項技術,被蘋果帶到了智能手機、Pad領域。

去年3月18日,蘋果更新了雙攝版iPad Pro 2020,后置攝像模組中新增了LiDAR模塊。在官網的介紹里,蘋果展示了三個典型場景:量身高、AR游戲和宜家的AR家庭裝修。

平心而論,對普通用戶來說,LiDAR帶來的體驗提升幾乎感受不到,最能直觀感受到的就只有對焦速度的改善。

但在專業玩家手上,搭載了LiDAR的iPad Pro 2020充滿了創造力,上述三個場景僅是一小部分。

總結下來,LiDAR主要可以用于三個部分:

1、提高AR應用表現:憑借激光雷達快速測距特性,讓設備快速進入AR應用環境,減少等待時間;同時由于激光雷達更精準的測距表現,可以讓AR應用虛實結合更逼真,提供更良好的遮擋表現,這方面AR特效就是最好的例子;

2、優化拍照和視頻效果:基于高精度測距,實現快速對焦,且成果逼近單反相機的大光圈虛化效果;

3、實現3D掃描功能:同樣基于高精度測距,可以完成細節更良好的3D掃描效果。

前兩項是與普通消費者最息息相關的方面,而最后一項則讓普通用戶也能體驗到工業級3D才擁有的功能。

3D打印為例,以往3D掃描需要專業的系統相機陣列,即便是手持式的掃描儀也價格不菲。而當使用了LiDAR的產品后,3D掃描就成為很簡單的一件事情。

布局未來AR生態

在蘋果的產品線中,頭戴式AR眼鏡是未來的重要產品線。但以目前的消費級AR硬件市場來看,除了Facebook與Google會給蘋果帶來壓力以外,AR眼鏡還是一個“歸于理想化”的產品,相比之下,用途更廣、用戶更廣的智能手機正是最好的AR設備。

蘋果AR部門主管Mike Rockwell曾表示:因為終端數量有限,打造原生VR/AR應用并非易事,與之對比的是,支持AR的蘋果iOS設備已經達到了數億臺的規模,這是一個龐大的市場。

目前要做的,就是讓現有的移動AR更加強大。

在iPhone 12系列發布當天,Snapchat就宣布成為第一款使用iPhone 12 Pro激光雷達技術的iOS應用。此后更多的應用開始支持AR模式,這些內置LiDAR的設備,讓用戶從原本的體驗AR,轉到創作AR層面。

綜合而言,蘋果現階段的做法是:鼓勵開發者將自己的應用加入AR功能,從而搭建一個豐富的AR生態。

據知名供應鏈網站Digitimes放出的消息稱,蘋果已與索尼簽訂一份為期三年的合約,確保在2023年前,提供可用于LiDAR感應器的技術,以及具備高效率偵測近紅外線波段區域的光線穿透材料(Near-infrared,NIR)。

而iPhone 13全系列都將標配激光雷達掃描儀,這意味著原本屬于高端機型才有的LiDAR,將下放到入門級的手機,讓每位購買iPhone 13的用戶都能體驗到豐富的AR內容。

正如我們所看到的,蘋果在這個領域的布局是深遠的,或許在2022-2023年,消費級AR眼鏡的浪潮就由蘋果引發。

最后,記得關注微信公眾號:鎂客網(im2maker),更多干貨在等你!

鎂客網


科技 | 人文 | 行業

微信ID:im2maker
長按識別二維碼關注

硬科技產業媒體

關注技術驅動創新

分享到