七鑫易維彭凡演講實錄:眼球追蹤技術讓VR更“人性”

伶軒 9年前 (2016-04-28)

眼球追蹤技術不僅是目前全球最前沿的機器視覺技術,還是最為人性的VR技術。

2016年4月21日,在鎂客網于上海世博展覽館主辦的VR主題論壇上,七鑫易維副總裁彭凡發表了題為《眼球追蹤技術——讓VR更“人性”》的主題演講。彭凡表示,眼球追蹤技術是目前全球最前沿的機器視覺技術,是最為人性的VR技術。七鑫易維作為技術型公司,希望在未來能為行業提供眼控技術標準,將注視渲染做到極致。

七鑫易維彭凡演講實錄:眼球追蹤技術讓VR更“人性”

以下是七鑫易維彭凡的演講實錄:

目前,眼球追蹤技術已經在國外的醫療領域和廣告領域里有一些應用了。比如說,對于像霍金這樣的帕金森綜合證患者或者是一些全身都不能動的人群來說,能用眼睛來打字、控制電腦是非常重要的。這樣的技術在國際上我們叫做眼控溝通輔具。

七鑫易維彭凡演講實錄:眼球追蹤技術讓VR更“人性”

眼球追蹤技術是目前全球最前沿的機器視覺技術,它的原理就是用眼控儀捕捉用戶頭部運動和眼球轉動的信號,實時計算出眼睛的注視點方向。

七鑫易維彭凡演講實錄:眼球追蹤技術讓VR更“人性”

七鑫易維作為技術型公司,認為當下VR行業有以下四個的瓶頸。首先任何技術的交互都是非常重要的,現在的VR交互大部分還是基于控制器,但是控制器并不能給用戶帶來真實感,而虛擬現實的特性之一就是真實感。未來VR的交互一定是機器去適應人而不是人去適應機器的。

人在進行信息獲取時,有80%以上信息是來自于視覺的。所以說,未來VR體系中的交互技術必定會是眼球追蹤、語音識別、手勢識別、動作捕捉的集成。

第二個問題是顯示。不知道大家在體驗VR的時候有沒有覺得畫面不夠清晰?現在大多的設備所能達到的單眼分辨率只有1K,而且計算機已經無法進行渲染了。但是如果想要用戶在體驗VR時有身臨其境的感覺,那么左右眼的畫面分辨率就必須要達到8K。

第三個是計算。如果我們想要擁有1000赫茲的渲染刷新率和單眼8K的分辨率,那么對計算機性能的要求就相當的高了。但是,現在市面上具有上好性能的計算機價格都非常的高,怎么把對計算機的要求降下來就變得尤為重要了。

最后一個是內容。我一直覺得內容不是一個很大的問題,因為當整個產業鏈的技術標準確定之后,我們的內容制造商是可以像智能手機一樣快速的去復制內容的。

七鑫易維彭凡演講實錄:眼球追蹤技術讓VR更“人性”

眼球追蹤技術承擔著什么作用呢?上面這張圖里的電腦屏幕上所顯示的是一個體驗者眼神的校準頁面。眼控交互可以讓VR更人性,讓我們所看到的VR畫面中任何一個物體或任何一個圖標,都是出于人眼的自然反應。

七鑫易維彭凡演講實錄:眼球追蹤技術讓VR更“人性”

每一個人在看東西時的自然反應都是先用眼睛去看的,只有在需要看眼睛視覺范圍外的東西的時候才會轉動頭部??墒钱斈忝奎c一個圖標都必須要進行頭部的轉動的話,就會覺得用頭去看每一個圖標是非常累的。在實驗室的測試結果中表明,眼動交互特別是針對于二維UI來說其效率可以提高40%,這是在單純的UI交互上比手勢識別、語音識別還要快的一種交互方式。

七鑫易維彭凡演講實錄:眼球追蹤技術讓VR更“人性”

除了交互以外,注視點渲染也會為整個VR產業革命帶去很大影響。現在VR設備的畫面之所以不夠清晰、計算量高,是因為我們對于渲染的要求高。但是,我們戴上VR頭盔所看到的畫面也只是注視點所在的位置而已,旁邊的畫面是看不到的。這和我們現實生活中的真實對焦一樣,眼鏡看任何東西都是有焦點的,是接收不到焦點以外的信息的。

所以,在做VR渲染的時候,只渲染畫面注視中心的位置是非常實用的。也就是說,我們只對注視中心的畫面進行100%的渲染,將注視中心邊緣的畫面按照一定的比例進行像素點和分辨率的降低,這樣就能夠有效的提升渲染速度以及降低渲染的計算量了。

七鑫易維彭凡演講實錄:眼球追蹤技術讓VR更“人性”

在游戲當中,眼控技術應用的并不多,這里舉幾個簡單的例子,例如菜單的調用。一般情況下,我們的游戲畫面中是不會顯示菜單的,只有當玩家將眼鏡的注視點放到畫面的左上角或右上角時,菜單才會顯示出來。

七鑫易維彭凡演講實錄:眼球追蹤技術讓VR更“人性”

另一個例子就是眼控手電筒。在游戲中特別是恐怖類游戲中,玩家的眼睛就是手電筒,眼睛的注視點就是手電筒光聚焦的那個點,這樣一來,游戲的恐怖效果就會更強烈一些。

七鑫易維彭凡演講實錄:眼球追蹤技術讓VR更“人性”

隨著現實中戰斗機性能的越來越高,未來的戰斗機在對戰中很有可能就是用眼神去進行目標鎖定的,因為這種鎖定方式是最快的。七鑫易維目前做了一個游戲,是一款戰斗機瞄準射擊游戲。玩家可以用眼神去鎖定戰斗機,用頭部的轉動來控制戰斗機的視野。對于VR來說,眼控技術其實就像是一個沒有確定鍵的鼠標。

七鑫易維彭凡演講實錄:眼球追蹤技術讓VR更“人性”

七鑫易維是全球第一個做到全視場角追蹤的公司。為什么要強調是全視場角呢?因為如果我們的追蹤技術只能追蹤到畫面中心區域的話,計算機就不知道還有邊緣的部分了,那么追蹤的效果就會大打折扣。

要做高精度、低延遲的注視點渲染,需要隨時隨地采集到每一個人的注視點數據,這個數據的延遲必須非常小,因為每個人眼動的速度非常的快,七鑫易維現在已經可以做到120赫茲到380赫茲了。

第三個就是防抖。用戶在戴上頭盔后難免身體會隨著畫面進行一些運動,但是這會造成眼睛和傳感器之間的劇烈抖動,而這種抖動會影響圖像的呈現效果。做好防抖,就是為了給用戶更好的體驗。

七鑫易維近期會跟高通、AMD這樣的很多芯片上游公司進行合作,幫助他們做注視點渲染。希望在不久的將來,VR行業里面就會出現由七鑫易維所提供的眼控技術標準。

我的演講到此結束,謝謝大家。

關注鎂客網微信公眾號(im2marker),將持續推出更多關于本次VR論壇精彩內容。

最后,記得關注微信公眾號:鎂客網(im2maker),更多干貨在等你!

鎂客網


科技 | 人文 | 行業

微信ID:im2maker
長按識別二維碼關注

硬科技產業媒體

關注技術驅動創新

分享到