FBEC2021 | 歡創(chuàng)科技創(chuàng)始人 周琨：從雙目到四目是一個(gè)趨勢(shì)

2021年12月10日，由廣東省游戲產(chǎn)業(yè)協(xié)會(huì)、廣東省虛擬現(xiàn)實(shí)產(chǎn)業(yè)技術(shù)創(chuàng)新聯(lián)盟、深圳市科學(xué)技術(shù)協(xié)會(huì)、深圳市互聯(lián)網(wǎng)文化市場(chǎng)協(xié)會(huì)指導(dǎo)，陀螺科技主辦，深圳市科技開(kāi)發(fā)交流中心、恒悅創(chuàng)客魔方協(xié)辦，行業(yè)頭部媒體游戲陀螺、VR陀螺、陀螺電競(jìng)、陀螺財(cái)經(jīng)、陀螺傳媒聯(lián)合主辦的2021未來(lái)商業(yè)生態(tài)鏈接大會(huì)暨第六屆金陀螺獎(jiǎng)?lì)C獎(jiǎng)典禮（簡(jiǎn)稱“FBEC2021”）在深圳大中華喜來(lái)登酒店6樓宴會(huì)廳盛大開(kāi)幕！

在中國(guó)力量?2021 5G XR產(chǎn)業(yè)峰會(huì)現(xiàn)場(chǎng)，歡創(chuàng)科技創(chuàng)始人周琨：以“從雙目到四目，XR空間定位技術(shù)的發(fā)展”為主題發(fā)表了演講。

以下為演講實(shí)錄：

今天我演講的題目是“從雙目到四目，XR空間定位技術(shù)的發(fā)展”，內(nèi)容由四個(gè)部分組成：

首先介紹一下AR/VR視覺(jué)空間定位的技術(shù)。空間定位主要分為外定位和自定位兩個(gè)技術(shù)流派，外定位叫Outside-in，將傳感器和攝像機(jī)安裝在外部，從外向內(nèi)來(lái)觀察活動(dòng)的物體或者人物。它的特點(diǎn)：安裝和使用比較復(fù)雜，但是精度比較高，視角有限，容易被遮擋。比較常見(jiàn)的像OptiTrack，應(yīng)用領(lǐng)域是影視動(dòng)捕、VR、工業(yè)機(jī)器人等等。

第二種叫自定位（inside-Out），相機(jī)或傳感器往往設(shè)置在頭盔上，從內(nèi)向外觀測(cè)視覺(jué)，比如vSlam，特點(diǎn)是便攜、視角理論無(wú)限大、定位精度相對(duì)較低，應(yīng)用領(lǐng)域是移動(dòng)機(jī)器人等。在VR方面應(yīng)用得比較廣泛的就是Oculus第一代產(chǎn)品Oculus Rift，采用外定位技術(shù)來(lái)做定位，把相機(jī)安裝在應(yīng)用環(huán)境的外部，通過(guò)相繼觀測(cè)使用者頭部或者手部所佩戴物體上面的Marker來(lái)定位頭部和手部的空間位置。

前幾年的時(shí)候已經(jīng)逐漸被后面Inside-Out所替代了，替代的主要原因就是成本和安裝便捷性的問(wèn)題。這些年越來(lái)越多的公司采用自定位。自定位方案有兩種細(xì)分的流派：

一種是基于Marker，手部定位就是Marker，特點(diǎn)是定位精度比較高，適用于高速和高精度的定位場(chǎng)景；

另外一種是基于無(wú)marker，頭部的定位就是無(wú)marker的方式，安裝比較方便，精度低一些，容易受到環(huán)境的影響。從外定位和自定位比較起來(lái)看，有很多指標(biāo)說(shuō)明它們的區(qū)別.

從精度上看，外定位高一些，可以做到毫米級(jí)；自定位只能做到厘米級(jí)。兩者延遲差不多。可移動(dòng)范圍，外定位一定要在環(huán)境中布置一圈攝像頭，在此基礎(chǔ)上才能實(shí)現(xiàn)外定位；成本，外定位的安裝成本和使用成本比較高，比較麻煩.

自定位非常方便，所以在C端應(yīng)用上非常受歡迎，這也是為什么Inside-Out越來(lái)越流行的原因。外部傳感器，外定位需要設(shè)置攝像機(jī)，自定位不需要；抗遮擋方面，外定位會(huì)受到影響，而自定位是不受影響。

說(shuō)一下公司在inside-Out上的一些積累。公司從2015開(kāi)始研究AR/VR的定位，開(kāi)始研究的是外定位，后來(lái)切換到了自定位，我們基于雙目做的自定位技術(shù)，在研究Inside-Out的時(shí)候我們面臨了幾個(gè)方面的挑戰(zhàn)。  

   第一，手柄上面光帶方案的設(shè)計(jì)難度很大，別小看Oculus上面小小的光帶，有很多LED，LED的數(shù)量、布局都有講究，另外它的大小和尺寸很關(guān)鍵。做技術(shù)的人都喜歡光帶設(shè)計(jì)得大一點(diǎn)，大一點(diǎn)容易識(shí)別，但是作為消費(fèi)者場(chǎng)景來(lái)講不太好，安裝不方便，用起來(lái)也不美觀，對(duì)于C端產(chǎn)品的銷售肯定不利的，因此兩者之間需要形成平衡，而且我們作為技術(shù)公司，開(kāi)發(fā)的時(shí)候還要時(shí)時(shí)刻刻注意專利的問(wèn)題。因?yàn)锳R/VR是一個(gè)全球競(jìng)爭(zhēng)的舞臺(tái)，Oculus和微軟在這個(gè)領(lǐng)域布局已經(jīng)很多年了，因此要注意專利的規(guī)避，這是第一個(gè)難點(diǎn)。

   第二，初始化的問(wèn)題。因?yàn)镃V方案最大的痛點(diǎn)和難點(diǎn)就是視場(chǎng)角的問(wèn)題，Controller會(huì)超過(guò)視線范圍，超出范圍回來(lái)之后，要對(duì)于攝像機(jī)進(jìn)行初始化，初始化做得不好就會(huì)延遲初始化或者卡頓，最好在攝像機(jī)一幀的時(shí)間內(nèi)完成初始化的工作。這對(duì)于初始化的算法有很高的要求，需要快速初始化才能讓消費(fèi)者感覺(jué)不到延遲和卡頓，很快自然而然追蹤手柄正確的位置。

  第三，多個(gè)Controller交叉、重疊、遮擋的情況的處理，出現(xiàn)重疊之后不能讓它出現(xiàn)漂移和出錯(cuò)，這在算法設(shè)計(jì)當(dāng)中是非常大的難題。

前面這些是五星級(jí)的難題。后面還有三個(gè)難題：

   第一，為了降低成本和功耗，不可能把頭部追蹤的Camera和手部的Camera分開(kāi)，Camera既要實(shí)現(xiàn)頭部追蹤，也要進(jìn)行手部追蹤，要十分復(fù)用，這需要做到切換，這就要避開(kāi)專利的問(wèn)題；

   第二，高速跟蹤的問(wèn)題，手里拿的Controller最快達(dá)到7秒，高速運(yùn)動(dòng)之下，咱們手部的算法是否適合運(yùn)動(dòng)的姿態(tài)；

   第三，把算法移動(dòng)到嵌入平臺(tái)的問(wèn)題。現(xiàn)在都要跑一體機(jī)，像高通、麒麟海思這樣的平臺(tái)，處理性能還是有區(qū)別的，怎么讓算法跑到平臺(tái)上，不再占用CPU，需要把DSP用好，這也是一個(gè)挑戰(zhàn)。

現(xiàn)在已經(jīng)完成了第一代XR雙目定位方案的一個(gè)研發(fā)，推出來(lái)的產(chǎn)品實(shí)現(xiàn)了inside-Out雙目的追蹤，F(xiàn)OV是170度，而且可以使用低成本，Camera微機(jī)分布就可以了。

這是我們?cè)趯?shí)踐過(guò)程中得到的參數(shù)，包括傳感器數(shù)量、分辨率、幀率、視場(chǎng)角、最大距離、動(dòng)態(tài)的角度、精度、動(dòng)態(tài)的位置精度、預(yù)算延遲以及占用的實(shí)際功耗和CPU占用率，這是我們實(shí)際測(cè)量出來(lái)的結(jié)果。

從雙目開(kāi)始到四目是一個(gè)趨勢(shì)。因?yàn)槲覀冊(cè)谘邪l(fā)過(guò)程中和與客戶的對(duì)接過(guò)程中發(fā)現(xiàn)一個(gè)問(wèn)題：雙目有一個(gè)局限性，F(xiàn)OV不夠大，F(xiàn)OV小的話會(huì)不斷超出FOV的視野范圍，導(dǎo)致用戶經(jīng)常遇到初始化的問(wèn)題。

總之，它的效果體驗(yàn)不如四目方案好，因此我們往四目方案演進(jìn)。但演進(jìn)并非簡(jiǎn)單地把兩個(gè)攝像頭換成四個(gè)攝像頭，將攝像頭進(jìn)行堆砌，要處理的問(wèn)題很多。因?yàn)樗哪繑U(kuò)展了范圍，因此交疊的區(qū)域小了，鏡頭的畸變非常厲害，怎么做呢？要做到非常高精度的定位才行，這是難點(diǎn)。二是運(yùn)算量大了很多，雙目變成四目，運(yùn)動(dòng)量翻書(shū)了一番，但對(duì)于四目的處理量又不能很大。

將性能做一個(gè)提升，F(xiàn)OV從170度變成220度，垂直視角增加了一倍，另外在動(dòng)態(tài)的角度定位誤差和位置定位誤差方面也進(jìn)行了大幅的優(yōu)化。

我們看一下雙目和四目的對(duì)比，這是我們的演示視頻，左邊是雙目定位，右邊是四目定位方案。每一幅圖左邊是原始圖象，右邊是它所還原出來(lái)的六軸的姿態(tài)，我們看一下演示的視頻。

演示過(guò)程中，用戶會(huì)出現(xiàn)各種各樣的動(dòng)作，比如有遮擋、交叉、重疊，還會(huì)把手伸到后方再拿出來(lái)，讓我們實(shí)現(xiàn)初始化的過(guò)程。追蹤系統(tǒng)還是能夠非常靈活和穩(wěn)定地追蹤它的效果和位置。右側(cè)是我們四目的追蹤系統(tǒng)，運(yùn)動(dòng)起來(lái)使它的范圍大幅擴(kuò)大了，這樣使得用戶體驗(yàn)更好，避免它超出這個(gè)基線之后需要用IMU來(lái)追蹤的問(wèn)題，使得它的體驗(yàn)會(huì)更加流暢和連貫。

另外，這里面要解決好的問(wèn)題還包括，用戶使用過(guò)程中或者參加展會(huì)，會(huì)遇到環(huán)境光干擾的問(wèn)題，這需要在我們的算法上進(jìn)行比較好的處理。這是我們的對(duì)比結(jié)果，從視場(chǎng)角到定位精度再到延遲，能看到我們有很大的提升。

我們公司2014年成立，是一個(gè)專注于做高精度定位傳感器的公司，公司成立以來(lái)一直做高精度定位的算法以及算法芯片的研發(fā)。目前我們主要的產(chǎn)品線是在機(jī)器人層面的產(chǎn)品線，做激光雷達(dá)，里面的芯片也是我們?cè)O(shè)計(jì)的。

目前我們?cè)谛袠I(yè)里是頭部供應(yīng)商的定位。同時(shí)，第二條線是在AR/VR領(lǐng)域，從2015年開(kāi)始做AR/VR的工作，2015年的時(shí)候與愛(ài)奇藝合作，為它們提供外定位方案的解決方案。今年年初的時(shí)候完成了2億的B輪融資。

這是我們公司的主營(yíng)業(yè)務(wù)：

第一，機(jī)器人里面的激光雷達(dá)，包括這里面的三大廠商，石頭、科沃斯、小米，其中有兩家都是我的客戶，出貨量今年達(dá)到將近200萬(wàn)臺(tái)；

第二，VR領(lǐng)域，專門(mén)為客戶提供高精度6DoF的模組；

第三，工業(yè)醫(yī)療領(lǐng)域提供高精度定位系統(tǒng)，中國(guó)商用飛機(jī)公司也是我們的用戶。

這是我們公司的愿景，致力于成為全球計(jì)算機(jī)視覺(jué)空間定位領(lǐng)先的企業(yè)。