TWI700614B - 追蹤系統的操作方法、控制器、追蹤系統及非揮發性電腦可讀取記錄媒體 - Google Patents

追蹤系統的操作方法、控制器、追蹤系統及非揮發性電腦可讀取記錄媒體 Download PDF

Info

Publication number
TWI700614B
TWI700614B TW107113076A TW107113076A TWI700614B TW I700614 B TWI700614 B TW I700614B TW 107113076 A TW107113076 A TW 107113076A TW 107113076 A TW107113076 A TW 107113076A TW I700614 B TWI700614 B TW I700614B
Authority
TW
Taiwan
Prior art keywords
movement vector
client device
processor
relative movement
host device
Prior art date
Application number
TW107113076A
Other languages
English (en)
Other versions
TW201839558A (zh
Inventor
呂幸妤
翁立剛
潘光瑜
陳遠東
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201839558A publication Critical patent/TW201839558A/zh
Application granted granted Critical
Publication of TWI700614B publication Critical patent/TWI700614B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Abstract

一種追蹤系統的操作方法。此操作方法包含以下步驟:取得用戶端裝置的第一相對移動向量;取得與長度相關的比例資訊;依據第一相對移動向量以及比例資訊計算用戶端裝置的第一實際移動向量;以及由處理器融合用戶端裝置的物件資訊以及第一實際移動向量以產生用戶端裝置的3D位置。

Description

追蹤系統的操作方法、控制器、追蹤系統及非揮發性電腦可讀取記錄媒體
本案涉及一種追蹤系統的操作方法、控制器、追蹤系統及非揮發性電腦可讀取記錄媒體。具體而言,本案涉及一種用以判定虛擬實境控制器的實際運動向量的追蹤系統的操作方法、控制器、追蹤系統及非揮發性電腦可讀取記錄媒體。
隨著電子技術的進步,追蹤系統越來越常被使用。
定位技術在VR環境中非常重要,定位的準確性會影響VR用戶的整體體驗。因此,如何準確定位VR系統的 VR裝置是本領域需要解決的重要研究課題。但是,由於單眼上的限制,X方向和Y方向的值的偵測為與表面上的距離有關的比例變體。也就是說,相機傳感器偵測到的變化值可能不是三維空間內客戶端裝置的實際變化值。
本案的一實施態樣涉及一種追蹤系統的操作方法。此操作方法包含以下步驟:取得用戶端裝置的第一相對移動向量;取得與長度相關的比例資訊;依據第一相對移動向量以及比例資訊計算用戶端裝置的第一實際移動向量;以及由處理器融合用戶端裝置的物件資訊以及第一實際移動向量以產生用戶端裝置的3D位置。
本案的一實施態樣涉及一種控制器。此控制器包含第一移動感測器、第二移動感測器、第一深度感測器、第二深度感測器以及處理器。第一移動感測器用以取得控制器於第一虛擬平面上的第一移動向量。第二移動感測器用以取得控制器於第二虛擬平面上的第二移動向量。第一深度感測器用以取得與第一虛擬平面有關的第一深度資訊。第二深度感測器用以取得與第二虛擬平面有關的第二深度資訊。處理器用以依據一第移動向量、第二移動向量、第一深度資訊以及第二深度資訊計算控制器的第一實際移動向量。
本案的一實施態樣涉及一種追蹤系統。此追蹤系統包含用戶端裝置、第一空中滑鼠以及主機裝置。第一空中滑鼠用以取得用戶端裝置於第一虛擬平面上的第一移動 向量。慣性感測單元用以取得用戶端裝置的慣性感測單元移動向量。主機裝置包含處理器。處理器用以取得與長度相關的比例資訊,以依據第一移動向量、慣性感測單元移動向量以及比例資訊計算用戶端裝置的第一實際移動向量,並用以融合用戶端裝置的物件資訊以及第一實際移動向量以產生用戶端裝置的3D位置。
本案的一實施態樣涉及一種非揮發性電腦可讀取記錄媒體,用以儲存電腦程式,其中在執行電腦程式時,將致使一或多處理元件執行複數操作包含:接收控制器的第一相對移動向量;接收與長度相關的比例資訊;依據第一相對移動向量以及比例資訊計算控制器的第一實際移動向量;以及融合第一相對移動向量、比例資訊以及第一實際移動向量以產生控制器的3D位置。
透過本案的實施方式,追蹤系統可以準確地取得X、Y、Z轉換。
100‧‧‧追蹤系統
110‧‧‧主機裝置
112、155A、155B‧‧‧處理器
116‧‧‧追蹤器
114‧‧‧記憶體
152A、152B‧‧‧空中滑鼠
153A、153B‧‧‧移動感測器
154、118‧‧‧慣性感測單元
150‧‧‧用戶端裝置
FOV‧‧‧視野範圍
P1a、P1b、P2、P3‧‧‧位置
300‧‧‧控制器
310‧‧‧處理器
330A、330B‧‧‧移動感測器
350A、350B‧‧‧深度感測器
400‧‧‧操作方法
S410至S470‧‧‧步驟
第1圖為根據本案一些實施例所繪示的追蹤系統的示意圖;第2圖為根據本發明一些實施例所繪示的視野範圍(field of view)的示意圖;第3圖為根據本發明一些實施例所繪示的控制器的示意圖;以及 第4圖為根據本發明一些實施例所繪示的操作方法的流程圖。
以下將以圖式及詳細敘述清楚說明本揭示內容之精神,任何所屬技術領域中具有通常知識者在瞭解本揭示內容之實施例後,當可由本揭示內容所教示之技術,加以改變及修飾,其並不脫離本揭示內容之精神與範圍。
關於本文中所使用之『電性連接』,可指二或多個元件相互直接作實體或電性接觸,或是相互間接作實體或電性接觸,而『電性連接』還可指二或多個元件相互操作或動作。
關於本文中所使用之『第一』、『第二』、...等,並非特別指稱次序或順位的意思,亦非用以限定本發明,其僅為了區別以相同技術用語描述的元件或操作。
關於本文中所使用之『包含』、『包括』、『具有』、『含有』等等,均為開放性的用語,即意指包含但不限於。
關於本文中所使用之『及/或』,係包括所述事物的任一或全部組合。
關於本文中所使用之方向用語,例如:上、下、左、右、前或後等,僅是參考附加圖式的方向。因此,使用的方向用語是用來說明並非用來限制本案。
關於本文中所使用之用詞(terms),除有特 別註明外,通常具有每個用詞使用在此領域中、在此揭露之內容中與特殊內容中的平常意義。某些用以描述本揭露之用詞將於下或在此說明書的別處討論,以提供本領域技術人員在有關本揭露之描述上額外的引導。
第1圖為根據本案一些實施例所繪示的追蹤系統100的示意圖。如第1圖所繪示,追蹤系統100包含主機裝置110以及用戶端裝置150。追蹤系統100可被實作為,例如,虛擬實境(VR)、擴增實境(AR)、混和實境(MR),或相關環境。
於一些實施例中,主機裝置110透過有線或無線連線與用戶端裝置150進行通訊。例如Bluetooth,WIFI,USB,等。
請參閱第1圖。於一些實施例中,主機裝置110更包含記憶體114。記憶體114耦接於處理器112。記憶體114用以儲存追蹤系統100的環境的地圖資料庫。依據地圖資料庫以及用戶端裝置150的相對移動向量,處理器112更用以取得用戶端裝置150位於環境之內的3D位置。
於一些實施例中,主機裝置110包含追蹤器116。追蹤器116耦接於處理器112。追蹤器116用以取得物件資訊(例如,物件的形狀、顏色、特徵或其他)以及建立3D環境,例如同步定位與地圖構建(SLAM或simultaneous localization and mapping),用以判斷是否用戶端裝置150位於主機裝置110的視野範圍之內。處理器112更用以判斷是否用戶端裝置150位於主機裝置110的視野範圍之內。
於一些實施例中,主機裝置110更包含慣性感測 單元118。慣性感測單元118耦接於處理器112。慣性感測單元118用以取得主機裝置110的移動量以及旋轉角動量。
於一些實施例中,用戶端裝置150包含空中滑鼠152A、152B以及慣性感測單元154。於一些實施例中,空中滑鼠152A包含移動感測器153A以及處理器155A。空中滑鼠152B包含移動感測器153B以及處理器155B。主機裝置110包含處理器112。於連接關係上,慣性感測單元154耦接於空中滑鼠152A以及空中滑鼠152B。處理器155A耦接於移動感測器153A。處理器155B耦接於移動感測器153B。於一些實施例中,處理器155A以及155B可為,例如,處理器(DSP),但本實施不以此為限。為了方便說明,移動感測器153A、153B可為相機。但本實施不以此為限。
於一些實施例中,空中滑鼠152A由移動感測器153A用以使用稱為光流的方法等偵測X方向以及Y方向的改變值。同樣地,空中滑鼠152B用以由移動感測器153B使用稱為光流的方法等偵測Y方向以及Z方向的改變值。於一些實施例中,X方向、Y方向以及Z方向互相垂直。於一些實施例中,移動感測器153A以及153B可由其他元件替代,例如雷達、超聲波、激光測距儀等,但本案不以此為限。
於一些實施例中,移動感測器153A用以取得用戶端裝置150於第一虛擬平面上的移動向量,例如,XY平面。移動感測器153B用以取得用戶端裝置150於第二虛擬平面上的移動向量。第二虛擬平面垂直於第一虛擬平面,例如,YZ平面。也就是說,由移動感測器153A於XY平面上取得的移動向 量包含X方向上的向量以及Y方向上的向量。由移動感測器153B取得的YZ平面上的移動向量包含Y方向上的向量以及Z方向上的向量。於一些實施例中,X方向,Y方向,以及Z方向互相垂直。於一些實施例中,慣性感測單元154用以取得由時間點t1至時間點t2的移動向量。於一些實施例中,用戶端裝置150傳送偵測的由時間點t1至時間點t2於XY平面上的移動向量及/或於YZ平面上的移動向量至主機裝置110。依據由慣性感測單元154偵測的由時間點t1至時間點t2於XY平面上的移動向量及/或YZ平面上的移動向量,主機裝置110的處理器112取得主機裝置110以及用戶端裝置150之間的相對移動向量。
接著,主機裝置110的處理器112更計算用戶端裝置150的實際移動向量。詳細而言,依據由追蹤器116取得的關於用戶端裝置150的位置資訊,處理器112估計基於地圖資料庫比例資訊。此外,結合由追蹤器116取得的比例資訊、關於用戶端裝置150的位置資訊,以及地圖資料庫,主機裝置110的處理器112計算用戶端裝置150於3D環境中的3D位置。
例如,若由移動感測器153A取得的用戶端裝置150由時間點t1至時間點t2於XY平面上的移動向量為(3,-4)。接著,由慣性感測單元154偵測的由時間點t1至時間點t2的移動向量為(30,-40,0)。於此情況下,基於主機裝置110的座標以及地圖資料庫,處理器112取得實際移動向量以及相對移動向量之間的比例資訊為10厘米/像素 (cm/pixel)。於次一個時間區間,若由移動感測器153A取得的用戶端裝置150於XY平面上的移動向量為(-5,5);由慣性感測單元154偵測由時間點t2至時間點t3的移動向量為(-40,40,0)。因此,處理器112取得實際移動向量以及相對移動向量之間的比例資訊為大約8厘米/像素。然而,於不同的時間區間,比例資訊應被重新計算以確保用戶端裝置150的3D位置。
此外,3D位置包含6個自由度(DoF)矩陣(3個移量以及3個旋轉)。於一些實施例中,主機裝置110的3D位置可由追蹤器116以及慣性感測單元118直接估計。相對於主機裝置110的3D位置的用戶端裝置150的3D位置可由主機裝置110透過使用地圖資料庫由深度估計比例資訊以及相對移動向量以取得。因此,主機裝置110基於由追蹤器116取得的物件資訊以及比例資訊最終產生用戶端裝置150的3D位置。
請參閱第2圖。第2圖為根據本發明一些實施例所繪示的視野範圍(field of view,FOV)的示意圖。若用戶端裝置150位於位置P1a,處理器112判斷用戶端裝置150位於主機裝置110的視野範圍之內。另一方面,若用戶端裝置150位於位置P2,處理器112判斷用戶端裝置150不位於主機裝置110的視野範圍之內。
於一些實施例中,物件資訊包含由追蹤器116拍攝的圖像。例如,追蹤器116拍攝圖像以判斷是否用戶端裝置150is位於主機裝置110的視野範圍之內。也就是說, 若用戶端裝置150位於追蹤器116於時間點t1拍攝的圖像內,處理器112判斷s用戶端裝置150於時間點t1位於主機裝置110的視野範圍之內。然而,本實施不以上述方法為限。
請再次參閱第1圖。若判定用戶端裝置150位於主機裝置110的視野範圍之內,處理器112is更用以以高可信度更新地圖資料庫以及準確地取得比例資訊。另一方面,若判定用戶端裝置150不位於主機裝置110的視野範圍之內,處理器112更用以判斷用戶端裝置150是否曾經訪問位置。
若判定用戶端裝置150曾經訪問位置,處理器112更用以依據地圖資料庫的歷史資訊判斷用戶端裝置150位於環境之內的位置。另一方面,若判定用戶端裝置150從未訪問位置,處理器112更用以以低可信度更新地圖資料庫。
請同時參閱第1圖以及第2圖。例如,若用戶端裝置150於時間點t1位於位置P1a以及判定用戶端裝置150於時間點t2移動至位置P1b。由於用戶端裝置150位於主機裝置110的視野範圍之內,處理器112以高可信度更新地圖資料庫以及準確地取得比例資訊。也就是說,處理器112以高準確率計算實際移動向量。
再舉例而言,若用戶端裝置150於時間點t1位於位置P3以及於時間點t2位於位置P2。由於用戶端裝置150不位於主機裝置110的視野範圍之內,處理器112判斷是否用戶端裝置150曾經訪問位置P2。若判定用戶端裝置 150曾經訪問位置P3,由於處理器112已經知道位置P3的環境,處理器112依據地圖資料庫的歷史資訊判斷用戶端裝置150位於環境之內的位置。此外,處理器112取得位置P3的歷史比例資訊以計算用戶端裝置150的實際移動向量。也就是說,前一次用戶端裝置150訪問位置P3時,記憶體114儲存位置P3的比例資訊,這可以做為當戶端裝置150移動至視野範圍以外到位置P3時的位置P3的歷史比例資訊。
另一方面,若判定用戶端裝置150從未訪問位置P3,處理器112以低可信度更新地圖資料庫。
請參閱第3圖。第3圖為根據本發明一些實施例所繪示的控制器300的示意圖。於一些實施例中,控制器300可被視為如第1圖繪示的用戶端裝置150。如第3圖所繪示,控制器300包含處理器310、移動感測器330A、330B,以及深度感測器350A、350B。於連接關係上,移動感測器330A、330B以及深度感測器350A、350B分別連接至處理器310。為了方便說明,移動感測器330A、330B可由相機實現,但本實施不以此為限。
於操作關係上,移動感測器330A用以取得控制器300於第一虛擬平面上的移動向量。也就是說,由移動感測器330A取得的移動向量包含X方向上的向量以及Y方向上的向量。X方向垂直於Y方向。深度感測器350A用以取得Z方向上的深度資訊,Z方向垂直於第一虛擬平面。
移動感測器330B用以取得控制器300於第二虛擬平面上的移動向量。也就是說,由移動感測器330B取 得的移動向量包含Y方向上的向量以及Z方向上的向量,Y方向垂直於Z方向。深度感測器350B用以取得X方向上的深度資訊,X方向垂直於第一虛擬平面。
透過控制器300於XY平面以及YZ平面上的相對移動向量,以及X方向以及Z方向上的深度資訊,處理器310計算3D環境中的實際移動向量。於一些實施例中,相對移動向量以及X方向和Z方向上的深度資訊可被傳送至主機裝置110,以取得實際移動向量。
於一些實施例中,深度感測器350A、350B可為,例如,超聲波單元、雷達、激光測距儀等,但本案不以此為限。然而,本案不以此為限。
須注意的是追蹤系統100以及控制器300的裝置以及元件的實現方式並不以上述為限。此外,裝置以及元件之間的連接方式不以上述為限。任何裝置以及元件的實施方式與連接關係可使追蹤系統100以及控制器300能夠實踐本案所述的技術特徵及/或權利要求均可被使用。
基於上述,本實施中的追蹤系統100以及控制器300可由相對移動向量以及實際移動向量之間的比例資訊以高準確率計算特定物件的實際移動向量(例如,用戶端裝置150或控制器300),比例資訊可由深度感測器350A、350B或地圖資料庫取得。
請參閱第4圖。第4圖為根據本發明一些實施例所繪示的操作方法400的流程圖。然而,本案不以此為限。
應注意到,此操作方法可應用於與於第1圖中所 示結構之追蹤系統100或第3圖中所示結構之控制器300相同或相似之追蹤系統或控制器。而為使敘述簡單,以下將根據本發明一實施例,以第1圖中的追蹤系統100或第3圖中的控制器300為例進行對操作方法敘述,然本發明不以1圖中的追蹤系統100或第3圖中的控制器300的應用為限。
此外,操作方法亦可實作為一電腦程式,並儲存於一非暫態電腦可讀取記錄媒體中,而使電腦、電子裝置、或前述一或如第1圖所示之處理器112、155、如第3圖所示之處理器310讀取此記錄媒體後執行此一操作方法。非暫態電腦可讀取記錄媒體可為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之非暫態電腦可讀取記錄媒體。
另外,應瞭解到,在本實施方式中所提及的操作方法的操作,除特別敘明其順序者外,均可依實際需要調整其前後順序,甚至可同時或部分同時執行。
再者,在不同實施例中,此些操作亦可適應性地增加、置換、及/或省略。
參照第4圖,操作方法400包括以下操作。
於步驟S410中,取得用戶端裝置的相對移動向量。於一些實施例中,步驟S410可由第1圖的移動感測器153A或153B以及慣性感測單元154或第3圖移動感測器330A、330B執行。於一些實施例中,於步驟410取得的相對移動向量包含XY平面上的向量以及YZ平面上的向量。 XY平面垂直於YZ平面。於一些實施例中,步驟410更包含於第一時間點取得第一幀,以及於第二時間點取得第二幀,以及依據第一幀以及第二幀計算用戶端裝置150基於第一時間點以及第二時間點之間的時間間隔於平面上的相對移動向量,例如,XY平面或YZ平面。
例如,第1圖的移動感測器153A於第一時間點t1取得XY平面或YZ平面上的第一幀,並於第二時間點t2取得XY平面或YZ平面上的第二幀。移動感測器153A傳送第一幀以及第二幀至處理器155A。處理器155A,依據第一幀以及第二幀,計算用戶端裝置150基於第一時間點t1以及第二時間點t2之間的時間間隔於XY平面或YZ平面上的相對移動向量。
再舉例而言,第3圖的移動感測器330A取得於XY平面上於第一時間點t1的第一幀以及取得於第二時間點t2的第二幀。移動感測器330A傳送第一幀以及第二幀至處理器310。處理器310,依據第一幀以及第二幀,計算控制器300基於第一時間點t1以及第二時間點t2之間的時間間隔於XY平面上的相對移動向量。同樣地,第3圖的移動感測器330B取得YZ平面上的於於第一時間點t1的第三幀以及於取得於第二時間點t2的第四幀。移動感測器330B傳送第三幀以及第四幀至處理器310。處理器310依據第三幀以及第四幀,計算控制器300基於第一時間點t1以及第二時間點t2之間的時間間隔於YZ平面上的相對移動向量。
於步驟S430中,取得與長度相關的比例資訊。 於一些實施例中,比例資訊可依據第1圖的地圖資料庫取得或由第3圖的深度感測器350A、350B取得。例如,第1圖的慣性感測單元154更傳送第一時間點t1以及第二時間點t2之間的移動向量至處理器112,以使處理器112基於地圖資料庫計算相對移動向量以及實際移動向量之間的比例資訊。再舉例而言,第3圖的深度感測器350A、350B偵測控制器300以及平面之間的深度資訊。於一些實施例中,深度感測器350A取得XY平面上的深度資訊以及深度感測器350B取得YZ平面上的深度資訊。XY平面以及YZ平面互相垂直。據此,處理器112依據由空中滑鼠152A以及153B偵測的相對移動向量,以及關於XY平面以及YZ平面的深度資訊計算比例資訊。
於步驟S450中,依據移動向量以及比例資訊計算用戶端裝置的實際移動向量。於一些實施例中,步驟S450可由第1圖的處理器112或第3圖的處理器310執行。例如,第1圖的處理器112依據由空中滑鼠152A、152B取得的移動向量以及由處理器112取得的比例資訊計算用戶端裝置150的實際移動向量。再舉例而言,第3圖的處理器310依據由移動感測器330A、330B取得的相對移動向量以及由深度感測器350A、350B取得的深度資訊計算控制器300的實際移動向量。
於步驟S470中,融合用戶端裝置的物件資訊以及實際移動向量以產生用戶端裝置的3D位置。於一些實施例中,步驟S470可由第1圖的處理器112執行。例如,第1 圖的處理器112融合由追蹤器116取得的用戶端裝置的物件資訊以及由處理器112取得的實際移動向量以產生用戶端裝置150的3D位置。詳細而言,結合比例資訊,由追蹤器116取得的關於用戶端裝置150的位置資訊,以及記憶體114儲存的地圖資料庫,主機裝置110的處理器112計算用戶端裝置150於3D環境中的3D位置。
再舉例而言,第1圖的處理器112融合相對移動向量由移動感測器330A、330B取得的相對移動向量、由深度感測器350A、350B取得的比例資訊,以及由處理器310取得的實際移動向量以產生a用戶端裝置的3D位置。詳細而言,結合比例資訊、由追蹤器116取得的用戶端裝置300的位置資訊以及記憶體114儲存的地圖資料庫,主機裝置110的處理器112計算用戶端裝置300於3D環境中的3D位置。
於一些實施例中,用戶端裝置150或300的3D位置為相對於主機裝置110的3D位置,且用戶端裝置150或300的3D位置可由主機裝置110估計比例資訊、地圖資料庫以及相對移動向量以取得。
於一些實施例中,操作方法400更包含依據地圖資料庫以及實際移動向量判斷用戶端裝置位於環境之內的位置。請同時參閱第1圖以及第4圖。於一些實施例中,依據地圖資料庫以及實際移動向量判斷用戶端裝置150於環境之內的位置的步驟包含判斷用戶端裝置150是否位於主機裝置110的視野範圍之內。若判定用戶端裝置150位於主機裝置110的視野範圍之內,處理器112更用以以高可信 度更新地圖資料庫以及準確地取得比例資訊。另一方面,若判定用戶端裝置150不位於主機裝置110的視野範圍之內,處理器112更用以判斷用戶端裝置150是否曾經訪問位置。若判定用戶端裝置150曾經訪問位置,處理器112更用以依據地圖資料庫的歷史資訊判斷用戶端裝置150位於環境之內的位置。另一方面,若判定用戶端裝置150從未訪問位置,處理器112更用以以低可信度更新地圖資料庫。
關於上述操作方法的具體細節可參照前述段落,故在此不贅述。
透過上述操作,追蹤系統100或控制器300可以高準確率計算特定物件(例如,用戶端裝置150或控制器300)的實際移動向量。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何熟習此技藝者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
400‧‧‧操作方法
S410至S470‧‧‧步驟

Claims (18)

  1. 一種追蹤系統的操作方法,包含:取得一用戶端裝置的一第一相對移動向量與一第二相對移動向量;取得與長度相關的一比例資訊;依據該第一相對移動向量以及該比例資訊計算該用戶端裝置的一第一實際移動向量;以及由一處理器融合該用戶端裝置的該物件資訊以及該第一實際移動向量以產生該用戶端裝置的一3D位置;其中該操作方法更包含:偵測與該第一相對移動向量有關的一第一深度資訊以及與該第二相對移動向量有關的一第二深度資訊;其中與該第一相對移動向量有關的該第一深度資訊垂直於與該第二相對移動向量有關的該第二深度資訊。
  2. 如請求項1所述之操作方法,其中該第一相對移動向量包含與一2D平面有關的一移動向量以及由該用戶端裝置的一第一慣性感測單元偵測的一移動向量。
  3. 如請求項2所述之操作方法,其中與長度相關的該比例資訊是基於取得儲存於一主機裝置的一記憶體中的一地圖資料庫。
  4. 如請求項2所述之操作方法,其中依據該第一相對移動向量以及該比例資訊以計算該用戶端裝置的該第一實際移動向量包含:由一第二慣性感測單元以及一追蹤器以取得一主機裝置的該3D位置;以及依據該主機裝置的該3D位置以及該移動向量計算該第一相對移動向量。
  5. 如請求項1所述之操作方法,其中該比例資訊係依據該第一相對移動向量、該第二相對移動向量、該第一深度資訊以及該第二深度資訊以取得。
  6. 如請求項1所述之操作方法,更包含:由該主機裝置的該處理器判斷該用戶端裝置是否位於一主機裝置的一視野範圍之內;以及若判定該用戶端裝置位於該主機裝置的該視野範圍之內,由該處理器以高可信度更新一地圖資料庫以及準確地取得該比例資訊。
  7. 如請求項6所述之操作方法,其中判斷該用戶端裝置是否位於該主機裝置的該視野範圍之內包含:取得該物件資訊以判斷該用戶端裝置是否位於該主機裝置的該視野範圍之內, 其中該物件資訊包含一物件的形狀、顏色及/或特徵。
  8. 如請求項6所述之操作方法,更包含:若判定該用戶端裝置不位於該主機裝置的該視野範圍之內,由該處理器判斷該用戶端裝置是否曾經訪問該位置;若判定該用戶端裝置曾經訪問該位置,由該處理器依據該地圖資料庫的歷史資訊判斷該用戶端裝置的位於該環境之內的一位置;以及若判定該用戶端裝置從未訪問該位置,由該處理器以低可信度更新該地圖資料庫。
  9. 一種控制器,包含:一第一移動感測器,用以取得該控制器於一第一虛擬平面上的一第一移動向量;一第二移動感測器,用以取得該控制器於一第二虛擬平面上的一第二移動向量;一第一深度感測器,用以取得與該第一虛擬平面有關的一第一深度資訊;一第二深度感測器,用以取得與該第二虛擬平面有關的一第二深度資訊;以及一處理器,用以依據該第一移動向量、該第二移動向量、該第一深度資訊以及該第二深度資訊計算該控制器的一第一實際移動向量。
  10. 一種追蹤系統,包含:一用戶端裝置,包含:一第一空中滑鼠,用以取得該用戶端裝置於一第一虛擬平面上的一第一移動向量;一第二空中滑鼠,用以取得該用戶端裝置於一第二虛擬平面上的一第二移動向量,其中該第二虛擬平面垂直於該第一虛擬平面;以及一慣性感測單元,用以取得該用戶端裝置的一慣性感測單元移動向量;以及一主機裝置,包含:一處理器,用以取得與長度相關的一比例資訊,以依據該第一移動向量、該慣性感測單元移動向量以及該比例資訊計算該用戶端裝置的一第一實際移動向量,並用以融合該用戶端裝置的一物件資訊以及該第一實際移動向量以產生該用戶端裝置的一3D位置。
  11. 如請求項10所述之追蹤系統,其中該主機裝置的該處理器更用以依據該第二移動向量、該慣性感測單元移動向量以及該比例資訊計算該用戶端裝置於該第二虛擬平面上的一第二實際移動向量,並用以融合該第一相對移動向量、該第二相對移動向量、該比例資訊、該第一實際移動向量以及該第二實際移動向量以產生該用戶端裝置的該3D位置。
  12. 如請求項10所述之追蹤系統,其中該主機裝置更包含:一記憶體,用以儲存該追蹤系統的一環境的一地圖資料庫;其中該處理器更用以依據該地圖資料庫以及該第一實際移動向量判斷該用戶端裝置位於該3D環境之內的一位置。
  13. 如請求項12所述之追蹤系統,其中該處理器更用以判斷該用戶端裝置是否位於該主機裝置的一視野範圍之內,以及若判定該用戶端裝置位於該主機裝置的該視野範圍之內該視野範圍,該處理器更用以以高可信度更新該地圖資料庫以及準確地取得該比例資訊。
  14. 如請求項13所述之追蹤系統,其中該主機裝置更包含:一追蹤器,用以取得該物件資訊以判斷是否該用戶端裝置位於該主機裝置的該視野範圍之內。
  15. 如請求項14所述之追蹤系統,其中該物件資訊包含一物件的形狀、顏色及/或特徵。
  16. 如請求項13所述之追蹤系統,其中若判定 該用戶端裝置位於該主機裝置的該視野範圍之內,該處理器更用以判斷是該用戶端裝置否曾經訪問該位置,以及若判定該用戶端裝置曾經訪問該位置,該處理器更用以依據該地圖資料庫的歷史資訊判斷該用戶端裝置位於該環境之內的該位置。
  17. 如請求項16所述之追蹤系統,其中若判定該用戶端裝置從未訪問該位置,該處理器更用以以低可信度更新該地圖資料庫。
  18. 一種非揮發性電腦可讀取記錄媒體,用以儲存一電腦程式,其中在執行該電腦程式時,將致使一或多處理元件執行複數操作包含:接收一控制器的一第一相對移動向量與一第二相對移動向量;接收與長度相關的比例資訊;依據該第一相對移動向量以及該比例資訊計算該控制器的一第一實際移動向量;以及融合該第一相對移動向量、該比例資訊以及該第一實際移動向量以產生該控制器的一3D位置;其中該些操作更包含:偵測與該第一相對移動向量有關的一第一深度資訊以及與該第二相對移動向量有關的一第二深度資訊; 其中與該第一相對移動向量有關的該第一深度資訊垂直於與該第二相對移動向量有關的該第二深度資訊。
TW107113076A 2017-04-21 2018-04-17 追蹤系統的操作方法、控制器、追蹤系統及非揮發性電腦可讀取記錄媒體 TWI700614B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762488071P 2017-04-21 2017-04-21
US62/488,071 2017-04-21

Publications (2)

Publication Number Publication Date
TW201839558A TW201839558A (zh) 2018-11-01
TWI700614B true TWI700614B (zh) 2020-08-01

Family

ID=62044498

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107113076A TWI700614B (zh) 2017-04-21 2018-04-17 追蹤系統的操作方法、控制器、追蹤系統及非揮發性電腦可讀取記錄媒體

Country Status (4)

Country Link
US (1) US10564733B2 (zh)
EP (1) EP3392748B1 (zh)
CN (1) CN108733211B (zh)
TW (1) TWI700614B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220317771A1 (en) * 2021-04-01 2022-10-06 Htc Corporation Method for tracking trackers and host
US20230222625A1 (en) * 2022-01-12 2023-07-13 Htc Corporation Method for adjusting virtual object, host, and computer readable storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060027404A1 (en) * 2002-08-09 2006-02-09 Intersense, Inc., A Delaware Coroporation Tracking, auto-calibration, and map-building system
US7400782B2 (en) * 2002-08-28 2008-07-15 Arcsoft, Inc. Image warping correction in forming 360 degree panoramic images
US8260008B2 (en) * 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
CN106537290A (zh) * 2014-05-09 2017-03-22 谷歌公司 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001091218A (ja) 1999-09-14 2001-04-06 Mitsubishi Electric Inf Technol Center America Inc 3次元運動検知装置及び3次元運動検知方法
US20020085097A1 (en) * 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
US7809145B2 (en) * 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
KR101060779B1 (ko) * 2006-05-04 2011-08-30 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 시각, 음향, 관성, 및 혼합 데이터 중 하나 이상에 근거하여 기어링 효과들을 입력에 적용하기 위한 방법들 및장치들
GB0808081D0 (en) 2008-05-02 2008-06-11 In2Games Ltd Bridging ultrasonic position with accelerometer/gyroscope inertial guidance
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US8976172B2 (en) * 2012-12-15 2015-03-10 Realitycap, Inc. Three-dimensional scanning using existing sensors on portable electronic devices
KR101689335B1 (ko) * 2015-04-24 2016-12-23 성균관대학교산학협력단 복수 개의 불확실성 또는 상호 상관성이 있을 수 있는 데이터를 융합하는 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060027404A1 (en) * 2002-08-09 2006-02-09 Intersense, Inc., A Delaware Coroporation Tracking, auto-calibration, and map-building system
US7400782B2 (en) * 2002-08-28 2008-07-15 Arcsoft, Inc. Image warping correction in forming 360 degree panoramic images
US8260008B2 (en) * 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
CN106537290A (zh) * 2014-05-09 2017-03-22 谷歌公司 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法

Also Published As

Publication number Publication date
EP3392748B1 (en) 2020-08-12
EP3392748A2 (en) 2018-10-24
US10564733B2 (en) 2020-02-18
TW201839558A (zh) 2018-11-01
CN108733211B (zh) 2020-05-22
CN108733211A (zh) 2018-11-02
EP3392748A3 (en) 2018-12-19
US20180307331A1 (en) 2018-10-25

Similar Documents

Publication Publication Date Title
US20210190497A1 (en) Simultaneous location and mapping (slam) using dual event cameras
CN108700946B (zh) 用于并行测距和建图的故障检测和恢复的系统和方法
JP6198230B2 (ja) 深度カメラを使用した頭部姿勢トラッキング
US9953461B2 (en) Navigation system applying augmented reality
CN108700947B (zh) 用于并发测距和建图的系统和方法
CN107787497B (zh) 用于在基于用户的空间坐标系中检测手势的方法和装置
JP5444952B2 (ja) センサフュージョンによる地図の自動生成、およびそのように自動生成された地図を用いて移動体の移動をするための、装置、方法、ならびにプログラム
RU2572637C2 (ru) Параллельное или выполняемое последовательно в онлайн- и оффлайн- режимах формирование реконструкций для трехмерного обмера помещения
JP2015064724A (ja) 情報処理装置
TWI700614B (zh) 追蹤系統的操作方法、控制器、追蹤系統及非揮發性電腦可讀取記錄媒體
JP7420135B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Chin et al. Accuracy and reliability of optimum distance for high performance Kinect Sensor
US9471983B2 (en) Information processing device, system, and information processing method
TWM560099U (zh) 運用擴增實境技術之室內精確導航系統
Clark et al. Robust vision-based indoor localization
KR20220122287A (ko) 증강 현실 제공 장치의 포즈 결정 방법 및 장치
TW201610764A (zh) 準確定位器具之技術
TW202026861A (zh) 創作裝置、創作方法及儲存媒體
JP6670682B2 (ja) 位置検出方法及び位置検出システム
Babu et al. Gyroscope assisted scalable visual simultaneous localization and mapping
JP6488946B2 (ja) 制御方法、プログラム及び制御装置
TWI730482B (zh) 平面動態偵測系統及偵測方法
US20240077944A1 (en) Information processing device, information processing system, information processing method, and non-transitory computer readable medium
WO2021111613A1 (ja) 3次元地図作成装置、3次元地図作成方法、及び3次元地図作成プログラム
Moshayedi et al. Electronics in Physics & Robotics