TW202409976A

TW202409976A - 物件追蹤方法及主機

Info

Publication number: TW202409976A
Application number: TW112130607A
Authority: TW
Inventors: 楊文杉; 張慈殷
Original assignee: 宏達國際電子股份有限公司
Priority date: 2022-08-16
Filing date: 2023-08-15
Publication date: 2024-03-01

Abstract

本發明的實施例提供一種物件追蹤方法和一種主機。所述方法包含：基於第一經預測運動狀態和校準因數而判定參考運動狀態；取得主機的第一運動資料和參考物件的第二運動資料；基於第一運動資料、第二運動資料以及參考運動狀態而判定參考物件相對於主機的第一相對姿態；以及基於第一相對姿態而判定參考物件的特定姿態。

Description

物件追蹤方法及主機

本發明是有關於一種追蹤機制，且特別是有關於一種物件追蹤方法及主機。

參見圖1，其繪示用於追蹤參考物件的常規機制。在圖1中，主機（例如，頭戴式顯示器（head-mounted display；HMD））例如可透過使用內向外追蹤機制來追蹤參考物件（例如，手持式VR控制器）的姿態，且所取得的姿態可被稱為視覺相對姿態。

然而，視覺相對姿態的品質可受諸如抖動、延遲和/或丟失追蹤的問題影響。因此，由參考物件上的慣性測量單元（inertial measurement unit；IMU）收集的運動資料可用於判定參考物件相對於環境的相對姿態，且相對姿態可以與基於用於改善追蹤效能的主機的主機姿態的視覺相對姿態融合，其中主機姿態可由主機透過使用同時定位與地圖繪製（simultaneous localization and mapping；SLAM）判定。

一般來說，運動資料（例如，IMU資料）用於表徵IMU相對於世界和/或環境的相對姿態。舉例來說，在圖1中，相對姿態可以是主機相對於參考點（其可為環境的座標系G的原點）的相對姿態。相對姿態可為參考點相對於世界的相對姿態（其對應於座標系W）。

為了更好地融合具有視覺相對姿態的相對姿態，需要考慮相對姿態和相對姿態。然而，在常規技術中，僅有在相對姿態保持恒定時，相對姿態才可與視覺相對姿態更好地融合。也就是說，如果相對姿態出現變化，那麼相對姿態無法準確地與視覺相對姿態融合，進而使得無法準確地追蹤參考物件的姿態。

舉例而言，如果主機和參考物件位於汽車（即，主機和參考物件所在的環境）中，且參考點是汽車上的特定點，那麼可假設座標系G為汽車內使用的座標系，且可假設座標系W為對應於汽車外部的環境的座標系（其可理解為世界的座標系）。

在汽車為靜態的情況下，由於相對姿態為恒定的，所以相對姿態可準確地與視覺相對姿態融合。然而，在汽車移動的情況下，由於相對姿態出現變化，因此相對姿態無法恰當地與視覺相對姿態融合，進而無法準確地追蹤參考物件的姿態。

另外，如果主機和參考物件處於具有極少特徵點的環境（例如，具有白色牆壁的環境）中，那麼由於主機姿態中的平移成分（translation component）幾乎為不可用，所以相對姿態也無法與視覺相對姿態恰當地融合。

有鑑於此，本發明涉及一種物件追蹤方法和主機，其可用於解決上述技術問題。

本發明的實施例提供一種適於主機的物件追蹤方法，包括：基於第一經預測運動狀態和校準因數而判定參考運動狀態；取得主機的第一運動資料和參考物件的第二運動資料；基於第一運動資料、第二運動資料以及參考運動狀態而判定參考物件相對於主機的第一相對姿態；以及基於第一相對姿態而判定參考物件的特定姿態。

本發明的實施例提供一種主機，包括非暫時性儲存電路和處理器。非暫時性儲存電路儲存程式碼。處理器連接到非暫時性儲存電路且存取程式碼以執行：基於第一經預測運動狀態和校準因數而判定參考運動狀態；取得主機的第一運動資料和參考物件的第二運動資料；基於第一運動資料、第二運動資料以及參考運動狀態而判定參考物件相對於主機的第一相對姿態；以及基於第一相對姿態而判定參考物件的特定姿態。

現將詳細地對本發明的目前優選實施例進行參考，其實例在隨附圖式中加以說明。只要可能，相同的附圖標號在附圖及描述中用以指代相同或類似部分。

參見圖2，其繪示根據本發明的實施例的主機的示意圖。在圖2中，主機200可為能夠經由執行內向外追蹤機制追蹤其它被追蹤物件（例如，手持式控制器）的姿態的任何裝置，但本發明不限於此。在一些實施例中，主機200可為提供AR/VR服務/內容或類似者的HMD。

在圖2中，主機200包含儲存電路202和處理器204。儲存電路202為靜止或移動隨機存取記憶體（random access memory；RAM）、唯讀記憶體（read-only memory；ROM）、快閃記憶體、硬碟或任何其它類似裝置中的一者或結合，且其記錄可由處理器204執行的多個模組。

處理器204可與儲存電路202耦接，且處理器204可為（例如）通用處理器、專用處理器、常規處理器、數位訊號處理器（digital signal processor；DSP）、多個微處理器、與DSP核心相關聯的一個或多個微處理器、控制器、微控制器、專用積體電路（Application Specific Integrated Circuits；ASIC）、現場可程序設計閘陣列（Field Programmable Gate Array；FPGA）電路、任何其它類型的積體電路（integrated circuit；IC）、狀態機等。

在本發明的實施例中，處理器204可存取儲存在儲存電路202中的模組/程式碼以實施本發明中所提供的物件追蹤方法，這將在下文中進一步論述。

參見圖3，其繪示根據本發明的實施例的所提出的方法的迭代運算過程的示意圖。

在圖3中，迭代運算過程可被視為包含兩個子過程：（1）狀態融合過程；和（2）狀態預測過程。

在一個實施例中，處理器204基於經預測運動狀態（稱為）和校準因數（稱為）而判定參考運動狀態（稱為，其中j為與狀態融合過程相關聯的階段索引），其可參考狀態融合過程的下半部分。在一個實施例中，可透過結合經預測運動狀態與校準因數來判定參考運動狀態，且參考運動狀態可表徵為圖3中的“ ”。在一個實施例中，將在與狀態預測過程相關聯的論述中解釋判定經預測運動狀態的方式。

在一個實施例中，在判定校準因數的程序中，處理器204取得參考物件相對於主機200的特定增益（稱為）、參考物件相對於主機200的視覺相對姿態（即，上文所提及的）以及參考物件相對於主機200的運動相對姿態（稱為）。然後，處理器204基於特定增益、視覺相對姿態以及運動相對姿態而判定校準因數。

在本發明的實施例中，特定增益可理解為卡爾曼（Kalman）增益，其可基於在狀態預測過程（稍後將論述）中判定的一些參數而判定。視覺相對姿態可為參考物件相對於主機200的經追蹤的視覺姿態，所述經追蹤的視覺姿態可由處理器204透過執行內向外追蹤機制來判定。運動相對姿態可由處理器204基於由主機200上的第一運動偵測電路（例如，IMU）收集的第一運動資料和由參考物件上的第二運動偵測電路（例如，IMU）收集的第二運動資料來判定，且以下將在與狀態預測過程相關聯的論述中解釋如何判定運動相對姿態。

在判定校準因數的程序中，處理器204可首先判定視覺相對姿態與運動相對姿態之間的姿態差異，其中姿態差異可表示為“ ”。隨後，處理器204可透過（例如）將姿態差異乘以特定增益而基於特定增益及姿態差異判定校準因數。在此情況下，校準因數可表徵為“ ”，如圖3的狀態融合過程中所例示，但本發明不限於此。

在本發明的實施例中，參考運動狀態可用於判定狀態預測過程中的下一個經預測運動狀態。

在本發明的實施例中，在狀態融合過程和狀態預測過程中使用的階段索引可不同。在圖3中，在狀態預測過程中使用的階段索引可為i，且參考運動狀態（其可理解為在狀態融合過程的第j個階段判定的參考運動狀態）可對應於在狀態預測過程的第i個階段判定的經預測運動狀態（）。

在此情況下，上述下一個經預測運動狀態可理解為在狀態預測過程的第（i+1）個階段判定的經預測運動狀態（稱為），且可基於經預測運動狀態、第一運動資料以及第二運動資料而判定經預測運動狀態。

然而，為了更好地理解本發明的概念，以下將以判定經預測運動狀態（即，經預測運動狀態）的方式作為說明性實例，而不以判定經預測運動狀態的方式作為說明性實例。

在圖3中，用於判定經預測運動狀態的第一運動資料和第二運動資料可分別稱作和。在一些實施例中，第一運動資料可包含由主機200上的第一運動偵測電路進行的狀態預測過程的第（i-1）個階段收集的原始IMU資料（例如，3軸加速度和3軸角速度），而第二運動資料可包含由參考物件上的第二運動偵測電路在狀態預測過程的第（i-1）個階段收集的原始IMU資料（例如，3軸加速度和3軸角速度）。

在本發明的實施例中，處理器204可基於第一運動資料、第二運動資料以及參考運動狀態（其可理解為經預測運動狀態）而判定經預測運動狀態。

在一個實施例中，處理器204可判定在座標系C中使用的動態函數（稱為），其中動態函數可考慮狀態預測過程的第i個階段與狀態預測過程的第（i-1）個階段之間的參考運動狀態（即，經預測運動狀態）、第一運動資料、第二運動資料以及時間差（稱為）。

在圖3中，經預測運動狀態可表徵為“ ”。在一個實施例中，動態函數可反應於參考運動狀態、第一運動資料、第二運動資料以及時間差而輸出/產生/判定與第一運動資料和第二運動資料相關聯的第一相對姿態和參數。也就是說，經預測運動狀態可包含與第一運動資料和第二運動資料相關聯的第一相對姿態和參數。

在本發明的實施例中，第一相對姿態可由表示，其可理解為在狀態預測過程的第i個階段中，參考物件相對於主機200的第i個運動相對姿態。在一些實施例中，第一相對姿態可表徵為“ ”，其中、、分別對應於參考物件在狀態預測過程的第i個階段中相對於主機200的平移、定向、速度和角速度，但本發明不限於此。

在一個實施例中，第i個運動相對姿態（即，）可用於判定狀態融合過程的第j個階段的校準因數，而判定狀態融合過程的第j個階段的校準因數的細節可參考先前的說明，於此不另贅述。

在一個實施例中，與第一運動資料相關聯的參數包含在狀態預測過程的第i個階段中，與第一運動偵測電路相關聯的內部參數和外部參數，而所述參數可稱為。與第二運動資料相關聯的參數包含在狀態預測過程的第i個階段中，與第二運動偵測電路相關聯的內部參數和外部參數，而所述參數可稱為。

基此，第二經預測運動狀態可進一步表徵為“ ”，如圖3所示。

在一個實施例中，經預測運動狀態中的內容可用以判定狀態融合過程的第j個階段的特定增益（例如，卡爾曼增益）。

在一個實施例中，在判定特定增益的期間，處理器204可取得參考增益因數（稱為）、經預測運動狀態（其可透過基於以上教示的表徵）以及視覺相對姿態，且據以判定特定增益。

在圖3中的狀態融合過程的第j個階段中，特定增益可表徵為“ ”，其中（其可理解為對經預測運動狀態的內容取偏導數）且為視覺相對姿態的雜訊，但本發明不限於此。

在一個實施例中，可基於特定增益和經預測運動狀態更新參考增益因數。在圖3中，經更新參考增益因數（稱為）可表徵為“ ”，但本發明不限於此。

在一個實施例中，經更新參考增益因數可用於判定狀態預測過程的下一個階段（即，第（i+1）個階段）的新參考增益因數。

然而，為了更好地理解本發明的概念，用於判定參考增益因數的機制將用作實例，但本發明不限於此。

在一個實施例中，在狀態融合過程的第j個階段使用的參考增益因數可對應（或映射）到在狀態預測過程的第i個階段判定的另一參考增益因數，其可稱為。

具體來說，在判定參考增益因數的程序中，處理器204可取得經更新參考增益因數（稱為）和經預測運動狀態，其中經更新參考增益因數可理解為在狀態融合過程的前一階段中經更新參考增益因數。

在一個實施例中，處理器204基於經更新參考增益因數和經預測運動狀態而判定參考增益因數。在圖3中，參考增益因數可表徵為“ ”，其中，為第一運動資料的雜訊，且為第二運動資料的雜訊，但本發明不限於此。

一旦判定參考增益因數，參考增益因數就可在狀態融合過程的第j個階段作為參考增益因數使用，以用於判定（例如）特定增益，而相關的細節可參考以上教示。

簡單來說，在狀態預測過程的第i個階段判定的所預測運動狀態、第一相對姿態和參考增益因數可分別用作經預測運動狀態、運動相對姿態以及參考增益因數，且經預測運動狀態、運動相對姿態以及參考增益因數，可用於判定狀態融合過程的第j個階段的特定增益、經預測運動狀態以及參考增益因數。

一旦判定經預測運動狀態和參考增益因數，便可進一步使用經預測運動狀態和參考增益因數來判定狀態預測過程的第（i+1）個階段的經預測運動狀態和參考增益因數。因此，處理器204可連續地執行圖3中的迭代運算過程，以判定在圖3內狀態融合過程和/或狀態預測過程的不同階段的參數/因數。

在一個實施例中，處理器204可基於第一相對姿態而判定參考物件的特定姿態（稱為）。

在一個實施例中，處理器204取得主機200相對於參考座標系（例如，上文所提及的座標系G）的特定相對姿態（例如，上文所提及的相對姿態），且透過將特定相對姿態與第一相對姿態結合判定參考物件的特定姿態。將特定相對姿態與第一相對姿態結合的細節可參考相關的現有技術，於此不另贅述。

在本發明的實施例中，由於在用於判定狀態預測過程中的第一相對姿態的程序中考慮了與主機200相關聯的第一運動資料，因此在用於判定參考運動狀態的狀態融合過程中，第一相對姿態可與視覺相對姿態更好地融合。之後，參考運動狀態可用於判定對應於狀態預測過程的下一個階段的第一相對姿態，以此類推。在此情況下，可在不考慮相對姿態的情況下判定參考物件的姿態。

因此，在具有變動的相對姿態和/或僅具有少量特徵點環境的情境中，本發明的技術方案仍可恰當地判定參考物件的姿態。另外，由於可在不考慮相對姿態的情況下執行所提出的方法，因此所提出的方法可用於在無重力環境中判定參考物件的姿態。

參見圖4，其繪示根據本發明的實施例的應用情境。在圖4中，主機200可為由模擬器499上的使用者所佩戴的HMD，所追蹤的參考物件410可為與HMD連接的手持式控制器，且HMD可用以將（例如）VR服務提供給使用者。

在本實施例中，座標系G可為模擬器499的座標系，且由於模擬器499將反應於使用者對HMD所提供的VR服務的操作而移動，因此座標系G與座標系W之間的相對姿態將會出現變化。在此情況下，即使相對姿態出現變化，所提出的方法可仍恰當地運作以準確地判定參考物件410的姿態。

參見圖5，其繪示根據本發明的實施例的物件追蹤方法的流程圖。此實施例的方法可由圖2中的主機200執行，且以下將輔以圖2中繪示的元件來描述圖5中各步驟的細節。

在步驟S510中，處理器204基於經預測運動狀態(例如， )和校準因數(例如， )而判定參考運動狀態（例如，）。在步驟S520中，處理器204取得主機200的第一運動資料（例如，）和參考物件的第二運動資料（例如，）。在步驟S530中，處理器204基於第一運動資料、第二運動資料以及參考運動狀態而判定參考物件相對於主機200的第一相對姿態（例如，）。在步驟S540中，處理器204基於第一相對姿態而判定參考物件的特定姿態（例如，）。

圖5中各步驟的細節可參考上述實施例中的描述，於此不另贅述。

綜上所述，即使環境相對於世界的相對姿態出現變化，本發明的實施例提供的技術方案仍可透過考慮與主機的移動相關聯的運動資料，以恰當地判定所追蹤的參考物件的姿態。因此，可以新穎、靈活且準確的方式追蹤參考物件的姿態。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

200:主機 202:儲存電路 204:處理器 410:參考物件 499:模擬器 G:座標系 S510:步驟 S520:步驟 S530:步驟 S540:步驟 W:座標系

圖1繪示用於追蹤參考物件的常規機制。圖2繪示根據本發明的實施例的主機的示意圖。圖3繪示根據本發明的實施例的所提出的方法的迭代運算過程的示意圖。圖4繪示根據本發明的實施例的應用情境。圖5繪示根據本發明的實施例的物件追蹤方法的流程圖。

S510:步驟

S520:步驟

S530:步驟

S540:步驟

Claims

一種物件追蹤方法，適於主機，包括：基於第一經預測運動狀態和校準因數而判定參考運動狀態；取得所述主機的第一運動資料和參考物件的第二運動資料；基於所述第一運動資料、所述第二運動資料以及所述參考運動狀態而判定所述參考物件相對於所述主機的第一相對姿態；以及基於所述第一相對姿態而判定所述參考物件的特定姿態。
如請求項1所述的物件追蹤方法，更包括：取得特定增益、所述參考物件相對於所述主機的視覺相對姿態以及所述參考物件相對於所述主機的運動相對姿態；基於所述特定增益、所述視覺相對姿態以及所述運動相對姿態而判定所述校準因數。
如請求項2所述的物件追蹤方法，更包括：取得第一參考增益因數、所述第一經預測運動狀態以及所述視覺相對姿態，且據以判定所述特定增益。
如請求項3所述的物件追蹤方法，更包括：基於所述特定增益和所述第一經預測運動狀態而更新所述第一參考增益因數。
如請求項2所述的物件追蹤方法，其中基於所述特定增益、所述視覺相對姿態以及所述運動相對姿態而判定所述校準因數的步驟包括：判定所述視覺相對姿態與所述運動相對姿態之間的姿態差異；以及基於所述特定增益和所述姿態差異而判定所述校準因數。
如請求項1所述的物件追蹤方法，其中基於所述第一經預測運動狀態和所述校準因數而判定所述參考運動狀態的步驟包括：經由將所述第一經預測運動狀態與所述校準因數結合來判定所述參考運動狀態。
如請求項1所述的物件追蹤方法，其中基於所述第一運動資料、所述第二運動資料以及所述參考運動狀態而判定所述參考物件相對於所述主機的所述第一相對姿態的步驟包括：基於所述第一運動資料、所述第二運動資料以及所述參考運動狀態而判定第二經預測運動狀態，其中所述第二經預測運動狀態包括與所述第一運動資料和所述第二運動資料相關聯的所述第一相對姿態和參數。
如請求項7所述的物件追蹤方法，其中所述第一運動資料由所述主機上的第一運動偵測電路收集，所述第二運動資料由所述參考物件上的第二運動偵測電路收集；其中與所述第一運動資料相關聯的所述參數包括與所述第一運動偵測電路相關聯的內部參數和外部參數；其中與所述第二運動資料相關聯的所述參數包括與所述第二運動偵測電路相關聯的內部參數和外部參數。
如請求項1所述的物件追蹤方法，更包括：取得經更新參考增益因數和第二經預測運動狀態；基於所述經更新參考增益因數和所述第二經預測運動狀態而判定第二參考增益因數。
如請求項1所述的物件追蹤方法，其中基於所述第一相對姿態而判定所述參考物件的所述特定姿態的步驟包括：取得所述主機相對於參考座標系的特定相對姿態；經由將所述特定相對姿態與所述第一相對姿態結合來判定所述參考物件的所述特定姿態。
一種主機，包括：儲存電路，儲存程式碼；以及處理器，耦接到所述儲存電路且存取所述程式碼以執行：基於第一經預測運動狀態和校準因數而判定參考運動狀態；取得所述主機的第一運動資料和參考物件的第二運動資料；基於所述第一運動資料、所述第二運動資料以及所述參考運動狀態而判定所述參考物件相對於所述主機的第一相對姿態；以及基於所述第一相對姿態而判定所述參考物件的特定姿態。