TW202414033A

TW202414033A - 追蹤系統、追蹤方法及自追蹤追蹤器

Info

Publication number: TW202414033A
Application number: TW112133308A
Authority: TW
Inventors: 游子杰; 黃群凱
Original assignee: 宏達國際電子股份有限公司
Priority date: 2022-09-22
Filing date: 2023-09-01
Publication date: 2024-04-01

Abstract

提供一種追蹤系統。頭戴式顯示器裝置適於戴在用戶的頭上且包括：顯示器，顯示虛擬世界；第一相機，獲得第一影像；第一處理器，基於第一影像，來產生用戶的第一追蹤結果；以及第一網路模組。自追蹤追蹤器包括：追蹤感測器，偵測感測器資料；第二相機，獲得第二影像；第二處理器，基於感測器資料，來產生自追蹤結果，且基於第二影像及自追蹤結果，來產生第二追蹤結果；以及第二網路模組，將第二追蹤結果提供到第一網路模組。第一處理器還被配置成基於第一追蹤結果及第二追蹤結果，來更新用戶在虛擬世界中的化身。

Description

追蹤系統、追蹤方法及自追蹤追蹤器

本發明是有關於一種追蹤系統，且特別是有關於一種追蹤系統、追蹤方法及自追蹤追蹤器。

為了給用戶帶來沉浸式體驗（immersive experience），正在不斷開發與例如增強現實（augmented reality，AR）、虛擬現實（virtual reality，VR）及混合現實（mixed reality，MR）等擴展現實（extended reality，XR）相關的技術。AR技術使用戶能夠將虛擬元素帶到真實世界。VR技術使用戶能夠進入全新的虛擬世界來體驗不同的生活。MR技術融合了真實世界與虛擬世界。此外，為了給用戶帶來完全的沉浸式體驗，可通過一個或多個裝置來提供視覺內容、音頻內容或其他感官的內容。

本揭露提供一種追蹤系統、一種追蹤方法及一種自追蹤追蹤器，以提高對用戶進行追蹤的品質。

本揭露的追蹤系統包括頭戴式顯示器（head-mounted display，HMD）裝置及自追蹤追蹤器。頭戴式顯示器（HMD）裝置適於戴在用戶的頭上且包括：顯示器，被配置成顯示虛擬世界；第一相機，被配置成獲得第一影像；第一處理器，被配置成基於第一影像，來產生用戶的第一追蹤結果；以及第一網路模組。自追蹤追蹤器包括：追蹤感測器，被配置成偵測感測器資料；第二相機，被配置成獲得第二影像；第二處理器，被配置成基於感測器資料，來產生自追蹤結果，且基於第二影像及自追蹤結果，來產生第二追蹤結果；以及第二網路模組，被配置成將第二追蹤結果提供到第一網路模組。第一處理器還被配置成基於第一追蹤結果及第二追蹤結果，來更新用戶在虛擬世界中的化身。

本揭露的追蹤方法包括以下步驟：通過頭戴式顯示器（HMD）裝置的顯示器，來顯示虛擬世界；通過HMD裝置的第一相機，來獲得第一影像；通過HMD裝置的第一處理器，來基於第一影像，產生用戶的第一追蹤結果；通過自追蹤追蹤器的追蹤感測器，來偵測感測器資料；通過自追蹤追蹤器的第二相機，來獲得第二影像；通過自追蹤追蹤器的第二處理器，來基於感測器資料，產生自追蹤追蹤器的自追蹤結果；通過自追蹤追蹤器的第二處理器，來基於第二影像及自追蹤結果，產生用戶的第二追蹤結果；以及通過HMD裝置的第一處理器，來基於第一追蹤結果及第二追蹤結果，更新用戶在虛擬世界中的化身。

本揭露的自追蹤追蹤器包括追蹤感測器、相機、處理器及網路模組。追蹤感測器被配置成偵測感測器資料。相機被配置成獲得用戶影像。處理器被配置成基於感測器資料，來產生自追蹤結果，且基於用戶影像及自追蹤結果，來產生追蹤結果。網路模組被配置成提供追蹤結果以用於更新用戶在虛擬世界中的化身。

基於上述，根據所述追蹤系統、所述追蹤方法及所述自追蹤追蹤器，用戶的化身可實時且準確地對用戶的動作做出響應，從而增加用戶體驗。

在本揭露的說明書及隨附申請專利範圍通篇中，使用某些用語指代特定組件。所屬領域中的技術人員應理解，電子裝置製造商可通過不同的名稱來指代相同的組件。本文並不旨在對功能相同但名稱不同的那些組件進行區分。

在本揭露的說明書及隨附申請專利範圍通篇中，“包括（comprise）”及“包含（include）”等詞語是開放式用語且應被闡釋為“包括但並非僅限於…”。“第一（first）”、“第二（second）”及類似用語僅用於對離散的元件進行命名或對不同的實施例或範圍進行區分。因此，所述用語不應被視為限制元件數量的上限或下限且不應用於限制元件的排列順序。

為了給用戶帶來沉浸式體驗，可使用頭戴式顯示器（HMD）裝置將用戶帶到虛擬世界中。在一個實施例中，HMD裝置可包括相機用於追蹤用戶。然而，相機的視場是有限的。舉例來說，當用戶的手位於相機的視場之外時，無法正確地執行手追蹤。在一個實施例中，可使用額外的相機來減少追蹤的盲點（blind spot）。然而，當額外的相機移動（例如，被用戶移動）時，所捕捉到的影像移動可能會被識別為用戶的移動，而導致錯誤的追蹤結果。因此，所屬領域中的技術人員追求提供一種用於正確地執行追蹤的解決方案。

圖1A是根據本揭露實施例的追蹤系統的硬體結構的示意圖。參考圖1A，追蹤系統100A可包括HMD裝置110及自追蹤追蹤器120。HMD裝置110可包括顯示器112、第一相機114、第一處理器116及第一網路模組118。自追蹤追蹤器120可包括追蹤感測器122、第二相機124、第二處理器126及第二網路模組128。在一個實施例中，HMD裝置110可被配置成顯示AR、VR、MR或XR的內容。HMD裝置110可包括例如頭戴式耳機（headset）、可佩戴眼鏡（例如，AR/VR護目鏡）、其他現實相關技術的其他類似裝置、或者這些裝置的組合。然而，本揭露並非僅限於此。

在一個實施例中，HMD裝置110可適於戴在用戶的頭上。顯示器112可被配置成顯示虛擬世界。第一相機114可被配置成獲得第一影像。第一處理器116可被配置成基於第一影像，來產生用戶的第一追蹤結果。追蹤感測器122可被配置成偵測感測器資料。第二相機124可被配置成獲得第二影像。第二處理器126可被配置成基於感測器資料，來產生自追蹤結果。此外，第二處理器126可被配置成基於第二影像及自追蹤結果，來產生第二追蹤結果。第二網路模組128可被配置成將第二追蹤結果提供到第一網路模組118。另外，第一處理器116還可被配置成基於第一追蹤結果及第二追蹤結果，來更新用戶在虛擬世界中的化身。

在一個實施例中，顯示器112可包括例如有機發光二極體（organic light-emitting diode，OLED）顯示器裝置、小型發光二極體（light-emitting diode，LED）顯示器裝置、微型LED顯示器裝置、量子點（quantum dot，QD）LED顯示器裝置、液晶顯示器（liquid-crystal display，LCD）顯示器裝置、拼接顯示器裝置（tiled display device）、可折疊顯示器裝置或電子紙顯示器（electronic paper display，EPD）。然而，本揭露並非僅限於此。

在一個實施例中，第一相機114及/或第二相機124可包括例如互補金屬氧化物半導體（complementary metal oxide semiconductor，CMOS）相機、電荷耦合裝置（charge coupled device，CCD）相機、光偵測及測距（light detection and ranging，LiDAR）裝置、雷達、紅外感測器、超音波感測器（ultrasonic sensor）、其他類似裝置或這些裝置的組合。然而，本揭露並非僅限於此。

在一個實施例中，第一處理器116及/或第二處理器126可包括例如微控制器單元（microcontroller unit，MCU）、中央處理單元（central processing unit，CPU）、微處理器、數位訊號處理器（digital signal processor，DSP）、可程式化控制器、可程式化邏輯裝置（programmable logic device，PLD）、其他類似裝置或者這些裝置的組合。本揭露並非僅限於此。另外，第一處理器116及/或第二處理器126的功能中的每一者可被實現為多個程式碼。程式碼儲存於記憶體中，且由第一處理器116及/或第二處理器126執行。作為另外一種選擇，第一處理器116及/或第二處理器126的功能中的每一者可被實現為一個或多個電路。本揭露不限制使用軟體或硬體，來實現第一處理器116及/或第二處理器126的功能。

在一個實施例中，第一網路模組118及/或第二網路模組128可包括例如有線網路模組、無線網路模組、藍牙（Bluetooth）模組、紅外模組、射頻識別（radio frequency identification，RFID）模組、蜂舞協議（Zigbee）網路模組或近場通訊（near field communication，NFC）網路模組。然而，本揭露並非僅限於此。也就是說，HMD裝置110可被配置成通過有線通訊或無線通訊與自追蹤追蹤器120進行通訊。

在一個實施例中，追蹤感測器122可包括例如陀螺儀、加速度計、慣性測量單元（inertial measurement unit，IMU）感測器、其他類似裝置或這些裝置的組合。在一個實施例中，感測器資料包括三個自由度（degrees of freedom，DOF）的三個角速度及/或三個線性加速度值的變化。然而，本揭露並非僅限於此。

在一個實施例中，HMD裝置110還可包括內部相機。內部相機可被配置成獲得用戶的眼睛的眼睛影像。基於眼睛影像，第一處理器116可被配置成執行眼睛注視追蹤（eye gaze tracking），來確定眼睛注視點。因此，在虛擬世界中，用戶的化身的眼睛可能夠反映真實世界中的用戶的眼睛的眼睛移動。

在一個實施例中，自追蹤追蹤器120可適於由用戶的手握持或配戴。此外，自追蹤追蹤器120可包括至少一個實體按鈕或其他輸入介面，來從用戶接收用戶指令。

如此一來，通過第一相機114與第二相機124的協作，追蹤系統100A能夠無遮擋地追蹤用戶的手。此外，由於自追蹤追蹤器120能夠基於追蹤感測器122的感測器資料，來追蹤自追蹤追蹤器120自身，因此自追蹤追蹤器120的移動不會被識別為用戶的移動。因此，會減少對用戶的錯誤追蹤且會改善用戶體驗。

圖1B是根據本揭露實施例的追蹤系統的軟體結構的示意圖。參考圖1A及圖1B，追蹤系統100A的軟體結構100B包括HMD裝置110及自追蹤追蹤器120，並通過有線通訊或無線通訊進行通訊。其中軟體結構100B的每一步驟或功能可由第一處理器116及第二處理器126執行，然而，本揭露並非僅限於此。

在一個實施例中，在步驟182中，HMD裝置110的第一處理器116可被配置成通過執行同步定位及建圖（simultaneous localization and mapping，SLAM）演算法，來基於第一影像，產生用戶周圍（即，HMD裝置110周圍）的第一同步定位及建圖（SLAM）地圖。此外，HMD裝置110可被配置成向自追蹤追蹤器120提供第一SLAM地圖的地圖資料及幀。地圖資料可包括用戶周圍的環境的布局及環境中的物體的坐標。幀可包括多個第一影像的至少一部分及與所述多個第一影像對應的時間點。

另外，自追蹤追蹤器120的第二處理器126可被配置成通過執行SLAM演算法來基於第二影像，產生用戶周圍（即，自追蹤追蹤器120周圍）的第二SLAM地圖。此外，在步驟184中，響應於從HMD裝置110接收到地圖資料及幀，第二處理器126可被配置成將第一SLAM地圖與第二SLAM地圖對齊。也就是說，自追蹤追蹤器120能夠確定自追蹤追蹤器120在環境中的絕對位置以及與HMD裝置110或用戶的相對位置（或相對距離）。

在步驟186中，HMD裝置110可被配置成向自追蹤追蹤器120提供HMD裝置姿勢（pose）。HMD姿勢可包括HMD裝置110在環境中的坐標。在步驟188中，自追蹤追蹤器120可被配置成向HMD裝置110提供自追蹤追蹤器姿勢。自追蹤追蹤器姿勢可包括自追蹤追蹤器120在環境中的坐標。可基於第二影像及感測器資料二者或者僅基於感測器資料，來確定或更新自追蹤追蹤器姿勢。也就是說，第二處理器126可被配置成基於感測器資料，來更新（即，確定）從自追蹤追蹤器120到HMD裝置110的相對距離。應注意，HMD姿勢及自追蹤追蹤器姿勢可能不包括任何影像，從而可以減少HMD裝置110與自追蹤追蹤器120之間的資料傳輸量。通過重複執行步驟186及步驟188，HMD裝置110及自追蹤追蹤器120能夠知道彼此的位置。

圖2A是根據本揭露實施例的追蹤系統的追蹤場景的示意圖。參考圖1A至圖2A，追蹤系統100A的追蹤場景200A繪示當用戶U的第一隻手位於用戶U的第二隻手前面時，HMD裝置110的第一相機114可能無法直接獲得第一隻手的影像。也就是說，當一隻手被另一隻手擋住或者與另一隻手重疊時，HMD裝置110可能無法正確地執行手追蹤。在這種情況下，自追蹤追蹤器120的第二相機124能夠獲得第一隻手的影像。此外，自追蹤追蹤器120的第二處理器126可被配置成執行手追蹤並將手追蹤結果提供到HMD裝置110。通過這種方式，可以減少追蹤系統100A的盲點，從而提高追蹤品質。

圖2B是根據本揭露實施例的追蹤系統的追蹤場景的示意圖。圖2C是根據本揭露實施例的追蹤系統的追蹤場景的示意圖。參考圖1A至圖2C，追蹤系統100A的追蹤場景200B繪示如何自追蹤追蹤器120追蹤用戶U的上身（Upper body），且追蹤場景200C繪示如何自追蹤追蹤器120追蹤用戶U的全身（Full body）。

當自追蹤追蹤器120被設置成靠近用戶U時，自追蹤追蹤器120可追蹤用戶U的上身。相反地，當自追蹤追蹤器120被設置成遠離用戶U時，自追蹤追蹤器120可追蹤用戶U的全身。換句話說，響應於相對距離小於閾值距離，自追蹤追蹤器120可被配置成基於第二影像，來對用戶U執行上身追蹤。此外，響應於相對距離不小於閾值距離，自追蹤追蹤器120可被配置成基於第二影像，來對用戶U執行全身追蹤。也就是說，自追蹤追蹤器120可被配置成基於從自追蹤追蹤器120到用戶U的相對距離，來判斷執行上身追蹤還是全身追蹤。然而，本揭露並非僅限於此。在另一實施例中，自追蹤追蹤器120可被配置成基於來自用戶U的用戶指令，來判斷執行上身追蹤還是全身追蹤的追蹤模式。

圖3是根據本揭露實施例的追蹤系統的軟體結構的示意圖。參考圖1至圖3，追蹤系統100A的軟體結構300繪示圖2B及圖2C所示自追蹤追蹤器120的示例性實施例。其中軟體結構300的每一步驟或功能可由第二處理器126執行。

在步驟302中，自追蹤追蹤器120可被配置成偵測自追蹤追蹤器120是否被穩定地放置。舉例來說，自追蹤追蹤器120可被配置成利用第二SLAM地圖，來偵測自追蹤追蹤器120是被放於平面上還是被懸挂於墻上。然而，本揭露並非僅限於此。在一個實施例中，自追蹤追蹤器120可被配置成基於追蹤感測器122的感測器資料，來偵測自追蹤追蹤器120是否被穩定地放置。也就是說，自追蹤追蹤器120能夠利用第二相機124的第二影像或追蹤感測器122的感測器資料，來偵測自追蹤追蹤器120是否被穩定地放置，且本揭露並非僅限於此。應注意，當自追蹤追蹤器120被穩定地放置時，追蹤品質更精確。此外，響應於自追蹤追蹤器120未被穩定地放置，可重複執行步驟302。

在步驟304中，響應於自追蹤追蹤器120被穩定放置，自追蹤追蹤器120可被配置成從用戶U接收用戶指令。用戶指令可包括用戶U選擇自追蹤追蹤器120的追蹤模式（上身模式或全身模式等）。此外，響應於未接收到用戶指令，可再次執行步驟302。

在步驟306中，響應於接收到指示自追蹤追蹤器120的追蹤模式的用戶指令，自追蹤追蹤器120可被配置成檢查所選擇的追蹤模式是否是上身模式。在步驟310中，響應於所選擇的追蹤模式是上身模式，第二處理器126可被配置成執行上身追蹤模組以對用戶U執行上身追蹤。

在步驟308中，響應於所選擇的追蹤模式不是上身模式，自追蹤追蹤器120可被配置成檢查所選擇的追蹤模式是否是全身模式。在步驟312中，響應於所選擇的追蹤模式是全身模式，第二處理器126可被配置成執行全身追蹤模組以對用戶U執行全身追蹤。通過這種方式，自追蹤追蹤器120的追蹤模式可由用戶U選擇。然而，本揭露並非僅限於此。在另一實施例中，自追蹤追蹤器120的追蹤模式可基於自追蹤追蹤器120與用戶U之間的相對距離來確定。

圖4A是根據本揭露實施例的追蹤系統的軟體結構的示意圖。參考圖1至圖4A，追蹤系統100A的軟體結構400A繪示追蹤系統100A如何執行上身追蹤。其中軟體結構400A的每一步驟或功能可由第一處理器116及第二處理器126執行。

在步驟402A中，響應於相對距離小於閾值距離或者用戶指令指示選擇上身模式，自追蹤追蹤器120可被配置成對用戶U的上身執行由外而內的狀況偵測。在步驟404中，自追蹤追蹤器120可被配置成將第二相機124獲得的影像的幀分配給由第二處理器126執行的多個模組。在步驟406A中，第二處理器126可被配置成執行手追蹤模組以對用戶U的手執行手追蹤。在步驟408A中，第二處理器126可被配置成執行嘴唇運動模組以對用戶U的嘴唇執行嘴唇追蹤。在步驟410中，第二處理器126可被配置成執行手臂追蹤模組以對用戶U的手臂執行手臂追蹤。

在步驟412中，第一處理器116可被配置成執行眼睛注視模組以對用戶U的眼睛執行眼睛追蹤。在步驟414中，第一處理器116可被配置成執行手追蹤模組以對用戶U的手執行手追蹤。在步驟416中，第一處理器116可被配置成執行融合過程以將來自自追蹤追蹤器120（即，步驟406A）的手追蹤結果與來自HMD裝置110（即，步驟414）的手追蹤結果進行組合。也就是說，可通過融合過程，來確定組合後的手姿勢。在步驟418中，第一處理器116可被配置成基於組合後的手姿勢，來分析用戶U的手勢。

在步驟420中，第一處理器116可被配置成基於來自步驟406A至418的所有追蹤結果，來更新用戶U的化身的虛擬姿勢。此外，HMD裝置110的顯示器112可被配置成實時且準確地顯示用戶U的更新後的化身。

圖4B是根據本揭露實施例的追蹤系統的軟體結構的示意圖。參考圖1至圖4B，追蹤系統100A的軟體結構400B繪示追蹤系統100A如何執行全身追蹤。其中軟體結構400B的每一步驟或功能可由第一處理器116及第二處理器126執行。

在步驟402B中，響應於相對距離不小於閾值距離或者用戶指令指示選擇全身模式，自追蹤追蹤器120可被配置成對用戶U的全身執行由外而內的狀況偵測。在步驟404中，自追蹤追蹤器120可被配置成將通過第二相機124獲得的影像的幀分配給由第二處理器126執行的多個模組。在步驟406B中，第二處理器126可被配置成執行軀幹追蹤模組以對用戶U的軀幹執行軀幹追蹤。在步驟408B中，第二處理器126可被配置成執行腿運動模組以對用戶U的腿執行腿追蹤。在步驟410中，第二處理器126可被配置成執行手臂追蹤模組以對用戶U的手臂執行手臂追蹤。

在步驟412中，第一處理器116可被配置成執行眼睛注視模組以對用戶U的眼睛執行眼睛追蹤。在步驟414中，第一處理器116可被配置成執行手追蹤模組以對用戶U的手執行手追蹤。在步驟418中，第一處理器116可被配置成基於步驟414中的手追蹤結果，來分析用戶U的手勢。在步驟420中，第一處理器116可被配置成基於來自步驟406B至418的所有追蹤結果，來更新用戶U的化身的虛擬姿勢。通過這種方式，用戶U的化身可實時且準確地對用戶U的動作做出響應。

應注意，將圖4A與圖4B進行比較，自追蹤追蹤器120可被配置成在上身模式下僅執行手追蹤及嘴唇追蹤。相反，自追蹤追蹤器120可被配置成在全身模式下執行軀幹追蹤及腿追蹤。原因在於，當由於用戶指令或者由於自追蹤追蹤器120靠近用戶U而選擇上身模式時，用戶U可能想要著重於對上身而非全身進行追蹤。或者，第二相機124可足夠近以收集用戶U的手或嘴唇的細節。相似地，當由於用戶指令或者由於自追蹤追蹤器120遠離用戶U而選擇全身模式時，用戶U可能想要著重於對全身而非上身進行追蹤。或者，第二相機124可能太遠而無法收集用戶U的手或嘴唇的細節。因此，通過這種方式，可正確地選擇自追蹤追蹤器120的追蹤模式，以提高追蹤品質，從而改善用戶體驗。

圖5A是根據本揭露實施例的自追蹤追蹤器的追蹤場景的示意圖。參考圖1至圖5A，追蹤場景500A繪示自追蹤追蹤器120如何對自追蹤追蹤器120自身的位置變化做出響應。

由於自追蹤追蹤器120包括追蹤感測器122及第二相機124，因此第二處理器126可被配置成基於第二影像及/或感測器資料，來確定自追蹤追蹤器120自身的姿勢（即，自追蹤追蹤器姿勢）。換句話說，第二處理器126可被配置成不僅基於第二影像，且也基於感測器資料，來產生用戶U的追蹤結果。因此，可降低對用戶U進行錯誤追蹤的可能性。舉例來說，如圖5A中所繪示，當自追蹤追蹤器120轉向另一方向時，自追蹤追蹤器120的方向變化不會導致用戶U的化身的方向變化。通過這種方式，用戶U的化身可僅對用戶U的動作做出響應，從而改善用戶體驗。

應注意，由於自追蹤追蹤器120能夠追蹤自追蹤追蹤器120自身並追蹤用戶U而無需HMD裝置110的幫助，因此自追蹤追蹤器120可單獨使用來追蹤用戶U。舉例來說，自追蹤追蹤器120可被配置成基於追蹤感測器122的感測器資料，來追蹤自追蹤追蹤器120，以產生自追蹤結果。此外，自追蹤追蹤器120可被配置成基於通過第二相機124獲得的用戶影像及自追蹤結果，來追蹤用戶U的上身或全身，以產生用戶U的追蹤結果。然後，自追蹤追蹤器120的第二網路模組128可被配置成將追蹤結果直接提供到伺服器，且伺服器可被配置成基於追蹤結果更新用戶U在虛擬世界中的化身。在另一實施例中，自追蹤追蹤器120可與具有顯示器的電子裝置一起利用，所述電子裝置例如為平板電腦（tablet）、智能手機、投影儀、膝上型電腦或其他類似裝置。自追蹤追蹤器120可被配置成將追蹤結果提供到電子裝置，且電子裝置可被配置成更新與顯示用戶U的化身。因此，自追蹤追蹤器120可在不存在HMD裝置110的各種情況下更靈活地使用。

圖5B是根據本揭露實施例的自追蹤追蹤器的追蹤場景的示意圖。參考圖1至圖5B，追蹤場景500B繪示自追蹤追蹤器120如何對自追蹤追蹤器120自身的位置變化做出響應。在追蹤場景500B中，用戶U可代表位於原始座位中的人，而用戶U’可代表改變座位之後的用戶U。

在一個實施例中，用戶U可利用自追蹤追蹤器120，來追蹤用戶U自身。由於各種原因，用戶U可能想要在自追蹤追蹤器120進行追蹤期間改變座位。例如，用戶U可以先改變座位，再改變自追蹤追蹤器120的方向或位置，或是先改變自追蹤追蹤器120的方向或位置，再改變座位。由於自追蹤追蹤器120能夠追蹤自追蹤追蹤器120自身及用戶U，因此當用戶U改變自追蹤追蹤器120的方向或位置時，不會導致虛擬世界中的用戶U的化身的方向變化或位置變化。也就是說，用戶U的化身的方向或位置可僅在用戶U改變他/她在真實世界中的方向或位置時進行更新。因此，可以減少對用戶U的錯誤追蹤且改善用戶體驗。

此外，當用戶U改變他/她的位置時，自追蹤追蹤器120可被配置成實時更新用戶U的化身。舉例來說，當自追蹤追蹤器120偵測到用戶U在真實世界中正朝發言台（speech podium）移動時，自追蹤追蹤器120可被配置成實時更新用戶U的化身，使用戶U在虛擬世界中的化身平穩地走向虛擬世界中的虛擬發言台，而非看起來像瞬間移動（teleportation）。因此，虛擬世界中的視覺效果可以更接近真實世界中的感覺，從而改善用戶體驗。

圖5C是根據本揭露實施例的自追蹤追蹤器的追蹤場景的示意圖。參考圖1至圖5C，追蹤場景500C繪示自追蹤追蹤器120如何對自追蹤追蹤器120自身的位置變化做出響應。在追蹤場景500C中，用戶U1可代表自追蹤追蹤器120最初面對的人，而用戶U2可代表自追蹤追蹤器120改變方向或位置之後自追蹤追蹤器120所面對的另一個人。

在一個實施例中，用戶U1及用戶U2都想使用自追蹤追蹤器120來追蹤他們自己。然而，用戶U1與用戶U2可能不坐在一起。也就是說，自追蹤追蹤器120的相機可能無法同時獲得用戶U1的影像與用戶U2的影像。在這種情況下，用戶U1與用戶U2可共享自追蹤追蹤器120。舉例來說，當用戶U1想要說話或展示某物時，用戶U1可將自追蹤追蹤器120轉向面向自己。自追蹤追蹤器120可被配置成識別用戶U1的面部並更新與用戶U1對應的化身。相反地，當用戶U2想要說話或展示某物時，用戶U2可將自追蹤追蹤器120轉向面向自己。自追蹤追蹤器120可被配置成識別用戶U2的面部並更新與用戶U2對應的化身。也就是說，即使多於一個人利用自追蹤追蹤器120來更新化身，仍能夠準確地執行對所有人的追蹤。

圖6是根據本揭露實施例的追蹤方法的示意性流程圖。參考圖1A至圖6，追蹤方法600可包括步驟S602、步驟S604、步驟S606、步驟S608、步驟S610、步驟S612、步驟S614及步驟S616。

在步驟S602中，可通過HMD裝置110的顯示器112，來顯示虛擬世界。在步驟S604中，可通過HMD裝置110的第一相機114，來獲得第一影像。在步驟S606中，可通過HMD裝置110的第一處理器116，來基於第一影像，產生用戶U的第一追蹤結果。在步驟S608中，可通過自追蹤追蹤器120的追蹤感測器122，來偵測感測器資料。在步驟S610中，可通過自追蹤追蹤器120的第二相機124，來獲得第二影像。在步驟S612中，可通過自追蹤追蹤器120的第二處理器126，來基於感測器資料，產生自追蹤追蹤器120的自追蹤結果。值得一提的是，在一個實施例中，HMD裝置110可將SLAM地圖的地圖資料提供到自追蹤追蹤器120，使得自追蹤追蹤器120的第二處理器126可被配置成基於感測器資料、第二影像及SLAM地圖，來產生自追蹤結果。然而，本揭露並非僅限於此。在步驟S614中，可基於第二影像及自追蹤結果，來產生用戶U的第二追蹤結果。在步驟S616中，可通過第一處理器116，來基於第一追蹤結果及第二追蹤結果，更新用戶U在虛擬世界中的化身。通過這種方式，用戶U的化身可實時且準確地對用戶U的動作做出響應，從而增加用戶體驗。

追蹤方法600的實施細節可參考圖1至圖5C的說明，以獲得足夠的教示、建議及實作實施例，在此不再逐一地贅述細節。

綜上所述，根據追蹤系統100A、追蹤方法600及自追蹤追蹤器120，通過HMD裝置110與自追蹤追蹤器120的協作，追蹤系統100A能夠無遮擋地追蹤用戶。此外，由於自追蹤追蹤器120能夠基於追蹤感測器122的感測器資料，來追蹤自追蹤追蹤器120自身，因此自追蹤追蹤器120的移動不會被識別為用戶的移動。因此，會減少對用戶的錯誤追蹤且改善用戶體驗。

對於所屬領域中的技術人員來說將顯而易見的是，在不背離本揭露的範圍或精神的條件下，可對所揭露的實施例進行各種修改及變化。綜上所述，本揭露旨在涵蓋各種修改及變化，只要其落於隨附申請專利範圍及其等效範圍的範圍內即可。

100A:追蹤系統 100B、300、400A、400B:軟體結構 110:HMD裝置 112:顯示器 114:第一相機 116:第一處理器 118:第一網路模組 120:自追蹤追蹤器 122:追蹤感測器 124:第二相機 126:第二處理器/處理器 128:第二網路模組 182、184、186、188、302、304、306、308、310、312、402A、402B、404、406A、406B、408A、408B、410、412、414、416、418、420、S602、S604、S606、S608、S610、S612、S614、S616:步驟 200A、200B、200C、500A、500B、500C:追蹤場景 600:追蹤方法 U、U1、U2、U’:用戶

圖1A是根據本揭露實施例的追蹤系統的硬體結構的示意圖。圖1B是根據本揭露實施例的追蹤系統的軟體結構的示意圖。圖2A是根據本揭露實施例的追蹤系統的追蹤場景的示意圖。圖2B是根據本揭露實施例的追蹤系統的追蹤場景的示意圖。圖2C是根據本揭露實施例的追蹤系統的追蹤場景的示意圖。圖3是根據本揭露實施例的追蹤系統的軟體結構的示意圖。圖4A是根據本揭露實施例的追蹤系統的軟體結構的示意圖。圖4B是根據本揭露實施例的追蹤系統的軟體結構的示意圖。圖5A是根據本揭露實施例的自追蹤追蹤器的追蹤場景的示意圖。圖5B是根據本揭露實施例的自追蹤追蹤器的追蹤場景的示意圖。圖5C是根據本揭露實施例的自追蹤追蹤器的追蹤場景的示意圖。圖6是根據本揭露實施例的追蹤方法的示意性流程圖。

600:追蹤方法

S602、S604、S606、S608、S610、S612、S614、S616:步驟

Claims

一種追蹤系統，包括：頭戴式顯示器裝置，適於戴在用戶的頭上，且包括：顯示器，被配置成顯示虛擬世界；第一相機，被配置成獲得第一影像；第一處理器，被配置成基於所述第一影像，來產生所述用戶的第一追蹤結果；以及第一網路模組；以及自追蹤追蹤器，包括：追蹤感測器，被配置成偵測感測器資料；第二相機，被配置成獲得第二影像；第二處理器，被配置成：基於所述感測器資料，來產生自追蹤結果；以及基於所述第二影像及所述自追蹤結果，來產生第二追蹤結果；以及第二網路模組，被配置成將所述第二追蹤結果提供到所述第一網路模組，其中所述第一處理器還被配置成基於所述第一追蹤結果及所述第二追蹤結果，來更新所述用戶在所述虛擬世界中的化身。
如請求項1所述的追蹤系統，其中所述追蹤感測器包括慣性測量單元感測器，且所述感測器資料包括三個角速度及三個線性加速度值。
如請求項1所述的追蹤系統，其中所述頭戴式顯示器裝置還包括內部相機，且所述內部相機被配置成獲得所述用戶的眼睛的眼睛影像，並且所述第一處理器還被配置成基於所述眼睛影像，來執行眼睛注視追蹤。
如請求項1所述的追蹤系統，其中所述自追蹤追蹤器適於由所述用戶的手握持或配戴，且被配置成從所述用戶接收用戶指令，以決定自追蹤追蹤器的追蹤模式。
如請求項1所述的追蹤系統，其中所述第一處理器還被配置成：通過執行同步定位及建圖演算法，來基於所述第一影像，產生同步定位及建圖地圖。
如請求項1所述的追蹤系統，其中所述第二處理器被配置成基於所述感測器資料，來確定從所述自追蹤追蹤器到所述頭戴式顯示器裝置的相對距離。
如請求項6所述的追蹤系統，其中響應於所述相對距離小於閾值距離，所述自追蹤追蹤器被配置成基於所述第二影像，來對所述用戶執行上身追蹤；以及響應於所述相對距離不小於閾值距離，所述自追蹤追蹤器被配置成基於所述第二影像，來對所述用戶執行全身追蹤。
如請求項1所述的追蹤系統，其中所述自追蹤追蹤器被配置成基於所述第二影像或所述感測器資料，來偵測所述自追蹤追蹤器是否被穩定地放置。
一種追蹤方法，包括：通過頭戴式顯示器裝置的顯示器，來顯示虛擬世界；通過所述頭戴式顯示器裝置的第一相機，來獲得第一影像；通過所述頭戴式顯示器裝置的第一處理器，來基於所述第一影像，產生用戶的第一追蹤結果；通過自追蹤追蹤器的追蹤感測器，來偵測感測器資料；通過所述自追蹤追蹤器的第二相機，來獲得第二影像；通過所述自追蹤追蹤器的第二處理器，來基於所述感測器資料，產生所述自追蹤追蹤器的自追蹤結果；通過所述自追蹤追蹤器的所述第二處理器，來基於所述第二影像及所述自追蹤結果，產生所述用戶的第二追蹤結果；以及通過所述頭戴式顯示器裝置的所述第一處理器，來基於所述第一追蹤結果及所述第二追蹤結果，更新所述用戶在所述虛擬世界中的化身。
一種自追蹤追蹤器，包括：追蹤感測器，被配置成偵測感測器資料；相機，被配置成獲得用戶影像；處理器，被配置成：基於所述感測器資料，來產生自追蹤結果；以及基於所述用戶影像及所述自追蹤結果，來產生追蹤結果；以及網路模組，被配置成提供所述追蹤結果以用於更新所述用戶在虛擬世界中的化身。