TWI663525B

TWI663525B - 追蹤系統以及追蹤方法

Info

Publication number: TWI663525B
Application number: TW107113075A
Authority: TW
Inventors: 陳遠東; 曾婕瑀
Original assignee: 宏達國際電子股份有限公司
Priority date: 2017-04-17
Filing date: 2018-04-17
Publication date: 2019-06-21
Also published as: TW201839552A; CN108734721A; EP3392833A1; US10467456B2; US20180300532A1; EP3392833B1; CN108734721B

Abstract

一種追蹤系統包含可被追蹤裝置以及追蹤裝置。可被追蹤裝置具有一三維形狀，可被追蹤裝置包含第一指向感測器用以感測該可被追蹤裝置之第一指向。追蹤裝置與可被追蹤裝置通訊，追蹤裝置包含第二指向感測器、影像感測器以及處理電路。第二指向感測器用以感測該追蹤裝置之第二指向。影像感測器用以擷取影像。處理電路耦接第二指向感測器以及影像感測器，處理電路用以依據第一指向以及第二指向計算二維剪影，二維剪影對應可被追蹤裝置的該三維形狀。利用二維剪影搜尋影像感測器所擷取的影像，以定位可被追蹤裝置在影像中的座標。

Description

追蹤系統以及追蹤方法

本揭示文件是關於追蹤系統，更進一步而言，本揭示文件是關於根據物件的剪影進行物件追蹤的機制與其追蹤系統。

近來虛擬實境的應用快速發展，推出了許多不同的應用方案，包含了高階的系統(例如HTC VIVE、Oculus Rift)以及低成本的系統(例如google cardboard)等，均可以用來提供使用者虛擬實境的體驗。

虛擬實境體驗的其中一個重要功能，是允許使用者在虛擬的場景中自由移動，並且使用者所看見的視覺畫面會相應地改變。為了達到上述功能，虛擬實境系統需要追蹤使用者移動的機制。在高階的系統上，有很多不同的方式可以精確地偵測使用者的動作。然而，在低成本的系統上，並不容易偵測或追蹤使用者的移動。

本揭示文件之一實施例提供一種追蹤系統包含可被追蹤裝置以及追蹤裝置。可被追蹤裝置具有一三維形狀，可被追蹤裝置包含第一指向感測器用以感測該可被追蹤裝置之第一指向。追蹤裝置與可被追蹤裝置通訊，追蹤裝置包含第二指向感測器、影像感測器以及處理電路。第二指向感測器用以感測該追蹤裝置之第二指向。影像感測器用以擷取影像。處理電路耦接第二指向感測器以及影像感測器，處理電路用以依據第一指向以及第二指向計算二維剪影，二維剪影對應可被追蹤裝置的該三維形狀。利用二維剪影搜尋影像感測器所擷取的影像，以定位可被追蹤裝置在影像中的座標。

本揭示文件之一實施例提供一種追蹤方法包含可被追蹤裝置以及追蹤裝置。可被追蹤裝置具有一三維形狀，可被追蹤裝置包含第一指向感測器用以感測該可被追蹤裝置之第一指向。追蹤裝置與可被追蹤裝置通訊，追蹤裝置包含第二指向感測器、影像感測器以及處理電路。第二指向感測器用以感測該追蹤裝置之第二指向。影像感測器用以擷取影像。處理電路耦接第二指向感測器以及影像感測器，處理電路用以依據第一指向以及第二指向計算二維剪影，二維剪影對應可被追蹤裝置的該三維形狀。利用二維剪影搜尋影像感測器所擷取的影像，以定位可被追蹤裝置在影像中的座標。

須說明的是，上述說明以及後續詳細描述是以實施例方式例示性說明本案，並用以輔助本案所請求之發明內容的解釋與理解。

為讓本揭示內容之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附符號之說明如下：

100‧‧‧追蹤系統

120‧‧‧可被追蹤裝置

122、142‧‧‧指向感測器

124、144‧‧‧處理電路

126、146‧‧‧通訊電路

140‧‧‧追蹤裝置

148‧‧‧影像感測器

149‧‧‧儲存單元

300‧‧‧追蹤方法

S310-S370、S651-S653、S851-S853‧‧‧操作

為讓本揭示內容之上述和其他目的、特徵、優點與實施例能更明顯易懂，附上下列圖示。須說明的是，基於實際需求，部分特徵並不一定依照實際比例進行繪示。為了說明的簡便，圖式當中部分特徵的尺寸可能依說明上的需求而增加或減少。所附圖式之說明如下：第1圖繪示根據本揭示文件一實施例中一種追蹤系統的示意圖；第2圖繪示第1圖中的追蹤系統的功能方塊圖；第3圖繪示根據本揭示文件之一實施例中一種追蹤方法的方法流程圖；第4A圖至第4D圖繪示在多個例子中在相異的第一指向以及相異的第二指向的多個組合下所計算出來的不同的二維剪影的示意圖；第5圖繪示根據本揭示文件之一實施例中影像感測器所擷取的影像的示意圖；第6圖繪示根據本揭示文件之一實施例中第3圖的其中一個操作的進一步細節操作的示意圖；第7圖繪示根據第6圖之實施例的細節操作所計算之二維剪影的示意圖；第8圖繪示根據本揭示文件之另一實施例中第3圖的其中一個操作的進一步細節操作的示意圖；第9圖繪示對應第8圖之實施例所使用的查找表的示意圖；第10圖繪示根據本揭示文件之一實施例中第1圖的追蹤裝置的影像感測器的拍攝視野的示意圖；以及第11圖繪示根據本揭示文件之一實施例中影像感測器所拍攝的影像的示意圖。

以下揭示提供許多不同實施例或例證用以實施本揭示文件的不同特徵。特殊例證中的元件及配置在以下討論中被用來簡化本揭示。所討論的任何例證只用來作解說的用途，並不會以任何方式限制本揭示文件或其例證之範圍和意義。在適當的情況下，在圖示之間及相應文字說明中採用相同的標號以代表相同或是相似的元件。

請參閱第1圖，其繪示根據本揭示文件一實施例中一種追蹤系統100的示意圖。如第1圖所示，追蹤系統100包含可被追蹤裝置120以及追蹤裝置140。於第1圖所示之實施例中，追蹤裝置140包含影像感測器148。

影像感測器148用以擷取影像(或者隨時間先後依序擷取一系列的複數個影像)。於一些實施例中，影像感測器148可是對應可見光譜的光學相機、紅外線相機或其他具相等性的光學感應器。追蹤裝置140可以藉由分析影像感測器148所擷取到的影像，來追蹤前述可被追蹤裝置120相對於追蹤裝置140的位置。於一實施例中，追蹤裝置140將二維遮罩(對應到可被追蹤裝置120的形狀)套用在影像感測器148所擷取到的影像上，參照二維遮罩在影像當中搜尋可被追蹤裝置120。

於一些情況下，若追蹤裝置140在各種不同的情況下總是使用相同的二維遮罩來搜尋可被追蹤裝置120，會在搜尋的過程中產生一些錯誤。舉例來說，可被追蹤裝置120(或是追蹤裝置140)可以往某個方向旋轉或傾斜，導致前述可被追蹤裝置120在追蹤裝置140之影像感測器148所觀察視角中可能呈現不同的形狀。在此情況下，若追蹤裝置140均採用固定形狀的二維遮罩在擷取的影像中搜尋可被追蹤裝置120，將會降低追蹤的準確性。於本揭示文件的實施例中，追蹤系統100可以動態計算一個二維剪影(並非為單一的固定形狀)，上述二維剪影對應可被追蹤裝置120的三維形狀。如何計算二維剪影的詳細作法將在後續段落中進行說明。

於第1圖的實施例中，可被追蹤裝置120的三維形狀是一個圓錐形。然而，可被追蹤裝置120的圓錐形僅僅是作為例示性說明的一種舉例。可被追蹤裝置120的三維形狀並不局限於特定形狀。於一些其他實施例中，三維形狀也可以是方塊狀、橢圓球體、多面體或是不規則的形狀(例如石頭形狀、步槍形狀、獵槍形狀、球棒形狀或是手套形狀)。為了說明上的簡便，在後續段落中主要採用圓錐形的可被追蹤裝置120進行舉例說明。

於一實施例中，追蹤裝置140可以是追蹤系統100的主控端裝置(host)，而可被追蹤裝置120可以是追蹤系統100的客戶端裝置(client)，客戶端裝置可以被主控端裝置追蹤及定位。舉例來說，追蹤裝置140可以是虛擬實境(virtual reality,VR)、擴增實境(augmented reality,AR)、替代實境(substitutional reality,SR)或混合實境(mixed reality,MR)系統的頭戴式顯示(head-mounted display,HMD)裝置，可被追蹤裝置120可以是上述系統的控制器(或是控制器的部分組件)。然而，本揭示文件並不僅限於用在頭戴式顯示裝置與控制器之間。

請一併參閱第2圖，第2圖繪示第1圖中的追蹤系統100的功能方塊圖。如第2圖所示，追蹤系統120包含指向感測器122、處理電路124以及通訊電路126。處理電路124耦接指向感測器122以及通訊電路126。

於一些實施例中，指向感測器122可以透過慣性感測器(Inertial Measurement Unit,IMU)加以實現。慣性感測器可以感測可被追蹤裝置120在多個軸向上的加速度及角速度。但本揭示文件並不以此為限。指向感測器122也可以透過加速度計、陀螺儀或其他具相等性的指向感測器實現。

在一實施例中，指向感測器122可以直接感測可被追蹤裝置120的第一指向OR1。於另一實施例中，指向感測器122用以感測有關第一指向OR1的相關資料(例如加速度、角速度或重力方向)，並且這些相關資料可以透過處理電路124計算而得到第一指向OR1。在第1圖的實施例中，第一指向OR1是指沿著可被追蹤裝置120的中軸延伸的方向性指向。

通訊電路126用以傳輸指向感測器122感測到的第一指向OR1至追蹤裝置140。通訊電路126可以透過射頻收發器(radio frequency transceiver)電路、區域通訊電路及/或電信通訊電路實現。射頻收發器電路可以包含用來傳送或接受射頻訊號的天線。區域通訊電路可以包含低能量藍芽(Bluetooth Low-Energy,BLE)收發器、近場通訊收發器(Near Field Communication,NFC)、WiFi-direct收發器、Zigbee收發器或是其他具相等性的收發器。電信通訊電路可以是2G、3G、4G及/或5G電信收發器。處理電路124可以透過處理器、中央處理單元、影像處理單元、特殊應用積體電路(Application-specific integrated circuit,ASIC)加以實現。

如第2圖所示，追蹤裝置140包含指向追蹤器142、處理電路144、通訊電路146以及影像感測器148。處理電路144耦接指向追蹤器142、通訊電路146以及影像感測器148。

在一些實施例中，指向追蹤器142可以透過慣性感測器(Inertial Measurement Unit,IMU)加以實現。此一慣性感測器可以感測追蹤裝置140在多個軸向上的加速度及角速度。但本揭示文件並不以此為限。指向感測器142也可以透過加速度計、陀螺儀或其他具相等性的指向感測器實現。

在一實施例中，指向感測器142可以直接感測追蹤裝置140的第二指向OR2。於另一實施例中，指向感測器142用以感測有關第二指向OR2的相關資料(例如加速度、角速度或重力方向)，並且這些相關資料可以透過處理電路144計算而得到第二指向OR2。在第1圖的實施例中，第二指向OR2是指沿著追蹤裝置140的中軸延伸(或是沿著影像感測器148的中軸法線延伸)的方向性指向。

通訊電路146用以接收來自可被追蹤裝置120的第一指向OR1。通訊電路126可以透過射頻收發器(radio frequency transceiver)電路、區域通訊電路及/或電信通訊電路實現。

處理電路144可以透過處理器、中央處理單元、影像處理單元、特殊應用積體電路(Application-specific integrated circuit,ASIC)加以實現。處理電路144用以根據第一指向OR1以及第二指向OR2計算一個二維剪影，此二維剪影對應可被追蹤裝置120的三維形狀。

請一併參閱第3圖，其繪示根據本揭示文件之一實施例中一種追蹤方法300的方法流程圖。追蹤方法300適合用在第1圖及第2圖中追蹤系統100的可被追蹤裝置120與追蹤裝置140之間。

如第2圖及第3圖所示，執行操作S310，由可被追蹤裝置120上的指向感測器122感測第一指向OR1。執行操作S320，通訊電路126將第一指向OR1由可被追蹤裝置120傳送至追蹤裝置140。

在可被追蹤裝置140上，執行操作S330，由追蹤裝置140上的指向感測器142感測第二指向OR2。執行操作S340，通訊電路146接收來自可被追蹤裝置120的第一指向OR1。執行操作S350，由處理電路144根據第一指向OR1以及第二指向OR2計算一個二維剪影，此二維剪影對應可被追蹤裝置120的三維形狀。

請一併參閱第4A圖、第4B圖、第4C圖以及第4D圖。第4A圖至第4D圖繪示在多個例子中在相異的第一指向OR1以及相異的第二指向OR2的多個組合下所計算出來的不同的二維剪影的示意圖。

若是在影像感測器148是正面面對前方的可被追蹤裝置120，並且可被追蹤裝置120與追蹤裝置140大致位在相同的水平高度上，第一指向OR1以及第二指向OR2可能彼此垂直，此時處理電路144所計算得到的二維剪影可以參照第4A圖所繪示的三角形的二維剪影SILH1，因為影像感測器148此時是正面面對著圓錐形的可被追蹤裝置120。

若是在影像感測器148是由較低的角度面對前方的可被追蹤裝置120(即追蹤裝置140是位在相對低於可被追蹤裝置120的位置上)，第一指向OR1以及第二指向OR2可以在一個軸向上形成銳角(小於90度)，此時處理電路144所計算得到的二維剪影可以參照第4B圖所繪示的扇形的二維剪影SILH2，因為影像感測器148此時是由較低的位置觀察圓錐形的可被追蹤裝置120。

若是在影像感測器148是由可被追蹤裝置120底部的角度面對可被追蹤裝置120，第一指向OR1以及第二指向OR2兩者可能重疊或是彼此大致平行，此時處理電路144所計算得到的二維剪影可以參照第4C圖所繪示的圓形的二維剪影SILH3，因為影像感測器148此時是由底部的位置觀察圓錐形的可被追蹤裝置120。

若是在影像感測器148是由較低的角度面對可被追蹤裝置120，並且可被追蹤裝置120相對於追蹤裝置140向左側旋轉或傾斜，第一指向OR1以及第二指向OR2可在另一個軸向上(不同於先前第4B圖之實施例的軸向)形成另一個銳角(小於90度)，此時處理電路144所計算得到的二維剪影可以參照第4D圖所繪示的扇形的二維剪影SILH4，且扇形的二維剪影SILH4向左側傾斜，因為影像感測器148此時是由較低的角度面對著圓錐形且向左傾斜的可被追蹤裝置120。

第4A圖至第4D圖提供了在不同的第一指向OR1以及第二指向OR2之組合下幾種不同的二維剪影SILH1至SILH4的例子。然而，處理電路144所計算得到的二維剪影並不僅以這四種例子為限。基於相似的方法，處理電路144所計算得到的二維剪影也可以向右旋轉或甚至向下翻轉等。

在此假設，處理電路144根據第一指向OR1以及第二指向OR2所計算得到的為第4D圖中的二維剪影SILH4。執行操作S360，由追蹤裝置140的影像感測器148擷取影像。請一併參閱第5圖，其繪示根據本揭示文件之一實施例中影像感測器148所擷取的影像IMG1的示意圖。如第5圖所示，可被追蹤裝置120出現在影像感測器148所擷取的影像IMG1當中。為了追蹤可被追蹤裝置120的位置，處理電路144需要從影像IMG1的背景或其他物件中提取或辨認可被追蹤裝置120。於此實施例中，執行操作S370，由處理電路144利用二維剪影SILH4(如第4D圖所示)在影像感測器148所擷取的影像IMG1當中搜尋，藉此定位可被追蹤裝置120在影像IMG1當中的座標P1。在此例子中，根據第一指向OR1以及第二指向OR2所計算的二維剪影SILH4將適合用來從影像IMG1的背景或其他物件中提取可被追蹤裝置120。如此一來，藉由套用適當的搜尋遮罩(即二維剪影SILH4)追蹤裝置140其追蹤上述可被追蹤裝置120的準確性可以得到提升。

請一併參閱第6圖以及第7圖，第6圖繪示根據本揭示文件之一實施例中第3圖的操作S350的進一步細節操作的示意圖。第7圖繪示根據第6圖之實施例的細節操作所計算之二維剪影的示意圖。如第2圖所示，於一實施例中追蹤裝置140可進一步包含儲存單元149。儲存單元149與處理電路144耦接。於第2圖、第6圖及第7圖所示之實施例中，儲存單元149用以儲存與可被追蹤裝置120的三維形狀相符合的三維模型MD1。執行操作S651，以根據第二指向OR2決定參考平面RP1(參見第7圖)，參考平面RP1的法線是根據第二指向OR2而決定。執行操作S652，將三維模型MD1對齊第一指向OR1，在此實施例中，是將三維模型MD1的中央軸線對齊第一指向OR1。接著，執行操作S653，將三維模型MD1的輪廓投影至參考平面RP1上以取得二維剪影SILH5。於第6圖及第7圖的實施例中，二維剪影SILH5是動態地根據三維模型MD1、第一指向OR1以及第二指向OR2進行計算而產生的。

請一併參閱第8圖，第8圖繪示根據本揭示文件之另一實施例中第3圖的操作S350的進一步細節操作S851-S853的示意圖。

如第2圖所示，於一實施例中追蹤裝置140可進一步包含儲存單元149。儲存單元149與處理電路144耦接。儲存單元149可以是記憶體、快閃記憶體、硬碟、暫態電腦可讀取媒體或是非暫態電腦可讀取媒體。儲存單元149可用以儲存一個查找表。請一併參閱第9圖，第9圖繪示對應第8圖之實施例所使用的查找表LUT1的示意圖。

儲存在儲存單元149中的查找表LUT1是用以記錄多個候選二維剪影，例如第9圖所繪示的多個候選二維剪影SC1-SC15。這些候選二維剪影SC1-SC15分別對應可被追蹤裝置120上第一指向OR1的相異第一指向範圍OR1a至OR1e，並且對應追蹤裝置140上第二指向OR2的相異第二指向範圍OR2a至OR2c。舉例來說，候選二維剪影SC1 是對應第一指向範圍OR1a以及第二指向範圍OR2a；候選二維剪影SC2是對應第一指向範圍OR1b以及第二指向範圍OR2a；以及，候選二維剪影SC3是對應第一指向範圍OR1c以及第二指向範圍OR2a。

以候選二維剪影SC1-SC5而言，第二指向範圍OR2a維持相同，而可被追蹤裝置120上第一指向OR1由傾斜向左(對應一個第一指向範圍OR1a)漸漸旋轉至傾斜向右(對應另一個第一指向範圍OR1e)。以候選二維剪影SC3、SC8及SC13而言，第一指向範圍OR1c維持相同，而追蹤裝置140上第二指向OR1由相對於可被追蹤裝置120較低的水平(對應一個第二指向範圍OR2a)漸漸移動至與可被追蹤裝置120大致相同的水平(對應另一個第二指向範圍OR1c)。查找表LUT1可以事先建立，事先建立的方式可以透過在追蹤裝置140前方放置可被追蹤裝置120、在不同的第一指向範圍及第二指向範圍的多個不同組合的視角下拍攝可被追蹤裝置120的多張參考影像、將不同的第一指向範圍OR1a-OR1e及第二指向範圍OR2a-OR2c的多張參考影像中的相對應的候選二維剪影SC1-SC15記錄到查找表LUT1中。查找表LUT1可以事先建立並儲存在儲存單元149當中。於此例子中，查找表LUT1僅繪示了五個第一指向範圍OR1a-OR1e以及三個第二指向範圍OR2a-OR2c的組合以進行查找表LUT1的舉例說明。然而，查找表LUT1可以包含更多個第一指向範圍與更多個第二指向範圍的更多組合，藉此涵蓋不同空間關係的各種變化。因此，查找表LUT1的實際內容並不僅限於第9圖所示的例子。

於一些實施例中，第3圖中的操作S350可以透過第8圖中的操作S851至S853而完成。參閱第2圖、第3圖、第8圖以及第9圖，在可被追蹤裝置120感測到第一指向OR1以及追蹤裝置140感測到第二指向OR2之後，執行操作S851，將可被追蹤裝置感測120到的第一指向OR1及追蹤裝置140感測到的第二指向OR2分別與查找表LUT1中的多個第一指向範圍OR1a-OR1e及多個第二指向範圍OR2a-OR2c所選出的其中一個組合(例如指向範圍OR1a與OR2a所形成的一個組合)進行比較。

於一例子中，執行操作S852判斷可被追蹤裝置120感測到的第一指向OR1及追蹤裝置140感測到的第二指向OR2是否與當前比較的組合相符。如果比對不符合(也就是第一指向OR1與第二指向OR2並未入落入目前指向範圍OR1a與OR2a所形成的組合)，則再次執行操作S851，將第一指向OR1及第二指向OR2分別與查找表LUT1中的多個第一指向範圍OR1a-OR1e及多個第二指向範圍OR2a-OR2c所選出的另外一個組合(例如指向範圍OR1b與OR2a所形成的一個組合)進行比較。如果上述比對中發現比對相符(例如第一指向OR1及第二指向OR2落入指向範圍OR1b與OR2a所形成的一個組合)，執行操作S853，由查找表LUT1中的複數個候選二維剪影SC1-SC15中選擇相應的其中一者作為二維剪影(於此例中將會選擇候選二維剪影SC2作為本例子中輸出的二維剪影)。

基於第8圖之實施例的操作S851至S853，二維剪影可以由事先建立的查找表LUT1中選出，如此一來，追蹤裝置140可以快速決定適合的遮罩(即二維剪影)來追蹤出現在影像感測器148所拍攝之影像當中的可被追蹤裝置120。

請一併參閱第10圖，其繪示根據本揭示文件之一實施例中第1圖的追蹤裝置140的影像感測器148的拍攝視野的示意圖。如第10圖所示，影像感測器148的拍攝視野涵蓋了很多不同的分區R1-R9。當可被追蹤裝置120出現在不同分區的位置時，對於追蹤裝置140所看到之可被追蹤裝置120的輪廓並不相同。舉例來說，當可被追蹤裝置120位在相對影像感測器148的分區R4時，可被追蹤裝置120的底部在畫面中會呈現相對較大的比例；以及，當可被追蹤裝置120位在相對影像感測器148的分區R6時，可被追蹤裝置120的頂部在畫面中會呈現相對較大的比例。於此例子中，若在影像感測器148所拍攝的影像的所有分區R1-R9均採用相同的遮罩(如二維剪影)來進行搜尋，不一定能達到最佳的效果。

請一併參閱第11圖，其繪示根據本揭示文件之一實施例中影像感測器148所拍攝的影像IMG2的示意圖。於一些實施例中，儲存單元149用以儲存K個不同版本的查找表。此K個查找表各自記載多個候選二維剪影。K個查找表的每一者可以與第9圖中的查找表LUT1具有相同的架構。然而，K個查找表是對應由K個不同的視角來觀察可被追蹤裝置120。因此，K個查找表當中一個查找表所記錄的候選二維剪影會不同於K個查找表當中另一個查找表。K為大於一的正整數。於第10圖及第11圖的實施例中，K等於9，但本揭示文件並不以此為限。

上述K個查找表可以事先分別建立並儲存在儲存單元149當中，關於建立K個查找表的細部作法是相似於先前實施例中建立查找表LUT1的流程，將可被追蹤裝置120分別放在追蹤裝置140前方的不同分區R1-R9當中、在不同的第一指向範圍及第二指向範圍的多個不同組合的視角下拍攝可被追蹤裝置120的多張參考影像、將不同的第一指向範圍及第二指向範圍的多張參考影像中的相對應的候選二維剪影記錄到K張查找表當中各自的查找表內。

處理電路144用以依據第一指向OR1以及第二指向OR2並參考K張查找表計算K個二維剪影。K個二維剪影對應可被追蹤裝置120的三維形狀。處理電路144用以將影像感測器擷取的影像IMG2劃分為K個分區R1-R9。

處理電路144用以利用K個二維剪影其中一個搜尋K個分區R1-R9中相應的一個分區，以定位可被追蹤裝置120在影像IMG2的其中一個分區中的座標P1。於此例子中，處理電路144會利用九個不同的二維剪影分別搜尋影像IMG2當中的九個分區R1-R9。處理電路144所使用的九個不同的二維剪影是根據第一指向OR1以及第二指向OR2對應每一個分區各自分別決定的。

透過上述第10圖以及第11圖所示之實施例，可以由事先建立的多個查找表當中分別選出多個二維剪影，如此一來追蹤裝置140可以快速地決定適合的遮罩(如二維剪影)，藉以追蹤可被追蹤裝置120出現在影像感測器148所拍攝之影像當中不同分區其中一者的位置。根據上述實施例，由於處理電路144可以用適當的遮罩來搜尋影像IMG2當中的個別分區，因此，追蹤裝置140利用影像感測器148所拍攝之影像來定位可被追蹤裝置120的精準度可以提高，並且整體的運算時間可以降低。

雖然本發明之實施例已揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可做些許之更動與潤飾，因此本發明之保護範圍當以後附之申請專利範圍所界定為準。

Claims

一種追蹤系統，包含：一可被追蹤裝置，具有一三維形狀，該可被追蹤裝置包含一第一指向感測器用以感測該可被追蹤裝置之一第一指向；一追蹤裝置，與該可被追蹤裝置通訊，該追蹤裝置包含：一第二指向感測器，用以感測該追蹤裝置之一第二指向；一影像感測器，用以擷取一影像；以及一處理電路，耦接該第二指向感測器以及該影像感測器，該處理電路用以：依據該第一指向以及該第二指向計算一二維剪影，該二維剪影對應該可被追蹤裝置的該三維形狀；以及利用該二維剪影搜尋該影像感測器所擷取的該影像，以定位該可被追蹤裝置在該影像中的座標。
如請求項1所述之追蹤系統，其中該處理電路進一步根據該可被追蹤裝置在該影像中的座標用以追蹤該可被追蹤裝置與該追蹤裝置之間的一空間關係。
如請求項1所述之追蹤系統，其中該追蹤裝置包含一儲存單元，該儲存單元用以儲存該可被追蹤裝置的一三維模型，且該處理電路計算該二維剪影是透過：決定對應該第二指向之一參考平面；將該三維模型對齊該第一指向；以及將該三維模型的一輪廓投影至該參考平面上以取得該二維剪影。
如請求項1所述之追蹤系統，其中該第一指向感測器或該第二指向感測器包含一慣性量測單元、一加速度計或一陀螺儀。
如請求項1所述之追蹤系統，其中該可被追蹤裝置包含一第一通訊電路用以傳送該可追蹤裝置的該第一指向至該追蹤裝置，該追蹤裝置包含一第二通訊電路通訊連接該第一通訊電路，該第二通訊電路用以接收該第一指向。
如請求項5所述之追蹤系統，其中該第一通訊電路或該第二通訊電路包含一射頻收發器電路、一區域通訊電路或是一電信通訊電路。
一種追蹤方法，適用於一追蹤裝置與具有一三維形狀的一可被追蹤裝置之間，該追蹤方法包含：由該可被追蹤裝置的一第一指向感測器感測該可被追蹤裝置之一第一指向；傳送該可被追蹤裝置之該第一指向至該追蹤裝置；由該追蹤裝置的一第二指向感測器感測該追蹤裝置之一第二指向；依據該第一指向以及該第二指向計算一二維剪影，該二維剪影對應該可被追蹤裝置的該三維形狀；以及利用該二維剪影搜尋該影像感測器所擷取的該影像，以定位該可被追蹤裝置在該影像中的座標。
如請求項7所述之追蹤方法，進一步包含：根據該可被追蹤裝置在該影像中的座標用以追蹤該可被追蹤裝置與該追蹤裝置之間的一空間關係。
如請求項7所述之追蹤方法，其中該追蹤裝置包含一儲存單元，該儲存單元用以儲存該可被追蹤裝置的一三維模型，計算該二維剪影之操作包含：決定對應該第二指向之一參考平面；將該三維模型對齊該第一指向；以及將該三維模型的一輪廓投影至該參考平面上以取得該二維剪影。
如請求項7所述之追蹤方法，其中該追蹤裝置儲存一查找表，該查找表記錄複數個候選二維剪影，該複數個候選二維剪影對應該可被追蹤裝置的複數個第一指向範圍以及該追蹤裝置的複數個第二指向範圍，且計算該二維剪影之操作包含：藉由將該可被追蹤裝置感測到的該第一指向及該追蹤裝置感測到的該第二指向分別與該複數個第一指向範圍及該複數個第二指向範圍進行比較，進而由該查找表的該複數個候選二維剪影中選擇其中一者作為該二維剪影。
如請求項10所述之追蹤方法，其中該查找表的建立是透過該影像感測器在該複數個第一指向範圍及該複數個第二指向範圍的複數個不同組合的視角下，分別擷取該可被追蹤裝置的複數張參考影像，並且將該可被追蹤裝置在該些參考影像中的複數個輪廓記錄在該查找表中。
如請求項7所述之追蹤方法，其中該追蹤裝置儲存K張查找表，該K張查找表各自記錄複數個候選二維剪影，該複數個候選二維剪影對應該可被追蹤裝置的複數個第一指向範圍以及該追蹤裝置的複數個第二指向範圍，且計算該二維剪影之操作包含：依據該第一指向以及該第二指向並參考該K張查找表計算K個二維剪影，該K個二維剪影對應該可被追蹤裝置的該三維形狀，K為大於一的正整數。
如請求項12所述之追蹤方法，其中利用該二維剪影搜尋該影像感測器所擷取的該影像之操作包含：將該影像感測器擷取的該影像劃分為K個分區；以及利用該K個二維剪影其中一個搜尋該K個分區中相應的一個分區，以定位該可被追蹤裝置在該影像的其中一個分區中的座標。