TWI812369B - 控制方法、追蹤系統以及非暫態電腦可讀取媒體 - Google Patents

Abstract

一種控制方法包含下列步驟。以相機擷取涉及校準圖卡的至少一影像，其中第一可追蹤裝置實體附接至該相機，第二可追蹤裝置實體附接至該校準圖卡。以追蹤基站追蹤附接至相機的第一可追蹤裝置以產生第一旋轉轉換矩陣，以追蹤基站追蹤附接至校準圖卡的第二可追蹤裝置以產生第二旋轉轉換矩陣。根據出現在至少一影像當中的校準圖卡，產生第三旋轉轉換矩陣。根據第一旋轉轉換矩陣、第二旋轉轉換矩陣以及第三旋轉轉換矩陣，計算相機座標系統與第一可追蹤裝置之間的第四旋轉轉換矩陣，其中第四旋轉轉換矩陣用於追蹤相機。

Description

控制方法、追蹤系統以及非暫態電腦可讀取媒體

本揭示有關於一種追蹤系統以及控制方法，且特別是有關能夠準確地且有效率地追蹤相機的追蹤系統。

近來發展了各種虛擬實境(Virtual Reality,VR)、擴增實境(Augmented Reality,AR)、替換實境(Substitutional Reality,SR)及/或混和實境(Mixed Reality,MR)裝置以提供使用者沉浸式體驗。當使用者穿戴了頭戴式顯示(head-mounted display,HMD)裝置時，使用者的視線將被頭戴式顯示裝置上的沉浸式內容所覆蓋。這些沉浸式內容顯示虛擬背景以及沉浸式場景當中的一些物件。

為了創作出生動的沉浸式內容，其中一種方式是拍攝真實的演員、真實的車輛或真實的動物，再將這些真實的物件與虛擬場景當中虛擬物件或虛擬背景融合，為了達到上述融合，必須要精準地追蹤真實物件的姿態資料(位置資料與旋轉資料)。否則，這些真實物件將會被擺放在沉浸式場景中的錯誤位置或錯誤軸向。

本揭示的一態樣揭露一種控制方法包含下列步驟。以相機擷取涉及校準圖卡的至少一影像，其中第一可追蹤裝置實體附接至該相機，第二可追蹤裝置實體附接至該校準圖卡；以追蹤基站追蹤該第一可追蹤裝置以及該第二可追蹤裝置，以產生該第一可追蹤裝置以及該追蹤基站之間的第一旋轉轉換矩陣，並產生該第二可追蹤裝置以及該追蹤基站之間的第二旋轉轉換矩陣；根據出現在該至少一影像當中的該校準圖卡，產生該相機的一相機座標系統以及該校準圖卡之間的一第三旋轉轉換矩陣；以及根據第一旋轉轉換矩陣、第二旋轉轉換矩陣以及第三旋轉轉換矩陣，計算相機座標系統與第一可追蹤裝置之間的第四旋轉轉換矩陣，其中該第四旋轉轉換矩陣用於追蹤該相機。

本揭示的另一態樣揭露一種追蹤系統，包含相機、第一可追蹤裝置、第二可追蹤裝置、追蹤基站以及處理單元。相機用以擷取涉及一校準圖卡的至少一影像。第一可追蹤裝置實體附接至該相機。第二可追蹤裝置實體附接至該校準圖卡。追蹤基站用以追蹤該第一可追蹤裝置以及該第二可追蹤裝置，以產生該第一可追蹤裝置以及該追蹤基站之間的一第一旋轉轉換矩陣，並產生該第二可追蹤裝置以及該追蹤基站之間的一第二旋轉轉換矩陣。處理單元與該追蹤基站以及該相機通訊連接，其中處理單元用以根據出現在該至少一影像當中的該校準圖卡，產生該相機的一 相機座標系統以及該校準圖卡之間的一第三旋轉轉換矩陣，處理單元用以根據該第一旋轉轉換矩陣、該第二旋轉轉換矩陣以及該第三旋轉轉換矩陣，計算該相機座標系統與該第一可追蹤裝置之間的一第四旋轉轉換矩陣，處理單元用以根據該第一可追蹤裝置以及第四旋轉轉換矩陣追蹤該相機。

本揭示的另一態樣揭露一種非暫態電腦可讀取媒體，其儲存至少一指令程序由一處理單元所執行以運行前述的追蹤方法。

須說明的是，上述說明以及後續詳細描述是以實施例方式例示性說明本案，並用以輔助本案所請求之發明內容的解釋與理解。

100:追蹤系統

120:相機

141:第一可追蹤裝置

142:第二可追蹤裝置

160:追蹤基站

180:校準圖卡

182:特徵圖樣

184:乘載插座

190:處理單元

300a,300b,300c:控制方法

S310~S354:步驟

C141,C142,C160,C182:參考中心

O141,O142,O160,O182:座標系統

C120:光學中心

O120:相機座標系統

DIS:偏差距離

SA:空間範圍

OBJ:物件

RT1,RT1a,RT1n:第一旋轉轉換矩陣

RT1x:目前的第一旋轉轉換矩陣

RT1y:目前的第一旋轉轉換矩陣

RT2,RT2a,RT2n:第二旋轉轉換矩陣

RT3,RT3a,RT3n:第三旋轉轉換矩陣

RT4:第四旋轉轉換矩陣

RT4a,RT4n:候選旋轉轉換矩陣

RT5:第五旋轉轉換矩陣

IMG,IMGa,IMGn:影像

為讓本揭示內容之上述和其他目的、特徵與實施例能更明顯易懂，所附圖式之說明如下：第1圖繪示根據本揭示之一些實施例中一種追蹤系統的示意圖；第2圖繪示根據本揭示文件中一些實施例中在校正過程中具有追蹤相機的光學中心之功能的追蹤系統的示意圖；第3圖繪示第2圖當中的追蹤系統在校正過程中所執行的控制方法的流程圖；第4圖繪示本揭示文件之一些實施例中追蹤系統在校正過程中的示意圖； 第5圖其繪示第2圖當中的追蹤系統在校正過程中在另一實施例中執行的控制方法的流程圖；第6A圖以及第6B圖繪示根據本揭示文件之一實施例在校正過程中相機相對於校正圖卡位在不同位置所拍攝的影像的示意圖；第7A圖以及第7B圖繪示追蹤系統在校正過程完成後的一般應用中執行相機之光學中心的追蹤功能的示意圖；以及第8圖繪示在校正過程結束後由第7A圖或第7B圖當中所示的追蹤系統所執行的控制方法的流程圖。

以下揭示提供許多不同實施例或例證用以實施本揭示文件的不同特徵。特殊例證中的元件及配置在以下討論中被用來簡化本揭示。所討論的任何例證只用來作解說的用途，並不會以任何方式限制本揭示文件或其例證之範圍和意義。在適當的情況下，在圖式之間及相應文字說明中採用相同的標號以代表相同或是相似的元件。

請參閱第1圖，其繪示根據本揭示之一些實施例中一種追蹤系統100的示意圖。如第1圖所示，追蹤系統100包含位於空間範圍SA當中的相機120、第一可追蹤裝置141以及追蹤基站160。舉例來說，如第1圖所示的空間範圍SA可以是真實世界當中的拍片片場或是會議室，但本揭示文件並不以此為限。於其他一些實施例中，空間範圍SA也可以是戶外空間(圖中未繪示)中的特定區域。

在一些實施例中，相機120能夠拍攝或擷取有關於真實世界中的真實物件OBJ的影片或相片。舉例來說，所謂的真實物件OBJ可以是格鬥動作演員，而相機120能夠拍攝關於格鬥動作演員的影片，並且將真實物件OBJ融合至沉浸式場景作為其中的一個角色。沉浸式場景還可以另外包含虛擬背景(例如，外太空)和其他一些虛擬物件(例如，宇宙飛船和外星人)。為了確保沉浸式場景看起來更為逼真，準確追蹤相機120的位置和方向是非常重要的，如以一起才可以精確地定位由相機120擷取的影片視角。

在一些實施例中，追蹤系統100包含第一可追蹤裝置141和追蹤基站160。如第1圖所示，第一可追蹤裝置141實體附接至相機120。追蹤基站160設置在空間範圍SA中的固定位置。例如，追蹤基站160設置在第1圖所示之靠近房間的天花板的一個角落位置。當相機120移動時，第一可追蹤裝置141會隨著相機120而相應移動。追蹤基站160能夠追蹤第一可追蹤裝置141，使得追蹤基站160能夠判斷關於相機120的大致位置(根據第一可追蹤裝置141被追蹤到的位置)。在此情況下，追蹤基站160仍無法追蹤到相機120的準確位置，這是因為第一可追蹤裝置141與相機120之間仍存在一定的偏差距離。

在一些實施例中，追蹤基站160可以發送一些光學追蹤訊號，而第一可追蹤裝置141可以包含光學感測器(圖中未示)用以感測由追蹤基站160發出的光學追蹤訊號， 藉此追蹤第一可追蹤裝置141與追蹤基站160之間的空間關係。然而本揭示文件並不以上述光學感測方式以追蹤第一可追蹤裝置141。在一些其他實施例當中，也可以利用電腦視覺來追蹤第一可追蹤裝置141上面設置的特徵圖樣。

基於追蹤基站160與第一可追蹤裝置141的功能，追蹤系統100能夠追蹤第一可追蹤裝置141的參考中心C141。由於第一可追蹤裝置141是實體附接在相機120上。在一些例子中，參考中心C141是直接被當作相機120的位置。然而，如第1圖所示，第一可追蹤裝置141的參考中心C141與相機120的光學中心C120之間仍存在一定的偏差距離DIS。

若第一可追蹤裝置141的參考中心C141被假設為相機120的視角原點，則相機120所拍攝的影片就會被錯誤地假設在錯誤視角原點(即參考中心C141)上拍攝，將會稍稍偏離了真正的視角原點(即光學中心C120)。因此，為了校正上述偏差，希望能得知參考中心C141與光學中心C120之間的偏差距離DIS。相機120的光學中心C120是位在相機120內部且被相機120本身的鏡頭、像素感測器及光學構件等影響，由外觀非常難精確地判定相機120的光學中心C120的準確位置。因此，參考中心C141與相機120的光學中心C120之間的偏差距離DIS難以直接量測。

在一些實施例中，追蹤系統100提供了一種測量 偏差距離DIS的方式，藉以精確地追蹤和校準相機120。請進一步參閱第2圖，其繪示根據本揭示文件中一些實施例中在校正過程中具有追蹤相機120的光學中心C120之功能的追蹤系統100的示意圖。

在一些實施例中，處理單元190通訊連接至相機120、第一可追蹤裝置141以及第二可追蹤裝置142。處理單元190可以是中央處理單元、圖形處理單元、處理器及/或特殊應用積體電路(application-specific integrated circuit,ASIC)。在一些實施例中，處理單元190可以由獨立運作的電腦或獨立運作的伺服器加以實現。於另外一些實施例當中，處理單元190可以被整合到相機120或追蹤基站160當中。

在一些實施例中，追蹤基站160可以發送一些光學追蹤訊號，而第二可追蹤裝置142可以包含光學感測器(圖中未示)用以感測由追蹤基站160發出的光學追蹤訊號，藉此追蹤第二可追蹤裝置142與追蹤基站160之間的空間關係。然而本揭示文件並不以上述光學感測方式以追蹤第二可追蹤裝置142。在一些其他實施例當中，也可以利用電腦視覺來追蹤第二可追蹤裝置142上面設置的特徵圖樣。

校準圖卡180包含特徵圖樣182以及乘載插座184。如第2圖所示，在一些實施例中特徵圖樣182可以是棋盤式的圖樣，其包含具有預先設定尺寸的多個白色方塊以及多個黑色方塊並以預先設定的間距排列。棋盤式的 圖樣有助於針對相機120執行相機幾何校準(geometric camera calibration)。舉例來說，可以基於針孔相機模型(pinhole camera model)的校正方式來進行相機幾何校準。

第二可追蹤裝置142附接在乘載插座184並且其位置相對於特徵圖樣具有一定的機構配置關係。如第2圖所示，當第二可追蹤裝置142附接在乘載插座184中時，第二可追蹤裝置142的參考中心C142會受到乘載插座184的限位而保持在一固定位置。於此例子中，相對於校準圖卡180上特徵圖樣182的參考中心C182，第二可追蹤裝置142的參考中心C142將會固定具有預定的相對關係。上述這個機構配置關係是可以直接量測並經由人為設置的。舉例來說，透過將乘載插座184形成在設計者想要的位置，可以將參考中心C142精準固定在相對特徵圖樣182的參考中心C182的左方30公分且下方10公分的位置。上述第二可追蹤裝置142與特徵圖樣182之間的空間關係可以用第五旋轉轉換矩陣(rotation-translation matrix)加以描述。

根據一些實施例在校正過程中，相機120被觸發以擷取至少一個影像IMG其涉及校準圖卡180。基於影像IMG、第一可追蹤裝置141和第二可追蹤裝置142的追蹤結果，處理單元190能夠計算出在第一可追蹤裝置141的參考中心C141與相機120的光學中心C120之間的偏差距離。

請一併參閱第3圖以及第4圖，第3圖繪示第2圖當中的追蹤系統100在校正過程中所執行的控制方法300a的流程圖，第4圖繪示本揭示文件之一些實施例中追蹤系統100在校正過程中的示意圖。

如第2圖、第3圖以及第4圖所示，步驟S310被執行，以觸發相機120進而使相機120擷取涉及校正圖卡180的影像IMG(如第2圖所示)。

步驟S312被執行，透過追蹤基站160追蹤第一可追蹤裝置141的姿態資料，進而根據第一可追蹤裝置141的姿態資料產生第一可追蹤裝置141與追蹤基站160之間的第一旋轉轉換矩陣RT1。第一旋轉轉換矩陣RT1用以描述第一可追蹤裝置141的座標系統O141與追蹤基站160的座標系統O160之間相對的旋轉關係與位置關係。於一些實施例中，第一旋轉轉換矩陣RT1定義為旋轉轉換矩陣

其用來將原本位在座標系統O141當中的原始向量轉換為位在座標系統O160當中的等效向量。

步驟S314被執行，透過追蹤基站160追蹤第二可追蹤裝置142的姿態資料，進而根據第二可追蹤裝置142的姿態資料產生第二可追蹤裝置142與追蹤基站160之間的第二旋轉轉換矩陣RT2。第二旋轉轉換矩陣RT2用以描述第二可追蹤裝置142的座標系統O142與追蹤基站160的座標系統O160之間相對的旋轉關係與位置關係。於一些實施例中，第二旋轉轉換矩陣RT2定義為旋轉轉換矩陣

其用來將原本位在座標系統O142當 中的原始向量轉換為位在座標系統O160當中的等效向量。

步驟S316被執行，以提供校準圖卡180與第二可追蹤裝置142之間的第五旋轉轉換矩陣RT5。於一些實施例中，第五旋轉轉換矩陣RT5是根據第二可追蹤裝置142與特徵圖樣182之間的空間關係推導得到的。由於第二可追蹤裝置142是安裝設置在校正圖卡180上的乘載插座184當中，乘載插座184的位置可以被刻意設計藉此使第五旋轉轉換矩陣RT5具備預想的特定數值。第五旋轉轉換矩陣RT5的數值是可以直接量測並可由人為設置的(透過調整乘載插座184的位置)。在一些實施例中，第五旋轉轉換矩陣RT5定義為

其用來將原本位在座標系統O142當中的原始向量轉換為位在座標系統O182當中的等效向量。

如第3圖所示之實施例，步驟S320被執行，根據出現在影像IMG中的校正圖卡180，產生相機120的相機座標系統O120與校正圖卡180上面的特徵圖樣182的座標系統O182之間的第三旋轉轉換矩陣RT3。

在一些實施例中，在步驟S320中，處理單元190利用電腦視覺(computer vision)演算法根據出現在影像IMG中的校正圖卡180產生相機120的相機座標系統O120與特徵圖樣182的座標系統O182之間第三旋轉轉換矩陣RT3。在一些實施例中，步驟S320中的電腦視覺演算法可以用來感測相機120和校正圖卡180之間的相對 移動。舉例來說，當特徵圖樣182在圖像IMG中顯得更小時，處理單元190產生的第三旋轉轉換矩陣RT3將表示相機座標系統O120位在較遠離座標系統O182的位置。在另一例子中，當特徵圖樣182在圖像IMG中顯得較大時，處理單元190生成的第三旋轉轉換矩陣RT3將表示相機座標系統O120位在較接近座標系統O182的位置。在另一例子中，當特徵圖樣182的其中一側邊在圖像IMG中顯得大於相對的另一側邊時，處理單元190生成的第三旋轉轉換矩陣RT3將表示相機座標系統O120與座標系統O182之間的旋轉角度。在一些實施例中，第三旋轉轉換矩陣RT3定義為

其用來將原本位在座標系統O182當中的原始向量轉換為位在相機座標系統O120當中的等效向量。

需注意的是，相機座標系統O120的原點位於相機120內部的光學中心C120，難以用機械方式直接量測光學中心C120的位置，因為光學中心C120是位在相機120內部的理論位置點。在此例子中，相機座標系統O120與第一可追蹤裝置141的座標系統O141之間的第四旋轉轉換矩陣RT4難以基於第一可追蹤裝置141與相機120的物理連接關係進行直接量測。如第3圖以及第4圖所示，步驟S320被執行，處理單元190根據前述的多個旋轉轉換矩陣RT1、RT2、RT3及RT5進而計算相機座標系統O120與第一可追蹤裝置141的座標系統O141之間的第四旋轉轉換矩陣RT4。

在一些實施例中，第四旋轉轉換矩陣RT4定義為

其用來將原本位在相機座標系統O120當中的原始向量轉換為位在(第一可追蹤裝置141)座標系統O141當中的等效向量。第四旋轉轉換矩陣RT4可以透過下列方式計算：

如上算式所述，處理單元190可以根據第三旋轉轉換矩陣RT3、第五旋轉轉換矩陣RT5、第二旋轉轉換矩陣RT2以及第一旋轉轉換矩陣RT1的乘積來計算第四旋轉轉換矩陣RT4。

在一些實施例中，追蹤系統100以及追蹤方法300a可以在校正過程中計算第四旋轉轉換矩陣RT4。第四旋轉轉換矩陣RT4是用來描述相機座標系統O120與第一可追蹤裝置141之間相對的旋轉關係與位置關係。由於第一可追蹤裝置141是物理性附接在相機120上的固定位置，因此透過步驟S330計算得到的第四旋轉轉換矩陣RT4能夠保持穩定的數據。相機座標系統O120的原點位於相機120的光學中心C120。

如此一來，追蹤系統100透過追蹤第一可追蹤裝 置141(及其座標系統O141)並將第四旋轉轉換矩陣RT4套用到第一可追蹤裝置141(及其座標系統O141)的追蹤結果上，便能夠追蹤到相機120的光學中心C120與相機座標系統O120的準確位置。

如第2圖、第3圖以及第4圖所示，在步驟S340中，處理單元190可儲存第四旋轉轉換矩陣RT4。於一些實施例中，第四旋轉轉換矩陣RT4可被儲存在數位資料儲存器(圖中未示)，例如記憶體、硬碟、快取記憶體、快閃記憶體或其他相似的資料儲存器。在校正程序之後，儲存的第四旋轉轉換矩陣RT4可以用在追蹤相機120的光學中心C120。

如第3圖所示的實施例中，控制方法300a觸發相機120拍攝一張影像IMG以計算第四旋轉轉換矩陣RT4，然而本揭示文件並不以此為限。

在一些實施例中，相機120需要一些校正參數以調整相機120的影像圖框，例如多個內部參數(intrinsic parameters)及/或多個形變參數(distortion parameters)。換句話說，基於內部參數及/或形變參數的數據，相機120可將多個像素感測器的感測結果據以轉換為影像IMG的圖框。請一併參與第5圖，其繪示第2圖當中的追蹤系統100在校正過程中在另一實施例中執行的控制方法300b的流程圖。在第5圖所示的實施例中，控制方法300b可以產生第四旋轉轉換矩陣RT4(用以追蹤相機120)並且量測相機的內部參數及/或形變參數。

第5圖的實施例中所示的控制方法300b相似於第3圖中的控制方法300a。控制方法300b與控制方法300a的其中一個不同點在於，如第2圖以及第5圖所示，在步驟S310當中，控制方法300b觸發相機120擷取涉及校正圖卡180的N張影像IMGa~IMGn，N為大於1的正整數。舉例來說，若N=5，則相機120可以拍攝涉及校正圖卡180的五張不同影像。控制方法300b進一步包含步驟S315。

請一併參閱第6A圖以及第6B圖，其繪示根據本揭示文件之一實施例在校正過程中相機120相對於校正圖卡180位在不同位置所拍攝的影像IMGa~IMGn的示意圖。

如第6A圖所示，相機120相對於校正圖卡180位在一個特定位置，並且相機120拍攝一張影像IMGa；如第6B圖所示，相機120相對於校正圖卡180位在另一個位置，並且相機120拍攝另一張影像IMGn。第6A圖以及第6B圖繪示了相機120在兩個不同位置拍攝兩張影像IMGa以及IMGn的例子。然而本揭示文件並不以此為限，相機120可以移動至更多不同位置以拍攝更多影像。

在步驟S315當中，根據出現在多張影像IMGa~IMGn內的校正圖卡180當中特徵圖樣182，處理單元190可以執行相機120的相機幾何校正(geometric camera calibration)，以產生內部參數及形變參數。在一些實施例中，相機幾何校正是一種基於 相機模型的估算程序，用以估算相機模型對應的內部參數及形變參數，並使相機模型能夠近似於拍攝了預定圖像(即第2圖當中的特徵圖樣182)的真實相機120，藉此計算出內部參數及形變參數。需特別注意的是，本揭示文件並不僅限於針孔相機模型(pinhole camera model)，其他的相機模型也可以用來產生內部參數及形變參數。關於如何根據相機模型進行相機幾何校正的詳細作法已經在相關領域中被廣泛討論並為此領域中習知技藝之人所熟知，故在此不再贅述。

內部參數是有關於兩個座標系統之間的轉換，是由相機座標系統O120到圖像IMG的二維像素座標系統(對應於相機120的多個像素感測器，圖中未繪示)的轉換。內部參數受到相機120的內部配置影響，例如相機120的焦距、光學中心C120和偏斜係數。

於此例子中，步驟S315所計算的多個內部參數可被儲存，當相機120進行拍攝未涉及校準圖卡180的另一影像時，儲存的這些內部參數可以用來調整相機120的影像圖框。舉例來說，當校正過程結束後，當相機120在擷取有關物件OBJ(參閱第1圖)的影像或是拍攝影片或電影時，儲存的內部參數可以用來調整相機120的影像圖框。

多個形變參數是有關於相機120的多個非線性鏡頭形變，在一些實施例中，處理單元190在進行相機幾何校正時可以一併計算多個形變參數。

於此例子中，步驟S315所計算的多個形變參數可 被儲存，當該相機進行拍攝未涉及校準圖卡180的另一影像時，儲存的形變參數用以調整相機120的影像圖框。舉例來說，當校正過程結束後，當相機120在擷取有關物件OBJ(參閱第1圖)的影像或是拍攝影片或電影時，儲存的形變參數可以用來調整相機120的影像圖框。

需注意的是，理想情況下，步驟S315對應N張影像IMGa~IMGn所計算的內部參數會是相同的，步驟S315對應N張影像IMGa~IMGn所計算的形變參數也會是相同的，這是因為內部參數與形變參數是相機120的內部因素所決定的。

在步驟S320當中，控制方法300b利用電腦視覺根據出現在N張影像IMGa~IMGn中的校準圖卡180上面的特徵圖樣182，產生相機120的相機座標系統O120與校準圖卡180之間的N個第三旋轉轉換矩陣RT3a~RT3n。N個第三旋轉轉換矩陣RT3a~RT3n每一者的產生方式相似於先前實施例第3圖中所示的步驟S320(產生一個第三旋轉轉換矩陣RT3根據單張影像)。

在步驟S331中，處理單元190根據N個第一旋轉轉換矩陣RT1a~RT1n、N個第二旋轉轉換矩陣RT2a~RT2n、N個第三旋轉轉換矩陣RT3a~RT3n以及第五旋轉轉換矩陣RT5，計算相機座標系統O120與第一可追蹤裝置141之間的N個候選旋轉轉換矩陣RT4a~RT4n。

有關第5圖當中控制方法300b的步驟S310至 步驟S331的詳細作法，可以透過將控制方法300a的步驟S310至步驟S330執行N次並在過程中分別將相機移動至相異的位置。

如第5圖所示，步驟S332被執行，處理單元190以統計方式分析N個候選旋轉轉換矩陣RT4a~RT4n，藉此根據N個候選旋轉轉換矩陣RT4a~RT4n的分析結果計算第四旋轉轉換矩陣RT4。

於一些實施例中，可以根據N個候選旋轉轉換矩陣RT4a~RT4n的平均值來產生第四旋轉轉換矩陣RT4。

於一些實施例中，可以根據N個候選旋轉轉換矩陣RT4a~RT4n的中間值來產生第四旋轉轉換矩陣RT4。

於一些實施例中，可以根據N個候選旋轉轉換矩陣RT4a~RT4n計算標準差，接著，上述標準差可以用來判斷上述N個候選旋轉轉換矩陣RT4a~RT4n各自是否值得信賴。控制方法300b可以刪去不值得信賴的候選矩陣，僅依照值得信賴的候選矩陣來計算第四旋轉轉換矩陣RT4。

步驟S340被執行，以儲存第四旋轉轉換矩陣RT4、內部參數以及形變參數。

第5圖所示的控制方法300b在校正過程中能夠根據N張不同的影像IMGa~IMGn來計算第四旋轉轉換矩陣RT4，這有助於消除在步驟S320當中相機幾何校正 可能發生的潛在錯誤。

請一併參閱第7A圖以及第7B圖。第7A圖以及第7B圖繪示了追蹤系統100在校正過程完成後的一般應用中進行相機120其光學中心C120的追蹤功能的示意圖。如第7A圖以及第7B圖所示，在一般應用中(例如以相機120拍攝有關物件OBJ的影片時)，相機120可能會在空間範圍SA中移動至不同的位置。

如第7A圖所示，相機120移動至空間範圍SA當中的左側。於此例子中，追蹤系統100的追蹤基站160可以感測到第一可追蹤裝置141以產生目前的第一旋轉轉換矩陣RT1x。基於目前的第一旋轉轉換矩陣RT1x以及預先儲存的第四旋轉轉換矩陣RT4，追蹤系統100能夠精準地追蹤相機120。

如第7B圖所示，相機120移動至空間範圍SA當中的右側。於此例子中，追蹤系統100的追蹤基站160可以感測到第一可追蹤裝置141以產生目前的第一旋轉轉換矩陣RT1y。基於目前的第一旋轉轉換矩陣RT1y以及預先儲存的第四旋轉轉換矩陣RT4，追蹤系統100能夠精準地追蹤相機120。

在此情況下，若將相機120拍攝到的物件OBJ與沉浸式場景的虛擬背景(例如外太空)與虛擬物件(例如太空船與外星人)融合時，拍攝到物件OBJ的視角可以被精確地追蹤並定位，如此一來，出現在沉浸式場景當中的物件OBJ可以看起來更為逼真。

請一併參閱第8圖，其繪示在校正過程結束後由第7A圖或第7B圖當中所示的追蹤系統100所執行的控制方法300c的流程圖。

如第7A圖、第7B圖以及第8圖所示，步驟S351被執行，由追蹤基站160追蹤第一可追蹤裝置141以產生目前的第一旋轉轉換矩陣RT1x/RT1y。步驟S352被執行，根據目前的第一旋轉轉換矩陣RT1x/RT1y以及先前校正過程所儲存的第四旋轉轉換矩陣RT4以追蹤相機120。步驟S353被執行，由相機120拍攝未涉及校準圖卡(參閱第2圖所示的校準圖卡180)的影像。舉例來說，相機120可以擷取影像、串流影像或影片有關不同的物件(例如演員、建築、動物或景色等)。步驟S354被執行，根據儲存的內部參數以及儲存的形變參數，以調整相機120的影像圖框。

本揭示文件的另一實施例為一種非暫態電腦可讀取媒體，其儲存至少一指令程序可由處理單元(參閱先前實施例以及第2圖所繪示的處理單元190)所執行以運行如第3圖、第5圖及第8圖所示的追蹤方法300a、300b以及300c。

雖然本揭示的特定實施例已經揭露有關上述實施例，此些實施例不意欲限制本揭示。各種替代及改良可藉由相關領域中的一般技術人員在本揭示中執行而沒有從本揭示的原理及精神背離。因此，本揭示的保護範圍由所附申請專利範圍確定。

100:追蹤系統

120:相機

141:第一可追蹤裝置

142:第二可追蹤裝置

160:追蹤基站

180:校正圖卡

182:特徵圖樣

184:乘載插座

190:處理單元

C141,C142,C160,C182:參考中心

C120:光學中心

IMG:影像

Claims (18)

1. 一種控制方法，包含：以一相機擷取涉及一校準圖卡的至少一影像，其中一第一可追蹤裝置實體附接至該相機，一第二可追蹤裝置實體附接至該校準圖卡；以一追蹤基站追蹤該第一可追蹤裝置以及該第二可追蹤裝置，以產生該第一可追蹤裝置以及該追蹤基站之間的一第一旋轉轉換矩陣，並產生該第二可追蹤裝置以及該追蹤基站之間的一第二旋轉轉換矩陣；由一處理單元根據出現在該至少一影像當中的該校準圖卡，產生該相機的一相機座標系統以及該校準圖卡之間的一第三旋轉轉換矩陣；以及由該處理單元根據該第一旋轉轉換矩陣、該第二旋轉轉換矩陣以及該第三旋轉轉換矩陣的矩陣乘法進而計算該相機座標系統與該第一可追蹤裝置之間的一第四旋轉轉換矩陣，其中該第四旋轉轉換矩陣用於追蹤該相機。
2. 如請求項1所述之控制方法，其中該校準圖卡包含一特徵圖樣以及一乘載插座，該第二可追蹤裝置實體附接至該乘載插座並且相對於該特徵圖樣具有一機構配置關係，由該機構配置關係推導出該校準圖卡與該第二可追蹤裝置實體之間的一第五旋轉轉換矩陣，該第四旋轉轉換矩陣的計算是根據該第三旋轉轉換矩陣、該第五旋轉轉換矩陣、該第二旋轉轉換矩陣以及該第一旋轉轉換矩陣的 乘積。
3. 如請求項1所述之控制方法，其中該相機座標系統的原點位於該相機的一光學中心，該第四旋轉轉換矩陣用以描述該相機座標系統與該第一可追蹤裝置之間的一旋轉關係以及一位置關係。
4. 如請求項1所述之控制方法，更包含：以該相機擷取涉及該校準圖卡的N張影像，其中N為大於1的正整數；以及根據出現在該N張影像當中的該校準圖卡，執行一相機幾何校準以產生複數個內部參數以及複數個形變參數。
5. 如請求項4所述之控制方法，其中該複數個內部參數是有關於該相機座標系統與該N張影像其中一張影像對應的一二維像素座標系統之間的座標系統轉換，該複數個內部參數受到該相機的一焦距、一光學中心以及一偏斜係數所影響，該複數個內部參數被儲存，當該相機進行拍攝未涉及該校準圖卡的另一影像時，儲存的該複數個內部參數用以調整該相機的一影像圖框。
6. 如請求項4所述之控制方法，其中該複數個形變參數是有關於該相機的複數個非線性鏡頭形變，該複數個形變參數被儲存，當該相機進行拍攝未涉及該校準圖 卡的另一影像時，儲存的該複數個形變參數用以調整該相機的一影像圖框。
7. 如請求項1所述之控制方法，更包含：以該相機擷取涉及該校準圖卡的N張影像，其中N為大於1的正整數；由該處理單元根據出現在該N張影像當中的該校準圖卡，產生該相機的該相機座標系統以及該校準圖卡之間的N個第三旋轉轉換矩陣；由該處理單元根據該第一旋轉轉換矩陣、該第二旋轉轉換矩陣以及該N個第三旋轉轉換矩陣的矩陣乘法進而計算該相機座標系統與該第一可追蹤裝置之間的N個候選旋轉轉換矩陣；由該處理單元以統計方式分析該N個候選旋轉轉換矩陣的平均值、中間值或標準差；以及由該處理單元根據該N個候選旋轉轉換矩陣的平均值、中間值或標準差計算該第四旋轉轉換矩陣。
8. 一種追蹤系統，包含：一相機，用以擷取涉及一校準圖卡的至少一影像；一第一可追蹤裝置，實體附接至該相機；一第二可追蹤裝置，實體附接至該校準圖卡；一追蹤基站，用以追蹤該第一可追蹤裝置以及該第二可追蹤裝置，以產生該第一可追蹤裝置以及該追蹤基站之間 的一第一旋轉轉換矩陣，並產生該第二可追蹤裝置以及該追蹤基站之間的一第二旋轉轉換矩陣；以及一處理單元，與該追蹤基站以及該相機通訊連接，其中該處理單元用以：根據出現在該至少一影像當中的該校準圖卡，產生該相機的一相機座標系統以及該校準圖卡之間的一第三旋轉轉換矩陣；根據該第一旋轉轉換矩陣、該第二旋轉轉換矩陣以及該第三旋轉轉換矩陣的矩陣乘法進而計算該相機座標系統與該第一可追蹤裝置之間的一第四旋轉轉換矩陣；以及根據該第一可追蹤裝置以及該第四旋轉轉換矩陣追蹤該相機。
9. 如請求項8所述之追蹤系統，其中該校準圖卡包含一特徵圖樣以及一乘載插座，該第二可追蹤裝置實體附接至該乘載插座並且相對於該特徵圖樣具有一機構配置關係，由該機構配置關係得到該校準圖卡與該第二可追蹤裝置實體之間的一第五旋轉轉換矩陣，該第四旋轉轉換矩陣的計算是根據該第三旋轉轉換矩陣、該第五旋轉轉換矩陣、該第二旋轉轉換矩陣以及該第一旋轉轉換矩陣的乘積。
10. 如請求項8所述之追蹤系統，其中該相機 座標系統的原點位於該相機的一光學中心，該第四旋轉轉換矩陣用以描述該相機座標系統與該第一可追蹤裝置之間的一旋轉關係以及一位置關係。
11. 如請求項8所述之追蹤系統，其中該處理單元用以根據該至少一影像當中的該校準圖卡執行該相機的一相機幾何校準，以產生複數個內部參數以及複數個形變參數。
12. 如請求項11所述之追蹤系統，其中該複數個內部參數是有關於該相機座標系統與該至少一影像對應的一二維像素座標系統之間的座標系統轉換，該複數個內部參數受到該相機的一焦距、一光學中心以及一偏斜係數所影響，該複數個內部參數被儲存，當該相機進行拍攝未涉及該校準圖卡的另一影像時，儲存的該複數個內部參數用以調整該相機的一影像圖框。
13. 如請求項12所述之追蹤系統，其中該複數個形變參數是有關於該相機的複數個非線性鏡頭形變，該複數個形變參數被儲存，當該相機進行拍攝未涉及該校準圖卡的另一影像時，儲存的該複數個形變參數用以調整該相機的一影像圖框。
14. 如請求項8所述之追蹤系統，其中該相機 擷取涉及該校準圖卡的N張影像，其中N為大於1的正整數，根據出現在該N張影像當中的該校準圖卡，該處理單元產生該相機的該相機座標系統以及該校準圖卡之間的N個第三旋轉轉換矩陣；根據該第一旋轉轉換矩陣、該第二旋轉轉換矩陣以及該N個第三旋轉轉換矩陣的矩陣乘法，該處理單元計算該相機座標系統與該第一可追蹤裝置之間的N個候選旋轉轉換矩陣；該處理單元以統計方式分析該N個候選旋轉轉換矩陣的平均值、中間值或標準差；以及根據該N個候選旋轉轉換矩陣的平均值、中間值或標準差，該處理單元計算該第四旋轉轉換矩陣。
15. 一種非暫態電腦可讀取媒體，其儲存至少一指令程序由一處理單元所執行以運行一追蹤方法，該追蹤方法包含：以一相機擷取涉及一校準圖卡的至少一影像，其中一第一可追蹤裝置實體附接至該相機，一第二可追蹤裝置實體附接至該校準圖卡；以一追蹤基站追蹤該第一可追蹤裝置以及該第二可追蹤裝置，以產生該第一可追蹤裝置以及該追蹤基站之間的一第一旋轉轉換矩陣，並產生該第二可追蹤裝置以及該追蹤基站之間的一第二旋轉轉換矩陣； 根據出現在該至少一影像當中的該校準圖卡，產生該相機的一相機座標系統以及該校準圖卡之間的一第三旋轉轉換矩陣；以及根據該第一旋轉轉換矩陣、該第二旋轉轉換矩陣以及該第三旋轉轉換矩陣的矩陣乘法進而計算該相機座標系統與該第一可追蹤裝置之間的一第四旋轉轉換矩陣，其中該第四旋轉轉換矩陣用於追蹤該相機。
16. 如請求項15所述之非暫態電腦可讀取媒體，其中該追蹤方法包含：以該相機擷取涉及該校準圖卡的N張影像，其中N為大於1的正整數；以及根據出現在該N張影像當中的該校準圖卡，執行一相機幾何校準以產生複數個內部參數以及複數個形變參數。
17. 如請求項16所述之非暫態電腦可讀取媒體，其中該複數個內部參數是有關於該相機座標系統與該N張影像其中一張影像對應的一二維像素座標系統之間的座標系統轉換，該複數個內部參數受到該相機的一焦距、一光學中心以及一偏斜係數所影響，該複數個內部參數被儲存，當該相機進行拍攝未涉及該校準圖卡的另一影像時，儲存的該複數個內部參數用以調整該相機的一影像圖框，該複數個形變參數是有關於該相機的複數個非線性鏡頭形變，該複數個形變參數被儲存，當該相機進行拍攝未涉及該校 準圖卡的另一影像時，儲存的該複數個形變參數用以調整該相機的一影像圖框。
18. 如請求項15所述之非暫態電腦可讀取媒體，其中該追蹤方法包含：以該相機擷取涉及該校準圖卡的N張影像，其中N為大於1的正整數；根據出現在該N張影像當中的該校準圖卡，產生該相機的該相機座標系統以及該校準圖卡之間的N個第三旋轉轉換矩陣；根據該第一旋轉轉換矩陣、該第二旋轉轉換矩陣以及該N個第三旋轉轉換矩陣，計算該相機座標系統與該第一可追蹤裝置之間的N個候選旋轉轉換矩陣；以統計方式分析該N個候選旋轉轉換矩陣的平均值、中間值或標準差；以及根據該N個候選旋轉轉換矩陣的平均值、中間值或標準差，計算該第四旋轉轉換矩陣。

Images