TWI826189B

TWI826189B - 具六自由度之控制器追蹤系統及方法

Info

Publication number: TWI826189B
Application number: TW111148515A
Authority: TW
Inventors: 許森宥
Original assignee: 仁寶電腦工業股份有限公司
Priority date: 2022-12-16
Filing date: 2022-12-16
Publication date: 2023-12-11
Also published as: TW202427384A

Abstract

本案提供一種具六自由度之控制器追蹤系統及方法，控制器追蹤系統包含控制器、影像感測器、管理單元及處理單元。控制器之測量單元架構於測量控制器之三自由度的旋轉量。影像感測器持續擷取包含控制器在內的影像。管理單元電連接於控制器及影像感測器，以接收旋轉量及影像。處理單元電連接於管理單元以接收影像，並基於機器學習推得控制器於影像中的三維座標，進而通過複數個影像中的複數個三維座標獲取控制器之三自由度的移動量。管理單元接收處理單元所獲取的移動量，並根據旋轉量及移動量獲得控制器之六自由度的位置變化資訊。

Description

具六自由度之控制器追蹤系統及方法

本案係關於控制器追蹤系統及方法，尤指一種具六自由度之控制器追蹤系統及方法。

現有之三自由度 (degrees of freedom，DoF) 控制器可應用虛擬實境和擴增實境應用，其利用三軸之慣性測量單元 (inertial measurement unit) 實現三個軸向的旋轉追蹤。三自由度控制器的成本低廉，且輕巧而易於操作，然而其缺少了平移軸向的追蹤，導致控制體感不佳。

在一現有作法中，可利用紅外線追蹤器追蹤控制器的位置，以獲取控制器的平移移動量，並利用慣性測量單元獲取控制器的旋轉量，藉此實現六自由度的控制器追蹤。然而，由於其採用紅外線感測器及慣性測量單元，故硬體成本高，且佔用體積和耗電量均較大。

在另一現有作法中，其結合彩色攝影機 (RGB camera) 和深度攝影機 (depth camera) 來通過視覺辨識追蹤手部位置，從而獲取控制器的平移移動量，並利用三自由度控制器獲取其旋轉量，藉此實現六自由度的控制器追蹤。然而，其採用之深度攝影機成本較高。

因此，如何發明一種可改善上述現有技術的具六自由度之控制器追蹤系統及方法，實為目前迫切之需求。

本案之目的在於提供一種具六自由度之控制器追蹤系統及方法，其基於機器學習自影像中推得控制器的三維座標，從而通過複數個影像中的三維座標獲取控制器之三自由度的移動量，進一步結合控制器之測量單元所獲取之控制器之三自由度的旋轉量，即可獲得控制器之六自由度的位置變化資訊，從而實現六自由度之控制器追蹤。藉由本案之控制器追蹤系統及方法，可減少硬體的成本、耗能及重量。

為達上述目的，本案提供一種具六自由度之控制器追蹤系統，包含控制器、影像感測器、管理單元及處理單元。控制器包含測量單元，其中測量單元架構於測量控制器之三自由度的旋轉量。影像感測器持續擷取包含控制器在內的影像。管理單元電連接於控制器及影像感測器，以接收旋轉量及影像。處理單元電連接於管理單元以接收影像，並基於機器學習推得控制器於影像中的三維座標，進而通過複數個影像中的複數個三維座標獲取控制器之三自由度的移動量。管理單元接收處理單元所獲取的移動量，並根據旋轉量及移動量獲得控制器之六自由度的位置變化資訊。

為達上述目的，本案另提供一種具六自由度之控制器追蹤方法，包含步驟：(a) 提供包含測量單元的控制器，並利用測量單元測量控制器之三自由度的旋轉量；(b) 利用影像感測器持續擷取包含控制器在內的影像；(c) 利用管理單元接收旋轉量及影像；(d) 利用處理單元接收影像，並基於機器學習推得控制器於影像中的三維座標，進而通過複數個影像中的複數個三維座標獲取控制器之三自由度的移動量；以及(e) 利用管理單元接收移動量並根據旋轉量及移動量獲得控制器之六自由度的位置變化資訊。

體現本案特徵與優點的一些典型實施例將在後段的說明中詳細敘述。應理解的是本案能夠在不同的態樣上具有各種的變化，其皆不脫離本案的範圍，且其中的說明及圖示在本質上系當作說明之用，而非用以限制本案。

第1圖為本案一實施例中具六自由度之控制器追蹤系統的架構示意圖。如第1圖所示，控制器追蹤系統1包含控制器11、影像感測器12、管理單元13及處理單元14，其中控制器11、影像感測器12及處理單元14分別電連接於管理單元13，且控制器11與管理單元13之間以通過無線通訊進行資料傳輸為佳，但亦不以此為限。控制器11包含測量單元111，其中測量單元111可為例如但不限於慣性測量單元。影像感測器12可為例如但不限於彩色攝影機。處理單元14包含可進行機器學習之深度學習框架，例如MediaPipe。

以下結合第1圖和第2圖例示說明本案之控制器追蹤系統1的運作方式。第2圖為本案一實施例中具六自由度之控制器追蹤方法的流程示意圖，其中控制器追蹤方法適用於第1圖所示之控制器追蹤系統1。如第1圖和第2圖所示，首先，測量單元111測量控制器11之三自由度的旋轉量 (步驟S1)。接著，影像感測器12持續擷取包含控制器11在內的影像 (步驟S2)。接著，管理單元13接收測量單元111所獲得的旋轉量和影像感測器12所擷取之影像 (步驟S3)。而後，處理單元14自管理單元13接收影像，並基於機器學習推得控制器11於影像中的三維座標，進而通過複數個影像中的複數個三維座標獲取控制器11之三自由度的移動量 (步驟S4)。最後，管理單元13接收處理單元14所獲取的移動量，並根據控制器11的旋轉量及移動量獲得控制器11之六自由度的位置變化資訊 (步驟S5)，從而實現六自由度的控制器追蹤。

為便於理解，第3圖例示出三自由度之旋轉方向以及三自由度之移動方向。於第3圖中，以實線表示三自由度之移動方向，並以虛線表示三自由度之旋轉方向。如第3圖所示，三自由度之移動量可例如但不限於包含在上下、左右和前後移動方向上的移動量，三自由度之旋轉量可例如但不限於包含在俯仰、偏擺和翻滾旋轉方向上的旋轉量。

第4圖例示出第2圖之步驟S4的子步驟。於一些實施例中，如第4圖所示，處理單元14在推得控制器11之三維座標的過程中包含如下子步驟，需注意的是，以下子步驟皆由處理單元14執行。於子步驟S41中，針對第一幀影像進行處理。於子步驟S42中，判斷所處理的影像中是否存在目標物，其中目標物與控制器11之間具有特定的位置關係。

若子步驟S42的判斷結果為否，即判斷所處理的影像中不存在目標物，則針對下一幀影像進行處理 (子步驟S43)，並再次執行子步驟S42。反之，若子步驟S42的判斷結果為是，即判斷所處理的影像中存在目標物，則執行子步驟S44。

於子步驟S44中，擷取所處理的影像中目標物所在的目標區域。於子步驟S45中，基於機器學習推得目標物之複數個特徵點於目標區域中的位置以及各特徵點的相對深度，並根據相對深度、各特徵點之間的實際距離以及任一特徵點的三維座標獲取各特徵點的三維座標，其中各特徵點之間的實際距離為固定。於子步驟S46中，計算所獲取之各特徵點的三維座標的可信度，並判斷可信度是否高於一預設值。

若子步驟S46的判斷結果為否，即判斷可信度較低，則再次執行子步驟S42，以確認影像中是否確實存在目標物。反之，若子步驟S46的判斷結果為是，即判斷可信度較高，則執行子步驟S47以根據各特徵點的三維座標推得控制器11的三維座標。由於目標物與控制器11之間具有特定的位置關係，故可根據目標物之特徵點的三維座標推得控制器11的三維座標。

推得當前處理之影像所對應之控制器11的三維座標後，執行子步驟S48以針對下一幀影像進行處理，並再次執行子步驟S44和S45以追蹤目標物之各特徵點的位置。

由前述子步驟可知，當某一幀影像中確實存在目標物 (可信度高) 時，在處理下一幀影像時可直接擷取目標區域，以直接針對面積較小的目標區域進行處理，有效減少處理單元14運算時間。再者，當目標物在某一幀影像中消失時，處理單元14仍將基於機器學習推得各特徵點的三維座標，然特徵點之三維座標所反映之特徵點移動將超出可能範圍而導致可信度過低，進而使處理單元14確認目標物是否確實存在於此幀影像中，藉此，可在目標物消失時即時得知。需注意的是，處理單元14僅在第一幀影像中或在可信度過低 (例如目標物消失) 時判斷目標物是否存在，換言之，處理單元14無需在處理每一幀影像時均重複判斷目標物是否存在，因而可減少運算時間。

於一些實施例中，當某一幀影像中確實存在目標物 (可信度高) 時，在處理下一幀影像時可直接擷取影像中的同一區域作為目標區域，以進一步節省運算時間。

可信度的具體計算方式為本領域具通常知識者所熟知，可參考文獻J. C. Platt, "Probabilistic Outputs for Support Vector Machines and Comparisons to Regularized Likelihood Methods," in Advances in Large Margin Classifiers, Peter J. Bartlett et al., Eds., chapter 5, pp. 61-74. MIT Press, Oct. 2000中所示之可信度計算方式，故於此不再贅述。

此外，於一些實施例中，目標物為控制器11本身，特徵點即為控制器11上之特徵點。於另一些實施例中，控制器11被配戴或握持於使用者的手部，影像感測器12所擷取的影像中包含控制器11及手部，於此情況下，目標物可為使用者的手部，對應地，特徵點可為手部上的關節。需注意的是，目標物之具體態樣亦不以此為限，僅需確保目標物與控制器11之間具有特定的位置關係並具有複數個特徵點供處理單元14辨識即可。

再者，在目標物為使用者的手部時，於一些實施例中，由於偵測手掌相較於偵測手部的其他部分更加快速及準確，故處理單元14係通過偵測手掌判斷使用者的手部是否存在於影像中。

以下以目標物為使用者的手部的情況例示說明處理單元14如何進行機器學習並基於機器學習推得影像中之特徵點的三維座標。

在處理單元14進行機器學習時，若目標物為使用者的手部，且特徵點為手部上的關節，則可將多個影像提供予處理單元14，同時將影像中各關節的位置及相對深度輸入至處理單元14進行訓練。訓練之目的在於使處理單元14可依據影像推得各特徵點於影像中的位置以及各特徵點的相對深度。

如第5圖所示，以任兩個特徵點為例，在推得兩特徵點於影像中的位置k0和k1 (二維座標) 以及兩特徵點的相對深度後，由於兩特徵點之間的實際距離為已知，故可根據相對深度、實際距離和任一特徵點的三維座標K0推得另一特徵點的三維座標K1。在特徵點的數量大於2時，亦可同理推得所有特徵點的三維座標。

於一些實施例中，如第6圖所示，控制器追蹤系統1還包含顯示器15，其中顯示器15電連接於管理單元13，以自管理單元13接收控制器11的位置變化資訊並進行顯示。

再者，於一些實施例中，如第7圖所示，影像感測器12、管理單元13、處理單元14及顯示器15設置於一頭戴裝置16中，且頭戴裝置16可被穿戴於使用者的頭部。如第8圖所示，顯示器15依據控制器11的位置變化資訊顯示對應的虛擬物17的位置變化給使用者。具體而言，顯示器15所顯示之虛擬物17對應於控制器11，當控制器11移動時，其六自由度的位置變化資訊將被提供至顯示器15，使顯示器15所顯示之虛擬物17進行對應移動。

如第9圖所示，頭戴裝置16可被穿戴於使用者的頭部，控制器11可被配戴或握持於使用者的手部。於此實施例中，可將本案具六自由度之控制器追蹤系統及方法用於虛擬實境或擴增實境應用中。

另外，於一些實施例中，如第7圖所示，頭戴裝置16更包含感測單元161，感測單元161用以測量使用者的頭部的旋轉量和移動量並提供給管理單元13，管理單元13依據控制器11的位置變化資訊以及頭部的旋轉量和移動量控制顯示器15所顯示的虛擬物17的位置變化。

綜上所述，本案提供一種具六自由度之控制器追蹤系統及方法，其基於機器學習自影像中推得控制器的三維座標，從而通過複數個影像中的三維座標獲取控制器之三自由度的移動量，進一步結合控制器之測量單元所獲取之控制器之三自由度的旋轉量，即可獲得控制器之六自由度的位置變化資訊，從而實現六自由度之控制器追蹤。藉由本案之控制器追蹤系統及方法，可減少硬體的成本、耗能及重量。

須注意，上述僅是為說明本案而提出的較佳實施例，本案不限於所述的實施例，本案的範圍由如附專利申請範圍決定。且本案得由熟習此技術的人士任施匠思而為諸般修飾，然皆不脫如附專利申請範圍所欲保護者。

1:控制器追蹤系統 11:控制器 12:影像感測器 13:管理單元 14:處理單元 111:測量單元 S1、S2、S3、S4、S5:步驟 S41、S42、S43、S44、S45、S46、S47、S48:子步驟 k0、k1:位置 K0、K1:三維座標 15:顯示器 16:頭戴裝置 17:虛擬物 161:感測單元

第1圖為本案一實施例中具六自由度之控制器追蹤系統的架構示意圖。

第2圖為本案一實施例中具六自由度之控制器追蹤方法的流程示意圖。

第3圖例示出三自由度之旋轉方向以及三自由度之移動方向。

第4圖例示出第2圖之步驟S4的子步驟。

第5圖例示出根據各特徵點之相對深度和實際距離以及任一特徵點的三維座標推得其餘特徵點的三維座標。

第6圖為第1圖之控制器追蹤系統的變化例的架構示意圖。

第7圖及第8圖例示出控制器追蹤系統之頭戴裝置。

第9圖為使用者穿戴及握持控制器追蹤系統之頭戴裝置和控制器的示意圖。

1:控制器追蹤系統

11:控制器

12:影像感測器

13:管理單元

14:處理單元

111:測量單元

Claims

一種具六自由度之控制器追蹤系統，包含：一控制器，包含一測量單元，其中該測量單元架構於測量該控制器之三自由度的旋轉量；一影像感測器，持續擷取包含該控制器在內的一影像；一管理單元，電連接於該控制器及該影像感測器，以接收該旋轉量及該影像；以及一處理單元，電連接於該管理單元以接收該影像，並基於機器學習推得該控制器於該影像中的三維座標，進而通過複數個該影像中的複數個該三維座標獲取該控制器之三自由度的移動量，其中該管理單元接收該處理單元所獲取的該移動量，並根據該旋轉量及該移動量獲得該控制器之六自由度的位置變化資訊，其中該處理單元擷取該影像中一目標物所在的一目標區域，其中該目標物與該控制器之間具有特定的位置關係；基於機器學習，該處理單元推得該目標物之複數個特徵點於該目標區域中的位置以及該複數個特徵點的相對深度，並根據該相對深度、該複數個特徵點之間的實際距離以及任一該特徵點的三維座標獲取該複數個特徵點的三維座標，進而根據該複數個特徵點的該三維座標推得該控制器的該三維座標，其中該複數個特徵點之間的該實際距離為固定。
如請求項1所述之控制器追蹤系統，其中在該處理單元處理任一幀該影像時，若該處理單元判斷該影像中不存在該目標物，則該處理單元處理下一幀該影像。
如請求項1所述之控制器追蹤系統，其中該處理單元還計算所獲取之該複數個特徵點的該三維座標的可信度，在該可信度高於一預設值時，該處理單元根據該複數個特徵點的三維座標推得該控制器的該三維座標；而在該可信度低於該預設值時，該處理單元判斷該影像中是否存在該目標物。
如請求項3所述之控制器追蹤系統，其中在該可信度低於該預設值時，若該處理單元判斷該影像中不存在該目標物，則該處理單元處理下一幀該影像。
如請求項1所述之控制器追蹤系統，其中該控制器被配戴或握持於一使用者的手部，該影像感測器所擷取的該影像中包含該控制器及該手部，該目標物為該手部，該特徵點為該手部上的關節。
如請求項1所述之控制器追蹤系統，其中該目標物為該控制器。
如請求項1所述之控制器追蹤系統，還包含一顯示器，其中該顯示器電連接於該管理單元，以接收並顯示該控制器的該位置變化資訊。
如請求項7所述之控制器追蹤系統，其中該影像感測器、該管理單元、該處理單元及該顯示器設置於一頭戴裝置中，且該頭戴裝置被穿戴於一使用者的頭部，該顯示器依據該控制器的該位置變化資訊顯示對應的一虛擬物的位置變化給該使用者。
如請求項8所述之控制器追蹤系統，其中該頭戴裝置更包含一感測單元，該感測單元用以測量該使用者的該頭部的旋轉量和移動量並提供給該管理單元，該管理單元依據該控制器的該位置變化資訊以及該頭部的該旋轉量和該移動量控制該顯示器所顯示的該虛擬物的該位置變化。
如請求項1所述之控制器追蹤系統，其中該測量單元包含慣性測量單元。
如請求項1所述之控制器追蹤系統，其中該影像感測器包含彩色攝影機。
如請求項1所述之控制器追蹤系統，其中該管理單元通過無線傳輸自該控制器接收該旋轉量。
如請求項1所述之控制器追蹤系統，其中該處理單元包含一可進行機器學習之深度學習框架。
一種具六自由度之控制器追蹤方法，包含步驟：(a)提供包含一測量單元的一控制器，並利用該測量單元測量該控制器之三自由度的旋轉量；(b)利用一影像感測器持續擷取包含該控制器在內的一影像；(c)利用一管理單元接收該旋轉量及該影像；(d)利用一處理單元接收該影像，並基於機器學習推得該控制器於該影像中的三維座標，進而通過複數個該影像中的複數個該三維座標獲取該控制器之三自由度的移動量；以及(e)利用該管理單元接收該移動量並根據該旋轉量及該移動量獲得該控制器之六自由度的位置變化資訊，其中，該步驟(d)包含子步驟：(d1)針對第一幀該影像進行處理；(d2)判斷該影像中是否存在一目標物，其中該目標物與該控制器之間具有特定的位置關係； (d3)若該子步驟(d2)的判斷結果為否，則針對下一幀該影像進行處理，並再次執行該子步驟(d2)，若該子步驟(d2)的判斷結果為是，則執行子步驟(d4)；(d4)擷取該影像中該目標物所在的一目標區域；(d5)基於機器學習推得該目標物之複數個特徵點於該目標區域中的位置以及該複數個特徵點的相對深度，並根據該相對深度、該複數個特徵點之間的實際距離以及任一該特徵點的三維座標獲取該複數個特徵點的三維座標，其中該複數個特徵點之間的該實際距離為固定；(d6)計算所獲取之該複數個特徵點的該三維座標的可信度，並判斷該可信度是否高於一預設值；(d7)若該子步驟(d6)的判斷結果為否，則再次執行該子步驟(d2)，若該子步驟(d6)的判斷結果為是，則根據該複數個特徵點的該三維座標推得該控制器的該三維座標；以及(d8)針對下一幀該影像進行處理，並再次執行該子步驟(d4)。
如請求項14所述之控制器追蹤方法，其中該控制器被配戴或握持於一使用者的手部，該影像感測器所擷取的該影像中包含該控制器及該手部，該目標物為該手部，該特徵點為該手部上的關節。
如請求項14所述之控制器追蹤方法，其中該目標物為該控制器。
如請求項14所述之控制器追蹤方法，還包含步驟：提供一顯示器，並利用該顯示器顯示該控制器的該位置變化資訊。
如請求項17所述之控制器追蹤方法，其中該影像感測器、該管理單元、該處理單元及該顯示器設置於一頭戴裝置中，且該頭戴裝置被穿戴於一使用者的頭部，該控制器追蹤方法還包含步驟：利用該顯示器依據該控制器的該位置變化資訊顯示對應的一虛擬物的位置變化給該使用者。
如請求項18所述之控制器追蹤方法，其中該頭戴裝置更包含一感測單元，該控制器追蹤方法還包含步驟：利用該感測單元測量該使用者的該頭部的旋轉量和移動量；利用該管理單元依據該控制器的該位置變化資訊以及該頭部的該旋轉量和該移動量控制該顯示器所顯示的該虛擬物的該位置變化。