TWI680382B

TWI680382B - 電子裝置及其姿態校正方法

Info

Publication number: TWI680382B
Application number: TW107136921A
Authority: TW
Inventors: 陳彥辰; Yan-chen CHEN; 謝政翰; Cheng-Han Hsieh; 戴欣浩; Shin-Hao Dai; 黎煥欣; Huan-Hsin Li
Original assignee: 宏達國際電子股份有限公司; Htc Corporation
Priority date: 2018-10-19
Filing date: 2018-10-19
Publication date: 2019-12-21
Also published as: TW202016688A

Abstract

本發明提供一種姿態校正方法，用於一電子裝置。該電子裝置包括一慣性量測單元及一環境參數資料庫。該方法包括下列步驟：利用該慣性量測單元以偵測該電子裝置之慣性資訊以產生一感測資料；依據該感測資料進行一姿態估測以得到一第一姿態；以及當該電子裝置在非移動狀態中，依據在該環境參數資料庫中相應於該電子裝置之目前位置的一環境參數對該第一姿態進行姿態校正。

Description

電子裝置及其姿態校正方法

本發明係有關於電子裝置，特別是有關於一種電子裝置及其姿態校正方法。

現有具有人體動作捕捉功能之電子裝置，大部分需要在環境良好、磁場干擾少的環境下使用，才能維持準確的姿態估測結果。

然而，在一般使用中，在電子裝置所處的環境中，可能周圍會有許多電器，例如電視機、電腦螢幕、遊戲主機、或家電用品等等，且這些電器都可能會產生磁場，進而影響電子裝置。這種情況也會導致姿態估測的結果的準確度降低。

本發明係提供一種電子裝置及其姿態校正方法以減輕各種不同環境磁場對姿態估測的影響，並增進姿態估測結果的準確度。

本發明係提供一種姿態校正方法，用於一電子裝置。該電子裝置包括一慣性量測單元及一環境參數資料庫。該方法包括下列步驟：利用該慣性量測單元以偵測該電子裝置之慣性資訊以產生一感測資料；依據該感測資料進行一姿態估測以得到一第一姿態；以及當該電子裝置在非移動狀態，依據在該環境參數資料庫中相應於該電子裝置之目前位置的一環境參數對該第一姿態進行姿態校正。

本發明更提供一種電子裝置，包括：一慣性量測單元，用以偵測該電子裝置之慣性資訊以產生一感測資料；一環境參數資料庫；以及一運算單元，用以依據該感測資料進行一姿態估測以得到一第一姿態，其中當該電子裝置在非移動狀態中，該運算單元係依據在該環境參數資料庫中所儲存相應於該電子裝置之位置的一環境參數對該第一姿態進行姿態校正。

100‧‧‧電子裝置

110‧‧‧慣性量測單元

111‧‧‧陀螺儀

112‧‧‧加速度計

113‧‧‧磁力計

120‧‧‧運算單元

130‧‧‧非揮發性記憶體

131‧‧‧磁力影響補償程式

132‧‧‧環境參數資料庫

133‧‧‧姿態估計程式

140‧‧‧揮發性記憶體

150‧‧‧顯示器

201‧‧‧重力向量

202‧‧‧磁場向量

203‧‧‧水平線

θ‧‧‧水平姿態角

α‧‧‧夾角

300、310‧‧‧方向

320‧‧‧磁場水平方向

401-405‧‧‧路徑

5502-S518、S601-S607、S701-S709‧‧‧步驟

第1圖係顯示依據本發明一實施例中之電子裝置的功能方塊圖。

第2圖係顯示依據本發明一實施例中測量磁場參數的示意圖。

第3A圖係顯示依據本發明一實施例中測量磁場參數的上視圖。

第3B圖係顯示依據本發明一實施例中之環境參數資料庫的分組的示意圖。

第4A圖係顯示依據本發明一實施例中之電子裝置的移動路徑的示意圖。

第4B圖係顯示依據本發明另一實施例中之電子裝置的移動路徑的示意圖。

第5圖係顯示依據本發明一實施例在初始狀態對慣性量測單元進行校正的流程圖。

第6圖係顯示依據本發明一實施例之環境參數資料庫的建立過程的流程圖。

第7圖係顯示依據本發明一實施例中之姿態校正方法的流程圖。

以下敘述列舉本發明的多種實施方式。以下敘述介紹本發明的基本概念，且並非意圖限制本發明內容。實際發明範圍應依照申請專利範圍界定之。

第1圖係顯示依據本發明一實施例中之電子裝置的功能方塊圖。電子裝置100例如可為一人體動作捕捉裝置。如第1圖所示，電子裝置100係包括一或多個慣性量測單元(inertial measurement unit，IMU)110、一運算單元120、一非揮發性記憶體130、一揮發性記憶體140、及一顯示器150。

慣性量測單元110係用以量測電子裝置100之各種慣性資訊並產生一感測資料。在一實施例中，慣性量測單元110係包括一陀螺儀(gyroscope)111、一加速度計(accelerometer)112、及一磁力計(magnetometer)113。陀螺儀111係用以量測電子裝置100之方向(orientation)及角速度(angular speed)，加速度計112係用以量測電子裝置100之加速度，磁力計113係用以量測在電子裝置100之磁場強度及方向，其中陀螺儀111、加速度計112、及磁力計113所量測到之資料均屬於慣性資訊。運算單元120例如為一通用處理器(general-purpose processor)、一數位信號處理器(digital signal processor，DSP)、一微處理器(microprocessor)、或一微控制器(microcontroller)等等，但本發明並不限於此。

非揮發性記憶體130例如可為一硬碟機(hard disk drive)、一固態硬碟(solid-state disk)、一唯讀記憶體(read-only memory)等記憶體裝置，但本發明並不限於此。非揮發性記憶體130例如可儲存一磁力影響補償程式131、一環境參數資料庫132、及一姿態估計程式(pose estimation program)133。

揮發性記憶體140例如可為一隨機存取記憶體，例如是靜態隨機存取記憶體(static random access memory，SRAM)或動態隨機存取記憶體(dynamic random access memory，DRAM)，但本發明並不限於此。

顯示器150例如可為一頭戴式顯示器(head-mounted display)、一液晶顯示器(liquid crystal display)、發光二極體顯示器、有機發光二極體顯示器等等，但本發明並不限於此。

在一實施例中，慣性量測單元110例如可安裝或附著於電子裝置100之使用者的頭部、四肢、身體等部位，並可分別偵測在不同部位的慣性資訊。

運算單元120可將磁力影響補償程式131及姿態估計程式133由非揮發性記憶體130讀取至揮發性記憶體140並執行。舉例來說，磁力影響補償程式131可接收來自各慣性量測單元110之感測資料並計算電子裝置100之慣性資訊，並可判斷目前電子裝置100之周圍環境之磁場的影響程度，並據以校正所計算出之電子裝置100的慣性資訊。姿態估計程式133係可依據運算單元120所計算出的慣性資訊以估計使用者之姿態(pose)以建構人體動作行為。

當使用者配戴電子裝置100並移動時，運算單元120可建立或更新在不同位置下的磁場方向及強度，並記錄於環境參數資料庫132之中。舉例來說，在一般的家庭中，可能周圍會有許多電器，例如電視機、電腦螢幕、遊戲主機、或家電用品等等，且這些電器都可能會產生磁場，進而影響電子裝置100。當使用者在家裡配戴電子裝置100並移動時，磁力計113在不同位置所偵測到的磁場強度及方向均可能不同，而且使用者一直移動時，慣性感測單元110所偵測到的感測資料的誤差等級(error level)也會隨著時間一直累積而增加。本發明係可建立電子裝置100周圍的一磁場資訊的環境參數資料庫，並可依據不同位置的磁場資訊以校正運算單元120所計算出之電子裝置100的慣性資訊，以利於後續的姿態估測之判斷。

第2圖係顯示依據本發明一實施例中測量磁場參數的示意圖。如第2圖所示，慣性量測單元110中之陀螺儀111、磁力計113、及加速度計112可分別偵測出電子裝置100所在之位置的水平線203、磁場向量202、及重力向量201。其中，在第2圖中之磁場向量202的長度係表示磁場強度。運算單元120係依據慣性量測單元110所偵測到的感測資料以計算出磁場向量202及重力向量201之夾角(dip angle)及磁場強度值(magnitude)。其中磁場向量202及重力向量201之夾角亦可稱為一水平姿態角θ。

第3A圖係顯示依據本發明一實施例中測量磁場參數的上視圖。在一實施例中，運算單元120亦可利用目前所估測出的姿態以及磁力計113的數值以估計磁場水平方向(horizontal magnetic heading)320，其中方向310例如可為運算單元120所設定的一參考方向或初始方向，且運算單元120係計算方向310及磁場水平方向320之間的夾角α。

第3B圖係顯示依據本發明一實施例中之環境參數資料庫的分組的示意圖。此外，在一實施例中，平面的整圈的角度共有360度。若在電子裝置100之初始位置係設定為0度，例如方向300。運算單元120可將360度之範圍(例如為正負180度之範圍)分為複數組資料，並將相應的磁場水平方向、磁場強度、及夾角記錄於環境參數資料庫132。舉例來說，在環境參數資料庫132中之每組資料分別表示在正負1度之間的α角度範圍。例如第一組資料之α角度範圍為-1度至+1度，第二組資料之α角度範圍為+1度至+3度，依此類推。在環境參數資料庫132之資料的組數可依實際情況設定。若每一組的角度範圍愈小，則資料組數則愈多，且磁場資訊的解析度也愈高。在第3B圖中，運算單元120係將環境參數資料庫132之資料組數設定為16。

如第4A圖所示，當使用者配戴電子裝置100且在A點位置將電子裝置100開啟，運算單元120則會將A點位置設定為初始位置(亦是參考位置)，並利用慣性量測單元110偵測在A點位置的環境參數。此時，運算單元120會將A點位置之誤差位準(error level)設定為0。

當使用者沿著路徑401持續移動經過5秒後到達B點位置並停止移動，此時，運算單元120在B點位置所計算出之慣性資訊會累積至誤差位準E1。因為電子裝置100在啟動後是第一次到達B點位置，環境參數資料庫132並不存在關於B點位置的相關資料，故運算單元120會在環境參數資料庫132中記錄B點位置之環境參數。

接著，使用者再由B點位置出發，沿著路徑402持續移動經過50秒後再度回到B點位置並停止移動。若假設電子裝置100只經過路徑402所累積的誤差位準為E2，運算單元120在第二次到達B點位置所計算出之慣性資訊之誤差位準係累積至誤差位準(E1+E2)。

接著，運算單元120判斷出誤差位準(E1+E2)大於誤差位準E1，此時，運算單元120並不進行資料庫更新，並將目前慣性量測單元110之狀態校正回先前記錄在環境參數資料庫132中關於B點位置之誤差位準E1。意即，若電子裝置100不再回到A點位置，而是以B點位置做為後續的基準位置，則運算單元120會以B點位置之誤差位準E1進行校正。

如第4B圖所示，當使用者配戴電子裝置100且在A點位置將電子裝置100開啟，運算單元120則會將A點位置設定為初始位置(亦是參考位置)，並利用慣性量測單元110偵測在A點位置的環境參數。此時，運算單元120會將A點位置之誤差位準(error level)設定為0。

當使用者沿著路徑403持續移動經過50秒後到達B點位置並停止移動，此時，運算單元120在B點位置所計算出之慣性資訊會累積至誤差位準E1。因為電子裝置100在啟動後是第一次到達B點位置，環境參數資料庫132並不存在關於B點位置的相關資料，故運算單元120會在環境參數資料庫132中記錄B點位置之環境參數。

接著，使用者再由B點位置出發，沿著路徑404持續移動經過30秒後回到A點位置並暫時停留。運算單元120係可依據在環境參數資料庫132中所記錄之A點位置的環境參數判斷電子裝置100已回到A點位置，故會將慣性量測單元110之感測資料的誤差位準逐漸隨著時間慢慢校正為0。

接著，使用者再由A點位置出發，沿著路徑405持續移動經過5秒後回到B點位置並停留。若假設電子裝置100只經過路徑405所累積的誤差位準為E2，但是途中在有回到A點位置，故運算單元120可對誤差位準進行校正，例如校正回A點位置之誤差位準0。因此，運算單元120在第二次到達B點位置所計算出之慣性資訊之誤差位準係累積至誤差位準E2。當誤差位準E2小於先前在B點位置所記錄的誤差位準E1時，運算單元120係更新環境參數資料庫132中關於B點位置之環境參數。

在一實施例中，在電子裝置100在持續移動時，會造成慣性感測單元110的感測資料之誤差持續累積，例如陀螺儀111所偵測到之旋轉角度資料的誤差會愈來愈大。若依第4B點中，使用者沿著路徑404由B點位置回到A點位置時，運算單元120則依據在環境參數資料庫132中關於A點位置之環境參數對陀螺儀111偵測到的旋轉角度資料進行校正，並調整至一開始在A點位置的旋轉角度狀態。在此例子中係以陀螺儀111之感測資料(旋轉角度資料)為例，加速度計112及磁力計113之感測資料亦可用類似的方式進行校正。

詳細而言，若A點位置為初始位置，若電子裝置100由A點位置離開，經過相當長的時間後，只要電子裝置100回到A點位置，運算單元120即可依據在環境參數資料庫132中關於A點位置之環境參數對慣性量測單元110之感測資料進行校正。

在步驟S502，啟動慣性量測單元110。

在步驟S504，判斷是否已知慣性量測單元110之初始水平姿態角。若是，則執行步驟S510。若否，則執行步驟S506。

在步驟S506，將慣性量測單元110保持靜態一預定時間，例如數秒。此時，慣性量測單元110即可偵測目前環境的各種慣性資訊。

在步驟S508，計算慣性量測單元110之初始水平姿態角。舉例來說，可依據步驟S506中慣性量測單元110在靜態時的慣性資訊以計算初始水平姿態角。

在步驟S510，設定慣性量測單元110之初始航向姿態角。

在步驟S512，利用卡爾曼濾波器(Kalman filter)建模並進行初始化。本發明領域中具有通常知識者當可了解如何利用卡爾曼濾波器與水平姿態角及航向姿態角進行建模，其細節於此不再詳述。

在步驟S514，對慣性量測單元110進行校正操作。舉例來說，校正操作例如可控制慣性量測單元110繞著其量測中心(或近似繞其量測中心)在空間內旋轉，並同時進行資料處理。

在步驟S516，判斷待估慣性量測單元參數是否已收斂(converge)至相應程度。若是，則執行步驟S518；若否，則回到步驟S514繼續校正操作。

在步驟S518，校正完成，並獲得慣性量測單元參數。舉例來說，當步驟S518完成後即表示慣性量測單元110的校正程序已經完成，且可開始利用慣性量測單元110之感測資料進行後續運算。

第6圖係顯示依據本發明一實施例之環境參數資料庫的建立過程的流程圖。在步驟S601，估計電子裝置100之目前磁場方向(current magnetic heading)。其中磁場方向為水平的磁場方向，例如可參考第3A圖之實施例。

在步驟S602，判斷目前磁場方向是否在環境參數資料庫132中。若是，則執行步驟S604；若否，則執行步驟S603。

在步驟S603，將目前磁場方向記錄至環境參數資料庫132中。意即，在步驟S602判斷為「否」時，表示目前磁場方向並未儲存於環境參數資料庫132中，故可將目前磁場方向記錄於環境參數資料庫132中。

在步驟S604，判斷慣性量測單元110之目前誤差位準是否小於資料庫數據。若是，則執行步驟S605；若否，則執行步驟S607。

在步驟S605，更新資料庫數據。因為慣性量測單元110之目前誤差位準小於環境參數資料庫132中之資料庫數據(需為相同或類似的環境參數)，故運算單元120可將慣性量測單元110之目前誤差位準更新至環境參數資料庫132。若慣性量測單元110之目前誤差位準大於或等於環境參數資料庫132中之資料庫數據，則運算單元120不更新環境參數資料庫132中之資料庫數據。

在步驟S607，在環境參數資料庫132中搜尋適合的感測資料。因為環境參數資料庫132中有針對環境參數(例如第3圖中之方向310及磁場水平方向320之間的夾角α)進行分組，故目前位置的環境參數不一定跟環境參數資料庫132中相應的分組之環境參數完全一致。因此，運算單元120仍需由環境參數資料庫132中搜尋是否存在有適合的感測資料以進行姿態校正。

在步驟S701，初始化環境參數資料庫132並記錄初始資料。舉例來說，當開啟或重置電子裝置100時，運算單元120需要初始化環境參數資料庫132，因為在初始狀態下，初始化後的環境參數資料庫132並未記錄任何環境參數之資料。接著，運算單元120係將慣性量測單元110在初始狀態(例如在一初始位置)所偵測到的初始資料(即環境參數)寫入初始化後的環境參數資料庫132。

在步驟S702，利用慣性量測單元110進行姿態估測。舉例來說，運算單元120可利用慣性量測單元110所偵測到之感測資料進行姿態估測以得到一第一姿態。

在步驟S703，判斷電子裝置100是否在移動狀態。若是，則執行步驟S704；若否，則步驟S705。

在步驟S704，估計誤差位準。舉例來說，當電子裝置100持續在移動狀態，慣性量測單元110之感測資料的誤差位準會隨著時間持續累積，因誤差位準會隨著移動狀態的時間而增加，若發生姿態校正事件則遞減。

在步驟S705，估計目前環境參數。舉例來說，因為電子裝置100並未移動，故可在電子裝置100處在靜態時，利用慣性量測單元110之感測資料來估計目前環境參數，例如角度旋轉量、水平磁場方向、磁場向量及重力向量之夾角、及磁場強度值等等。

在步驟S706，判斷是否執行環境參數資料庫132之記錄或更新。舉例來說，判斷是否執行環境參數資料庫132之記錄或更新可參考第6圖之流程。

在步驟S707，在環境參數資料庫132中搜尋適合的感測資料。步驟S707與步驟S607相同，因為環境參數資料庫132中有針對環境參數(例如第3圖中之方向310及磁場水平方向320之間的夾角α)進行分組，故目前位置的環境參數不一定跟環境參數資料庫132中相應的分組之環境參數完全一致。因此，運算單元120仍需由環境參數資料庫132中搜尋是否存在有適合的感測資料以進行姿態校正。若有適當的感測資料，則執行步驟S708；若無適當的感測資料，則執行步驟S709。

在步驟S708，進行姿態校正。舉例來說，運算單元120可依據由環境參數資料庫132所取得適合的感測資料(例如可為已校正或未校正的慣性資訊)對步驟S702中所估測的第一姿態進行姿態校正。

在步驟S709，判斷是否已使用完成。若是，則結束此流程，例如可停止動作偵測或關閉電子裝置100；若否，則回到步驟S702。

綜上所述，本發明係提供一種電子裝置及其姿態校正方法，其可利用慣性量測單元建立電子裝置周圍之一環境參數資料庫，且可動態地利用具有較小誤差位準之目前環境參數以更新環境參數資料庫中所儲存的環境參數，並利用更新後之環境參數來校正慣性量測單元之感測資料，藉以減輕在環境中之各種磁場對姿態估計之影響，並可得到更準確的姿態估計結果。

本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

Claims

一種姿態校正方法，用於一電子裝置，其中該電子裝置包括一慣性量測單元及一環境參數資料庫，該方法包括：利用該慣性量測單元以偵測該電子裝置之慣性資訊以產生一感測資料；依據該感測資料進行一姿態估測以得到一第一姿態；以及當該電子裝置在非移動狀態，依據在該環境參數資料庫中相應於該電子裝置之目前位置的一環境參數對該第一姿態進行姿態校正。
如申請專利範圍第1項所述之姿態校正方法，更包括：判斷該電子裝置是否在移動狀態中；當該電子裝置在該移動狀態，估計該感測資料之一第一誤差位準；以及當該電子裝置在該非移動狀態，估計該電子裝置之位置之一目前環境參數，並取得該感測資料之該第一誤差位準。
如申請專利範圍第2項所述之姿態校正方法，更包括：依據該目前環境參數以取得在該環境參數資料庫中相應的分組中所記錄的該環境參數及該環境參數之一第二誤差位準；判斷該第一誤差位準是否小於該第二誤差位準；以及當該第一誤差位準小於該第二誤差位準時，將該目前環境參數更新至該環境參數資料庫以取代該環境參數。
如申請專利範圍第2項所述之姿態校正方法，更包括：當該目前環境參數尚未記錄於該環境參數資料庫中之相應的分組時，將該目前環境參數儲存於該環境參數資料庫中。
如申請專利範圍第2項所述之姿態校正方法，其中當該電子裝置在移動狀態時，該第一誤差位準係隨著時間增加。
如申請專利範圍第2項所述之姿態校正方法，其中該環境參數包括該電子裝置之一角度旋轉量、一水平磁場方向、一磁場向量及一重力向量之夾角、及一磁場強度值。
一種電子裝置，包括：一慣性量測單元，用以偵測該電子裝置之慣性資訊以產生一感測資料；一環境參數資料庫；以及一運算單元，用以依據該感測資料進行一姿態估測以得到一第一姿態，其中當該電子裝置在非移動狀態，該運算單元係依據在該環境參數資料庫中所儲存相應於該電子裝置之位置的一環境參數對該第一姿態進行姿態校正。
如申請專利範圍第7項所述之電子裝置，其中：該運算單元更判斷該電子裝置是否在移動狀態；當該電子裝置在該移動狀態，該運算單元係估計該感測資料之一第一誤差位準；以及當該電子裝置在該非移動狀態，該運算單元係估計該電子裝置之目前位置之一目前環境參數，並取得該感測資料之該第一誤差位準。
如申請專利範圍第8項所述之電子裝置，其中：該運算單元係依據該目前環境參數以取得在該環境參數資料庫中相應的分組中所記錄的該環境參數及該環境參數之一第二誤差位準；該運算單元更判斷該第一誤差位準是否小於該第二誤差位準；以及當該第一誤差位準小於該第二誤差位準時，該運算單元係將該目前環境參數更新至該環境參數資料庫以取代該環境參數。
如申請專利範圍第8項所述之電子裝置，其中當該目前環境參數尚未記錄於該環境參數資料庫中之相應的分組時，該運算單元係將該目前環境參數儲存於該環境參數資料庫中。
如申請專利範圍第8項所述之電子裝置，其中當該電子裝置在移動狀態時，該運算單元所計算的該第一誤差位準係隨著時間增加。
如申請專利範圍第8項所述之電子裝置，其中該環境參數包括該電子裝置之一角度旋轉量、一水平磁場方向、一磁場向量及一重力向量之夾角、及一磁場強度值。