TWI680005B

TWI680005B - 移動追蹤方法及移動追蹤系統

Info

Publication number: TWI680005B
Application number: TW107101502A
Authority: TW
Inventors: 呂幸妤; Hsin-Yu Lu
Original assignee: 宏達國際電子股份有限公司; Htc Corporation
Priority date: 2017-01-16
Filing date: 2018-01-16
Publication date: 2019-12-21
Also published as: CN108319365A; TW201827106A; EP3349101B1; US20180203504A1; CN108319365B; EP3349101A1

Abstract

一種移動追蹤方法，適用於一電子裝置，移動追蹤方法包含：取得由一相機拍攝的一第一畫面的資訊；由一慣性測量單元(inertial measurement unit，IMU)感測器取得一IMU資訊；藉由一處理器依據第一畫面的資訊及IMU資訊，計算第一畫面的一第一模糊像素參數；以及藉由處理器判斷第一畫面的第一模糊像素參數是否小於一模糊門檻值；當第一畫面的第一模糊像素參數小於一模糊門檻值時，處理器依據第一畫面的資訊及IMU資訊，計算電子裝置的一移動資料。

Description

移動追蹤方法及移動追蹤系統

本發明係指一種移動追蹤方法及移動追蹤系統。特別地，本發明係指一種可增進追蹤技術品質的移動追蹤方法及移動追蹤系統。

近年來，虛擬實境系統日益盛行，虛擬實境系統可以運用於電影、虛擬實境或其他互動的應用中。一般而言，頭戴式顯示器是虛擬實境系統重要的部分，使用者可以透過配戴頭戴式顯示器以看到虛擬世界。具體而言，頭戴式顯示器包含一顯示器或多個顯示器，及用以將電腦產生圖形傳送至使用者眼睛的中繼光學器所組成。

在一般的使用者行為中，使用者可以移動頭部，以與虛擬內容互動。若追蹤技術無法提供精準的測量位置，無法對應至使用者的移動，則使用者容易感覺不舒服或暈眩。因此，如何提供一方法及一系統以於虛擬實境中，對應使用者的移動，產生正確且精準的移動變化之虛擬內容是重要的。

本揭露之另一方面是有關一種移動追蹤系統。依據本揭露之一實施例，移動追蹤系統適用於一電子裝置，移動追蹤系統包含一相機、一慣性測量單元(inertial measurement unit，IMU) 感測器以及一處理器。相機用以拍攝的一第一畫面。慣性測量單元(inertial measurement unit，IMU) 感測器用以偵測一IMU資訊。處理器，用以依據第一畫面的資訊及IMU資訊，計算第一畫面的一第一模糊像素參數。其中處理器判斷第一畫面的第一模糊像素參數是否小於一模糊門檻值，當第一畫面的第一模糊像素參數小於一模糊門檻值時，該處理器依據第一畫面的資訊及IMU資訊，計算電子裝置的一移動資料。

於此實施例中，移動追蹤方法及一移動追蹤系統可依據移動資料精準地計算電子裝置的移動距離，且電子裝置所顯示的畫面內容依據移動距離而被產生。使用者可持續地觀看對應至他/她頭部移動的影像內容，藉此，使用者可擬實地與虛擬實境內容互動，且舒適的觀看區擬實境內容。然而，本發明並不僅限於此，其他通訊技術亦可能在本發明所考慮範圍內。

以下將詳細說明本發明之實施例，其在所附圖式中舉例說明。在圖式和說明書中所使用的相同標號代表相同或類似的元件。

可被理解的是，雖然在本文可使用「第一」和「第二」等用語來描述各種元件，但此些用語不應限制此些元件。此些用語僅用以區別一元件與另一元件。舉例而言，在不偏離實施例的範圍下，第一元件可被稱為第二元件，且相似地，第二元件可被稱為第一元件。

可被理解的是，在本文的實施方式與申請專利範圍中，當一元件被稱為「連接（connected）」或「電性連接（connected）」至其他元件，其可以是直接連接至其他元件，或者可具有中間元件（intervening elements）。相較之下，當一元件被稱為「直接連接」至其他元件，其代表沒有中間元件。此外，「電性連接」或「連接」更可涉及二或多個元件之間的相互運作或相互作用。

可被理解的是，在本文實施方式與申請專利範圍中，使用的用語「包含（comprise或comprising）」、「包括（include或including）」、「具有（have或having）」、「含有（contain或containing）」及類似用語應被理解為開放式（open-ended）用語，即意指包含但不限於。

可被理解的是，在本文實施方式與申請專利範圍中，詞組「且/或」包含一或多個相關列示項目中的任意者和全部組合。

可被理解的是，在本文實施方式與申請專利範圍中，除非另有定義，否則在此所使用的全部用語（包含技術和科學用語）所具有的意義，與熟習本發明所屬技術領域者一般可理解的定義相同。更可被理解的是，除非在此有明確地被定義，否則用詞（例如在一般使用的辭典中所定義的用詞）應被解讀為具有一意義，其與相關領域及本說明書的上下文之意義一致，且不應以理想化或過度正式的觀念來解讀。

參照第1A~1B圖及第2圖，第1A圖為根據本發明的一實施例之移動追蹤系統100的方塊圖，第1B圖為根據本發明的一實施例之移動追蹤系統150的方塊圖。第2圖為根據本發明的一實施例之移動追蹤方法200的流程圖。

在此實施例中，如第1A圖所示，移動追蹤系統100包含一相機110、一慣性測量單元(inertial measurement unit，IMU)及一處理器130。於一實施例中，相機110可以是電荷耦合元件(Charge Coupled Device，CCD)或互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)。於一實施例中，IMU感測器120用以偵測物體的移動以取得IMU資訊。於一實施例中，IMU感測器120包含一加速計(accelerometer)、一重力感測器(G-sensor)、一磁力計(magnetometer)、一磁性感測器(magnetic sensor)及/或一電子羅盤(electrical compass)。於一實施例中，處理器130可以被實施為微控制單元(microcontroller)、微處理器(microprocessor)、數位訊號處理器(digital signal processor)、特殊應用積體電路(application specific integrated circuit，ASIC)或一邏輯電路。於一實施例中，移動追蹤系統100更包含一顯示器140以顯示處理器130或其他電子裝置所提供的影像內容。於一實施例中，移動追蹤系統100更包含一儲存裝置160，儲存裝置160耦接於處理器130。儲存裝置160被設置用以儲存資訊及/或一些參數。儲存裝置160可以是一記憶體、一硬碟、一儲存媒體或一記憶卡等等。

於一實施例中，移動追蹤系統100可以被應用於一電子裝置中。電子裝置可以是一頭戴式顯示器。

於一實施例中，如第1B圖所示，移動追蹤系統150包含一頭戴式顯示器HMD及一主機HT。於此例中，頭戴式顯示器HMD包含相機110及IMU感測器120。於一實施例中，頭戴式顯示器HMD更包含一顯示器140，主機HT包含處理器130。於一實施例中，處理器130藉由有線/無線方式連接至顯示器140、相機110及IMU感測器120。處理器130接收相機110所擷取的畫面資訊，並接收IMU感測器120的資訊，處理器130傳送適當的畫面資訊至顯示器140。於一實施例中，主機HT更包含一儲存裝置160。於一實施例中，主機HT可以合併於頭戴式顯示器HMD中。

元件的設置方式不限制於第1A~1B圖，元件可以依據實際環境被調整。於一實施例中，移動追蹤方法200可以由移動追蹤系統100或150以實現之。然而，實現移動追蹤方法200的方式並不限制於此。

請參閱第2、3A~3B、4圖，第3A~3B圖為根據本發明的一實施例之擷取畫面的示意圖。第4圖為根據本發明的一實施例之擷取畫面的示意圖。

於步驟210中，一相機110擷取多個畫面。此外，處理器130取得此些畫面的資訊。於一例子中，如第3A圖所示，使用者USR於頭上配戴頭戴式顯示器HMD，且頭戴式顯示器HMD中的相機110擷取使用者USR正在觀看的物體OBJ的影像，以在初始頭部位置P1取得多個畫面之一的資訊。此資訊包含畫面大小、像素資料、解析度及或擷取位置。

於步驟220中，一IMU感測器120感測IMU資訊。於一實施例中，IMU感測器120包含一加速計，用以偵測頭戴式顯示器HMD於X軸、Y軸及Z軸上的加速度。IMU感測器120亦包含一陀螺儀，用以偵測使用者頭部的旋轉速度。藉此，IMU資訊包含一加速度參數(例如，X軸、Y軸及Z軸上的加速度)及/或一陀螺儀參數(例如，旋轉速度)。

於一實施例中，於頭戴式顯示器HMD被啟動後，IMU感測器120持續地偵測IMU資訊。IMU資訊儲存於儲存裝置160。

於步驟230中，一處理器130依據多個畫面的其中之一者的資訊及IMU資訊，以計算一模糊像素參數。

於一實施例中，模糊像素參數可以是多個畫面的其中之一者模糊像素數量，或是此畫面中模糊像素占全部像素的比例。

於一實施例中，處理器130依據畫面的資訊、加速度參數及陀螺儀參數，以計算一模糊像素參數。例如，如第3A~3B圖所示，使用者USR觀看物件OBJ，且由初始頭部位置P1(如第3A圖所示)沿著方向DR將他/她的頭部移動至終點頭部位置P2(如第3B圖所示)。在移動的過程中，如第4圖所示，相機110依序擷取三張畫面。此三張畫面的第一畫面f1是在初始頭部位置P1所拍攝的，此三張畫面的第三畫面f3是在終點頭部位置P2所拍攝的，此三張畫面的第二畫面f2是在使用者USR以一加速度快速地移動他/她的頭部，在到達終點頭部位置P2之前時所拍攝的。因此，第二畫面f2是具有大量模糊像素的模糊畫面的可能性很高。當相機110擷取第二畫面f2時，加速度計所偵測的加速度參數的值(例如，X軸、Y軸及Z軸上的加速度)及陀螺儀所偵測的陀螺儀參數(例如，旋轉速度)亦較高。因此，第二畫面f2的模糊像素參數高於第一畫面f1及第三畫面f3的模糊像素參數。

於一實施例中，模糊像素的數量可以被已知的演算法所算出。例如，公式v = (Sx * d)/T = z * (K*Sx)/(T*f)，符號v代表移動物件的速度，符號Sx代表像數大小、符號f代表相機110的焦距、符號T代表相機110的快門速度，符號z代表相機110與移動物件的距離，符號K代表模糊像素的數量。符號v、Sx、f、T及z之參數可以由畫面資料(例如符號為Sx的參數)、IMU資訊(例如符號為v的參數)、預設資料(例如符號為f、符號為z的參數)及/或輸入資料(例如為符號T的參數)以取得。當符號v、Sx、f、T及z等參數取得，則符號K(代表模糊畫素的數量)可以被計算出來。計算模糊像素的方法並不限於此。

於步驟240中，處理器130判斷模糊像素參數是否小於一模糊門檻值。若模糊像素參數小於模糊門檻值，則進入步驟250。若模糊像素參數大於或等於模糊門檻值，則進入步驟260。

於一實施例中，模糊門檻值可以是依百分比門檻值。例如，若模糊像素參數為20%，且模糊門檻值為50%，則處理器130判斷模糊像素參數小於此模糊門檻值。例如，若模糊像素參數為80%，且模糊門檻值為50%，則處理器130判斷模糊像素參數不小於此模糊門檻值。

於步驟250中，處理器130依據此畫面的資料(例如第二畫面f2)及IMU資訊，計算電子裝置(例如，頭戴式顯示器HMD)的一移動資料。依據移動資料，電子裝置的移動可以被追蹤。

於一實施例中，當電子裝置為頭戴式顯示器HMD時，頭戴式顯示器HMD所顯示的一畫面內容係根據移動資料所產生。例如，頭戴式顯示器HMD的移動距離可以依據移動資料以被算出，且頭戴式顯示器HMD所顯示畫面內容係依據移動距離所產生，藉此，使用者USR可以持續地觀看對應至他/她頭部移動的畫面內容，而不會有不舒服或暈眩的感受。以下敘述一些用以產生移動資料的方法。

於一實施例中，移動資料包含一旋轉角度及一空間座標，且電子裝置的一移動距離是依據旋轉角度及空間座標以被算出。

由於畫面清晰(於步驟250)中，處理器130可以精準的找到畫面中特徵點的空間座標(例如，依據畫面中物件OBJ的顏色、形狀及/或預測的座標，以搜尋特徵點的空間座標)，藉以產生移動資料。

旋轉角度亦可以依據連續兩張畫面中特徵點的空間座標而被精準地計算出來。

於一實施例中，陀螺儀可測量旋轉角度，加速計可測量加速度、深度資訊可以由畫面的資訊而取得。此外，先前畫面中的特徵點座標亦可以用以計算移動資料。

因此，處理器130具有充足的資訊，依據畫面的資訊及IMU資訊以計算移動資料。

於一實施例中，移動資料可以由已知的演算法產生。例如，移動資料係由將畫面的資訊(例如，一些特徵點的一些座標)代入一三角定位演算法(triangulation algorithm)，並同時採用IMU資訊為參考資料以算出，藉以取得精準的結果。由於三角定位演算法為已知演算法，故細節不在此贅述之。

於步驟260中，處理器130依據IMU資訊計算電子裝置的移動資料，並捨棄此畫面(例如，第二畫面f2)。因為此畫面具有太多模糊像素，故此模糊畫面不使用於步驟260。

於此步驟中，處理器130僅採用IMU資訊計算電子裝置的一移動資料，而不採用具有太多模糊像素之此畫面，藉以避免計算出具有較低精準結果的移動資料。

此外，移動追蹤方法200可以被應用於擷取多個畫面的情形下。於一實施例中，相機110更用以擷取另一影像的資訊(例如，第4圖中的第三畫面f3)，且處理器130依據另一畫面的資訊及IMU資訊以計算另一模糊像素參數。當畫面(例如，第4圖中的第二畫面f2)的模糊像素參數高於一模糊門檻值，且另一畫面的模糊像素參數小於或等於模糊門檻值時，處理器130依據另一畫面的資訊及IMU資訊，以計算電子裝置的移動資料。

於此實施例中，移動追蹤方法及一移動追蹤系統可依據移動資料精準地計算電子裝置的移動距離，且電子裝置所顯示的畫面內容係依據移動距離而被產生。使用者可持續地觀看對應至他/她頭部移動的影像內容，藉此，使用者可擬實地與虛擬實境內容互動，且舒適的觀看區擬實境內容。然而，本發明並不僅限於此，其他通訊技術亦可能在本發明所考慮範圍內。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100、150‧‧‧移動追蹤系統

140‧‧‧顯示器

110‧‧‧相機

120‧‧‧IMU感測器

130‧‧‧處理器

160‧‧‧儲存裝置

HMD‧‧‧頭戴式顯示器

HT‧‧‧主機

200‧‧‧移動追蹤方法

210~250‧‧‧步驟

OBJ‧‧‧物體

DR‧‧‧方向

P1‧‧‧初始頭部位置

P2‧‧‧終點頭部位置

USR‧‧‧使用者

f1‧‧‧第一畫面

f2‧‧‧第二畫面

f3‧‧‧第三畫面

為了更完整了解實施例及其優點，現參照結合所附圖式所做之下列描述，其中：第1A~1B圖為根據本發明的一實施例之移動追蹤系統的方塊圖；第2圖為根據本發明的一實施例之移動追蹤方法的流程圖；第3A~3B圖為根據本發明的一實施例之擷取畫面的示意圖；以及第4圖為根據本發明的一實施例之擷取畫面的示意圖。

Claims

一種移動追蹤方法，適用於一電子裝置，該移動追蹤方法包含：取得由一相機拍攝的一第一畫面的資訊；由一慣性測量單元(inertial measurement unit，IMU)感測器取得一IMU資訊；藉由一處理器依據該第一畫面的資訊及該IMU資訊，計算該第一畫面的一第一模糊像素參數；以及藉由該處理器判斷該第一畫面的該第一模糊像素參數是否小於一模糊門檻值；當該第一畫面的該第一模糊像素參數小於一模糊門檻值時，該處理器依據該第一畫面的資訊及該IMU資訊，計算該電子裝置的一移動資料。
如申請專利範圍第1項所述之移動追蹤方法，其中當該第一模糊像素參數大於或等於該模糊門檻值時，該處理器依據該IMU資訊計算該電子裝置的該移動資料，並捨棄該第一畫面。
如申請專利範圍第1項所述之移動追蹤方法，其中該IMU資訊包含一加速計參數及/或一陀螺儀參數，該移動方法更包含：依據該加速計參數及/或該陀螺儀參數計算該第一模糊像素參數。
如申請專利範圍第1項所述之移動追蹤方法，其中該移動資料包含一旋轉角度及/或一空間座標，且該電子裝置的一移動距離係依據該旋轉角度及/或該空間座標以算出。
如申請專利範圍第4項所述之移動追蹤方法，其中該電子裝置為一頭戴式顯示器，且該頭戴式顯示器所顯示的一畫面內容係根據該移動資料所產生。
如申請專利範圍第1項所述之移動追蹤方法，其中該移動資料係由將該第一畫面的資訊代入一三角定位演算法(triangulation algorithm) ，並同時採用該IMU資訊為參考資料以算出。
如申請專利範圍第1項所述之移動追蹤方法，更包含：取得由該相機拍攝的一第二畫面的資訊；以及藉由該處理器依據該第二畫面的資訊及該IMU資訊，計算一第二模糊像素參數；其中當該第二模糊像素參數小於該模糊門檻值時，該處理器依據該第二畫面的資訊及該IMU資訊，計算該電子裝置的該移動資料。
一種移動追蹤系統，適用於一電子裝置，該移動追蹤系統包含：一相機，用以拍攝的一第一畫面；一慣性測量單元(inertial measurement unit，IMU) 感測器，用以偵測一IMU資訊；以及一處理器，用以依據該第一畫面的資訊及該IMU資訊，計算該第一畫面的一第一模糊像素參數；其中該處理器判斷該第一畫面的該第一模糊像素參數是否小於一模糊門檻值；當該第一畫面的該第一模糊像素參數小於一模糊門檻值時，該處理器依據該第一畫面的資訊及該IMU資訊，計算該電子裝置的一移動資料。
如申請專利範圍第8項所述之移動追蹤系統，其中當該第一模糊像素參數大於或等於該模糊門檻值時，該處理器依據該IMU資訊計算該電子裝置的該移動資料，並捨棄該第一畫面。
如申請專利範圍第8項所述之移動追蹤系統，其中該IMU資訊包含一加速計參數及/或一陀螺儀參數，且該處理器依據該加速計參數及/或該陀螺儀參數計算該第一模糊像素參數。