TW202335707A - 應用於混合實境的動作運算系統及動作運算方法 - Google Patents

應用於混合實境的動作運算系統及動作運算方法 Download PDF

Info

Publication number
TW202335707A
TW202335707A TW112107780A TW112107780A TW202335707A TW 202335707 A TW202335707 A TW 202335707A TW 112107780 A TW112107780 A TW 112107780A TW 112107780 A TW112107780 A TW 112107780A TW 202335707 A TW202335707 A TW 202335707A
Authority
TW
Taiwan
Prior art keywords
hand
scene
wearable device
monitoring scene
data
Prior art date
Application number
TW112107780A
Other languages
English (en)
Inventor
張慈殷
謝璿羽
謝政翰
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202335707A publication Critical patent/TW202335707A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0331—Finger worn pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

動作運算系統包含穿戴式裝置及頭戴式顯示器。穿戴式裝置包含用於偵測慣性資料的慣性測量單元。頭戴式顯示器耦接至穿戴式裝置，用於：設定穿戴式裝置的穿戴位置，其代表穿戴式裝置在使用者的手部的位置；判斷手部追蹤演算法是否在監控場景發現具有使用者手部的手指骨架資料的手部模型；當在監控場景發現手部模型，根據穿戴位置及手指骨架資料辨識穿戴式裝置的裝置位置，根據慣性資料辨識穿戴式裝置在監控場景的裝置轉動量；根據裝置位置及裝置轉動量，計算監控場景中的指標器方向；根據指標器方向及裝置位置，在虛擬實境場景中產生光束。

Description

應用於混合實境的動作運算系統及動作運算方法
本揭示文件是關於一種混合實境技術，特別是關於一種運用於混合實境的動作運算系統及動作運算方法。
為了提供對電子裝置（例如，遊戲主機、電腦、智慧型手機、智慧型家電等）的直覺式操作，這些電子裝置能夠偵測使用者的動作，以直接根據使用者的動作執行操作。在傳統的方法中，諸如虛擬實境（Virtual Reality，VR）、擴增實境（Augmented Reality，AR）、混合實境（Mixed Reality，MR）及延展實境（Extended Reality，XR）等技術，被廣泛應用於模擬感覺、知覺及/或環境。控制器、慣性測量單元及頭戴式顯示器經常分別用於偵測互動輸入資料（例如，藉由按下控制器的按鍵的輸入）、使用者的手部的慣性資料以及使用者的手部骨架，以與虛擬實境場景互動。然而，一般使用的慣性測量單元具有漂移誤差的問題，一般使用的控制器無法讓使用者空出雙手，且一般使用的頭戴式顯示器具有死角區（Dead Zone）誤差的問題。因此，這些因素會在互動輸入資料中產生偏差（bias）。
本揭示文件提供一種應用於混合實境的動作運算系統，包含穿戴式裝置及頭戴式顯示器。穿戴式裝置包含慣性測量單元，其中慣性測量單元用於偵測慣性資料。頭戴式顯示器耦接至穿戴式裝置，其中頭戴式顯示器用於執行以下步驟：設定穿戴式裝置的穿戴位置，其中穿戴式位置代表穿戴式裝置被配戴於使用者的手部上的位置；判斷手部追蹤演算法是否在監控場景中發現具有使用者的手部的手指骨架資料的手部模型；響應於在監控場景中發現手部模型，根據穿戴位置及手指骨架資料辨識穿戴式裝置的裝置位置，並根據慣性資料辨識穿戴式裝置在監控場景中的裝置轉動量；根據裝置位置及裝置轉動量，計算監控場景中的指標器方向；以及根據指標器方向及裝置位置，在虛擬實境場景中產生光束。
本揭示文件提供一種應用於混合實境的動作運算方法，包含：偵測慣性資料，並設定穿戴式裝置的穿戴位置，其中穿戴式位置代表穿戴式裝置被配戴於使用者的手部上的位置；判斷手部追蹤演算法是否在監控場景中發現具有使用者的手部的手指骨架資料的手部模型；響應於在監控場景中發現手部模型，根據穿戴位置及手指骨架資料辨識穿戴式裝置的裝置位置，並根據慣性資料辨識穿戴式裝置在監控場景中的裝置轉動量；根據裝置位置及裝置轉動量，計算監控場景中的指標器方向；以及根據指標器方向及裝置位置，在虛擬實境場景中產生光束。
參考以下說明及申請專利範圍，能更佳地理解本揭示文件的前述及其他特徵、層面及優點。
應理解，前文的總說明及以下的詳細說明均為示例，旨在提供對本揭示文件的進一步解釋。
以下將配合相關圖式來說明本揭示文件的實施例。在圖式中，相同的標號表示相同或類似的元件或方法流程。
請參照第1圖，第1圖為根據一些實施例的應用於混合實境的動作運算系統100的功能方塊圖。應用於混合實境的動作運算系統100包含穿戴式裝置110及頭戴式顯示器120。頭戴式顯示器120耦接於穿戴式裝置110。
在一些實施例中，穿戴式裝置110可以是手持式裝置或戒指狀裝置。在一些實施例中，穿戴式裝置110可以包含一或多個用於互動輸入的按鍵。在一些實施例中，穿戴式裝置110不具有任何供任何電腦視覺演算法（例如，卷積神經網路或YOLO（You Only Look Once））辨識的標誌（例如，發光二極體或特定的圖案）。
此外，穿戴式裝置110包含用於偵測慣性資料的慣性測量單元111。在一些實施例中，慣性測量單元111可以是使用加速度計及陀螺儀的組合的電子裝置（有時更包含磁力計），用於測量和回報穿戴式裝置110的比力（Specific force）、角速度及加速度（有時更包含穿戴式裝置110的方向）。在一些實施例中，在慣性測量單元111的多個偵測時間點，慣性測量單元111用於感測配戴著穿戴式裝置110的使用者的對應身體部位（例如，手指）的動作，以根據慣性測量單元111的感測結果（例如，加速度、角速度、磁力等），產生包含感測資料的慣性資料的序列。
在一些實施例中，慣性測量單元111可以由三軸加速度計及三軸陀螺儀組成，三軸加速度計及三軸陀螺儀可以偵測加速度及角速度，且慣性測量單元111可以根據加速度及角速度產生慣性資料（即六自由度（6 Degrees of Freedom，6DoF）的感測資料）。
在一些實施例中，頭戴式顯示器120可以是虛擬實境眼鏡（Virtual Reality Headset）或其他應用於混合實境的頭戴式裝置。在一些實施例中，頭戴式顯示器120可以顯示虛擬實境場景以及位於虛擬實境場景中的虛擬物件。舉例而言，虛擬實境場景可以是虛擬教室，而虛擬物件可以是虛擬桌子。
在一些實施例中，頭戴式顯示器120可以包含攝影機121、手部追蹤模組122及裝置追蹤模組123。在一些實施例中，攝影機121可以是用於擷取影像的攝影機，也可以是具有連續照相功能的攝影機，以拍攝監控場景（例如，使用者所處的空間）。在一些實施例中，手部追蹤模組122及裝置追蹤模組123可以藉由任何軟體（例如，Python）、硬體（例如，處理器、記憶體或處理電路）或上述的任意組合實現。舉例而言，手部追蹤模組122及裝置追蹤模組123可以是儲存於頭戴式顯示器120的記憶體中的程式模組，且裝置追蹤模組123的處理器可以執行手部追蹤模組122及裝置追蹤模組123。
在一些實施例中，在手部追蹤模組122的多個偵測時間點，手部追蹤模組122可以對攝影機121所擷取的影像執行手部追蹤演算法。在一些實施例中，裝置追蹤模組123可以擷取配戴式裝置110在監控場景中的裝置位置及裝置轉動量。操作手部追蹤模組122及裝置追蹤模組123的詳細步驟將在後續段落中說明。在一些實施例中，慣性資料的偵測頻率高於執行手部追蹤演算法的偵測頻率（即慣性測量單元111的偵測時間點的數量多於手部追蹤模組122的偵測時間點的數量）。
在一些實施例中，裝置位置可以是三軸空間中的一個座標，而裝置轉動量可以是沿著三個軸的三個轉動方向的三個轉動量（例如，沿著三軸空間中的X軸的轉動方向的轉動量）。
請進一步參照第2A圖，第2A圖為根據一些實施例的應用於混合實境的動作運算方法的流程圖。第1圖所示的動作運算系統100可以用於執行第2A圖所示的動作運算方法。
如第2A圖所示，首先，在步驟S210中，偵測慣性資料，並設定穿戴式裝置的穿戴位置。在此實施例中，穿戴式裝置110偵測慣性資料，頭戴式顯示器120設定穿戴式裝置的穿戴位置，其中穿戴位置表示穿戴式裝置110被穿戴於使用者的手部的位置。
在一些實施例中，穿戴位置可以根據穿戴場景，由使用者透過頭戴式顯示器120來進行設定。在其他實施例中，穿戴位置可以藉由執行電腦視覺演算法來辨識及設定。在一些實施例中，頭戴式顯示器120可以將穿戴位置設定為手的指節之一。舉例而言，當使用者想要透過其食指選擇虛擬實境場景中的一個虛擬物件時，頭戴式顯示器120會將穿戴位置設定為使用者的食指的第二指節。
在步驟S220中，判斷手部追蹤演算法是否在監控場景中發現具有使用者手部的手指骨架資料的手部模型。在一些實施例中，手部追蹤演算法可以是用於在虛擬實境場景中建構手部模型的任何電腦視覺演算法。在一些實施例中，手部模型可以是虛擬手部骨架，其具有與虛擬實境場景中的手部對應的使用者手部的手指骨架資料。
在一些實施例中，監控場景被拍攝，以產生近期場景影像，並判斷是否發現代表多個手部關節的多個關節資料。接著，響應於發現多個關節資料，根據多個關節資料產生手部模型（即具有使用者手部的手指骨架資料的手部骨架模型）。
以下以實例來說明監控場景的拍攝。請參照第3圖，第3圖為根據一些實施例的拍攝監控場景MF的示意圖。如第3圖所示，頭戴式顯示器120可以拍攝監控場景MF，即使用者前方的空間，且使用者可以配戴穿戴式裝置110。若使用者的手部位於頭戴式顯示器120的拍攝範圍內，頭戴式顯示器120可以拍攝手部，以辨識代表多個手部關節的多個關節資料。相反地，若使用者的手部沒有位於頭戴式顯示器120的拍攝範圍內（即使用者的手部位於死角區內），則頭戴式顯示器120無法辨識代表多個手部關節的多個關節資料。
在一些實施例中，對於近期場景影像，會執行影像辨識演算法，以判斷手部是否存在於監控場景中。接著，響應於手部存在於監控場景中，辨識代表多個手部關節的多個關節資料，並根據多個關節資料產生手部模型。
以下以實例來說明手部模型的產生。請進一步參照第4圖，第4圖為根據一些實施例的產生手部模型HM的示意圖。如第4圖所示，手部模型HM是根據手部HND產生。手部模型HM是具有使用者手部的手指骨架資料的手部骨架模型，且包含多個指尖TIP、一個手掌Palm、一個手腕Wrist及關節Joint1~Joint18。
在一些實施例中，上述的步驟S210~S220由手部追蹤模組122執行。
如第2A圖所示，在步驟S230中，響應於在監控場景中發現手部模型，根據穿戴位置及手指骨架資料辨識穿戴式裝置在監控場景中的裝置位置，並根據慣性資料辨識穿戴式裝置在監控場景中的裝置轉動量。在一些實施例中，可以將三軸空間中相鄰關節的坐標相加並除以2，以生成裝置位置的坐標。在一些實施例中，可以根據在慣性測量單元111的多個偵測時間點的角速度來辨識裝置轉動量。
在步驟S240中，根據裝置位置及裝置轉動量，計算監控場景中的指標器方向。
以下以實例來說明起始指標器方向的設定。請進一步參照第5圖，第5圖為根據一些實施例的設定指標器方向PD的示意圖。如第5圖所示，假設穿戴位置WP設定為使用者的食指的第二指節，則穿戴位置WP在手部模型HM中會位於關節Joint3與關節Joint4之間。此時，裝置位置在監控場景中可以被辨識為關節Joint3與關節Joint4之間的位置。舉例而言，可以將關節Joint3的坐標及關節Joint4在三軸空間的坐標相加並除以2，以得到裝置位置的坐標。
手部的部位PT可以從手部模型HM的側面放大並查看。頭戴式顯示器120可以在裝置位置產生虛擬裝置VD，並將起始的指標器方向PD設定為虛擬裝置VD的半徑方向，其中虛擬裝置VD在穿戴位置WP處具有戒指狀形狀，且虛擬裝置VD的半徑方向指向關節Joint3與關節Joint4之間的指節的後方。
應注意，除了上述的起始的指標器方向PD的設定方法之外，起始的指標器方向PD也可以設定為垂直於虛擬裝置VD的半徑方向且穿過虛擬裝置VD的中心點的方向。
此外，起始指標器方向可以隨著裝置位置及裝置轉動量的變動而改變，且改變後的起始指標器方向可以被設定為指標器方向。
如第2A圖所示，在步驟S250中，根據指標器方向及裝置位置，在虛擬實境場景中產生光束。如此一來，光束的起始點在虛擬實境場景中位於裝置位置，且光束的方向為指標器方向。因此，使用者可以藉由使用虛擬實境場景中的光束，指向或選擇虛擬實境場景中的虛擬物件。在一些實施例中，上述的步驟S230~S250由裝置追蹤模組123執行。
以下將說明沒有在監控場景中發現手部模型的情況。請進一步參照第2B圖，第2B圖為根據一些實施例的應用於混合實境的動作運算方法的進一步的步驟的流程圖。第1圖所示的動作運算系統100可以用於執行第2B圖所示的動作運算方法的進一步的步驟。
如第2B圖所示，首先，在步驟S230’中，響應於沒有在監控場景中發現手部模型，根據慣性資料及穿戴式裝置的可取得最新的裝置位置，辨識穿戴式裝置的裝置位置，並根據慣性資料辨識穿戴式裝置在監控場景中的裝置轉動量。此外，可取得最新的裝置位置可以由使用者設定，或是根據前一次偵測到的手部模型辨識。
在步驟S240’中，根據裝置轉動量以及對應於慣性資料與可取得最新的裝置位置，計算監控場景中的指標器方向。在步驟S250’中，根據指標器方向以及對應於慣性資料與可取得最新的裝置位置，在虛擬實境場景中產生光束。
以下將接著說明更新手部模型的情況。請進一步參照第2C圖，第2C圖為根據一些實施例的應用於混合實境的動作運算方法的其他進一步的步驟的流程圖。第1圖所示的動作運算系統100可以用於執行第2C圖所示的動作運算方法的其他進一步的步驟。
如第2C圖所示，首先，在步驟S260中，在虛擬實境場景中產生光束之後，針對手部，對監控場景執行手部追蹤演算法，以判斷是否在監控場景中發現新的手部模型。在一些實施例中，監控場景被拍攝，以產生近期場景影像，並判斷是否發現代表多個手部關節的多個關節資料。接著，響應於發現多個關節資料，根據多個關節資料產生新的手部模型。
在一些實施例中，對於近期場景影像，會執行影像辨識演算法，以判斷手部是否存在於監控場景中。接著，響應於手部存在於監控場景中，辨識代表多個手部關節的多個關節資料，並根據多個關節資料產生新的手部模型。
在步驟S270中，響應於在監控場景中發現使用者的手部的新的手部模型，根據慣性資料及新的手部模型更新監控場景中的裝置位置。在一些實施例中，慣性資料的偵測頻率高於執行手部追蹤演算法的偵測頻率。在一些實施例中，在產生手部模型的時間與產生新的手部模型的時間之間，穿戴式裝置在監控場景中的裝置位置是藉由積分慣性資料來進行更新。在一些實施例中，每個手部模型及每個新的手部模型包含代表多個手部關節的多個關節資料。
在一些實施例中，穿戴式裝置在監控場景中的裝置位置是藉由積分來自第一個手部模型的慣性資料來進行更新。
在步驟S280中，根據慣性資料更新穿戴式裝置在監控場景中的裝置轉動量。在一些實施例中，穿戴式裝置在監控場景中的裝置位置是藉由積分慣性資料來進行更新，且裝置位置是根據新的手部模型進行校準。
在一些實施例中，當手部追蹤成功時，可以透過新的手部模型，對藉由積分慣性資料所產生的多個置換量進行校準，以產生穿戴式裝置在監控場景中的裝置位置。在一些實施例中，當手部追蹤成功時，可以透過新的手部模型並經由誤差狀態卡爾曼濾波器（Error-State Kalman Filter，ESKF），對藉由積分慣性資料所產生的多個置換量進行校準（如以下所示的實例）。在一些實施例中，在其中一個執行手部追蹤的偵測時間點，當由慣性資料產生的裝置位置與透過執行手部追蹤所產生的裝置位置之間的位置差異大於一差異閾值時，可以使用ESKF結合由慣性資料所產生的裝置位置及透過執行手部追蹤所產生的裝置位置。
在步驟S290中，根據裝置位置及更新後的裝置轉動量更新監控場景中的指標器方向，並根據指標器方向及裝置位置，在虛擬實境場景中產生光束。
以下將說明沒有在監控場景中發現新的手部模型的情況。請進一步參照第2D圖，第2D圖為根據一些實施例的應用於混合實境的動作運算方法的其他進一步的步驟的流程圖。第1圖所示的動作運算系統100可以用於執行第2D圖所示的動作運算方法的其他進一步的步驟。
如第2D圖所示，首先，在步驟S270’中，響應於沒有在監控場景中發現新的手部模型，根據慣性資料及穿戴式裝置的可取得最新的裝置位置，辨識穿戴式裝置的裝置位置，並根據慣性資料辨識穿戴式裝置在監控場景中的裝置轉動量。
在一些實施例中，多個置換量也可以藉由積分慣性資料來產生，以產生穿戴式裝置在監控場景中裝置位置。在一些實施例中，穿戴式裝置在監控場景中裝置位置可以藉由結合多個置換量與可取得最新的裝置位置來計算。
在步驟S280’中，根據裝置轉動量以及對應於慣性資料與可取得最新的裝置位置，計算監控場景中的指標器方向。在步驟S290’中，根據指標器方向以及對應於慣性資料與可取得最新的裝置位置，在虛擬實境場景中產生光束。
以下以實例來說明裝置位置的產生。請進一步參照第6圖，第6圖為根據一些實施例的一軸的位置值的示意圖。如第6圖所示，裝置位置被標示為一個軸（例如，X軸）上的位置值。
在時間序列TS1中的第一偵測時間點t1，假設手部模型被發現並產生，且慣性測量單元111的偵測頻率超過200赫茲，且執行手部追蹤演算法的偵測頻率為30赫茲，則根據手部模型對裝置位置進行初始化。在第一偵測時間點t1及第二偵測時間點t2之間，基於第一偵測時間點t1的裝置位置IP，可以藉由將慣性資料積分為標準狀態（Normal State）的方式產生多個置換量，並根據多個置換量產生多個裝置位置IMUP。標準狀態及誤差狀態（Error State）可以分別以下列的《方程式一》及《方程式二》表示： 《方程式一》 《方程式二》。
如上述的《方程式一》所示，X為標準狀態，p為穿戴式裝置的裝置位置，v為穿戴式裝置的速度，q為穿戴式裝置的轉動（即四元數（Quaternion）），a b為穿戴式裝置的加速度計偏差，w b為穿戴式裝置的陀螺儀偏差，而g為穿戴式裝置的重力向量。換句話說，標準狀態是由穿戴式裝置的位置、速度、轉動、加速度計偏差、陀螺儀偏差及重力向量所組成。這些參數都是由慣性感測器的測量資料所估算而得。
應注意的是，標準狀態不考慮雜訊以及其他模型缺陷。因此，誤差將會被累積，這些誤差會藉由ESKF，透過高斯估計（Gaussian Estimate）累積於誤差狀態中。
如上述的《方程式二》所示，δX為誤差狀態，δp為穿戴式裝置的裝置位置的誤差，δv為穿戴式裝置的速度的誤差，δθ為穿戴式裝置的角度（即角速度）的誤差，δa b為穿戴式裝置的加速度計偏差的誤差，δw b為穿戴式裝置的陀螺儀偏差的誤差，而δg為穿戴式裝置的重力向量的誤差。換句話說，誤差狀態是由穿戴式裝置的位置、速度、轉動、加速度計偏差、陀螺儀偏差及重力向量各自的誤差所組成。
在時間序列TS1中的第二偵測時間點t2，可以藉由積分慣性資料產生置換量。此時，可以根據此置換量產生裝置位置IMUP。此外，可以根據新的手部模型產生另一裝置位置OP1。來自慣性測量單元111以外的其他感測器的資訊（即，新的手部模型）為真實狀態（True State）。裝置位置IMUP與另一裝置位置OP1之間的位置誤差（即位置差異）可以用於更新並校準ESKF，且有助於重置誤差狀態。真實狀態可以以下列的《方程式三》表示： 《方程式三》。
如上述的《方程式三》所示，X t為真實狀態，而 代表通用函式（Generic Composition）之運算。
在時間序列TS1中的第三偵測時間點t3，裝置位置PT1與另一裝置位置PT2之間的位置差異被輸入至ESKF，以再次估計出最佳化裝置位置（即，結合裝置位置PT1及另一裝置位置PT2），作為第三偵測時間點t3的裝置位置。在另一實例中，也可以將裝置位置PT1直接校準為另一裝置位置PT2。
在第四偵測時間點t4，若手部模型沒有被發現並產生，則可以在時間序列TS2中，藉由積分慣性資料及標準狀態來更新裝置位置IMUP。在時間序列TS3中的第五偵測時間點t5，若手部模型再次沒有被發現並產生，可以藉由積分慣性資料來產生一置換量。此時，可以根據此置換量來計算裝置位置IMUP。此外，另一裝置位置OP1也可以根據新的手部模型計算而得。藉由慣性測量單元111的裝置位置及手部模型的另一裝置位置OP1的位置差異，ESKF可以再次更新。
以下以實例來說明虛擬實境場景中的光束的產生。請參照第7圖，第7圖為根據一些實施例的在虛擬實境場景VRF中產生光束RY的示意圖。如第7圖所示，頭戴式顯示器120顯示虛擬實境場景VRF及一虛擬手部VH（即亦藉由手部追蹤演算法產生），且虛擬裝置VD位於裝置位置。光束RY在虛擬實境場景VRF中的起始點位於裝置位置，而光束RY的方向為指標器方向。使用者可以藉由光束RY，在虛擬實境場景VRF中指向虛擬物件（例如，虛擬實境場景VRF中的快轉鍵）。此外，使用者可以藉由沒有配戴穿戴式裝置110的其他手指，與虛擬實境場景VRF中的虛擬物件互動。
總結而言，本揭示文件的應用於混合實境的動作運算系統可以結合穿戴式裝置及頭戴式顯示器，以透過使用手部模型及慣性資料，定位穿戴式裝置的裝置位置及裝置轉動量。透過此方法，由於可以消除慣性測量單元的漂移誤差或頭戴式顯示器的死角區誤差，因此可以大幅改善互動輸入的精準度。此外，此方法也能讓使用者空出雙手，以在虛擬實境場景中透過手進行互動。
雖然本揭示文件已經透過參照實施例進行了相當詳細的描述，但是其他實施例亦可實行。因此，本揭示文件之請求項的精神以及範圍不應限於本文所包含的實施例的描述。
所屬技術領域中具有通常知識者應當理解，在不脫離本揭示文件的範圍或精神的情況下，可以對本揭示文件的結構進行各種修飾和均等變化。綜上所述，凡在以下請求項的範圍內對於本揭示文件所做的修飾以及均等變化，皆為本揭示文件所涵蓋的範圍。
100:動作運算系統 110:穿戴式裝置 111:慣性測量單元 120:頭戴式顯示器 121:攝影機 122:手部追蹤模組 123:裝置追蹤模組 S210~S290,S230’~S250’,S270’~S290’:步驟 MF:監控場景 HND:手部 TIP:指尖 Joint0~Joint18:關節 Palm:手掌 Wrist:手腕 WP:穿戴位置 PT:手部的部位 VD:虛擬裝置 PD:指標器方向 TS1~TS3:時間序列 t1~t5:偵測時間點 IP,IMUP,PT1,PT2,OP1,OP2:裝置位置 VRF:虛擬實境場景 RY:光束 VH:虛擬手部
為使本揭示文件之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下： 第1圖為根據一些實施例的應用於混合實境的動作運算系統的功能方塊圖； 第2A圖為根據一些實施例的應用於混合實境的動作運算方法的流程圖； 第2B圖為根據一些實施例的應用於混合實境的動作運算方法的進一步的步驟的流程圖； 第2C圖為根據一些實施例的應用於混合實境的動作運算方法的其他進一步的步驟的流程圖； 第2D圖為根據一些實施例的應用於混合實境的動作運算方法的其他進一步的步驟的流程圖； 第3圖為根據一些實施例的拍攝監控場景的示意圖； 第4圖為根據一些實施例的產生手部模型的示意圖； 第5圖為根據一些實施例的設定指標器方向的示意圖； 第6圖為根據一些實施例的一軸的位置值的示意圖；以及 第7圖為根據一些實施例的在虛擬實境場景中產生光束的示意圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
100:動作運算系統
110:穿戴式裝置
111:慣性測量單元
120:頭戴式顯示器
121:攝影機
122:手部追蹤模組
123:裝置追蹤模組

Claims (11)

  1. 一種應用於混合實境的動作運算系統，包含： 一穿戴式裝置，包含一慣性測量單元，其中該慣性測量單元用於偵測一慣性資料；以及 一頭戴式顯示器，耦接至該穿戴式裝置，其中該頭戴式顯示器用於執行以下步驟： 設定該穿戴式裝置的一穿戴位置，其中該穿戴式位置代表該穿戴式裝置被配戴於一使用者的一手部上的一位置； 判斷一手部追蹤演算法是否在一監控場景中發現具有該使用者的該手部的一手指骨架資料的一手部模型； 響應於在該監控場景中發現該手部模型，根據該穿戴位置及該手指骨架資料辨識該穿戴式裝置的一裝置位置，並根據該慣性資料辨識該穿戴式裝置在該監控場景中的一裝置轉動量； 根據該裝置位置及該裝置轉動量，計算該監控場景中的一指標器方向；以及 根據該指標器方向及該裝置位置，在一虛擬實境場景中產生一光束。
  2. 如請求項1所述之應用於混合實境的動作運算系統，其中該頭戴式顯示器更用於執行以下步驟： 響應於沒有在該監控場景中發現該手部模型，根據該慣性資料及該穿戴式裝置的一可取得最新裝置位置，辨識該穿戴式裝置的該裝置位置，並根據該慣性資料辨識該穿戴式裝置在該監控場景中的該裝置轉動量； 根據該裝置轉動量以及對應於該慣性資料與該可取得最新裝置位置，計算該監控場景中的該指標器方向；以及 根據該指標器方向以及對應於該慣性資料與該可取得最新裝置位置，在該虛擬實境場景中產生該光束。
  3. 如請求項1所述之應用於混合實境的動作運算系統，其中該頭戴式顯示器更用於執行以下步驟： 在該虛擬實境場景中產生該光束之後，針對該手部，對該監控場景執行該手部追蹤演算法，以判斷是否在該監控場景中發現一新手部模型； 響應於在該監控場景中發現該使用者的該手部的該新手部模型，根據該慣性資料及該新手部模型更新該監控場景中的該裝置位置； 根據該慣性資料更新該穿戴式裝置在該監控場景中的該裝置轉動量；以及 根據該裝置位置及一更新裝置轉動量，更新該監控場景中的該指標器方向，並根據該指標器方向及該裝置位置，在該虛擬實境場景中產生該光束。
  4. 如請求項3所述之應用於混合實境的動作運算系統，其中針對該手部，對該監控場景執行該手部追蹤演算法，以判斷是否在該監控場景中發現該新手部模型的步驟包含： 拍攝該監控場景，以產生一近期場景影像，並判斷是否發現代表該手部的多個關節的多個關節資料；以及 響應於發現該多個關節資料，根據該多個關節資料產生該新手部模型。
  5. 如請求項4所述之應用於混合實境的動作運算系統，其中針對該手部，對該監控場景執行該手部追蹤演算法，以判斷是否在該監控場景中發現該新手部模型的步驟更包含： 對該近期場景影像執行一影像辨識演算法，以判斷該手部是否存在於該監控場景中；以及 響應於該手部存在於該監控場景中，辨識代表該手部的該多個關節的該多個關節資料，並根據該多個關節資料產生該新手部模型。
  6. 如請求項3所述之應用於混合實境的動作運算系統，其中該慣性資料的一偵測頻率高於執行該手部追蹤演算法的一偵測頻率，其中該頭戴式顯示器更用於執行以下步驟： 在產生該手部模型的時間與產生該新手部模型的時間之間，藉由積分該慣性資料，更新該穿戴式裝置在該監控場景中的該裝置位置。
  7. 如請求項3所述之應用於混合實境的動作運算系統，其中根據該慣性資料及該新手部模型更新該監控場景中的該裝置位置的步驟包含： 藉由積分該慣性資料，更新該穿戴式裝置在該監控場景中的該裝置位置，並根據該新手部模型校準該裝置位置。
  8. 如請求項3所述之應用於混合實境的動作運算系統，其中該頭戴式顯示器更用於執行以下步驟： 響應於沒有在該監控場景中發現該新手部模型，根據該慣性資料及該穿戴式裝置的一可取得最新裝置位置，辨識該穿戴式裝置的該裝置位置，並根據該慣性資料辨識該穿戴式裝置在該監控場景中的該裝置轉動量； 根據該裝置轉動量以及對應於該慣性資料與該可取得最新裝置位置，計算該監控場景中的該指標器方向；以及 根據該指標器方向以及對應於該慣性資料與該可取得最新裝置位置，在該虛擬實境場景中產生該光束。
  9. 如請求項3所述之應用於混合實境的動作運算系統，其中該手部模型及該新手部模型各自包含代表該手部的多個關節的多個關節資料。
  10. 如請求項1所述之應用於混合實境的動作運算系統，其中設定該穿戴式裝置的該穿戴位置的步驟包含： 將該穿戴式裝置的該穿戴位置設定為該手部的多個指節的其中一者。
  11. 一種應用於混合實境的動作運算方法，包含： 偵測一慣性資料，並設定一穿戴式裝置的一穿戴位置，其中該穿戴式位置代表該穿戴式裝置被配戴於一使用者的一手部上的一位置； 判斷一手部追蹤演算法是否在一監控場景中發現具有該使用者的該手部的一手指骨架資料的一手部模型； 響應於在該監控場景中發現該手部模型，根據該穿戴位置及該手指骨架資料辨識該穿戴式裝置的一裝置位置，並根據該慣性資料辨識該穿戴式裝置在該監控場景中的一裝置轉動量； 根據該裝置位置及該裝置轉動量，計算該監控場景中的一指標器方向；以及 根據該指標器方向及該裝置位置，在一虛擬實境場景中產生一光束。
TW112107780A 2022-03-03 2023-03-03 應用於混合實境的動作運算系統及動作運算方法 TW202335707A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263268799P 2022-03-03 2022-03-03
US63/268,799 2022-03-03
US18/169,181 2023-02-14
US18/169,181 US11836302B2 (en) 2022-03-03 2023-02-14 Motion computing system and method for virtual reality

Publications (1)

Publication Number Publication Date
TW202335707A true TW202335707A (zh) 2023-09-16

Family

ID=87850437

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112107780A TW202335707A (zh) 2022-03-03 2023-03-03 應用於混合實境的動作運算系統及動作運算方法

Country Status (2)

Country Link
US (1) US11836302B2 (zh)
TW (1) TW202335707A (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9255813B2 (en) 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US10444865B2 (en) 2017-05-01 2019-10-15 Google Llc Tracking of position and orientation of objects in virtual reality systems
JP2019128693A (ja) * 2018-01-23 2019-08-01 セイコーエプソン株式会社 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP7247519B2 (ja) * 2018-10-30 2023-03-29 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US10976863B1 (en) 2019-09-19 2021-04-13 Finch Technologies Ltd. Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user

Also Published As

Publication number Publication date
US20230280840A1 (en) 2023-09-07
US11836302B2 (en) 2023-12-05

Similar Documents

Publication Publication Date Title
US11861070B2 (en) Hand gestures for animating and controlling virtual and graphical elements
US20220206588A1 (en) Micro hand gestures for controlling virtual and graphical elements
US9785249B1 (en) Systems and methods for tracking motion and gesture of heads and eyes
EP4320502A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US11573641B2 (en) Gesture recognition system and method of using same
US9250799B2 (en) Control method for information input device, information input device, program therefor, and information storage medium therefor
JP2020052991A (ja) ジェスチャ認識に基づく対話型ディスプレイの方法及び装置
CN110221683B (zh) 动作检测系统、动作检测方法及其计算机可读记录介质
CN114706489A (zh) 一种输入设备的虚拟方法、装置、设备和存储介质
US20230367118A1 (en) Augmented reality gaming using virtual eyewear beams
TW202335707A (zh) 應用於混合實境的動作運算系統及動作運算方法
EP4239455A1 (en) Motion computing system and method for mixed reality
CN116700475A (zh) 应用于混合现实的动作运算系统及动作运算方法
JP2023525196A (ja) 滑りの影響を受けない視線追跡ユーザインターフェイス
US11380071B2 (en) Augmented reality system and display method for anchoring virtual object thereof
US12013985B1 (en) Single-handed gestures for reviewing virtual content
US20240126369A1 (en) Information processing system and information processing method
Chu et al. A study of motion recognition system using a smart phone
TW202340927A (zh) 頭戴式顯示器、點擊輸入訊號產生方法及其非暫態電腦可讀取記錄媒體
Anavekar et al. The Techniques of Human-Machine Communication through Expressive Gestures.
TW202338441A (zh) 可穿戴追蹤系統和可穿戴追蹤方法
Sorger Alternative User Interfaces
JP2570966B2 (ja) ポイントデバイス装置