TWI811042B - 虛擬實境系統以及控制方法 - Google Patents

虛擬實境系統以及控制方法 Download PDF

Info

Publication number
TWI811042B
TWI811042B TW111128406A TW111128406A TWI811042B TW I811042 B TWI811042 B TW I811042B TW 111128406 A TW111128406 A TW 111128406A TW 111128406 A TW111128406 A TW 111128406A TW I811042 B TWI811042 B TW I811042B
Authority
TW
Taiwan
Prior art keywords
current
time point
pose
human body
previous
Prior art date
Application number
TW111128406A
Other languages
English (en)
Other versions
TW202344957A (zh
Inventor
王冠勛
吳駿睿
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Application granted granted Critical
Publication of TWI811042B publication Critical patent/TWI811042B/zh
Publication of TW202344957A publication Critical patent/TW202344957A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

一種虛擬實境系統，包含頭戴式顯示裝置以及多個追蹤裝置。多個追蹤裝置包含相機和處理器。相機用以取得當前時間點的人體的圖像。處理器用以執行以下步驟：依據圖像以取得當前預測3D姿態以及信心度。依據先前預測3D姿態以及先前最終優化姿態判定先前有效值；依據先前有效值、信心度以及當前預測3D姿態判定當前有效值；以及依據當前有效值輸出當前預測3D姿態以及信心度至多個追蹤裝置的主追蹤裝置，以產生當前最終優化姿態，以使頭戴式顯示裝置顯示當前最終優化姿態。

Description

虛擬實境系統以及控制方法
本揭示是有關於一種虛擬實境系統以及一種控制方法，特別是用於姿態追蹤的一種虛擬實境系統以及一種控制方法。
在當前的虛擬實境(Virtual Reality, VR)環境中，多個追踪裝置被用來追踪VR環境中的人體姿態。然而，追踪裝置往往缺乏相互溝通以及相互整合的能力。此外，當人體被遮擋或追蹤裝置的視野範圍不佳時，人體姿態的預測結果會出現錯誤。因此，需要提出一種在包含多個追踪裝置的VR環境中優化人體姿態的預測的方法。
本揭示之一態樣是在提供一種虛擬實境系統，包含頭戴式顯示裝置以及多個追蹤裝置。多個追蹤裝置與頭戴式顯示裝置通訊連接，包含相機和處理器。相機用以取得當前時間點的人體的圖像。處理器耦接於該相機，用以執行以下步驟：依據圖像以取得當前時間點的人體的當前預測3D姿態以及人體的當前時間點的信心度。依據先前時間點的人體的先前預測3D姿態以及先前時間點的人體的先前最終優化姿態判定人體的先前有效值；依據先前有效值、當前時間點的信心度以及當前時間點的人體的當前預測3D姿態判定人體的當前有效值；以及依據當前有效值輸出當前時間點的人體的當前預測3D姿態以及人體的當前時間點的信心度至多個追蹤裝置的主追蹤裝置，以產生當前時間點的當前最終優化姿態，以使頭戴式顯示裝置顯示當前時間點的當前最終優化姿態。
本揭示之另一態樣是在提供一種控制方法，適用於包含頭戴式顯示裝置以及多個追蹤裝置的虛擬實境系統。多個追蹤裝置中的每一者包含相機以及處理器。控制方法包含以下步驟：由相機取得當前時間點的人體的圖像；由處理器依據圖像取得當前時間點的人體的當前預測3D姿態以及人體的當前時間點的信心度；由處理器依據先前時間點的人體的先前預測3D姿態以及先前時間點的人體的先前最終優化姿態判定人體的先前有效值；由處理器依據先前有效值、當前時間點的信心度以及當前時間點的人體的當前預測3D姿態判定人體的當前有效值；以及由處理器依據當前有效值輸出當前時間點的人體的當前預測3D姿態以及人體的當前時間點的信心度至多個追蹤裝置的主追蹤裝置，以產生當前時間點的當前最終優化姿態，以使頭戴式顯示裝置顯示當前時間點的當前最終優化姿態。
下文係舉實施例配合所附圖式作詳細說明，但所提供之實施例並非用以限制本揭示所涵蓋的範圍，而結構運作之描述非用以限制其執行之順序，任何由元件重新組合之結構，所產生具有均等功效的裝置，皆為本揭示所涵蓋的範圍。另外，圖式僅以說明為目的，並未依照原尺寸作圖。為使便於理解，下述說明中相同元件或相似元件將以相同之符號標示來說明。
請參閱第1圖。第1圖係依據本揭示之一些實施例所繪示之一種虛擬實境(VR)系統100的示意圖。如第1圖所繪示，虛擬實境系統100包含多個頭戴式顯示裝置(HMD)130A至130C以及多個追蹤裝置110A至110D。頭戴式顯示裝置130A至130C可被設置於VR頭戴式組件上，並可由使用者配戴。當使用者配戴VR頭戴式組件時，頭戴式顯示裝置130A至130C會覆蓋使用者的視野，且頭戴式顯示裝置130A至130C用以提供使用者虛擬實境視野。如第1圖所繪示，使用者P1至P3中的每一者分別配戴頭戴式顯示裝置130A至130C中的一者。
於一些實施例中，追蹤裝置110A至110D中的一者係為主追蹤裝置。舉例而言，若是追蹤裝置110A係為主追蹤裝置，主追蹤裝置110A通訊連接至其他追蹤裝置110B至110D，並且主追蹤裝置110A又通訊連接至頭戴式顯示裝置130A至130C。此外，若是追蹤裝置110A係為主追蹤裝置，處理器114A係為主處理器，且記憶體116A係為主記憶體。
請參閱第2圖。第2圖係依據本揭示之一些實施例所繪示之一種追蹤裝置110的示意圖。如第2圖所繪示的追蹤裝置110代表如第1圖所繪示的追蹤裝置110A至110D。如第2圖所繪示，追蹤裝置110包含相機112、處理器114、記憶體116以及輸入輸出電路118。在連接關係上，處理器114耦接於相機112、記憶體116以及輸入輸出電路118。同樣地，追蹤裝置110A包含相機112A、處理器114A、記憶體116A以及輸入輸出電路118A。追蹤裝置110B包含相機112B、處理器114B、記憶體116B以及輸入輸出電路118B。追蹤裝置110C包含相機112C、處理器114C、記憶體116C以及輸入輸出電路118C。追蹤裝置110D包含相機112D、處理器114D、記憶體116D以及輸入輸出電路118D。上述元件之間的連接方式與如第2圖所繪示的追蹤裝置110的元件的連接方式相同。於一些實施例中，當追蹤裝置110A係為主追蹤裝置，處理器114A係為主處理器。
追蹤裝置110A至110D彼此之間經由輸入輸出電路118A至118D傳送或接收資訊或訊號。
請參閱第3圖。第3圖係依據本揭示之一些實施例所繪示之一種控制方法300的流程圖。控制方法300可由第1圖中的虛擬實境系統100執行。控制方法300包含步驟S310至S390，用以由多個追蹤裝置取得優化3D人體姿態並在頭戴式顯示裝置上顯示優化3D人體姿態。
於步驟S310中，取得當前時間點的人體的圖像。於一些實施例中，步驟S310係由如第2圖所繪示的相機112所執行。
請一併參閱第4圖。第4圖係依據本揭示之一些實施例所繪示之一種於時間點T1(當前時間點)，由如第1圖所繪示的追蹤裝置110D所擷取的人體P3的圖像400的示意圖。於一些實施例中，如第4圖所繪示，人體P3包含多個身體部件J1至J15。於一些實施例中，身體部件係為人體的關節點。如第4圖所繪示的身體部件J1至J15的數量與位置僅為例示說明之用，本發明的實施方式不以此為限。
請再次參閱第2圖。於步驟S330中，依據圖像取得當前時間點的人體的當前預測3D姿態以及當前時間點的信心度。於一些實施例中，步驟S330係由如第2圖所繪示的處理器114所執行。
請參閱第5圖。第5圖係依據本揭示之一些實施例所繪示之一種依據第4圖中的圖像400所產生的時間點T1的人體P3的當前預測3D姿態500的示意圖。
以身體部件的情況為例。如第5圖所繪示，人體的當前預測3D姿態500包含多個對應當前預測3D姿態CJ1至CJ15。詳細而言，對應當前預測3D姿態CJ1對應於如第4圖所繪示的身體部件J1，而對應當前預測3D姿態CJ2對應於如第4圖所繪示的身體部件J2，其餘依此類推。
信心度包含多個信心度嵌入值(或信心度數值)，且如第4圖所繪示的身體部件J1至J15中的每一者對應於信心度嵌入值。舉例而言，身體部件對應於信心度嵌入值C1，身體部件V2對應於信心度嵌入值C2，而身體部件V3對應於信心度嵌入值C3。
於一些實施例中，對應當前預測3D姿態CJ1至CJ15中的每一者對應於3D空間中的座標點。
於一些實施例中，信心度以及信心度嵌入值係依據對應身體部件的能見度以及可信度所產生。於一些實施例中，能見度以及可信度受到人體部件是否被遮擋、人體與追踪裝置之間的距離、是否存在雜訊或圖像的清晰度等的影響。
於一些實施例中，第2圖中的記憶體116儲存姿態估計網路。於一些實施例中，姿態估計網路係為人工神經網路，為一個計算系統或演算法。本揭示的實施例中的姿態估計網路可以為各種神經網路演算法。
於一些實施例中，第2圖中的處理器114更輸入如第4圖所繪示的圖像400至姿態估計網中以產生如第5圖所繪示的時間點T1的當前預測3D姿態以及時間點T1的信心度。
請再次參閱第3圖。於步驟S350中，依據先前時間點的人體的先前預測3D姿態以及先前時間點的人體的先前最終優化姿態判定人體的先前有效值。於一些實施例中，步驟S350係由如第2圖所繪示的處理器114所執行。
於一些實施例中，時間點T0(作為當前時間點T1的先前時間點)的先前預測3D姿態係儲存於如第2圖所繪示的記憶體116。於一些實施例中，時間點T0的先前最終優化姿態也係儲存於記憶體116。
於一些實施例中，時間點T0的先前預測3D姿態包含多個對應先前預測3D姿態，以及多個對應先前預測3D姿態中的每一者對應於如第4圖所繪示的身體部件J1至J15中的相對應者。
於一些實施例中，時間點T0的先前最終優化姿態包含多個對應先前最終優化姿態，且多個對應先前最終優化姿態中的每一者對應於如第4圖所繪示的身體部件J1至J15中的相對應者。
於一些實施例中，對於如第4圖所繪示的身體部件J1至J15中的每一者，時間點T0的先前子有效值係由如第2圖所繪示的處理器114依據時間點T0的對應先前預測3D姿態以及時間點T0的對應先前最終優化姿態之間的均方差所判定。
請一併參閱第4圖。舉例而言，時間點T0的身體部件J1的先前子有效值係依據對應於身體部件J1的時間點T0的對應先前預測3D姿態以及對應於身體部件J1的時間點T0的對應先前最終優化姿態所取得。其餘身體部件J2至J15的時間點T0的先前子有效值的取得方式依此類推，在此不詳細描述。
請再次參閱第3圖。於步驟S370中，依據先前有效值、當前時間點的信心度以及當前時間點的當前預測3D姿態判定人體的當前有效值。於一些實施例中，步驟S370係由如第2圖所繪示的處理器114所執行。
於一些實施例中，對於如第4圖所繪示的身體部件J1至J15中的每一者，時間點T0的當前子有效值的判定係依據先前子有效值、信心度嵌入值以及對應當前預測3D姿態。
舉例而言，請一併參閱第4圖和第5圖。若是當前時間點係為時間點T1且先前時間點係為時間點T0，對於如第4圖所繪示的身體部件J1，時間點T1的身體部件J1的當前子有效值係依據時間點T0的身體部件J1的先前子有效值、時間點T1的身體部件J1的信心度嵌入值C1以及時間點T1的身體部件J1的對應當前預測3D姿態CJ1所取得。對應於其他身體部件的其餘當前子有效值的取得方式與上述方法相同，在此不詳細描述。
於一些實施例中，第2圖中的記憶體116儲存有驗證網路。第2圖中的處理器114輸入時間點T0的先前有效值、當前時間點T1的信心度以及時間點T1的當前預測3D姿態至驗證網路中以產生時間點T1的當前有效值。類似地，第2圖中的處理器114輸入時間點T0的先前子有效值、當前時間點T1的信心度嵌入值以及時間點T1的對應當前預測3D姿態至驗證網路中以產生時間點T1的當前子有效值。
於一些實施例中，驗證網路係為人工神經網路，為計算系統或演算法。各種神經網路演算法可應用於驗證網路。本揭示的實施方式不以上述為限。
請再次參閱第3圖。於步驟S390中，依據當前有效值輸出當前時間點的當前預測3D姿態以及當前時間點的信心度至主追蹤裝置，以產生當前時間點的當前最終優化姿態，以使頭戴式顯示裝置顯示當前時間點的當前最終優化姿態。於一些實施例中，步驟S390係由如第2圖所繪示的處理器114所執行。
於一些實施例中，於步驟S390中，如第2圖所繪示的處理器114依據多個身體部件各自的當前子有效值判定各個多個身體部件是否為有效。
於一些實施例中，如第2圖所繪示的處理器114判定當前時間點的當前子有效值是否高於有效值閾值。舉例而言，若是當前時間點的身體部件J1的當前子有效值高於有效值閾值，處理器114判定對應於身體部件J1的當前時間點的對應當前預測3D姿態為有效。另一方面，若是當前時間點的身體部件J1的當前子有效值不高於有效值閾值，處理器114判定對應於身體部件J1的對應當前預測3D姿態為無效且被拒絕。
於一些實施例中，有效值閾值係由使用者設置或由處理器114判定。
於一些實施例中，如上所述的驗證網路依據當前子有效值判定身體部件中的每一者是否為有效。
於一些實施例中，各個身體部件的當前時間點的對應當前預測3D姿態以及當前時間點的信心度嵌入值在各個身體部件的有效性被判定後被輸出至主追蹤裝置。
於一些實施例中，若是身體部件被判定為被拒絕，如第2圖所繪示的處理器114將當前時間點的對應當前預測3D姿態遮罩。
請參閱第6圖。第6圖係依據本揭示之一些實施例所繪示之一種當前時間點的被遮罩的當前預測3D姿態600的示意圖。舉例而言，若是只有身體部件J1至J3被判定為有效，則其餘身體部件J4至J15的對應當前預測3D姿態被遮罩。
請再次參閱第1圖。於一些實施例中，若是追蹤裝置110A係為主追蹤裝置，追蹤裝置110A接收其他追蹤裝置110B至110D所產生的被遮罩的當前預測3D姿態以及由其他追蹤裝置110B至110D所產生的人體的信心度或信心度數值/信心度嵌入值。需注意的是，其他追蹤裝置110B至110D中的每一者各自產生被遮罩的當前預測3D姿態。
於一些實施例中，當前時間點的部分的當前預測3D姿態是否被遮罩的判定係由主追蹤裝置110A所執行。舉例而言，追蹤裝置110D傳送當前預測3D姿態以及身體部件J1至J15的信心度嵌入值至主追蹤裝置110A，而主追蹤裝置110A依據接收到的身體部件J1至J15的信心度嵌入值以遮罩追蹤裝置110D所傳送的當前預測3D姿態的一部分。
也就是說，主追蹤裝置110A依據追蹤裝置110B所傳送的當前預測3D姿態以及信心度產生對應於追蹤裝置110B的被遮罩的當前預測3D姿態。主追蹤裝置110A依據追蹤裝置110C所傳送的當前預測3D姿態以及信心度產生對應於追蹤裝置110C的被遮罩的當前預測3D姿態。主追蹤裝置110A依據追蹤裝置110D所傳送的當前預測3D姿態以及信心度產生對應於追蹤裝置110D的被遮罩的當前預測3D姿態。
主追蹤裝置110A依據其他追蹤裝置110B至110D的被遮罩的當前預測3D姿態產生當前時間點的當前最終優化姿態。於一些實施例中，主追蹤裝置110A藉由合併追蹤裝置110A至110D的被遮罩的當前預測3D姿態以產生當前時間點的當前最終優化姿態。於一些實施例中，對於身體部件J1至J15中的每一者，主追蹤裝置110A的處理器114A接收追蹤裝置110B至110D依據當前子有效值所輸出的對應當前預測3D姿態CJ1至CJ15中的對應者以及信心度嵌入值後，主追蹤裝置110A的處理器114A合併追蹤裝置110A至110D的對應當前預測3D姿態CJ1至CJ15中的對應者以產生當前時間點的對應當前最終優化姿態。
請參閱第7圖。第7圖係依據本揭示之一些實施例所繪示之一種當前時間點的當前最終優化姿態700的示意圖。當前最終優化姿態700係為3D姿態影像。
於一些實施例中，追蹤裝置110A的記憶體116A儲存基於注意力聚合網路。主追蹤裝置110A的處理器114A輸入其他追蹤裝置110B至110D所傳送的當前時間點的被遮罩的當前預測3D姿態、當前時間點的信心度，以及追蹤裝置110A所產生的被遮罩的當前預測3D姿態至基於注意力聚合網路以產生當前時間點的最終優化姿態。
於一些實施例中，基於注意力聚合網路係為人工神經網路係為計算系統或演算法。在本揭示的實施方式中，不同的網路演算法可被應用於基於注意力聚合網路。
於一些實施例中，主追蹤裝置110A的處理器114A，在遮罩接收到的當前時間點的當前預測3D姿態之前或在產生當前時間點的當前優化姿態之前，先轉換由其他追蹤裝置110B至110D所傳送的當前時間點的當前預測3D姿態的座標至主追蹤裝置110A的座標。
於一些實施例中，主追蹤裝置110A傳送如第7圖所繪示的當前時間點的當前最終優化姿態700至頭戴式顯示裝置130A至130C，以使頭戴式顯示裝置130A至130C顯示當前最終優化姿態700給使用者P1至P3。
於一些實施例中，在傳送當前最終優化姿態700至頭戴式顯示裝置130A至130C之前，主追蹤裝置110A將各個頭戴式顯示裝置130A至130C的追蹤空間校準並取得各個頭戴式顯示裝置130A至130C的裝置狀態，以依據各個頭戴式顯示裝置130A至130C的校準狀況以及裝置狀態調整頭戴式顯示裝置130A至130C所顯示的當前最終優化姿態700。
於一些實施例中，追蹤裝置110D的記憶體116D儲存主追蹤裝置110A所產生的時間點T1的當前最終優化姿態。於一些實施例中，追蹤裝置110D的記憶體116D儲存時間點T1的當前預測3D姿態。時間點T1的當前預測3D姿態係作為時間點T2的先前時間點的先前預測3D姿態，而時間點T1的當前最終優化姿態係作為時間點T2的先前時間點的先前最終優化姿態。
於一些實施例中，如第1圖所繪示的虛擬實境系統100同時取得使用者P1至P3的當前最終優化姿態。
本揭示實施例提供一種虛擬實境系統以及一種控制方法，透過多個追踪裝置之間的溝通以及協同，依據位於多個不同位置或角度的多個追踪裝置所預測的各個身體部件，產生最終優化人體姿態。此外，由於先前時間點的人體的先前預測3D姿態以及先前時間點的人體的先前最終優化姿態在產生當前時間點的當前最終優化姿態時被考慮，人體姿態的預測結果更為準確。
於一些實施例中，記憶體116可以是閃存記憶體、HDD、SSD(固態硬碟)、DRAM(動態隨機存取記憶體)或SRAM(靜態隨機存取記憶體)。於一些實施例中，記憶體116可以是存儲有至少一與控制方法相關聯的指令的非揮發性電腦可讀取記錄媒體。至少一指令可以由處理器114取得與執行。
於一些實施例中，處理器114可以是但不限於單個處理器，也可以是CPU或GPU等多個微處理器的集合。微處理器電性耦接於記憶體116，以存取記憶體116中的至少一指令。依據至少一指令，即可執行上述控制方法。
雖然本揭示已以實施方式揭示如上，然其並非用以限定本揭示，任何本領域具通常知識者，在不脫離本揭示之精神和範圍內，當可作各種之更動與潤飾，因此本揭示之保護範圍當視後附之申請專利範圍所界定者為準。
100:虛擬實境系統 110A,110B,110C,110D:追蹤裝置 130A,130B,130C:頭戴式顯示裝置 P1,P2,P3:使用者 112,112A,112B,112C,112D:相機 114,114A,114B,114C,114D:處理器 116,116A,116B,116C,116D:記憶體 118,118A,118B,118C,118D:輸入輸出電路 300:控制方法 S310,S330,S350,S370,S390:步驟 400:圖像 J1,J2,J3,J4,J5,J6,J7,J8:身體部件 J9,J10,J11,J12,J13,J14,J15:身體部件 500:當前預測3D姿態 C1,C2,C3:信心度嵌入值 CJ1,CJ2,CJ3,CJ4,CJ5,CJ6:對應當前預測3D姿態 CJ7,CJ8,CJ9,CJ10,CJ11:對應當前預測3D姿態 CJ12,CJ13,CJ14,CJ15:對應當前預測3D姿態 600:當前預測3D姿態 700:當前最終優化姿態
為讓本揭示之上述和其他目的、特徵、優點與實施例能夠更明顯易懂，所附圖式之說明如下： 第1圖係依據本揭示之一些實施例所繪示之一種虛擬實境(VR)系統的示意圖； 第2圖係依據本揭示之一些實施例所繪示之一種追蹤裝置的示意圖； 第3圖係依據本揭示之一些實施例所繪示之一種控制方法的流程圖； 第4圖係依據本揭示之一些實施例所繪示之一種當前時間點的人體的圖像的示意圖； 第5圖係依據本揭示之一些實施例所繪示之一種依據第4圖中的圖像所產生的當前時間點的當前預測3D姿態的示意圖； 第6圖係依據本揭示之一些實施例所繪示之一種當前時間點的被遮罩的當前預測3D姿態的示意圖；以及 第7圖係依據本揭示之一些實施例所繪示之一種當前時間點的最終優化姿態的示意圖。
100:虛擬實境系統
110A,110B,110C,110D:追蹤裝置
130A,130B,130C:頭戴式顯示裝置
P1,P2,P3:使用者

Claims (10)

  1. 一種虛擬實境系統，包含： 一頭戴式顯示裝置； 複數個追蹤裝置，與該頭戴式顯示裝置通訊連接，包含： 一相機，用以取得一當前時間點的一人體的一圖像；以及 一處理器，耦接於該相機，用以： 依據該圖像以取得該當前時間點的該人體的一當前預測3D姿態以及該人體的該當前時間點的一信心度； 依據一先前時間點的該人體的一先前預測3D姿態以及該先前時間點的該人體的一先前最終優化姿態判定該人體的一先前有效值； 依據該先前有效值、該當前時間點的該信心度以及該當前時間點的該人體的該當前預測3D姿態判定該人體的一當前有效值；以及 依據該當前有效值輸出該當前時間點的該人體的該當前預測3D姿態以及該人體的該當前時間點的該信心度至該些追蹤裝置的一主追蹤裝置，以產生該當前時間點的一當前最終優化姿態，以使該頭戴式顯示裝置顯示該當前時間點的該當前最終優化姿態。
  2. 如請求項1所述之虛擬實境系統，其中該些追蹤裝置中的每一者更包含： 一記憶體，用以儲存該當前時間點的該人體的該當前預測3D姿態。
  3. 如請求項1所述之虛擬實境系統，其中該些追蹤裝置中的每一者更包含： 一記憶體，用以儲存一姿態估計網路； 其中該處理器更用以輸入該人體的該圖像至該姿態估計網路以產生該當前時間點的該人體的該當前預測3D姿態以及該當前時間點的該信心度。
  4. 如請求項1所述之虛擬實境系統，其中該人體包含複數個身體部件，且該些身體部件中的每一者對應於該當前時間點的一對應當前預測3D姿態、該先前時間點的一對應先前預測3D姿態以及該先前時間點的一對應先前最終優化姿態。
  5. 如請求項4所述之虛擬實境系統，其中該處理器更用以： 對於該些身體部件中的每一者，依據該人體的該圖像取得該當前時間點的一信心度嵌入值； 對於該些身體部件中的每一者，依據該對應先前預測3D姿態以及該對應先前最終優化姿態判定一先前子有效值； 對於該些身體部件中的每一者，依據該先前子有效值判定一當前子有效值、該信心度嵌入值以及該對應當前預測3D姿態；以及 對於該些身體部件中的每一者，依據該當前子有效值輸出該對應當前預測3D姿態以及該信心度嵌入值至該主追蹤裝置，以產生該當前時間點的一對應當前最終優化姿態。
  6. 如請求項5所述之虛擬實境系統，其中該些身體部件包含一第一身體部件，當該第一身體部件的一第一當前子有效值高於一有效值閾值時，該主追蹤裝置的一主處理器更用以判定該第一身體部件的一第一對應當前預測3D姿態為有效。
  7. 如請求項6所述之虛擬實境系統，其中該主追蹤裝置的該主處理器更用以於判定該第一對應當前預測3D姿態為無效時，遮罩該第一對應當前預測3D姿態。
  8. 如請求項1所述之虛擬實境系統，其中該些追蹤裝置的該主追蹤裝置更包含： 一記憶體，用以儲存一基於注意力聚合網路(attention-based aggregate network)； 其中該主追蹤裝置的一主處理器更用以輸入從該些追蹤裝置中的一另一追蹤裝置所傳送的該當前預測3D姿態以及該當前時間點的該信心度至該基於注意力聚合網路，以產生該當前最終優化姿態。
  9. 如請求項8所述之虛擬實境系統，其中該主追蹤裝置的該主處理器更用以轉換從該另一追蹤裝置所傳送的該當前預測3D姿態的一座標至該主追蹤裝置的一座標。
  10. 一種控制方法，適用於包含一頭戴式顯示裝置以及複數個追蹤裝置的一虛擬實境系統，其中該些追蹤裝置中的每一者包含一相機以及一處理器，該控制方法包含： 由該相機取得一當前時間點的一人體的一圖像； 由該處理器依據該圖像取得該當前時間點的該人體的一當前預測3D姿態以及該人體的該當前時間點的一信心度； 由該處理器依據一先前時間點的該人體的一先前預測3D姿態以及該先前時間點的該人體的一先前最終優化姿態判定該人體的一先前有效值； 由該處理器依據該先前有效值、該當前時間點的該信心度以及該當前時間點的該人體的該當前預測3D姿態判定該人體的一當前有效值；以及 由該處理器依據該當前有效值輸出該當前時間點的該人體的該當前預測3D姿態以及該人體的該當前時間點的該信心度至該些追蹤裝置的一主追蹤裝置，以產生該當前時間點的一當前最終優化姿態，以使該頭戴式顯示裝置顯示該當前時間點的該當前最終優化姿態。
TW111128406A 2022-05-09 2022-07-28 虛擬實境系統以及控制方法 TWI811042B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/662,654 US20230360226A1 (en) 2022-05-09 2022-05-09 Virtual reality system, control method, and non-transitory computer readable storage medium
US17/662,654 2022-05-09

Publications (2)

Publication Number Publication Date
TWI811042B true TWI811042B (zh) 2023-08-01
TW202344957A TW202344957A (zh) 2023-11-16

Family

ID=88585667

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111128406A TWI811042B (zh) 2022-05-09 2022-07-28 虛擬實境系統以及控制方法

Country Status (3)

Country Link
US (1) US20230360226A1 (zh)
CN (1) CN117078895A (zh)
TW (1) TWI811042B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1956692A (zh) * 2004-02-05 2007-05-02 莫托里卡股份有限公司 用于康复和训练的方法和装置
CN104461018B (zh) * 2014-12-31 2017-05-24 原硕朋 电磁式多自由度虚拟漫游行进平台
TW202014851A (zh) * 2018-08-07 2020-04-16 李文傑 具有廣泛使用性的三維圖形使用者介面的系統及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1956692A (zh) * 2004-02-05 2007-05-02 莫托里卡股份有限公司 用于康复和训练的方法和装置
CN104461018B (zh) * 2014-12-31 2017-05-24 原硕朋 电磁式多自由度虚拟漫游行进平台
TW202014851A (zh) * 2018-08-07 2020-04-16 李文傑 具有廣泛使用性的三維圖形使用者介面的系統及方法

Also Published As

Publication number Publication date
TW202344957A (zh) 2023-11-16
US20230360226A1 (en) 2023-11-09
CN117078895A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
JP6902075B2 (ja) 構造化光を用いた視線追跡
US10664049B2 (en) Systems and methods for gaze tracking
US20230377744A1 (en) Systems and methods for modifying a safety boundary for virtual reality systems
US9058053B2 (en) Virtual reality display system
JP2020108915A (ja) ロボット重心位置調整方法、装置、ロボット及びデータ記憶媒体
JP2007209384A (ja) 視線ベクトル検出方法及び同装置
CN206961066U (zh) 一种虚拟现实交互设备
JP4865517B2 (ja) 頭部の位置・姿勢検出装置
TWI693531B (zh) 針對虛擬實境漫步式的掃視重新定向
US20210165993A1 (en) Neural network training and line of sight detection methods and apparatus, and electronic device
TWI427558B (zh) 遮蔽骨架之位置估算系統、遮蔽骨架之位置估算方法及遮蔽骨架之重建方法
US20240085993A1 (en) Body pose estimation using self-tracked controllers
GB2603084A (en) Pose determination using one or more neural networks
CN113227942A (zh) Ar/vr环境中用户注意力的音频指示器
TWI811042B (zh) 虛擬實境系統以及控制方法
US20220365342A1 (en) Eyeball Tracking System and Method based on Light Field Sensing
WO2022205769A1 (zh) 基于单眼球追踪的虚拟现实系统注视渲染方法、系统
KR101395819B1 (ko) 시선 추적 장치 및 방법
JP2016513842A (ja) 異なる精度のソフトウェアアルゴリズム及びハードウェアアルゴリズムを実施する評価層を備えた画像プロセッサ
JP7219787B2 (ja) 情報処理装置、情報処理方法、学習方法、およびプログラム
CN110147873B (zh) 卷积神经网络的处理器及训练方法
JP5048381B2 (ja) 三次元形状復元装置
TWI838967B (zh) 追蹤裝置、頭戴式顯示裝置及虛擬實境系統
JP7219788B2 (ja) 情報処理装置、情報処理方法、学習方法、およびプログラム
CN108628437B (zh) 用户意识测程法校正技术