TW202227938A - 沉浸式系統、控制方法與相關的非暫態電腦可讀取儲存媒體 - Google Patents

沉浸式系統、控制方法與相關的非暫態電腦可讀取儲存媒體 Download PDF

Info

Publication number
TW202227938A
TW202227938A TW111101011A TW111101011A TW202227938A TW 202227938 A TW202227938 A TW 202227938A TW 111101011 A TW111101011 A TW 111101011A TW 111101011 A TW111101011 A TW 111101011A TW 202227938 A TW202227938 A TW 202227938A
Authority
TW
Taiwan
Prior art keywords
controller
virtual
mode
tracking
virtual object
Prior art date
Application number
TW111101011A
Other languages
English (en)
Other versions
TWI801089B (zh
Inventor
薛友倫
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202227938A publication Critical patent/TW202227938A/zh
Application granted granted Critical
Publication of TWI801089B publication Critical patent/TWI801089B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

沉浸式系統之控制方法包含以下步驟：追蹤控制器的原始姿態資料，此控制器用以在多個控制器模式的其中一者下操作；在多個控制器模式當中決定當前控制器模式；在多個姿態轉換矩陣中，根據當前控制器模式，選擇目標姿態轉換矩陣，多個姿態轉換矩陣的每一者各自對應於多個控制器模式的其中一者來提供；將目標姿態轉換矩陣應用於原始姿態資料，以產生調整後姿態資料；根據調整後姿態資料，在沉浸式內容中，於當前控制器模式下渲染虛擬物件。

Description

沉浸式系統、控制方法與相關的非暫態電腦可讀取儲存媒體
本揭示文件是關於一種沉浸式系統、控制方法與其相關的非暫態電腦可讀取儲存媒體，特別是關於一種在沉浸式系統中，如何追蹤裝置以及判斷裝置之姿態資料的控制方法。
虛擬實境（Virtual Reality，VR）、擴增實境（Augmented Reality，AR）、替代實境（Substitutional Reality，SR）及/或混合實境（Mixed Reality，MR）裝置旨在為使用者提供沉浸式體驗。當使用者穿戴頭戴式裝置，使用者的視野會被頭戴式裝置所顯示的沉浸式內容遮蔽。沉浸式內容會在沉浸式場景中顯示虛擬背景以及一些虛擬物件。
在一些情況下，使用者可以拿著控制器作為輸入裝置。為了提供使用者沉浸式體驗，需要沉浸式系統以追蹤控制器的動作並在沉浸式內容中渲染控制器。在此情況下，使用者可以操縱控制器（例如，可以模擬成一把劍）以與沉浸式場景中的虛擬物件互動。舉例而言，使用者可以在沉浸式場景中對著虛擬怪物揮動虛擬劍。
本揭示文件提供一種控制方法，其中包含以下步驟：追蹤控制器的原始姿態資料，此控制器用以在多個控制器模式的其中一者下操作；在多個控制器模式當中決定當前控制器模式；在多個姿態轉換矩陣中，根據當前控制器模式，選擇目標姿態轉換矩陣，多個姿態轉換矩陣的每一者各自對應於多個控制器模式的其中一者來提供；將目標姿態轉換矩陣應用於原始姿態資料，以產生調整後姿態資料；根據調整後姿態資料，在沉浸式內容中，於當前控制器模式下渲染虛擬物件。
本揭示文件提供一種沉浸式系統，其中包含控制器、追蹤裝置以及處理單元。控制器用以在多個控制器模式的其中一者下操作。追蹤裝置用以追蹤控制器的原始姿態資料。處理單元與追蹤裝置通訊。處理單元用以在多個控制器模式當中決定當前控制器模式。處理單元用以根據當前控制器模式，在多個姿態矩陣當中選擇目標姿態轉換矩陣。多個姿態矩陣的每一者各自對應於多個控制器模式的其中一者來提供。處理單元用以將目標姿態轉換矩陣應用於原始姿態資料，以產生調整後姿態資料。處理單元用以根據調整後姿態資料，在沉浸式內容中，於當前控制器模式下渲染虛擬物件。
本揭示文件提供一種非暫態電腦可讀取儲存媒體，用以儲存至少一指令程式，此指令程式由處理器執行，以執行控制方法，控制方法包含以下步驟：追蹤控制器的原始姿態資料，此控制器用以在多個控制器模式的其中一者下操作；在多個控制器模式當中決定當前控制器模式；在多個姿態轉換矩陣中，根據當前控制器模式，選擇目標姿態轉換矩陣，多個姿態轉換矩陣的每一者各自對應於多個控制器模式的其中一者來提供；將目標姿態轉換矩陣應用於原始姿態資料，以產生調整後姿態資料；根據調整後姿態資料，在沉浸式內容中，於當前控制器模式下渲染虛擬物件。
應理解，上文的一般描述以及下文的詳細描述均為示例，旨在提供對本揭示文件的進一步解釋。
下文將詳細描述本揭示文件的實施例，其示例繪示於附圖中。在可能的情況下，相同的標號使用於附圖以及描述中，以代表相同或相似的元件。
請參照第1圖，第1圖為根據本揭示文件之一實施例所繪示的沉浸式系統100之示意圖。如第1圖所示，沉浸式系統100包含位於空間區域SA中的頭戴式裝置120以及控制器140。舉例而言，第1圖中所示的空間區域SA可以是現實世界中的臥室或是會議室，但本揭示文件不限於此。在一些其他實施例中，空間區域SA也可以是戶外空間中的特定區域（圖中未示出）。
在一些實施例中，頭戴式裝置120可以穿戴於使用者U1的頭上，而控制器140可以是手持式控制器，由使用者U1單手持有。攜帶頭戴式裝置120以及控制器140的使用者可以在空間區域SA中移動至不同的位置並面向各個方向。在一些實施例中，沉浸式系統100包含追蹤裝置160、處理單元180以及儲存單元190。追蹤裝置160用以追蹤頭戴式裝置120以及控制器140的移動以及旋轉。處理單元180與追蹤裝置160以及儲存單元190通訊。處理單元180用以執行控制方法，以追蹤並渲染控制器140。
在一些實施例中，頭戴式裝置120可以提供沉浸式內容，例如虛擬實境（Virtual Reality，VR）、擴增實境（Augmented Reality，AR）、替代實境（Substitutional Reality，SR）及/或混合實境（Mixed Reality，MR）場景給使用者U1。為了將沉浸式內容提供給使用者U1，沉浸式系統100用以追蹤頭戴式裝置120以偵測使用者之動作的位置與旋轉，並追蹤控制器140以偵測使用者的手勢之位置與旋轉。
在一些實施例中，第1圖中所示的追蹤裝置160可以包含設置於頭戴式裝置120上的至少一個攝像機162。攝像機162可以透過內向外追蹤功能來追蹤頭戴式裝置120，此功能可以從頭戴式設備120的視角觀察空間區域SA中的一些物件（例如，如第1圖所示的錨點物件AN1以及AN2）。在一些實施例中，追蹤裝置160（或與處理單元180搭配）可以利用同時定位與地圖構建（Simultaneous Localization and Mapping，SLAM）演算法來建構未知環境（例如，空間區域SA）的地圖，同時追蹤在未知環境中的頭戴式裝置120。
在一些其他實施例中，第1圖所示的追蹤裝置160可以包含設置於空間區域SA中的定點的至少一個追蹤站164。舉例而言，追蹤站164設置在第1圖所示的房間天花板附近的角落。在一些實施例中，追蹤站164是提供外向內追蹤功能的元件，可以從外部的視角追蹤頭戴式裝置120，以偵測頭戴式裝置120的外向內姿態資料。
應注意，第1圖中的實施例展示了內向外追蹤功能（根據攝像機162）以及外向內追蹤功能（根據追蹤站164）兩者。然而，沉浸式系統100不限於包含內向外追蹤功能以及外向內追蹤功能兩者。換句話說，追蹤裝置160可以透過內向外追蹤功能（根據攝像機162）以及外向內追蹤功能（根據追蹤站164）當中至少一者實現。此外，攝像機162以及追蹤站164是為了示範而繪示，追蹤裝置160可以透過其他類似的追蹤元件來實現，例如超聲波追蹤器、紅外線追蹤器及/或影像式追蹤器。
在一些其他實施例中，追蹤裝置160更包含設置於頭戴式裝置120及/或控制器140上的慣性測量單元（圖中未示出）或重力感測器（圖中未示出）。慣性測量單元或重力感測器可以提供頭戴式裝置120及/或控制器140的旋轉資訊，進而增加追蹤精確度並節省追蹤頭戴式裝置120及/或控制器140的運算資源。
進一步參照第2圖，第2圖為根據本揭示文件之一些實施例所繪示的第1圖的沉浸式系統100之功能方塊圖。在一些實施例中，沉浸式系統100包含處理單元180。處理單元180可以提供沉浸式內容IMC給使用者U1。在一些實施例中，沉浸式內容IMC可以被傳送至頭戴式裝置120並顯示於頭戴式裝置120的顯示器122上。在一些實施例中，顯示器122會遮蔽使用者U1的視野，使得用戶U1可以感受到如同身臨沉浸式內容IMC中的虛擬場景的沉浸式體驗。
在一些實施例中，處理單元180可以是與頭戴式裝置120以及追蹤裝置160分離的電腦中的處理器。在一些其他實施例中，處理單元180能以頭戴式裝置120或追蹤裝置160中的處理器或特殊應用積體電路（Application Specific Integrated Circuit，ASIC）實現。儲存單元190能以硬碟、快閃記憶體、記憶體或其他資料儲存元件實現。
在沉浸式體驗中，使用者U1可能會與沉浸式內容IMC中的物件（例如，兔子、敵人或是門）互動。在一些實施例中，使用者U1可以操縱控制器140以與沉浸式內容IMC互動。追蹤裝置160可以追蹤控制器140的位置及軸向，以完成上述互動。
根據控制器140的追蹤結果，控制器140可以由處理單元180渲染，並出現在沉浸式內容IMC中沿特定方向的特定位置。根據不同的應用（例如，射擊遊戲、格鬥遊戲、虛擬旅遊體驗、社交網路體驗），控制器140可以在不同控制器模式下操作，並對應地被渲染成沉浸式內容IMC中不同的虛擬物件VOBJ（例如，劍、棍棒、手槍、握把或鍵盤）。舉例而言，控制器140可以在三種不同的控制器模式中操作，例如板機導向模式、握把導向模式以及面板導向模式。關於如何根據不同的控制器模式渲染虛擬物件VOBJ的詳細內容，將在以下段落中討論。
進一步參照第3圖，第3圖為根據本揭示文件之一些實施例所繪示的控制方法200之流程圖。控制方法200可以由第1圖以及第2圖所示的沉浸式系統100所執行。如第2圖以及第3圖所示，在步驟S210中，追蹤裝置160用以追蹤控制器140的原始姿態資料PDraw。如第1圖所示，控制器140由使用者U1拿著，且可以隨著手部動作在空間區域SA中移動。原始姿態資料PDraw用以定義追蹤裝置160在空間區域SA中觀察到控制器140的位置以及軸向。
進一步參照第4圖，第4圖為根據本揭示文件之一些實施例所繪示的關於控制器140的原始姿態資料PDraw之示意圖。如第4圖所示的實施例，控制器140包含頂端部位142以及握把部位144。在一些情況下，控制器140更包含設置於握把部位144上的板機按鈕144a以及觸控面板144b。使用者U1可以操作板機按鈕144a以及觸控面板144b來產生輸入信號。第4圖所示控制器140的外觀與硬體配置僅為示範，本揭示文件不以此為限。
在一些實施例中，原始姿態資料PDraw包含由追蹤裝置160觀察到的控制器140的追蹤原點Oraw的位置（可以由三維坐標表示）以及控制器140的追蹤軸Rraw的軸向（可由三維向量表示）。
在一些實施例中，控制器140的原始姿態資料PDraw是根據追蹤裝置160而追蹤。舉例而言，控制器140可以根據頂端部位142的外觀特徵（例如，印刷圖案、環狀結構或發光圖案，圖中未示出）進行追蹤，使得追蹤原點Oraw配置在頂端部位142的底部。第4圖中的原始姿態資料PDraw示出了控制器140的追蹤原點Oraw的預設位置以及控制器140的追蹤軸Rraw的預設軸向。在預設配置中，當頂端部位142筆直向上且握把部位144稍微向上抬起時，追蹤軸Rraw被配置為指向前方。
控制器140的追蹤原點Oraw的位置以及控制器140的追蹤軸Rraw的軸向會根據使用者的手部移動而變化。另一方面，追蹤原點Oraw以及追蹤軸Rraw在實質上固定，或是設定為與控制器140永久相關。
在一些實施例中，定義於原始姿態資料PDraw中的控制器140的追蹤原點Oraw以及追蹤軸Rraw由控制器140或追蹤裝置160的製造商所設計。追蹤原點Oraw以及追蹤軸Rraw根據控制器140的形狀設計在最容易識別的位置以及軸上，以提高控制器140的追蹤精準度。
如第2圖以及第3圖所示，在步驟S220中，處理單元180的模式選擇器184用以在多個控制器模式中決定當前控制器模式。舉例而言，控制器模式可以包含板機導向模式、握把導向模式以及面板導向模式。在一些實施例中，當前控制器模式是根據沉浸式系統100中所執行的應用程式，從這些控制器模式中選擇。舉例而言，若使用者U1當前正在遊玩射擊遊戲，當前控制器模式可以決定為板機導向模式（以模擬為一把手槍）；若使用者U1當前正在遊玩棒球遊戲，當前控制器模式可以決定為握把導向模式（以模擬為一根棒球棒）。
在一些情況下，在步驟S210中由追蹤裝置160所產生的原始姿態資料PDraw沒有為了在每個控制器模式中模擬不同類型的控制器140而被最佳化。在操作S220中，處理單元180的模式選擇器184用以在多個控制器模式中決定當前控制器模式。進一步參照第5圖，第5圖為根據本揭示文件之一示範例所繪示的第3圖的控制方法200之流程圖。如第5圖所示，在此示範例中，控制器模式可以包含板機導向模式M1、握把導向模式M2以及面板導向模式M3。
在一些實施例中，模式選擇器184可以由處理單元180所執行的程式指令碼或特殊應用積體電路來實現。
在一些實施例中，如第2圖以及第5圖所示，當前控制器模式是根據沉浸式系統100中所執行的應用程式，從這些控制器模式（M1~M3）中選擇。舉例而言，若使用者U1當前正在遊玩射擊遊戲，當前控制器模式可以決定為板機導向模式M1（以模擬為一把手槍）；若使用者U1當前正在遊玩棒球遊戲，當前控制器模式可以決定為握把導向模式M2（以模擬為一根棒球棒）；若使用者U1當前正在輸入訊息，當前控制器模式可以決定為面板導向模式M3（以模擬為一個鍵盤）。
在步驟S230中，處理單元180的模式選擇器184用以根據當前控制器模式，從姿態轉換矩陣TM1~TM3中選擇目標姿態轉換矩陣TMc。在一些實施例中，姿態轉換矩陣TM1~TM3每一者各自對應於多個控制器模式（例如，板機導向模式M1、握把導向模式M2以及面板導向模式M3）的其中一者來提供。關於姿態轉換矩陣TM1~TM3的詳細內容，將在以下段落中討論。
如第2圖以及第5圖所示，若當前控制器模式為板機導向模式M1，則執行步驟S231，且處理單元180的模式選擇器184選擇對應於板機導向模式M1的姿態轉換矩陣TM1。進一步參照第6A圖，第6A圖為根據本揭示文件之一些實施例所繪示的對應於板機導向模式M1的姿態轉換矩陣TM1之示意圖。如第5圖以及第6A圖所示，在步驟S241中，姿態轉化器182用以將姿態轉換矩陣TM1應用到原始姿態資料PDraw（包含追蹤原點Oraw以及追蹤軸Rraw），進而將原始姿態資料PDraw轉化為調整後姿態資料PD1，其中調整後姿態資料PD1包含虛擬原點O1以及虛擬軸R1。目標姿態轉換矩陣TMc（即本例中的姿態轉換矩陣TM1）用以將原始姿態資料PDraw中的追蹤原點Oraw的位置透過移動一位移DIS1，轉化為調整後姿態資料PD1中虛擬原點O1的另一個位置，且將原始姿態資料PDraw中的追蹤軸Rraw的軸向透過減少一角度θ1，轉化為調整後姿態資料PD1中虛擬軸R1的另一個軸向。換句話說，此示例中的姿態轉換矩陣TM1包含位移DIS1以及角度θ1之減少量。
在一些實施例中，姿態轉化器182可以由處理單元180所執行的程式指令碼或特殊應用積體電路來實現。
進一步參照第6B圖，第6B圖為對應於板機導向模式M1的手槍形虛擬物件VOBJ1的虛擬物件模型OM1之示意圖。在步驟S251中，圖形渲染器186用以根據調整後姿態資料PD1，在沉浸式內容IMC中，於當前控制器模式下（即板機導向模式M1）渲染手槍形虛擬物件VOBJ1。
在一些實施例中，第6A圖中所示的調整後姿態資料PD1用以定義手槍形虛擬物件VOBJ1的虛擬原點O1的位置以及手槍形虛擬物件VOBJ1的虛擬軸R1的軸向。如第6B圖所示，虛擬物件模型OM1定義了手槍形虛擬物件VOBJ1，其包含手槍板機部位VOBJ1a以及手槍握把部位VOBJ1b。虛擬物件模型OM1包含模型原點MO1以及模型軸MR1。
在步驟S251中，圖形渲染器186用以將模型原點MO1與調整後姿態資料PD1中的虛擬原點O1對齊，並將模型軸MR1與調整後姿態資料PD1中的虛擬軸R1對齊，進而根據調整後姿態資料PD1渲染手槍形虛擬物件VOBJ1。
在一些實施例中，虛擬物件模型OM1由應用程式（例如，射擊遊戲、格鬥遊戲、虛擬旅遊體驗、社交網路體驗）的軟體提供者所設計。如第6B圖所示，虛擬物件模型OM1可以根據模型原點MO1以及模型軸MR1所設計。模型原點MO1與虛擬物件模型OM1的中心相鄰，也與手槍板機部位VOBJ1a相鄰。虛擬物件模型OM1的模型軸MR1指向手槍形虛擬物件VOBJ1的射擊方向。在此情況下，應用程式的軟體提供者可以更容易地參考模型原點MO1以及模型軸MR1來設計虛擬物件模型OM1，而無需擔心追蹤裝置160檢測到的實際原始姿態資料PDraw。
在此情況下，沉浸式系統100有助於將原始姿態資料PDraw轉化為調整後姿態資料PD1，並可以根據調整後姿態資料PD1（以虛擬物件模型OM1的形狀）渲染出手槍形虛擬物件VOBJ1。
在第6A圖以及第6B圖所示的實施例中，虛擬物件模型包含對應於板機導向模式M1的虛擬手槍。然而，本揭示文件不限於此。虛擬物件模型也可以包含對應於板機導向模式M1的虛擬步槍或是虛擬弓（或任何可以透過板機操作的等效物件）。
如第2圖以及第5圖所示，若當前控制器模式為握把導向模式M2，則執行步驟S232，且處理單元180的模式選擇器184選擇對應於握把導向模式M2的姿態轉換矩陣TM2。進一步參照第7A圖，第7A圖為根據本揭示文件之一些實施例所繪示的對應於握把導向模式M2的姿態轉換矩陣TM2之示意圖。如第5圖以及第7A圖所示，在步驟S242中，姿態轉化器182用以將姿態轉換矩陣TM2應用到原始姿態資料PDraw（包含追蹤原點Oraw以及追蹤軸Rraw），進而將原始姿態資料PDraw轉化為調整後姿態資料PD2，其中調整後姿態資料PD2包含虛擬原點O2以及虛擬軸R2。目標姿態轉換矩陣TMc（即本例中的姿態轉換矩陣TM2）用以將原始姿態資料PDraw中的追蹤原點Oraw的位置透過移動一位移DIS2，轉化為調整後姿態資料PD2中虛擬原點O2的另一個位置，且將原始姿態資料PDraw中的追蹤軸Rraw的軸向透過增加一角度θ2，轉化為調整後姿態資料PD2中虛擬軸R2的另一個軸向。換句話說，此示例中的姿態轉換矩陣TM2包含位移DIS2以及角度θ2之增加量。
進一步參照第7B圖，第7B圖為對應於握把導向模式M2的劍形虛擬物件VOBJ2的虛擬物件模型OM2之示意圖。在步驟S252中，圖形渲染器186用以根據調整後姿態資料PD2，在沉浸式內容IMC中，於當前控制器模式下（即握把導向模式M2）渲染劍形虛擬物件VOBJ2。
在一些實施例中，第7A圖中所示的調整後姿態資料PD2用以定義劍形虛擬物件VOBJ2的虛擬原點O2的位置以及劍形虛擬物件VOBJ2的虛擬軸R2的軸向。如第7B圖所示，虛擬物件模型OM2定義了劍形虛擬物件VOBJ2，其包含劍柄部位VOBJ2a以及劍刃部位VOBJ2b。虛擬物件模型OM2包含模型原點MO2以及模型軸MR2。
在步驟S252中，圖形渲染器186用以將模型原點MO2與調整後姿態資料PD2中的虛擬原點O2對齊，並將模型軸MR2與調整後姿態資料PD2中的虛擬軸R2對齊，進而根據調整後姿態資料PD2渲染劍形虛擬物件VOBJ2。
在一些實施例中，虛擬物件模型OM2由應用程式的軟體提供者所設計。如第7B圖所示，虛擬物件模型OM2可以根據模型原點MO2以及模型軸MR2所設計。模型原點MO2位於劍柄以及劍刃之間。虛擬物件模型OM2的模型軸MR2指向劍形虛擬物件VOBJ2的劍刃延伸方向。在此情況下，應用程式的軟體提供者可以更容易地參考模型原點MO2以及模型軸MR2來設計虛擬物件模型OM2，而無需擔心追蹤裝置160檢測到的實際原始姿態資料PDraw。
在此情況下，沉浸式系統100有助於將原始姿態資料PDraw轉化為調整後姿態資料PD2，並可以根據調整後姿態資料PD2（以虛擬物件模型OM2的形狀）渲染出劍形虛擬物件VOBJ2。
在第7A圖以及第7B圖所示的實施例中，虛擬物件模型包含對應於握把導向模式M2的虛擬劍。然而，本揭示文件不限於此。虛擬物件模型也可以包含對應於握把導向模式M2的虛擬棍、虛擬匕首或是虛擬棒（或任何等效物件）。
如第2圖以及第5圖所示，若當前控制器模式為面板導向模式M3，則執行步驟S233，且處理單元180的模式選擇器184選擇對應於面板導向模式M3的姿態轉換矩陣TM3。進一步參照第8A圖，第8A圖為根據本揭示文件之一些實施例所繪示的對應於面板導向模式M3的姿態轉換矩陣TM3之示意圖。如第5圖以及第8A圖所示，在步驟S243中，姿態轉化器182用以將姿態轉換矩陣TM3應用到原始姿態資料PDraw（包含追蹤原點Oraw以及追蹤軸Rraw），進而將原始姿態資料PDraw轉化為調整後姿態資料PD3，其中調整後姿態資料PD3包含虛擬原點O3以及虛擬軸R3。在此實施例中，調整後姿態資料PD3可以等於原始姿態資料PDraw，且姿態轉換矩陣TM3可以是單位矩陣。換句話說，原始姿態資料PDraw可以作為調整後姿態資料PD3直接輸出。
進一步參照第8B圖，第8B圖為對應於面板導向模式M3的虛擬觸控面板物件VOBJ3的虛擬物件模型OM3之示意圖。在步驟S253中，圖形渲染器186用以根據調整後姿態資料PD3，在沉浸式內容IMC中，於當前控制器模式下（即面板導向模式M3）渲染虛擬觸控面板物件VOBJ3。如第8B圖所示，虛擬觸控面板物件VOBJ3包含虛擬按鍵VOBJ3a以及VOBJ3b，其可由使用者U1透過設置於控制器140上的觸控面板144b來操作（如第8B圖所示）。
在第8A圖以及第8B圖所示的實施例中，虛擬物件模型包含對應於面板導向模式M3的虛擬觸控面板。然而，本揭示文件不限於此。虛擬物件模型也可以包含對應於面板導向模式M3的虛擬鍵盤或是虛擬按鈕介面（或任何等效物件）。
根據上文之多個實施例，應用程式的軟體提供者可以針對不同的控制器模式，設計其對應的虛擬物件模型，而無需擔心追蹤裝置檢測到的實際原始姿態資料。沉浸式系統100以及控制方法200會將原始姿態資料轉換為不同的調整後姿態資料，而這些調整後姿態資料會針對各個控制器模式進行最佳化。在此情況下，當追蹤方式被修改或更新時（例如，原始姿態資料的定義被改變），應用程式的軟體提供者不需要更新每個虛擬物件模型。在追蹤方式更新後，沉浸式系統100以及控制方法200可以幫助將原始姿態資料轉換為調整後姿態資料。
本揭示文件亦揭露一種非暫態電腦可讀取儲存媒體。非暫態電腦可讀取儲存媒體儲存至少一指令程式，此指令程式由處理器（例如處理單元180）執行，以執行第3圖以及第5圖所示的控制方法200。非暫態電腦可讀取儲存媒體可以由第1圖以及第2圖所示的儲存單元190實現。
雖然本揭示文件已經透過參照實施例進行了相當詳細的描述，但是其他實施例亦可實行。因此，本揭示文件之請求項的精神以及範圍不應限於本文所包含的實施例的描述。
所屬技術領域中具有通常知識者應當理解，在不脫離本揭示文件的範圍或精神的情況下，可以對本揭示文件的結構進行各種修飾和均等變化。綜上所述，凡在以下請求項的範圍內對於本揭示文件所做的修飾以及均等變化，皆為本揭示文件所涵蓋的範圍。
100:沉浸式系統 120:頭戴式裝置 122:顯示器 140:控制器 142:頂端部位 144:握把部位 144a:板機按鈕 144b:觸控面板 160:追蹤裝置 162:攝像機 164:追蹤站 180:處理單元 182:姿態轉化器 184:模式選擇器 186:圖形渲染器 190:儲存單元 200:控制方法 S210~S253:步驟 AN1,AN2:錨點物件 DIS1,DIS2:位移 IMC:沉浸式內容 MO1~MO3:模型原點 MR1~MR3:模型軸 M1:板機導向模式 M2:握把導向模式 M3:面板導向模式 OMc,OM1~OM3:虛擬物件模型 Oraw:追蹤原點 O1~O3:虛擬原點 PDraw:原始姿態資料 PDadj,PD1~PD3:調整後姿態資料 Rraw:追蹤軸 R1~R3:虛擬軸 SA:空間區域 TMc:目標姿態轉換矩陣 TM1~TM3:姿態轉換矩陣 VOBJ:虛擬物件 VOBJ1:手槍形虛擬物件 VOBJ1a:手槍板機部位 VOBJ1b:手槍握把部位 VOBJ2:劍形虛擬物件 VOBJ2a:劍柄部位 VOBJ2b:劍刃部位 VOBJ3:虛擬觸控面板物件 VOBJ3a,VOBJ3b:虛擬按鍵 θ1,θ2:角度
透過閱讀以下實施例的詳細描述，並結合附圖，可以更全面地理解本揭示文件： 第1圖為根據本揭示文件之一實施例所繪示的沉浸式系統之示意圖； 第2圖為根據本揭示文件之一些實施例所繪示的第1圖的沉浸式系統之功能方塊圖； 第3圖為根據本揭示文件之一些實施例所繪示的控制方法之流程圖； 第4圖為根據本揭示文件之一些實施例所繪示的關於控制器的原始姿態資料之示意圖； 第5圖為根據本揭示文件之一示範例所繪示的第3圖的控制方法之流程圖； 第6A圖為根據本揭示文件之一些實施例所繪示的對應於板機導向模式的姿態轉換矩陣之示意圖； 第6B圖為對應於板機導向模式的手槍形虛擬物件的虛擬物件模型之示意圖； 第7A圖為根據本揭示文件之一些實施例所繪示的對應於握把導向模式的姿態轉換矩陣之示意圖； 第7B圖為對應於握把導向模式的劍形虛擬物件的虛擬物件模型之示意圖； 第8A圖為根據本揭示文件之一些實施例所繪示的對應於面板導向模式的姿態轉換矩陣之示意圖；以及 第8B圖為對應於面板導向模式的虛擬觸控面板物件的虛擬物件模型之示意圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
100:沉浸式系統
120:頭戴式裝置
122:顯示器
140:控制器
160:追蹤裝置
180:處理單元
182:姿態轉化器
184:模式選擇器
186:圖形渲染器
190:儲存單元
IMC:沉浸式內容
OMc,OM1~OM3:虛擬物件模型
PDraw:原始姿態資料
PDadj:調整後姿態資料
TMc:目標姿態轉換矩陣
TM1~TM3:姿態轉換矩陣
VOBJ:虛擬物件

Claims (20)

  1. 一種控制方法，包含： 追蹤一控制器的一原始姿態資料，其中該控制器用以在複數個控制器模式的其中一者下操作； 在該些控制器模式當中決定一當前控制器模式； 在複數個姿態轉換矩陣中，根據該當前控制器模式，選擇一目標姿態轉換矩陣，其中該些姿態轉換矩陣的每一者各自對應於該些控制器模式的其中一者來提供； 將該目標姿態轉換矩陣應用於該原始姿態資料，以產生一調整後姿態資料；以及 根據該調整後姿態資料，在一沉浸式內容中，於該當前控制器模式下渲染一虛擬物件。
  2. 如請求項1所述之控制方法，其中該控制器在一空間區域中為可移動的，該原始姿態資料用以定義由一追蹤裝置所觀察到的該控制器的一追蹤原點之一第一位置以及該控制器的一追蹤軸之一第一方向，該原始姿態資料的追蹤是根據關於該空間區域的該追蹤裝置。
  3. 如請求項2所述之控制方法，其中該追蹤原點的該第一位置以及該追蹤軸的該第一方向根據該控制器的一外觀特徵所決定。
  4. 如請求項2所述之控制方法，其中該虛擬物件在該沉浸式內容中可對應於該空間區域中的該控制器來移動，該調整後姿態資料用以定義該虛擬物件的一虛擬原點之一第二位置以及該虛擬物件的一虛擬軸之一第二方向。
  5. 如請求項4所述之控制方法，其中該目標姿態轉換矩陣用以將該原始姿態資料中的該第一位置轉化為該調整後姿態資料中的該第二位置，並將該原始姿態資料中的該第一方向轉化為該調整後姿態資料中的該第二方向。
  6. 如請求項1所述之控制方法，其中該虛擬物件根據對應於該些控制器模式的複數個虛擬物件模型的其中一者進行渲染，該些控制器模式包含一面板導向模式、一板機導向模式以及一握把導向模式當中至少一者。
  7. 如請求項6所述之控制方法，其中該些虛擬物件模型包含對應於該面板導向模式的一虛擬觸控面板、一虛擬鍵盤或一虛擬按鈕介面。
  8. 如請求項6所述之控制方法，其中該些虛擬物件模型包含對應於該板機導向模式的一虛擬手槍、一虛擬步槍或一虛擬弓。
  9. 如請求項6所述之控制方法，其中該些虛擬物件模型包含對應於該握把導向模式的一虛擬劍、一虛擬棍、一虛擬匕首或一虛擬棒。
  10. 一種沉浸式系統，包含： 一控制器，用以在複數個控制器模式的其中一者下操作； 一追蹤裝置，用以追蹤該控制器的一原始姿態資料；以及 一處理單元，與該追蹤裝置通訊，該處理單元用以： 在該些控制器模式當中決定一當前控制器模式； 根據該當前控制器模式，在複數個姿態矩陣當中選擇一目標姿態轉換矩陣，其中該些姿態矩陣的每一者各自對應於該些控制器模式的其中一者來提供； 將該目標姿態轉換矩陣應用於該原始姿態資料，以產生一調整後姿態資料；以及 根據該調整後姿態資料，在一沉浸式內容中，於該當前控制器模式下渲染一虛擬物件。
  11. 如請求項10所述之沉浸式系統，其中該控制器在一空間區域中為可移動的，該原始姿態資料用以定義由一追蹤裝置所觀察到的該控制器的一追蹤原點之一第一位置以及該控制器的一追蹤軸之一第一方向，該原始姿態資料的追蹤是根據關於該空間區域的該追蹤裝置。
  12. 如請求項11所述之沉浸式系統，其中該追蹤原點的該第一位置以及該追蹤軸的該第一方向根據該控制器的一外觀特徵所決定。
  13. 如請求項11所述之沉浸式系統，其中該虛擬物件在該沉浸式內容中可對應於該空間區域中的該控制器來移動，該調整後姿態資料用以定義該虛擬物件的一虛擬原點之一第二位置以及該虛擬物件的一虛擬軸之一第二方向。
  14. 如請求項13所述之沉浸式系統，其中該目標姿態轉換矩陣用以將該原始姿態資料中的該第一位置轉化為該調整後姿態資料中的該第二位置，並將該原始姿態資料中的該第一方向轉化為該調整後姿態資料中的該第二方向。
  15. 如請求項10所述之沉浸式系統，其中該控制器包含一手持控制器，該些控制器模式對應於用於操作該手持控制器的複數個手勢。
  16. 如請求項10所述之沉浸式系統，其中該虛擬物件根據對應於該些控制器模式的複數個虛擬物件模型的其中一者進行渲染，該些控制器模式包含一面板導向模式、一板機導向模式以及一握把導向模式當中至少一者。
  17. 如請求項16所述之沉浸式系統，其中該些虛擬物件模型包含對應於該面板導向模式的一虛擬觸控面板、一虛擬鍵盤或一虛擬按鈕介面。
  18. 如請求項16所述之沉浸式系統，其中該些虛擬物件模型包含對應於該板機導向模式的一虛擬手槍或一虛擬弓。
  19. 如請求項16所述之沉浸式系統，其中該些虛擬物件模型包含對應於該握把導向模式的一虛擬劍、一虛擬棍、一虛擬匕首或一虛擬棒。
  20. 一種非暫態電腦可讀取儲存媒體，儲存有至少一指令程式，該指令程式由一處理器執行，以執行一控制方法，該控制方法包含： 追蹤一控制器的一原始姿態資料，該控制器用以在複數個控制器模式的其中一者下操作； 在該些控制器模式當中決定一當前控制器模式； 在複數個姿態轉換矩陣中，根據該當前控制器模式，選擇一目標姿態轉換矩陣，其中該些姿態轉換矩陣的每一者各自對應於該些控制器模式的其中一者來提供； 將該目標姿態轉換矩陣應用於該原始姿態資料，以產生一調整後姿態資料；以及 根據該調整後姿態資料，在一沉浸式內容中，於該當前控制器模式下渲染一虛擬物件。
TW111101011A 2021-01-11 2022-01-10 沉浸式系統、控制方法與相關的非暫態電腦可讀取儲存媒體 TWI801089B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163135753P 2021-01-11 2021-01-11
US63/135,753 2021-01-11

Publications (2)

Publication Number Publication Date
TW202227938A true TW202227938A (zh) 2022-07-16
TWI801089B TWI801089B (zh) 2023-05-01

Family

ID=82322782

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111101011A TWI801089B (zh) 2021-01-11 2022-01-10 沉浸式系統、控制方法與相關的非暫態電腦可讀取儲存媒體

Country Status (3)

Country Link
US (1) US11449155B2 (zh)
CN (1) CN114764273A (zh)
TW (1) TWI801089B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI814208B (zh) * 2021-09-28 2023-09-01 宏達國際電子股份有限公司 虛擬影像顯示裝置及其虛擬影像的物件的選取方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140009384A1 (en) * 2012-07-04 2014-01-09 3Divi Methods and systems for determining location of handheld device within 3d environment
US20160232715A1 (en) * 2015-02-10 2016-08-11 Fangwei Lee Virtual reality and augmented reality control with mobile devices
US10134179B2 (en) * 2015-09-30 2018-11-20 Visual Music Systems, Inc. Visual music synthesizer
EP3185535A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method and apparatus for controlling a discrepant aiming direction of a camera
US20170316582A1 (en) * 2016-04-27 2017-11-02 Bellus3D Robust Head Pose Estimation with a Depth Camera
US10664993B1 (en) * 2017-03-13 2020-05-26 Occipital, Inc. System for determining a pose of an object
US10514801B2 (en) * 2017-06-15 2019-12-24 Microsoft Technology Licensing, Llc Hover-based user-interactions with virtual objects within immersive environments
CN108305317B (zh) * 2017-08-04 2020-03-17 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
CN110488977B (zh) * 2019-08-21 2021-10-08 京东方科技集团股份有限公司 虚拟现实显示方法、装置、系统及存储介质

Also Published As

Publication number Publication date
TWI801089B (zh) 2023-05-01
CN114764273A (zh) 2022-07-19
US11449155B2 (en) 2022-09-20
US20220221946A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
US10754497B2 (en) Two-handed object manipulations in virtual reality
US11086416B2 (en) Input device for use in an augmented/virtual reality environment
Wacker et al. Arpen: Mid-air object manipulation techniques for a bimanual ar system with pen & smartphone
US20200225736A1 (en) Discrete and continuous gestures for enabling hand rays
US9152248B1 (en) Method and system for making a selection in 3D virtual environment
Stuerzlinger et al. The value of constraints for 3D user interfaces
US11294475B1 (en) Artificial reality multi-modal input switching model
WO2016097841A2 (en) Methods and apparatus for high intuitive human-computer interface and human centric wearable "hyper" user interface that could be cross-platform / cross-device and possibly with local feel-able/tangible feedback
JP7382994B2 (ja) 仮想現実システム内の仮想コントローラの位置および向きの追跡
WO2018196552A1 (zh) 用于虚拟现实场景中的手型显示方法及装置
US20110102469A1 (en) Information storage medium, image control device, and image control method
JP6534011B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6519075B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP2022025467A (ja) アニメーション制作システム
TW202227938A (zh) 沉浸式系統、控制方法與相關的非暫態電腦可讀取儲存媒體
Chow 3D spatial interaction with the Wii remote for head-mounted display virtual reality
JP7442783B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN109634427B (zh) 基于头部追踪的ar眼镜控制系统及控制方法
JP6728111B2 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
Schlattmann et al. Real-time bare-hands-tracking for 3D games
WO2023181549A1 (ja) 制御装置、制御方法、プログラム
US20230324986A1 (en) Artificial Reality Input Using Multiple Modalities
WO2023207226A1 (zh) 操作界面的生成方法、控制方法和装置
Steinicke et al. VR and laser-based interaction in virtual environments using a dual-purpose interaction metaphor
Yang et al. An intuitive human-computer interface for large display virtual reality applications