JP2024522558A - 仮想現実の制御方法 - Google Patents
仮想現実の制御方法 Download PDFInfo
- Publication number
- JP2024522558A JP2024522558A JP2023574603A JP2023574603A JP2024522558A JP 2024522558 A JP2024522558 A JP 2024522558A JP 2023574603 A JP2023574603 A JP 2023574603A JP 2023574603 A JP2023574603 A JP 2023574603A JP 2024522558 A JP2024522558 A JP 2024522558A
- Authority
- JP
- Japan
- Prior art keywords
- control command
- user
- rocking
- displacement control
- displacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006073 displacement reaction Methods 0.000 claims abstract description 222
- 238000000034 method Methods 0.000 claims abstract description 58
- 230000033001 locomotion Effects 0.000 claims description 118
- 230000001133 acceleration Effects 0.000 claims description 46
- 238000001514 detection method Methods 0.000 claims description 8
- 230000035807 sensation Effects 0.000 claims description 4
- 230000036544 posture Effects 0.000 claims description 3
- 201000003152 motion sickness Diseases 0.000 abstract description 14
- 210000003128 head Anatomy 0.000 description 92
- 238000010586 diagram Methods 0.000 description 19
- 210000004556 brain Anatomy 0.000 description 17
- 230000008859 change Effects 0.000 description 10
- 238000010191 image analysis Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 8
- 238000003825 pressing Methods 0.000 description 7
- 208000024891 symptom Diseases 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000001720 vestibular Effects 0.000 description 6
- 210000003414 extremity Anatomy 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 210000002480 semicircular canal Anatomy 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 208000002173 dizziness Diseases 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 206010028813 Nausea Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008693 nausea Effects 0.000 description 2
- 241000699800 Cricetinae Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008933 bodily movement Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 208000013433 lightheadedness Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000036421 sense of balance Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0338—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】乗り物酔いを避けるための仮想現実の制御方法を提供する。【解決手段】VRユーザーのヘッド部の揺動の揺動方向を検出し、命令一致ルールに基づいて変位制御命令と前記揺動の揺動方向が一致するか否か判断し、変位制御命令と揺動の揺動方向が一致したとき、変位制御命令を執行し、変位制御命令と揺動の揺動方向が一致しないとき、変位制御命令を執行しない。【選択図】図1
Description
本発明は、VRユーザーがVRの世界内で変位操作を行うことを可能にする仮想現実の制御方法に関する。
仮想現実(以下、VR)は、コンピューターモジュールによって生成される三次元の仮想世界であり、西暦1950年にはすでに学者によって同様の概念が提案されていた。近年は、科学技術の進歩に伴いVR技術の普及が徐々に進んでおり、2016年は更にVR元年とも言われている。
一般的に、VRユーザーはVRシステムを通じてVRテクノロジーを体験する。通常、VRシステムにはヘッドマウンティングデバイスとコントローラが含まれており、一部のVRシステムにはVRユーザーの体の動きを検出できる身体センシング検出デバイスも含まれている。VR技術を体験するとき、VRユーザーはヘッドマウンティングデバイスを装着してVR世界でVRシーンを視聴し、コントローラを手で握ってVR世界内でVRユーザーの動きを制御する。
ここで、ヘッドマウンティングデバイスは、ジャイロスコープ(Gyroscope)と重力加速度センサー(G-sensor)を備えており、VRユーザーの頭部(以下、ヘッド部ともいう。)の変位を検出する。コントローラは、ゲームコントローラ、リモコン、キーボード、マウス、携帯電話、又は上記のコントローラの任意の組み合わせであっても差し支えない。
ここで、いわゆるVR世界の動きとは、VRユーザーがヘッドマウンティングデバイスを介して見るVRシーン内のオブジェクト(以下、物体ともいう。)の動きを指す。
たとえば、VRユーザーがコントローラを介して「前進」の命令(コマンド)を入力すると、VRシーン内の物体が徐々にVRユーザーに近づき、VRユーザーは自分が前進していると実感できる。
VRユーザーがコントローラを介して「後退」の命令を入力すると、VRシーン内の物体が徐々にVRユーザーから遠ざかり、VRユーザーは自分が後退しているように感じ得る。
上記の原理は、VRシーン内の物体の動きを通じて人間の視覚効果を生み出し、VRユーザーにVR世界で動いているように感じさせることができる。
上記の原理は、VRシーン内の物体の動きを通じて人間の視覚効果を生み出し、VRユーザーにVR世界で動いているように感じさせることができる。
しかし、VRテクノロジーは徐々に成熟してきたが、一部のVRユーザーは依然としてVRテクノロジーを体験すると、頭がくらくらし、吐き気を覚え、疲労を感じ、眩暈がする等といった乗り物酔いと同じような症状がでる場合がある。
その理由は、人間の体が感じる動きと視覚的な映像が一致しない場合、体のバランス状態や空間の方位等の脳の判断に不一致が生じ、結果として乗り物酔いに近い症状が現れるためである。
上記の問題を解決するために、一部のプログラム開発者は、手を引っ張ったり、腕を振ったり、ハムスターボールを押したりする等の制御方法を使用して、乗り物酔いの症状を軽減するために、VRユーザーがVR世界でゆっくりと移動できるようにする。ただし、これらを使った移動方法の速度は遅すぎて、VRユーザーが現実世界で移動する方法とは一致ないという問題がある。
さらに、一部のプログラム開発者は、テレポーテーション(瞬間移動)又はテレポーテーション制御方法を使用して、VRユーザーがVR世界で移動できるようにしている。
この方法によれば瞬間的な映像の変化が起こるので、VRユーザーの視覚的な刺激を軽減でき上述の吐き気等を抑制できる。
しかし、テレポーテーション等の移動方法はVRユーザーの現実世界では成し得ないことなので、VRユーザーの没入感が低下してしまう。
更に、VRユーザーが乗り物に乗ってVR世界を移動できるようにするプログラム開発者も存在する。VRユーザーが車、動物、又は宇宙船に乗っているように感じて、眩暈等を軽減することが有る程度はできる。しかし、これ等の制御方法を用いても、人によっては、やはり乗り物酔いや船酔いに似た症状が発生する場合がある。
ここで、US10890976B2の特許公報には、圧力を使用してモーションフィードバックを制御するVRプラットフォームが記載されている。VRプラットフォームはVRユーザーの実際の圧力移動方向を感知し、方向情報をPC(パーソナルコンピューター)に送信する。
PCは物理的な動きのフィードバックを計算してプラットフォームに送信し、プラットフォームを動かしたり振動させたりする。これにより、VRユーザーはVR世界でより現実的な体験ができるようになる。
しかし、US10890976B2の特許公報に記載された発明によれば、乗り物酔いの影響を軽減することができるが、使用するのが不便であるという欠点も存在する。
つまり、VRユーザーは重力感知デバイスの上に立って操作する必要があり、且つ、VRユーザーの移動範囲は、重力感知デバイスにおける行動範囲の広さによっても制限されてしまう。また、重力感知デバイスはある程度のスペースを占有してしまうので、使わないときはユーザーの自宅のスペースを無駄に使うことにもなり、その分あまり普及しなかったという問題もある。
また、US2019/0204909A1特許公報によれば、VR世界を利用することで生ずる現実世界での乗り物酔いを防止する方法が紹介されている。しかし、明細書の段落番号0018乃至0019、及び0024乃至0079には、ビュー(映像)と回転が融合したVRシステムにおいて、ユーザーがジョイスティック又はゲームパッドのボタンを使用して回転すると、ユーザーに表示されるビューも一緒に回転するので、やはりユーザーが乗り物酔いを引き起こす可能性がある。
ユーザーが仮想世界内を移動すると、ヘッド部HMD検出メカニズムを通じて動作の測定値がリアルタイムで取得され、取得した動作の測定値はユーザーの動作が意図的なものであるかどうかを判断するために使用される。
ここで得られた測定値から、ユーザーの動きが意図的であると判断された場合には、測定された動作はリアルタイムにVR上の動きに変換される。
ただし、US2019/0204909A1特許公報では、乗り物酔いの症状を回避するために、「複数のモーションセンサーを通じてユーザーの体の動作の信号を捉え、それらを分析してユーザーの体の動作が意図的なVR操作なのか、それとも単なる不注意によって生じてしまったものなのかを判断する方法」を提案しているに過ぎない。
しかし、体の動きの癖は個人差が大きいため、この分析手法ではユーザーの動作がVR操作を意図したものであるかどうかを必ずしも正確に判断することはできなかった。
本発明はこのような問題に鑑みて以下の構成を備える。
VRユーザーから変位制御命令を受信し、前記変位制御命令は、前進、後退、左移動、右移動、停止、上移動、下移動、及びそれらの組み合わせから選択される構成されるグループであり、
前記VRユーザーのヘッド部の揺動の揺動方向を検出し、
命令一致ルールに基づいて前記変位制御命令と前記揺動の揺動方向が一致するか否か判断し、
前記変位制御命令と前記揺動の揺動方向が一致したとき、前記変位制御命令を執行し、前記変位制御命令と前記揺動の揺動方向が一致しないとき、前記変位制御命令を執行しないことを特徴とする仮想現実の制御方法。
また、前記揺動方向のステップは前記変位制御命令を受信した後のデフォルトの時間に執行することを特徴とする請求項1に記載の仮想現実の制御方法。
また、前記変位制御命令を執行するステップは、VRシーンにおける物体を変位制御命令の方向に基づいて移動するように制御することを特徴とする請求項1に記載の仮想現実の制御方法。
また、前記変位制御命令を執行するステップは、VRシーンにおける物体が変位制御命令とは逆の方向に基づいて移動するように制御することを特徴とする請求項1に記載の仮想現実の制御方法。
また、前記揺動の揺動変位が変位閾値よりも大きいか否か判断し、前記揺動の揺動変位が前記変位閾値よりも大きいとき、前記命令一致ルールに基づいて、前記変位制御命令と前記揺動方向が一致するか否かの判断を始めることを特徴とする請求項1に記載の仮想現実の制御方法。
また、前記揺動の揺動加速度が加速度閾値よりも大きいか否か判断し、前記揺動の揺動加速度が前記加速度閾値より大きいとき、前記命令一致ルールに基づいて前記変位制御命令と前記揺動の揺動方向が一致するか否かの判断を始めることを特徴とする請求項1に記載の仮想現実の制御方法。
また、前記揺動の揺動加速度が、前記加速度閾値よりも大きいとき、VRシーンにおける物体の移動速度が増加することを特徴とする請求項6に記載の仮想現実の制御方法。
また、前記揺動の揺動変位が変位閾値より大きいか否か判断すると共に、前記揺動の揺動加速度が加速度閾値よりも大きいか否か判断し、
前記揺動の揺動変位が前記変位閾値よりも大きく、且つ、前記揺動の揺動加速度が前記加速度閾値よりも大きいとき、前記命令一致ルールに基づいて前記変位制御命令と前記揺動の揺動方向が一致するか否かの判断を始めることを特徴とする請求項1に記載の仮想現実の制御方法。
また、ヘッドマウンティングデバイスを以って前記VRユーザーのヘッド部の揺動を検出することを特徴とする請求項1に記載の仮想現実の制御方法。
また、体感検出装置を以って前記VRユーザーのヘッド部の揺動を検出することを特徴とする請求項1に記載の仮想現実の制御方法。
また、前記揺動方向を検出するステップは、前記変位制御命令を受信した持続時間内に執行されることを特徴とする請求項1に記載の仮想現実の制御方法。
また、前記変位制御命令は前記VRユーザーがコントローラを操作することで生成されることを特徴とする請求項11に記載の仮想現実の制御方法。
また、前記変位制御命令はVRシステムが前記VRユーザーの身体の動作を検出することで生成されることを特徴とする請求項1乃至請求項11の何れか一項に記載の仮想現実の制御方法。
また、前記身体の動作は、手の動き、足の動き、体の姿勢、及びそれらの組み合わせから構成されるグループから選択されることを特徴とする請求項13に記載の仮想現実の制御方法。
また、前記変位制御命令は、VRシステムが前記VRユーザーの脳波信号を検出することで生成されることを特徴とする請求項1乃至請求項11の何れか一項に記載の仮想現実の制御方法。
また、前記変位制御命令は、VRシステムが前記VRユーザーの音声命令を検出ことで生成されることを特徴とする請求項1乃至請求項11の何れか一項に記載の仮想現実の制御方法。
前記変位制御命令は、VRシステムが前記VRユーザーにより保持されるマークの変位軌跡を検出することで生成されることを特徴とする請求項1乃至請求項11の何れか一項に記載の仮想現実の制御方法。
前記変位制御命令は、VRシステムが前記VRユーザーによって保持されるマークの形状を検出することで生成されることを特徴とする請求項1乃至請求項11の何れか一項に記載の仮想現実の制御方法。
VRユーザーから変位制御命令を受信し、前記変位制御命令は、前進、後退、左移動、右移動、停止、上移動、下移動、及びそれらの組み合わせから選択される構成されるグループであり、
前記VRユーザーのヘッド部の揺動の揺動方向を検出し、
命令一致ルールに基づいて前記変位制御命令と前記揺動の揺動方向が一致するか否か判断し、
前記変位制御命令と前記揺動の揺動方向が一致したとき、前記変位制御命令を執行し、前記変位制御命令と前記揺動の揺動方向が一致しないとき、前記変位制御命令を執行しないことを特徴とする仮想現実の制御方法。
また、前記揺動方向のステップは前記変位制御命令を受信した後のデフォルトの時間に執行することを特徴とする請求項1に記載の仮想現実の制御方法。
また、前記変位制御命令を執行するステップは、VRシーンにおける物体を変位制御命令の方向に基づいて移動するように制御することを特徴とする請求項1に記載の仮想現実の制御方法。
また、前記変位制御命令を執行するステップは、VRシーンにおける物体が変位制御命令とは逆の方向に基づいて移動するように制御することを特徴とする請求項1に記載の仮想現実の制御方法。
また、前記揺動の揺動変位が変位閾値よりも大きいか否か判断し、前記揺動の揺動変位が前記変位閾値よりも大きいとき、前記命令一致ルールに基づいて、前記変位制御命令と前記揺動方向が一致するか否かの判断を始めることを特徴とする請求項1に記載の仮想現実の制御方法。
また、前記揺動の揺動加速度が加速度閾値よりも大きいか否か判断し、前記揺動の揺動加速度が前記加速度閾値より大きいとき、前記命令一致ルールに基づいて前記変位制御命令と前記揺動の揺動方向が一致するか否かの判断を始めることを特徴とする請求項1に記載の仮想現実の制御方法。
また、前記揺動の揺動加速度が、前記加速度閾値よりも大きいとき、VRシーンにおける物体の移動速度が増加することを特徴とする請求項6に記載の仮想現実の制御方法。
また、前記揺動の揺動変位が変位閾値より大きいか否か判断すると共に、前記揺動の揺動加速度が加速度閾値よりも大きいか否か判断し、
前記揺動の揺動変位が前記変位閾値よりも大きく、且つ、前記揺動の揺動加速度が前記加速度閾値よりも大きいとき、前記命令一致ルールに基づいて前記変位制御命令と前記揺動の揺動方向が一致するか否かの判断を始めることを特徴とする請求項1に記載の仮想現実の制御方法。
また、ヘッドマウンティングデバイスを以って前記VRユーザーのヘッド部の揺動を検出することを特徴とする請求項1に記載の仮想現実の制御方法。
また、体感検出装置を以って前記VRユーザーのヘッド部の揺動を検出することを特徴とする請求項1に記載の仮想現実の制御方法。
また、前記揺動方向を検出するステップは、前記変位制御命令を受信した持続時間内に執行されることを特徴とする請求項1に記載の仮想現実の制御方法。
また、前記変位制御命令は前記VRユーザーがコントローラを操作することで生成されることを特徴とする請求項11に記載の仮想現実の制御方法。
また、前記変位制御命令はVRシステムが前記VRユーザーの身体の動作を検出することで生成されることを特徴とする請求項1乃至請求項11の何れか一項に記載の仮想現実の制御方法。
また、前記身体の動作は、手の動き、足の動き、体の姿勢、及びそれらの組み合わせから構成されるグループから選択されることを特徴とする請求項13に記載の仮想現実の制御方法。
また、前記変位制御命令は、VRシステムが前記VRユーザーの脳波信号を検出することで生成されることを特徴とする請求項1乃至請求項11の何れか一項に記載の仮想現実の制御方法。
また、前記変位制御命令は、VRシステムが前記VRユーザーの音声命令を検出ことで生成されることを特徴とする請求項1乃至請求項11の何れか一項に記載の仮想現実の制御方法。
前記変位制御命令は、VRシステムが前記VRユーザーにより保持されるマークの変位軌跡を検出することで生成されることを特徴とする請求項1乃至請求項11の何れか一項に記載の仮想現実の制御方法。
前記変位制御命令は、VRシステムが前記VRユーザーによって保持されるマークの形状を検出することで生成されることを特徴とする請求項1乃至請求項11の何れか一項に記載の仮想現実の制御方法。
以上のように本発明によれば、VRユーザーのヘッド部の揺動の揺動方向を検出し、命令一致ルールに基づいて変位制御命令と揺動の揺動方向が一致するか否か判断し、変位制御命令と揺動の揺動方向が一致したとき、変位制御命令を執行し、変位制御命令と揺動の揺動方向が一致しないとき、変位制御命令を執行しないので、乗り物酔いを避けるための仮想現実の制御方法を提供できる。
本発明の構造原理と動作原理を、添付の図面を参照して以下に詳細に説明する。前庭系は人体の平衡感覚を司る重要な受容器であり、頭部(ヘッド部)の三次元方向の加速度を感知する三半規管(外側半規管、上半規管、後半規管)を含む。
人体が様々な方向に変速運動を行っているとき、前庭系が刺激されて脳に情報が伝達され、人体の視覚的反応が実際の動きに追いつくことができる。しかし、人体が等速運動を行っている場合、前庭系システムは役割を果たさない。
例えば、自転車に乗るとき、我々は最初の段階(変速動作)で前進を感じる。このとき、人体の前庭系が変速運動によって刺激され、人体が画像の視覚的な動きに適応できるようになる。
我々は慣性運動の方向に一定の速度で前進し続けると、前庭系は刺激されなくなり、人間の体は、乗り物酔いの症状を起こすことなく、画像の視覚的な動きに適応できる。
図1乃至図4を参照して説明する。ここで、図1は本発明の実施形態による仮想現実の制御方法のフローチャートである。また、図2~図4は、それぞれ、VR世界で前進の操作を行うVRユーザーの模式図(1)~(3)を示している。
本実施形態では、VRユーザーは、ヘッドマウンティングデバイス2とコントローラ3を含むVRシステムを通じてVRプログラムを実行する。
コントローラは、ジャイロスコープと重力加速度センサーを備えたゲームパッド、リモコン、キーボード、マウス、一対のコントローラ(左/右)、タッチパッド、若しくは、空間像の変化を検出して変位を算出するカメラを搭載した変位センサー、携帯電話、又は上記のコントローラの任意の組み合わせを備える。
なお、VRプログラムを実行するために使用されるプロセッサは、ヘッドマウンティングデバイスに直接実装されても良く、ホストコンピュータに別途実装されても良い。VRプログラムを実行するためのプロセッサがホストコンピュータ内に別途設けられている場合、ホストコンピュータもVRシステムの一部とみなされる。ホストコンピュータは、スマートフォン、パーソナルコンピュータ、リモートサーバー、またはNintendo Switch、Sony PlayStation、Microsoft Xbox等の市販のゲームコンソールであっても良い。
本実施形態では、変位制御命令は、VRユーザーがコントローラ3を操作することによって生成される。図2に示すように、VRユーザーは手でコントローラ3を持ち、ヘッド部1はヘッドマウンティングデバイス2を装着し、目はヘッドマウンティングデバイス2によってVRシーン4を見ており、VRシーン4には物体(オブジェクト)41を含む。
先ず、VRユーザーがコントローラ3のボタン31を押して「前進」の変位制御命令を出力したとき、VRシステムは「前進」変位制御命令を受信しても変位制御命令を実行しない(ステップS10)。つまり、VRユーザーはVR世界内では静止したままである (本来の移動操作状態)。
所謂本来の移動操作状態とは、VRユーザーがコントローラ3のボタン31を押す前に静止状態にあった場合には、本来の移動操作状態が静止状態であることを意味する。VRユーザーがコントローラ3のボタン31を押す前の移動状態が、例えば前進状態である場合、本来の移動操作状態は前進状態である。
つづいて、VRユーザーが「前進」の変位制御命令を出力してからデフォルトの時間以内に、ヘッドマウンティングデバイス2がVRユーザーのヘッド部1の揺動方向を検出し(ステップS20)、VRシステムは、図14に示すような命令一致ルール/命令一致テーブル50(以下、命令一致テーブル50ともいう)に基づいて、上記の変位制御命令が上記の揺動方向と一致するか否かを判定する(ステップS30)。ここで、デフォルトの時間は1秒又は1秒未満であっても良い。なお、本願において「揺動」とは、要は、例えば会釈をするように首を曲げて頭(本願ではヘッド部という。)を前方に傾けたり、左側又は右側に首を傾けて頭を真っすぐではなく左側又は右側へ傾けたりする動作の意味合いで使用する。
命令一致テーブル50は、ヘッドマウンティングデバイス2又はホストコンピュータに予め記憶されていても良く、VRプログラムの実行に伴ってヘッドマウンティングデバイス2、又はホストコンピュータにロードされても良い。なお、本実施形態では、VRユーザー1のヘッド部1の揺動方向の検出にヘッドマウンティングデバイス2を用いているが、ボディセンシングによる検出装置によっても揺動方向を検出することができる。
更に、本実施形態では、ヘッドマウンティングデバイス2は、VRユーザーが「前進」の変位制御命令を出力してから持続期間内に、VRユーザーのヘッド部1の揺動方向を検出することができる。ここで、継続時間は、VRユーザーがコントローラ3のボタン31を押し続ける時間の長さである。
図3に示すように、ユーザーがコントローラ3を介して「前進」変位制御命令を出力するが、このときにヘッド部1の揺動方向が左方向のとき、VRシステムは命令一致テーブル50に基づいて「不一致」と判定する。
このため、VRシステムは、VRユーザーが出力した「前進」の変位制御命令を実行(執行)せず(ステップS40)、VRシーン4内の物体41のみが右に揺動する(振れるように移動する)ように制御される(VR世界ではVRユーザーのヘッド部1が左に振られるのに相当する)。
図4に示すように、ユーザーが「前進」の変位制御命令を出力し、且つ、ヘッド部1の揺動方向が前方である場合、このとき、VRシステムは、命令一致テーブル50に基づいて「一致」と判定する。したがって、VRシステムは、VRユーザーによって出力された「前進」の変位制御命令を実行することとなる(ステップS50)。VRシーン4の物体41が徐々にVRユーザー(VR世界を前進するVRユーザに相当)に近づくように制御する。
ここで、本実施形態では、VRユーザーがコントローラ3を介して変位制御命令を出力するだけでは、対応する変化をVR世界に直接引き起こすことはできない。
すなわち、変位制御命令の移動操作がVRユーザーのヘッド部1の揺動方向(要は首を振る方向)と一致した場合のみ、VRシステムは、コントローラ3を介した命令を実行して変位制御命令を出力し、VRシーン4に変位制御命令に対応する変化を生じさせる。
これにより、VRシーン4が変化する前に、VRユーザーのヘッド部1が内耳の前庭系を刺激するように事前に反応するので、乗り物酔いに近い状況が発生し難くなる。
本実施形態では、VRユーザーは、命令一致テーブル50における移動操作(登る、飛ぶ、寝そべる、転がる等)は、ユーザーが各自で増減でき、各移動操作の一致条件をカスタマイズできる。
本実施形態では、ヘッドマウンティングデバイス2は、VRユーザーのヘッド部1の揺動方向を検出することに加えて、VRユーザーのヘッド部1の揺動変位を検出することができ、揺動変位が変位閾値よりも大きい場合にのみ、VRシステムは、まず、命令一致テーブル50に基づいて変位制御命令と揺動方向とが一致するか否かを判定する。
所謂揺動変位とは、VRユーザーのヘッド部1の揺動振幅を指す。VRユーザーのヘッド部1の振幅が大きければ揺動変位も大きくなり、振幅が大きくなれば揺動変位も大きくなり、VRユーザーのヘッド部1の揺動振幅が小さいと、揺動変位も小さくなる。本実施形態では、上述の揺動変位の検出は、身体感知検出装置によって実装することもできる。
上記の変位閾値の機能は、人体で自然に発生する微妙な揺動を除去することにある。人間は意図的に手足を動かさないようにしていても、微妙な揺動は発生してしまうが、この程度の揺動変位を背景ノイズ(以下単にノイズともいう。)としてフィルタリングすることで、VRシステムによる誤判定を防ぐことができる。
本実施形態では、変位閾値は固定値とすることも、VRユーザーによってカスタマイズすることもできる。更に、本実施形態では、変位閾値は、機械学習によって現在のVRユーザーによって自然に生成されてしまう僅かな揺動の程度を学習し、それに適応するように調整しても良い。
本実施形態では、ヘッドマウンティングデバイス2は、VRユーザーのヘッド部1の揺動方向を検出することに加えて、VRユーザーのヘッド部1の揺動加速度を更に検出することができ、揺動加速度が加速度閾値よりも大きい場合にのみ、VRシステムは、まず、命令一致テーブル50に基づいて変位制御命令と揺動方向とが一致するか否かを判定する。
所謂揺動加速度とは、VRユーザーのヘッド部1の揺れ速度の変化をいう。VRユーザーのヘッド部1の揺動速度の変化が速いほど、揺動加速度は大きくなる。VRユーザーのヘッド部1の揺動速度の変化が遅い場合には、揺動加速度は小さくなる。本実施形態では、上述の揺動加速度の検出は、身体感知検出装置によって実装することもできる。
前述の加速度閾値の機能は、人体によって自然に生じる微妙な揺動を除去する意味合いも含む。たとえ意識的に手足を動かさないようにしていても、わずかな揺動、震えは人であれば当然に生じる。しかし、これらの揺動はそれほど速くなく、大きな速度変化もない。このため、加速度閾値を設定することにより、VRユーザーの意図しないヘッド部1の揺動をノイズとみなすようにフィルタリングすることで、VRシステムによる誤判定を回避することができる。
本実施形態では、上述の加速度閾値の他の機能は、VRユーザーがVR世界内で移動操作を実行するのを支援することにある。すなわち、VRユーザーがコントローラ3を介して出力した変位制御命令の移動操作が、VRユーザーのヘッド部1の揺動方向と一致した場合、VRシステムは、振動加速度信号に基づいて、VRユーザーのVR世界内での移動速度を変化させることができる。
「前進」の移動操作を例に挙げると、VRシステムは、揺動加速度が加速度閾値よりも大きい場合、VRシーン4内の物体41がVRユーザーに近づく速度を速くする(つまり、VRユーザーのVR世界内での移動速度が速くなる)ように制御する。
本実施形態では、VRシステムのヘッドマウンティングデバイス2は、VRユーザーのヘッド部1の揺動変位と揺動加速度を同時に検出し、そして、揺動変位と揺動加速度がそれぞれ変位閾値と加速度閾値より大きいか否かを判定し、揺動変位と揺動加速度がそれぞれ変位閾値と加速度閾値より大きい場合にのみ、VRシステムは、先ず変位制御命令と揺動方向が一致しているかどうかを命令一致テーブルに基づいて判定する。
上述の「前進」を生成する変位制御命令の制御方法は、ボタン31を押すことに加えて、コントローラ3の図示しないジョイスティックを「前向き」に押し、コントローラを「前向き」に回転させ、図示しないタッチパネルを「前」にスライドさせ、又はコントローラ3自体を「前向き」に振ることによっても行うことができる。
人体の慣性の影響を受けて、VR利用者のヘッド部1が一の方向に揺動した後、ヘッド部1はこの一の方向とは逆の方向に揺動して、元の手足の状態に戻り、結果的にヘッド部1を往復運動するように揺動させる。ここで、上述の「前進」の移動操作の一致条件は、VRユーザー1のヘッド部1の揺動方向が「前方」又は「後方」であるか否かであっても良い。
同様に、上記の「前進」の変位操作は、「後退」の変位制御命令にも類推適用できる。
図5に示すように、VRユーザーがコントローラ3のボタン33を押して「左移動」の変位制御命令を出力すると、この時点では、VRシステムは変位制御命令を実行しない。つまり、VRユーザーはVR世界では留まったまま(元の移動操作状態)となる。
続いて、ヘッドマウンティングデバイス2は、VRユーザー1のヘッド部1の揺動方向を検出し、そして、VRシステムは、図14に示す命令一致テーブル50に基づいて、上記変位制御命令と上記の揺動方向とが一致するか否かを判定する。
図6に示すように、ユーザーがコントローラ3を介して「左移動」の変位制御命令を出力したが、ヘッド部1の揺動方向が前方向である場合、このときVRシステムは「不一致」と判定する。
したがって、VRシステムはVRユーザーが出力した「左移動」の変位制御命令を実行せず、VRシーン4では、物体41のみがVRユーザーに向かって揺動する(要は物体41のみが近づくように見える)(VR世界においてVRユーザーのヘッド部1が前方に振られることに相当)ように制御される。
図7に示すように、ユーザーが「左移動」という変位制御命令を出力し、且つ、ヘッド部1の揺動方向が左方向である場合、VRシステムは命令一致テーブル50に基づいて「一致」と判断する。
したがって、VRシステムは、VRユーザーが出力した「左移動」の変位制御命令を実行して、VRシーン4内の物体41が徐々に右に移動する(VRユーザーがVR世界内で左に移動することに相当)ように制御する。
「左移動」の変位制御命令を生成する上述の制御方法は、ボタン33を押すことに加えて、コントローラのジョイスティックを「左向き」に押し、図示しないホイールを「左向き」に回し、図示しないタッチパネルを「左向き」にスライドし、又はコントローラ自体を「左向き」に揺動させることによっても行うことができる。
人体の慣性の影響を受けて、VRユーザーのヘッド部1が一の方向に揺動すると、続いて、ヘッド部はこの一の方向とは逆の方向に揺動し、元の手足の状態に戻り、要するに人間のヘッド部1の揺動としては往復運動をする。
このため、上述の「左移動」の移動操作の一致条件は、VRユーザー1のヘッド部1の揺動方向が「左」であるか「右」であるかであっても差し支えない。
同様に、上述の「左移動」制御方法は、「右移動」制御方法にも左右を逆にすれば同様に適用することができる。
図8に示すように、VRユーザーがコントローラ3のボタン32を押して、「ジャンプ/上移動」変位制御命令を出力したとき、VRシステムはこの時点では変位制御命令を実行しない。つまり、VRユーザーはVR世界内で静止したまま(或いは本来の移動操作状態のまま)である。
続いて、ヘッドマウンティングデバイス2は、VRユーザーのヘッド部1の揺動方向を検出し、そして、VRシステムは、図14に示すような命令一致テーブル50に基づいて、上記変位制御命令と上記揺動方向とが一致するか否かを判定する。
図9に示すように、ユーザーがコントローラ3を介して「ジャンプ/上移動」の変位制御命令を出力するが、ヘッド部1の揺動方向が左方向の場合、VRシステムは命令一致テーブル50に基づいて「不一致」と判定する。
したがって、VRシステムは、VRユーザーが出力した「ジャンプ/上移動」変位制御命令を実行しない。VRシーン4内の物体41のみが右に揺動するように制御される(VR世界ではVRユーザーのヘッド部1が左に揺動するのに相当する)。
図10に示すように、ユーザーが「ジャンプ/上移動」の変位制御命令を出力し且つヘッド部1の揺動方向が上向きの場合、このとき、VRシステムは、命令一致テーブル50に基づいて「一致」と判定する。
したがって、VRシステムは VRユーザーが出力した「ジャンプ/上移動」変位制御命令を実行する。VRシーン4内の物体41を下方向に移動するように制御する(VRユーザーがVR世界内でジャンプし又は上方向に移動することに相当)。
人体は慣性の影響を受けて、VR利用者のヘッド部1が一の方向に揺動すると、その後、人間のヘッド部1はこの一の方向とは逆の方向に揺動して元の手足の状態に戻り、つまり、人間のヘッド部1の振り方は往復運動となる。したがって、上述の「ジャンプ」の移動操作の一致条件は、VRユーザー1のヘッド部1の揺動方向が「上方」であるか「下方」であるかであっても差し支えない。
同様に、上述の「ジャンプ/上移動」の制御方法は、「しゃがむ/下移動」の制御方法にも同様にも応用することができる。
図11に示すように、VRユーザーが前進操作を継続すると、VRユーザーがコントローラ3の押しているボタン31を放して「停止」の変位制御命令を出力しても、VRユーザーはVR世界内を尚も前進し続ける(本来の移動操作状態)。
そして、ヘッドマウンティングデバイス2は、VRユーザー1のヘッド部1の揺動方向を検出し、そして、VRシステムは、図14に示す命令一致テーブル50に基づいて、上記変位制御命令と上記揺動方向とが一致するか否かを判定する。
図12に示すように、ユーザーが前進操作を継続した状態で、コントローラ3を介して「停止」の変位制御命令を出力するが、ヘッド部1の揺動方向が左方向の場合、VRシステムは命令一致テーブル50に基づいて「不一致」と判断する。
したがって、VRシステムはVRユーザーが出力した「停止」変位制御命令を実行しない。そして、前進操作を継続することにより、VRシーン4の物体41が接近し続ける。このとき、VRシステムは、VRシーン4内の物体41を右へ揺動させる(VR世界ではVRユーザーのヘッド部1が左に揺動するのに相当)ように制御するだけである。
図13に示すように、ユーザーが前進操作を継続しつつ、コントローラ3を介して「停止」の変位制御命令を出力し、ヘッド部1の揺動方向が「後方」又は「前方」の場合、VRシステムは命令一致テーブル50に基づいて「一致」と判定する。
したがって、VRシステムは、VRユーザーが出力した「停止」変位制御命令を実行し、前進動作を停止し、VRシーン4内の物体41の移動を停止する。
上記の「停止」変位制御命令を生成する制御方法は、押しているボタン31を離すことに加えて、コントローラ3の図示しないジョイスティックを「放し」、図示しないスクロールホイールを「停止」させ、図示しないタッチパネルのスライドを「停止」させ、コントローラ3自体のスイングを「停止」させることでも差し支えなく、更に、コントローラ3自体をVRプログラムで予め設定された停止位置に戻す(例えば、水平面に対して傾いた状態から水平面に対して水平な状態へ戻す)ことによって実現しても良い。
上記「停止」の変位制御命令を生成する制御方法は、コントローラ3の「後ろを向く」ボタンを押し、図示しないジョイスティックで「後ろを向く」ように押し、図示しないホイールを「後ろを向く」ように回し、図示しないタッチパネルを「後ろを向く」ようにスライドさせ、又はコントローラ3自体を「後ろ向き」に振ることによっても実現し得る。
本実施形態では、例えば、VRシーンがボート漕ぎ、スキー、ロケット制御、又は反力を加えるその他の移動操作のいずれかであるとき、VRユーザーがコントローラ3を後ろに揺動する変位操作が「前進」の変位制御命令に相当する。
ただし、これ等は上記の実施形態の単なる特別な変形に過ぎず、元の命令一致テーブル50に基づいて、又は、この特別に変形させた状況に対応させた他の命令一致テーブルを別途準備することによっても制御することができる。
例えば、VRシーンがスキーの場合(このとき、図示しない特殊な命令一致テーブルはスキーシーン用に設定されている)、VRユーザーは一対のコントローラ(左/右)により移動操作を行う。VRユーザーが左に向きを変えたい場合、右コントローラを後方にスライドさせて「左移動」変位制御命令を生成し、VRユーザーのヘッド部1の揺動方向(「左」又は「右」)に一致させる。このような操作により、実際のスキーの動きをシミュレートできるだけでなく、VRユーザーの乗り物酔いを防ぐこともできる。
本実施形態では、変位制御命令は、VRシステムがVRユーザー6の体の動作を検出することによって生成され、VRシステムは、カメラを使用してVRユーザー6の体の動作を検出することで、体の動作に基づいて対応する変位制御命令を生成する。
なお、VRユーザー6は、異なる体の動きに対応する独自の変位制御命令を定義できることに留意されたい。このため、異なる体の動きでも同じ変位制御指令を生成することができる。
本実施形態では、体の動きは、手の動き、足の動き、体の姿勢、及びそれらの組み合わせからなるグループから選択されるが、以下、種々の実施形態を通して異なる体の動きに対応する変位制御命令を説明する。
異なる実施形態におけるVRユーザー6の手の動きの模式図を示す図15A~図15Fを参照されたい。
図15Aに示すように、VRユーザー6が腕を上から下に振ると、VRシステムは画像解析や光学センシングによりVRユーザー6の腕の移動軌跡を検出する。腕の移動軌跡をアルゴリズムで解析し、「前進」変位制御命令を生成する。
同様に、図15Bに示すように、VRユーザー6が腕を下から上に振ると、VRシステムは「後退」又は「停止」の変位制御命令を生成する。
図15Cに示すように、VRユーザー6が腕を右から左に振る(右腕を外側へ挙げた状態から膝のあたりを介して左腕の方まで振る。以下同じ)と、VRシステムは「左移動」変位制御命令を生成する。また、図15Dに示すように、VRユーザー6が腕を左から右に振ると、VRシステムは「右移動」変位制御命令を生成する。
図15Eに示すように、VRユーザー6が腕を下から上に挙げると、VRシステムは「上移動」の変位制御命令を生成する。また、図15Fに示すように、VRユーザー6が腕を上から下に降ろすと、VRシステムは「下移動」の変位制御命令を生成する。
本実施形態では、VRシステムは、画像分析又は光学感知を介してVRユーザー6の指の移動軌跡を検出する。指の活動軌跡をアルゴリズムで解析し、種々の変位制御命令を生成する。
本実施形態では、VRシステムは、画像分析を通じてVRユーザー6の指の形状変化を検出し、種々の変位制御命令を生成する。
他の実施形態では、VRシステムは、画像分析を通じてVRユーザー6の手のひら/指の動きの軌跡を検出する。そして、手のひら/指の動きの軌跡を、VR世界におけるVRユーザーの手のひら/指の位置の動きにマッピングする。
次に、VR世界における手のひら/指の位置の動きが、VR世界の仮想コントローラの前進レバー/ボタンをどのように押しているかを分析し、「前進」変位制御命令が生成される。
同様に、「後退」又は「停止」、「左移動」又は「右移動」、「上移動」又は「下移動」の変位制御命令、VRシステムは、画像解析によりVRユーザー6の手のひらや指の動きの軌跡を検出することによって生成することもできる。
異なる実施形態におけるVRユーザー6の足の動きの模式図を示す図16A~図16Fを参照されたい。
図16Aに示すように、VRユーザー6の足が前に進むと、VRシステムは、画像解析や光学センシングによりVRユーザー6の足の移動軌跡を検出し、足の移動軌跡をアルゴリズムで解析し、「前進」の変位制御命令を生成する。
同様に、図16Bに示すように、VRユーザー6が足を後ろへ下げて後退すると、VRシステムは「後退」又は「停止」の変位制御命令を生成する。
図16Cに示すように、VRユーザー6が左足を左側へステップすると、VRシステムは「左移動」変位制御命令を生成する。図16Dに示すように、VRユーザー6が右足を右側へステップすると、VRシステムは「右移動」の変位制御命令を生成する。
図16Eに示すように、VRユーザー6が足を上に持ち上げると、VRシステムは「上移動」変位制御命令を生成する。また、図16Fに示すように、VRユーザー6が足を下へ降ろすと、VRシステムは「下移動」の変位制御命令を生成する。
本実施形態では、変位制御命令は、VRシステムがVRユーザー6の脳波信号を検出することにより生成される。VRシステムは、ブレインコンピュータインターフェース(Brain Computer Interface,BCI)を介してVRユーザー6の脳波信号を検出して分析することで、対応する変位制御命令が脳波信号に基づいて生成される。
たとえば、VRユーザー6が「前進」しようと考え、対応する脳波を発すると、VRシステムは脳波に基づいて「前進」変位制御命令を生成する。VRユーザー6が「後退」しようと考えて脳波を出力すると、VRシステムはその脳波に基づいて「後退」の変位制御命令を生成する。
VRユーザー6が「左移動」しようと考えて対応する脳波を出力すると、VRシステムはその脳波に基づいて「左移動」の変位制御命令を生成する。VRユーザー6が「右移動」しようと考えて対応する脳波を出力すると、VRシステムはその脳波に基づいて「右移動」の変位制御命令を生成する。
VRユーザー6が「停止」しようと考えて対応する脳波を出力すると、VRシステムはその脳波に基づいて「停止」の変位制御命令を生成する。VRユーザー6が「上移動」しようと考えて対応する脳波を出力すると、VRシステムはその脳波に基づいて「上移動」の変位制御命令を生成する。VRユーザー6が「下移動」しようと考えて対応する脳波を出力すると、VRシステムはその脳波に基づいて「下移動」の変位制御命令を生成する。
本実施形態では、変位制御命令は、VRシステムがVRユーザー6の音声信号を検出することによって生成され、VRシステムは、VRユーザー6が出力した音声信号を、マイクを介して受信し、音声信号に基づいて対応する変位制御命令を生成する。
例えば、VRユーザー6が「前進又は前へ進め」と喋ると、VRシステムは、その音声に基づいて「前進」の変位制御命令を生成する。VRユーザー6が「後退」と発言すると、VRシステムはその音声に基づいて「後退」の変位制御命令を生成する。
VRユーザー6が「左移動」と声を上げると、VRシステムはその音声に基づいて「左移動」の変位制御命令を生成する。VRユーザー6が「右移動」と発言すると、VRシステムはその音声に基づいて「右移動」という変位制御命令を生成する。また、VRユーザー6が「停止」と発声すると、VRシステムはその音声に基づいて「停止」の変位制御命令を生成する。
VRユーザー6が「上移動」と発言すると、VRシステムは、その音声に基づいて「上移動」という変位制御命令を生成する。VRユーザー6が「下移動」と発言すると、VRシステムはその音声に基づいて「下移動」の変位制御命令を生成する。
異なる実施形態におけるマーク7を保持するVRユーザー6の変位軌跡の模式図である図17A~図17Fを参照されたい。
本実施形態では、変位制御命令は、VRシステムが画像解析又は光学センシングによってVRユーザー6が保持するマーク7の変位軌跡を検出することによって生成される。画像解析を例に挙げると、VRシステムは、カメラによってマーク7の変位軌跡を検出し、マーク7の変位軌跡に基づいて対応する変位制御命令を生成する。
図17Aに示すように、マーク7を顔のすぐ近くから腕を水平に且つ前の方へ伸ばした状態に移動すると、VRシステムはマーク7の変位軌跡を検出し、検出されたマーク7の変位軌跡は、アルゴリズムを使用して分析され、「前進」の変位制御命令が生成される。
同様に、図17Bに示すように、VRシステムがマーク7の変位軌跡が腕を水平に伸ばした状態から顔の直ぐ近くまで縮めたことを検出すると、VRシステムは、「後退」又は「停止」の変位制御命令を生成する。また、図17Cに示すように、VRシステムがマーク7の変位軌跡が右腕を体の外側である右側へやや挙げた状態から膝のあたりを介して左腕の方まで移動させたことを検出すると、VRシステムは「左移動」の変位制御命令を生成する。
図17Dに示すように、VRシステムがマーク7の変位軌跡が左腕を体の外側である左側へやや挙げた状態から膝のあたりを介して右腕の方まで移動させたことを検出すると、VRシステムは「右移動」の変位制御命令を生成する。
図17Eに示すように、VRシステムがマーク7の変位軌跡が下から上であることを検出すると、VRシステムは「上移動」の変位制御命令を生成する。図17Fに示すように、VRシステムがマーク7の変位軌跡が上から下であることを検出すると、VRシステムは「下移動」変位制御命令を生成する。
本実施形態では、変位制御命令は、VRユーザー6が保持するマーク7の形状を検出するVRシステムによって生成され、マーク7の形状変化や変形度合いに応じて、対応する変位制御命令が生成される。
例えば、VRユーザー6が、形状が変化するマーク7(市販のフィットネスリングなど)を保持した場合、VRシステムは、画像解析や光学センシングによりマーク7の形状変化や変形度合いを検出する。
また、検出されたマーク7の形状変化や変形の程度を、アルゴリズムを使用することを以って、「前進」、「後退」、「停止」、「左移動」、「右移動」、「上移動」、「下移動」等の変位制御命令を分析して生成する。
勿論、本発明は、他の様々な実施形態も可能であり、当業者であれば、本発明の精神と本質から逸脱することなく、本発明に基づいて、対応する様々な変更や修正を行うことができるが、これらの変更や修正を行ったものも、本発明の技術的範囲に含まれる。
1 ヘッド部
2 ヘッドマウンティングデバイス
3 コントローラ
31 ボタン
32 ボタン
33 ボタン
4 VRシーン
41 物体
50 命令一致ルール/命令一致テーブル
6 VRユーザー
7 マーク(マーカー)
S10~S50 ステップ
2 ヘッドマウンティングデバイス
3 コントローラ
31 ボタン
32 ボタン
33 ボタン
4 VRシーン
41 物体
50 命令一致ルール/命令一致テーブル
6 VRユーザー
7 マーク(マーカー)
S10~S50 ステップ
なお、VRプログラムを実行するために使用されるプロセッサは、ヘッドマウンティングデバイスに直接実装されても良く、ホストコンピュータに別途実装されても良い。VRプログラムを実行するためのプロセッサがホストコンピュータ内に別途設けられている場合、ホストコンピュータもVRシステムの一部とみなされる。ホストコンピュータは、スマートフォン、パーソナルコンピュータ、リモートサーバー、またはNintendo Switch(登録商標)、Sony PlayStation(登録商標)、Microsoft Xbox(登録商標)等の市販のゲームコンソールであっても良い。
本実施形態では、VRシステムのヘッドマウンティングデバイス2は、VRユーザーのヘッド部1の揺動変位と揺動加速度を同時に検出し、そして、揺動変位と揺動加速度がそれぞれ変位閾値と加速度閾値より大きいか否かを判定し、揺動変位と揺動加速度がそれぞれ変位閾値と加速度閾値より大きい場合にのみ、VRシステムは、先ず変位制御命令と揺動方向が一致しているかどうかを命令一致テーブル50に基づいて判定する。
したがって、VRシステムはVRユーザーが出力した「ジャンプ/上移動」変位制御命令を実行する。VRシーン4内の物体41を下方向に移動するように制御する(VRユーザーがVR世界内でジャンプし又はVRユーザーの視野を上へ移動させることに相当)。
Claims (18)
- VRユーザーから変位制御命令を受信し、前記変位制御命令は、前進、後退、左移動、右移動、停止、上移動、下移動、及びそれらの組み合わせから選択される構成されるグループであり、
前記VRユーザーのヘッド部の揺動の揺動方向を検出し、
命令一致ルールに基づいて前記変位制御命令と前記揺動の揺動方向が一致するか否か判断し、
前記変位制御命令と前記揺動の揺動方向が一致したとき、前記変位制御命令を執行し、前記変位制御命令と前記揺動の揺動方向が一致しないとき、前記変位制御命令を執行しないことを特徴とする仮想現実の制御方法。 - 前記揺動方向のステップは前記変位制御命令を受信した後のデフォルトの時間に執行することを特徴とする請求項1に記載の仮想現実の制御方法。
- 前記変位制御命令を執行するステップは、VRシーンにおける物体を変位制御命令の方向に基づいて移動するように制御することを特徴とする請求項1に記載の仮想現実の制御方法。
- 前記変位制御命令を執行するステップは、VRシーンにおける物体が変位制御命令とは逆の方向に基づいて移動するように制御することを特徴とする請求項1に記載の仮想現実の制御方法。
- 前記揺動の揺動変位が変位閾値よりも大きいか否か判断し、前記揺動の揺動変位が前記変位閾値よりも大きいとき、前記命令一致ルールに基づいて、前記変位制御命令と前記揺動方向が一致するか否かの判断を始めることを特徴とする請求項1に記載の仮想現実の制御方法。
- 前記揺動の揺動加速度が加速度閾値よりも大きいか否か判断し、前記揺動の揺動加速度が前記加速度閾値より大きいとき、前記命令一致ルールに基づいて前記変位制御命令と前記揺動の揺動方向が一致するか否かの判断を始めることを特徴とする請求項1に記載の仮想現実の制御方法。
- 前記揺動の揺動加速度が、前記加速度閾値よりも大きいとき、VRシーンにおける物体の移動速度が増加することを特徴とする請求項6に記載の仮想現実の制御方法。
- 前記揺動の揺動変位が変位閾値より大きいか否か判断すると共に、前記揺動の揺動加速度が加速度閾値よりも大きいか否か判断し、
前記揺動の揺動変位が前記変位閾値よりも大きく、且つ、前記揺動の揺動加速度が前記加速度閾値よりも大きいとき、前記命令一致ルールに基づいて前記変位制御命令と前記揺動の揺動方向が一致するか否かの判断を始めることを特徴とする請求項1に記載の仮想現実の制御方法。 - ヘッドマウンティングデバイスを以って前記VRユーザーのヘッド部の揺動を検出することを特徴とする請求項1に記載の仮想現実の制御方法。
- 体感検出装置を以って前記VRユーザーのヘッド部の揺動を検出することを特徴とする請求項1に記載の仮想現実の制御方法。
- 前記揺動方向を検出するステップは、前記変位制御命令を受信した持続時間内に執行されることを特徴とする請求項1に記載の仮想現実の制御方法。
- 前記変位制御命令は前記VRユーザーがコントローラを操作することで生成されることを特徴とする請求項11に記載の仮想現実の制御方法。
- 前記変位制御命令はVRシステムが前記VRユーザーの身体の動作を検出することで生成されることを特徴とする請求項1乃至請求項11の何れか一項に記載の仮想現実の制御方法。
- 前記身体の動作は、手の動き、足の動き、体の姿勢、及びそれらの組み合わせから構成されるグループから選択されることを特徴とする請求項13に記載の仮想現実の制御方法。
- 前記変位制御命令は、VRシステムが前記VRユーザーの脳波信号を検出することで生成されることを特徴とする請求項1乃至請求項11の何れか一項に記載の仮想現実の制御方法。
- 前記変位制御命令は、VRシステムが前記VRユーザーの音声命令を検出ことで生成されることを特徴とする請求項1乃至請求項11の何れか一項に記載の仮想現実の制御方法。
- 前記変位制御命令は、VRシステムが前記VRユーザーにより保持されるマークの変位軌跡を検出することで生成されることを特徴とする請求項1乃至請求項11の何れか一項に記載の仮想現実の制御方法。
- 前記変位制御命令は、VRシステムが前記VRユーザーによって保持されるマークの形状を検出することで生成されることを特徴とする請求項1乃至請求項11の何れか一項に記載の仮想現実の制御方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/097916 WO2022252150A1 (zh) | 2021-06-02 | 2021-06-02 | 避免动晕症发生的虚拟实境控制方法 |
CNPCT/CN2021/097916 | 2021-06-02 | ||
PCT/CN2022/096531 WO2022253258A1 (zh) | 2021-06-02 | 2022-06-01 | 避免动晕症发生的虚拟实境控制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024522558A true JP2024522558A (ja) | 2024-06-21 |
Family
ID=84322702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023574603A Pending JP2024522558A (ja) | 2021-06-02 | 2022-06-01 | 仮想現実の制御方法 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP4354258A1 (ja) |
JP (1) | JP2024522558A (ja) |
CN (1) | CN115701772A (ja) |
TW (1) | TWI835155B (ja) |
WO (2) | WO2022252150A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI845208B (zh) * | 2023-03-14 | 2024-06-11 | 財團法人工業技術研究院 | 提前預知之抗暈眩補償方法與系統 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9996149B1 (en) * | 2016-02-22 | 2018-06-12 | Immersacad Corporation | Method for one-touch translational navigation of immersive, virtual reality environments |
CN106527709B (zh) * | 2016-10-28 | 2020-10-02 | Tcl移动通信科技(宁波)有限公司 | 一种虚拟场景调整方法及头戴式智能设备 |
JP2018072604A (ja) * | 2016-10-31 | 2018-05-10 | 株式会社コロプラ | Vr酔いを抑制するための方法、当該方法をコンピュータに実行させるためのプログラムおよび、情報処理装置 |
WO2018122600A2 (en) * | 2016-12-28 | 2018-07-05 | Quan Xiao | Apparatus and method of for natural, anti-motion-sickness interaction towards synchronized visual vestibular proprioception interaction including navigation (movement control) as well as target selection in immersive environments such as vr/ar/simulation/game, and modular multi-use sensing/processing system to satisfy different usage scenarios with different form of combination |
JP2019040555A (ja) * | 2017-08-29 | 2019-03-14 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10926056B2 (en) * | 2017-09-14 | 2021-02-23 | Advanced Micro Devices, Inc. | Method, apparatus and system for mitigating motion sickness in a virtual reality environment |
US20190204909A1 (en) * | 2017-12-28 | 2019-07-04 | Quan Xiao | Apparatus and Method of for natural, anti-motion-sickness interaction towards synchronized Visual Vestibular Proprioception interaction including navigation (movement control) as well as target selection in immersive environments such as VR/AR/simulation/game, and modular multi-use sensing/processing system to satisfy different usage scenarios with different form of combination |
US10890976B2 (en) | 2018-09-21 | 2021-01-12 | Jeff Welch | Pressure controlled kinetic feedback platform with modular attachments |
CN109542222B (zh) * | 2018-11-13 | 2021-12-14 | 深圳市创凯智能股份有限公司 | 三维视角控制方法、装置、设备以及可读存储介质 |
CN112346565A (zh) * | 2018-12-04 | 2021-02-09 | 北京洛必达科技有限公司 | 一种vr游戏信息处理方法 |
JP2019220185A (ja) * | 2019-07-09 | 2019-12-26 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
-
2021
- 2021-06-02 WO PCT/CN2021/097916 patent/WO2022252150A1/zh active Application Filing
-
2022
- 2022-06-01 JP JP2023574603A patent/JP2024522558A/ja active Pending
- 2022-06-01 CN CN202280003833.6A patent/CN115701772A/zh active Pending
- 2022-06-01 WO PCT/CN2022/096531 patent/WO2022253258A1/zh active Application Filing
- 2022-06-01 TW TW111120520A patent/TWI835155B/zh active
- 2022-06-01 EP EP22815301.1A patent/EP4354258A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4354258A1 (en) | 2024-04-17 |
CN115701772A (zh) | 2023-02-10 |
WO2022253258A1 (zh) | 2022-12-08 |
TW202248810A (zh) | 2022-12-16 |
WO2022252150A1 (zh) | 2022-12-08 |
TWI835155B (zh) | 2024-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6977134B2 (ja) | 頭部装着ディスプレイにおける仮想現実(vr)コンテンツの視野(fov)絞り | |
US11998836B2 (en) | Game processing system, method of processing game, and storage medium storing program for processing game | |
US10058773B2 (en) | Man-machine interaction controlling method and applications thereof | |
US11467658B2 (en) | Application processing system, method of processing application, and storage medium storing program for processing application | |
US12023577B2 (en) | Game processing system, method of processing game, and storage medium storing program for processing game | |
US11638879B2 (en) | Game processing system, method of processing game, and storage medium storing program for processing game | |
US20120133581A1 (en) | Human-computer interaction device and an apparatus and method for applying the device into a virtual world | |
JP2024522558A (ja) | 仮想現実の制御方法 | |
JP7248720B2 (ja) | ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法 | |
JP6964302B2 (ja) | アニメーション制作方法 | |
KR102496927B1 (ko) | 촉감을 제공하는 성인 콘텐츠용 vr 장치 | |
JP4779123B2 (ja) | 人体動作を感知可能な電子ゲームコントローラ | |
KR20120132283A (ko) | 사용자의 움직임과 모션 플랫폼 사이의 양방향 상호 작용을 기반으로 한 실감형 스노보드 장치 및 그 제어방법. | |
US10242241B1 (en) | Advanced mobile communication device gameplay system | |
KR102266596B1 (ko) | 3축 시뮬레이터 기반의 헬스케어 사이클링 시스템 | |
CN110934595B (zh) | 一种监测用户运动数据的体感游戏系统及工作方法 | |
KR20240062067A (ko) | 촉감을 제공하는 성인 콘텐츠용 vr 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231130 |