JP7441442B2 - Vr装置、方法、プログラム及び記憶媒体 - Google Patents

Vr装置、方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
JP7441442B2
JP7441442B2 JP2020531282A JP2020531282A JP7441442B2 JP 7441442 B2 JP7441442 B2 JP 7441442B2 JP 2020531282 A JP2020531282 A JP 2020531282A JP 2020531282 A JP2020531282 A JP 2020531282A JP 7441442 B2 JP7441442 B2 JP 7441442B2
Authority
JP
Japan
Prior art keywords
player
speed
hmd
space
game
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020531282A
Other languages
English (en)
Other versions
JPWO2020017440A5 (ja
JPWO2020017440A1 (ja
Inventor
啓吾 藤川
駿 藤川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Univrs
Original Assignee
Univrs
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univrs filed Critical Univrs
Publication of JPWO2020017440A1 publication Critical patent/JPWO2020017440A1/ja
Publication of JPWO2020017440A5 publication Critical patent/JPWO2020017440A5/ja
Application granted granted Critical
Publication of JP7441442B2 publication Critical patent/JP7441442B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • A63F13/48Starting a game, e.g. activating a game device or waiting for other players to join a multiplayer session
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Description

本発明は、VR酔いを防止できるVR装置、方法、プログラム及び記憶媒体に関する。
近年、HMD(ヘッド・マウント・ディスプレイ)をユーザーに装着させ、3D画像を見せることによって臨場感に優れ、没入感を増すVRゲームが開発され市場に提供されている。
ところが、HMDの装着によりユーザーが現実の周囲の様子を見ることができなくなり、ディスプレイ内の3D画像に没入しその映像の中に自分も存在するような錯覚を起こし、ユーザーの体や頭は現実には傾いたり高速で動いたりはしていないのに脳は高速で動いたり傾いたりしていると認識し、その感覚の開離によっていわゆるVR酔いをもたらすことが問題点として指摘されている。このVR酔いの問題は、VRゲームだけでなく、HMDを装着してインタラクティブなVR動画を視聴するVR装置全般において広く指摘されている。
このVR酔いに関しては、
・視覚と体感の不一致により引き起こされる、
・おもな症状は胃のむかつき、吐き気、頭痛などが挙げられる、
・船酔いや車酔いなどの乗り物酔いに近い症状である、
・VR酔い対策にはソフトウェア側での対応が必要である、
等が指摘されている。
そこで、VR酔いの防止に関して、例えば、特開2018-085137号公報(特許文献1)、特開2018-072992号公報(特許文献2)、特開2016-031439号公報(特許文献3)、再表2016/017245号公報(特許文献4)、再表2015/107817号公報(特許文献5)、特開平12-339490号公報がある。
これらは、VR酔い防止また軽減のために種々の対策を提案しているが、HMDを装着しているユーザーの頭部と手の座標を監視し、その動く速さや加速度、向き、また移動距離を求めてHMD内の3D動画内でのプレーヤーの動きに反映させる技術を開示しているものはない。
近年、VRゲームにおいてVR酔いを防ぐために、ある地点からある地点へワープする移動方法が多く採用されている。このワープ移動を採用すれば、ある地点から別のある地点までの空間を自由自在に空を飛んだり、自由に走り回ったりできず、HMD装着者にとって空間移動を体感できず、現実感が損なわれる問題点もあった。
特開2018-085137号公報 特開2018-072992号公報 特開2016-031439号公報 再表2016/017245号公報 再表2015/107817号公報 特開平12-339490号公報
本発明は、上記従来技術の課題に鑑みてなされたもので、HMDを装着しているユーザーの少なくとも頭部と手の動きを監視し、移動方向、移動距離、移動速度、加速度を検出し、HMD内に表示される3D動画内でのプレーヤーから見える景色の変化に反映させることによって、HMDを装着しているユーザーの自律的な動きを3D動画中でのプレーヤーから見た景色の変化と連動させ、VR酔いを防止できるVR装置、方法、プログラム及びそれを記憶した記憶媒体を提供することを目的とする。
より具体的に例示して説明すれば、ヘッドトラッキングとハンドトラッキングをフルに使い、HMDを装着しているユーザーの実際のジェスチャーを最大限に活用し、そのユーザー(HMD装着者)が腕を振って前に進むジェスチャーをすればそのジェスチャーを認識して3D動画内のプレーヤーが前に進むようにVR動画を展開させることにより、VR動画でありながらユーザーの現実のジェスチャーとVR動画の展開とをマッチさせ、ユーザーのVR酔いを防止できるVR装置、方法、プログラム及びそれを記憶した記憶媒体を提供することを目的とする。
本発明は、HMDと、前記HMDを装着している装着者の頭部の位置、向き及び傾きを検出する頭部姿勢検出器と、前記HMD装着者の少なくとも片手の位置、移動速度・加速度を検出する手の位置・速度・加速度検出器と、前記HMD装着者の移動方向と移動速度を演算するHMD移動方向・速度演算器と、前記HMD装着者の移動方向と移動速度の演算結果を入力し、VR空間内におけるプレーヤーの移動方向と移動速度を演算するプレーヤー移動方向・速度演算器と、前記プレーヤーの移動方向と移動速度との演算結果に基づき、前記VR空間内における当該プレーヤーの視野内の景色を変化させるVR景色変化器とを備えたVR装置を特徴とし、またこのVR装置によるVR方法、このVR装置が実行するVRプログラム及びその記憶媒体を特徴とする。
また本発明は、HMDと、前記HMDを装着している装着者の頭部の位置、向き及び傾きを検出する頭部姿勢検出器と、前記HMD装着者の少なくとも片手の位置を検出する手の位置検出器と、前記HMD装着者の任意の点を決定する任意点決定器と、前記HMD装着者の前記手の位置と前記任意の点との間の距離を演算する実空間2点間距離演算器と、前記手の位置と前記任意の点との距離の演算結果に基づいて、VR空間内におけるプレーヤーの位置と移動速度とを演算するプレーヤー位置・移動速度演算器と、前記プレーヤーの位置と移動速度との演算結果に基づき、前記VR空間内における当該プレーヤーの視野内の景色を変化させるVR景色変化器とを備えたVR装置を特徴とし、またこのVR装置によるVR方法、このVR装置が実行するVRプログラム及びその記憶媒体を特徴とする。
また本発明は、HMDと、前記HMDを装着している装着者の頭部の位置、向き及び傾きを検出する頭部姿勢検出器と、前記HMD装着者のシューティング操作を検出するシューティング操作検出器と、前記シューティング操作を検出して、VR空間内でのシューティングターゲットを決定するターゲット検出器と、前記HMD装着者の手の引き戻し動作と引き戻し距離を検出する引き戻し操作検出器と、前記HMD装着者の引き戻し動作と引き戻し距離の検出結果に基づき、VR空間内で前記シューティングターゲットをプレーヤー側に引き寄せた距離を演算する引き寄せ距離演算器と、前記VR空間内で、前記引き寄せた距離に応じて前記シューティングターゲットが前記プレーヤー側に近づくように当該プレーヤーの視野内の景色を変化させるVR景色変化器とを備えたVR装置を特徴とし、またこのVR装置によるVR方法、このVR装置が実行するVRプログラム及びその記憶媒体を特徴とする。
さらに本発明は、HMDと、前記HMDを装着している装着者の頭部の位置と向きを検出する頭部姿勢検出器と、前記HMD装着者の少なくとも片手のボタンやジェスチャー等の入力を検出する入力検出器と、前記HMD装着者の向きと前記片手のボタンやジェスチャー等の入力時間を検出し、VR空間内においてプレーヤーの上昇方向と上昇速度を演算する上昇動作演算部と、前記VR空間内で、前記プレーヤーの上昇方向と上昇速度に応じて当該プレーヤーの視野内の景色を変化させるVR景色変化器とを備えたVR装置を特徴とし、またこのVR装置によるVR方法、このVR装置が実行するVRプログラム及びその記憶媒体を特徴とする。
さらに、上記VR装置、方法及びプログラムの発明においては、スピード感を表現する効果線を前記VR空間内に重畳して表示させることができる。
本発明によれば、HMD装着者の手の振りと振る速度でVR動画中のプレーヤーの移動方向と速度を決め、VR動画内でプレーヤーがその移動方向にその速度で移動しているように表現することができ、これによってHMD装着者の意思と動作に対応してVR動画を展開、進行させることができ、VR酔いを効果的に予防できる。
また本発明によれば、HMDの装着者が頭を低くして手に近づけるとVR動画中の景色が速く進み、頭から手を離して両者間の距離を離すとVR動画中の景色の進みが遅くなり、乗馬中の騎手やオートバイ、自転車を運転しているライダー、スキーヤー、スノーボーダー、サーファーらの実際の運転、運動感覚に近い感覚をHMD装着者に与えることができ、VR酔いを効果的に防止できる。
また本発明によれば、コントローラでシュートして動画内のターゲットを定め、その状態で装着者がその手で引き戻す動作をすることで、VR動画内でプレーヤーは特定されたターゲットを手を動かした距離に応じた速さで引き寄せることができ、HMD装着者の意図や動作に応じた動きをVR動画内のプレーヤーに行わせることができ、VR酔いを効果的に防止できる。
また本発明によれば、HMD装着者がボタンなどの任意のトリガーを入力し、その入力の持続時間によってVR動画内での空中を飛んでいるプレーヤーから見える景色の移動を速くさせたりゆっくりさせたりでき、HMD装着者の動作や意思に応じてVR動画内のプレーヤーから見える景色を変化させることができ、VR酔いを効果的に防止できる。
さらに本発明によれば、VR動画内でプレーヤーの視点から見た変化の速さと方向、向きに応じた移動速度と方向、向きにスピード感を表示する効果線を表示させることにより、装着者にリアルなスピード感や方向感覚を与えることができ、VR酔いをいっそう効果的に防止できる。
本発明の第1~第4の実施の形態のVRゲーム装置のハードウェア構成を示すブロック図。 本発明の第1の実施の形態のVRゲーム装置の機能構成を示すブロック図。 上記実施の形態のVRゲーム装置におけるゲームエンジンの機能構成を示すブロック図。 上記実施の形態のVRゲーム装置の処理手順のフローチャート。 上記実施の形態のVRゲーム装置によりHMD内に表示される3D画面の一例を示す説明図。 本発明の第2の実施の形態のVRゲーム装置の機能構成を示すブロック図。 上記実施の形態のVRゲーム装置の処理手順のフローチャート。 本発明の第3の実施の形態のVRゲーム装置の機能構成を示すブロック図。 上記実施の形態のVRゲーム装置におけるゲームエンジンの機能構成を示すブロック図。 上記実施の形態のVRゲーム装置の処理手順のフローチャート。 上記実施の形態のVRゲーム装置によりHMD内に表示される3D画面の一例を示す説明図。 本発明の第4の実施の形態のVRゲーム装置の機能構成を示すブロック図。 上記実施の形態のVRゲーム装置におけるゲームエンジンの機能構成を示すブロック図。 上記実施の形態のVRゲーム装置の処理手順のフローチャート。 上記実施の形態のVRゲーム装置によりHMD内に表示される3D画面の一例を示す説明図。 本発明の第5の実施の形態のVRゲーム装置のブロック図。 上記第5の実施の形態のVRゲーム装置の機能構成を示すブロック図。 上記第5の実施の形態のVRゲーム装置の処理手順のフローチャート。
以下、本発明の実施の形態を図に基づいて詳説する。なお、本明細書中では、「プレーヤー」とはHMD内のディスプレイに投影されている3D動画中で仮想のプレー主体であり、その主体から見える景色の変化がVRゲーム動画に反映される。通常はプレーヤーの目線は画面中央に設定される。また「ユーザー」とはHMDを装着してVRゲーム動画を楽しむ人であり、「HMD装着者」または「装着者」と称することもある。その装着者が行うジェスチャーはVRゲーム動画中でのプレーヤーの動作に反映される。「HMD」とは正式には「ヘッド・マウンテッド・ディスプレイ」であり、「ヘッド・マウント・ディスプレイ」と呼ばれることもあるデバイスであり、内部に立体視ディスプレイを備え、装着者にVRゲームを立体視させることができる。さらに、本明細書中で「VRゲーム」と称するソフトウェアは、3DVRゲームだけではなく、HMD装着者に動画を立体的に見せることができるユーザーインタラプティブなすべての3Dコンテンツを包含するものとする。
さらに、以下ではVRゲーム装置、方法、プログラムの実施の形態について説明するが、本発明はVRゲーム装置等に限定されるものではなく、広くVR装置、方法、プログラムに適用することができる。例えば、HMDを装着しているユーザーの少なくとも頭部と手の動きを監視し、移動方向、移動距離、移動速度、加速度等を検出し、HMD内に表示される3D動画内でのプレーヤーから見える景色の変化に反映させる機能を備えたVR装置、方法、プログラムによれば、HMDを装着しているユーザーの自律的な動きを3D動画中でのプレーヤーから見た景色の変化と連動させることができ、HMD装着者の自律的な動きが3D動画中でのプレーヤーから見た景色の変化と連動するようになれば、VR動画でありながらユーザーの現実のジェスチャーがVR動画の展開にマッチし、車を運転しているドライバーは車酔いをしにくいように、VR動画を操作しているHMD装着者がVR酔いしにくくなるのである。
[第1の実施の形態]
本発明の第1の実施の形態は、HMD装着者の手の振りと振る速度で動画中のプレーヤーの移動方向と速度を計算し、HMDに表示されるVRゲーム動画内でプレーヤーがその移動方向にその速度で移動しているように当該VRゲーム動画を展開、進行させることができ、これによってHMD装着者の意思と動作にVRゲーム動画の展開、進行をマッチさせ、VR酔いを効果的に予防できるVRゲーム装置、方法及びプログラムである。
図1は第1の実施の形態のVRゲーム装置のブロック図を示し、本VRゲーム装置は、インサイドアウト方式で自身の位置、姿勢、向きをトラッキングするカメラを備え、また加速度、角速度、地磁気の9軸センサを内蔵したHMD1と、HMD装着者が左右の手それぞれに持ってVRゲーム動画の進行、展開を操作する、6軸センサを内蔵したコントローラ2R、2Lと、VRゲームを実行したりVR映像を再生したりするVRゲーム実行装置3とで構成される。このVRゲーム実行装置3は、VRゲームに特化されたVRゲーム機、種々のVRゲームソフトを実行するPC、特定のVRゲーム専用のゲームマシンなど、VRゲームやVRゲーム動画を再生しHMD1に出力できるスタンドアローン、汎用のすべてのVR画像処理機能を備えたコンピュータ機器を含むものである。
HMD1については、現在市販されているVRゲーム動画表示ができる複数種の機器のいずれをも採用することもできる。この明細書では、Windows Mixed RealityのHMD1を例示して説明する。コントローラ2L,2Rも同様であり、タッチパット、アナログスティック、トリガーボタンを装備し、リング状のトラッキングLEDマーカーを備えている。そしてHMD1には装着者の頭部の三次元空間座標(前後、左右、上下の3方向)を検出できるインサイドアウト方式の6DOFトラッキングシステム101が内蔵されている。また3軸加速度センサーと頭部の方位角度、上下角度、傾き角度を検出できる3軸ジャイロセンサーと地磁気センサーからなる9軸センサー102も備えている。6DOFトラッキングシステム101及び9軸センサー102の検出信号はVRゲーム実行装置3に出力する。コントローラ2R,2Lも6軸センサ2R1,2L1を備えている。そしてコントローラ2R,2Lの操作信号、またそれらの6軸センサ2R1,2L1の検出信号はBluetooth(登録商標)通信にてVRゲーム実行装置3のBluetooth(登録商標)受信器(図示せず)に送信される。なお、コントローラ2R,2LとVRゲーム実行装置3との信号通信はBluetooth(登録商標)に限るものではなく、他の有線通信や無線通信技術を採用してもよい。またHMD1の6DOFトラッキングシステム101はコントローラ2R,2Lの位置をトラッキングLEDマーカーを認識して、コントローラ2R,2Lの三次元空間座標(前後、左右、上下の3方向)を検出できる。
図2に本実施の形態のVRゲーム装置の機能構成を示している。これは主にゲーム実行装置3の内部での処理機能を示したものである。HMD1の6DOFトラッキングシステム101、また9軸センサ102からのセンサ信号を入力するHMDセンサ信号受信部11、HMD装着者の頭部の座標、装着者の顔の向いている方位角、上下角を計算するHMD位置・方位角・上下角計算部12を備えている。
また、コントローラ2R,2Lからの操作信号と6軸センサ信号を受信するコントローラ信号受信部13、コントローラ2R,2LそれぞれのトラッキングLEDマーカー情報、6軸センサ信号を用いてコントローラの位置を演算するコントローラ位置演算部14、コントローラ加速度を演算するコントローラ加速度演算部15、コントローラ加速度をあらかじめ与えてある閾値と比較する加速度・閾値比較部16、コントローラ2R,2Lの6軸センサ信号からHMD装着者の腕振り持続時間を計算する腕振り持続時間計算部17、HMD装着者の腕振り速度を計算する腕振り速度計算部18を備えている。
さらに、これらHMD位置・方位角・上下角計算部12、腕振り持続時間計算部17、腕振り速度計算部18の計算結果を入力し、VRゲーム内のプレーヤーの現在位置、移動方向、移動速度、移動距離を計算するプレーヤー位置・移動方向・移動距離・速度計算部19、そしてプレーヤー位置・移動方向・移動距離・速度計算部19の計算した移動速度を入力し、その移動速度に対応した長さや速さ、出現密度を変えたスピード線を作成するスピード線作成部110を備えており、このプレーヤー位置・移動方向・移動距離・速度計算部19の計算結果とスピード線作成部110の作成したスピード線とはVRゲームを実行しているゲームエンジン20に出力される。
このゲームエンジン20はVRゲームを進行・展開させるコンピュータであり、プレーヤーの位置・移動方向・移動距離・速度計算部19の計算結果を入力してVRゲームを進行させ、VRゲームの3D動画をHMD1に出力して表示させる。
さらに説明すれば、図3のブロック図に示すように、ゲームエンジン20はプレーヤー位置、姿勢、向き設定部21、VR映像生成部22、スピード線描画部23、画像重畳部24そして立体映像を作成する描画エンジン25を備え、描画エンジン25の映像信号をHMD1に出力して3D表示させる構成である。
次に、図4のフローチャートを用いて、第1の実施の形態のVRゲーム装置の処理手順を説明する。この処理手順はそれを実現するVRゲーム方法及びプログラムの説明でもある。この図4のフローチャートの処理はシステムの処理速度に応じ、所定の周期で繰り返し実行される。HMD1の6DOFトラッキングシステム101はコントローラ2R,2Lの位置をトラッキングし、コントローラ2R,2Lの座標を決定する(ステップST1,ST3)。
HMD装着者がコントローラ2R,2Lを握っている手を前後に振ることで、そのジェスチャーで発生するコントローラ2R,2Lの加速度を計算し、その加速度をあらかじめ登録している閾値と比較する(ステップST5,ST7)。この比較においてNOであるならば何もしないでリターンする。
計算した加速度が閾値よりも大きくてYESである場合には加速度値を保持し、また腕振り持続時間を計時して保持する(ステップST9)。続いてHMD1の正面の向きを求め(ステップST11)、またプレーヤーの移動速度を計算し(ステップST13)、VRゲーム動画内でのプレーヤーの移動方向と移動距離を計算する(ステップST15)。そしてプレーヤーの移動速度に応じたスピード線を作成し(ステップST17)、これら移動方向、移動距離、移動速度に基づいてVRゲーム動画を展開させ、同時に動画中にスピード感を示すスピード線を重畳し、これをHMD1に3D表示する(ステップST19)。
こうして本実施の形態のVRゲーム装置、方法及びプログラムによれば、ゲームエンジン20によるVRゲームの展開時に、HMD1の方位や上下方向の角度と、HMD装着者の手の動きから当該装着者の意図する移動方向、移動距離、移動速度を読み取り、それらをVRゲーム内のプレーヤーから見たVRゲーム動画の展開に反映させる。すなわち、装着者が腕を長い時間に渡り速く振り続けるならばプレーヤー視点から見たVRゲーム動画中の景色の変化も速くしてプレーヤーがHMD装着者の意図した方向に意図した速さで走ったり飛んだりするように見せることができ、これによって、HMD1の装着者自身の意図した動きにマッチしてVRゲーム動画を展開させることができ、例えば自動車を運転しているドライバーは車酔いをしないのと同様に、HMD装着者の意図した動きにマッチしてVRゲーム中のプレーヤーが動いているように当該VRゲームを展開させることができ、VR酔いを防止することができる。
図5にはVRゲームの一画面30を示している。HMD装着者の人物像31は説明のために重畳したものであり、この場合、HMD装着者がコントローラ2R,2Lを持って速く走るジェスチャーをしているところである。しかし、この人物像31は実際のVRゲームの画面30に表示されるものではない。HMD装着者がコントローラ2R,2Lを持って速く走るジェスチャーをしているとき、VRゲーム画面30ではプレーヤーの移動速度に変換し、その移動速度でプレーヤーが前方に進んでいるように見せるため、画面30内の景色32がプレーヤーの方に速く近づいてくるように展開される。同時に、この実施の形態ではその移動スピードをより実感させるための効果線としてスピード線33を表示させ、このスピード線33が画面30の中央に立っている想定のプレーヤーに向かって来るように移動させる。そしてそのスピード線33の移動速度はプレーヤーの移動速度を反映させた速度になる。これは、例えば降雪中や降雨中に列車に乗って外を見ている乗客を想定すれば、列車速度が速ければ雪片や雨滴は移動方向の後方斜め下に落ちてゆき、さらに速くなれば水平後方近くに飛んでゆくように見えるが、列車速度が遅ければ雪片や雨滴は真下近くに落ちてゆくように見える状況と共通する。
なお、本実施の形態において、プレーヤーの動く速さを反映させた効果線としてスピード線をVRゲーム動画中に表示させることにより、VRゲーム展開に現実感を増加させることができるが、このスピード線は必要でなければ表示せず、プログラムをシンプル化してもよい。
また、HMD1やコントローラ2R,2Lについては、本実施の形態ではWindows Mixed Reality準拠のデバイスを例示したが、現在入手できる他のHMDやコントローラを利用することもでき、PCやゲーム機、スマートフォンをVRゲーム実行機として必要としない、いわゆるスタンドアロン型また一体型のHMDを利用することもできる。さらに、手持ちのコントローラ2R,2Lについては、HMD装着者の手にはめるグローブ型のコントローラを採用することもでき、さらにはHMD装着者の手そのものの動きをセンシングする手段を採用することもできる。これらグローブ型コントローラや実際の手の動きをセンシングする手段を採用した場合、HMD装着者の手そのものの前後、左右、上下方向の動き、また動く速度を検出して、装着者の意図するジェスチャーとしてVRゲームエンジンに取り込み、上記実施の形態のようにVRゲーム内のプレーヤーから見たVRゲーム空間の変化に反映させることができる。
上記第1の実施の形態はVRゲーム装置、方法、プログラム及び記憶媒体に関連して説明したが、本実施の形態に適用している技術的思想は、広くVR技術に採用できるものである。すなわち、HMDと、HMDを装着している装着者の頭部の位置、向き及び傾きを検出する頭部姿勢検出器と、HMD装着者の少なくとも片手の位置、移動速度・加速度を検出する手の位置・速度・加速度検出器と、HMD装着者の移動方向と移動速度を演算するHMD移動方向・速度演算器と、HMD装着者の移動方向と移動速度の演算結果を入力し、VR空間内におけるプレーヤーの移動方向と移動速度を演算するプレーヤー移動方向・速度演算器と、プレーヤーの移動方向と移動速度との演算結果に基づき、VR空間内における当該プレーヤーの視野内の景色を変化させるVR景色変化器とを備えたVR装置、そしてこのVR装置によるVR方法、このVR装置が実行するVRプログラム及びその記憶媒体に適用できる。
[第2の実施の形態]
次に、本発明の第2の実施の形態のVRゲーム装置、方法及びプログラムについて説明する。第2の実施の形態は、HMD1の装着者が頭を低くして手に近づけるジェスチャーをすればVRゲーム動画中のプレーヤーの移動速度を速くなり、逆に頭を手から離すジェスチャーをすれば遅くなる動画展開をさせることを特徴とする。つまり、HMD1と任意の基準点(例えばコントローラ2R.2Lの位置や乗り物オブジェクトなど)との距離を検出し、両者間の距離が近づけばVRゲーム中のプレーヤーの移動速度を速くし、逆にHMD1と任意の基準点(例えばコントローラ2R.2Lや乗り物オブジェクトなど)との距離が遠くなればVRゲーム中のプレーヤーの移動速度を遅くする点に特徴がある。この実施の形態は、VRゲームとして馬、オートバイ、自転車等のレーシングゲーム、スキー、スノーボード、サーフィン等の乗り物ゲーム等のVRのVR酔い防止に有効である。
第2の実施の形態のシステム構成は図1に示した第1の実施の形態と同様であり、HMD1と、コントローラ2R、2Lと、VRゲームを実行したりVR映像を再生したりするVRゲーム実行装置3とで構成される。
図6に本実施の形態のVRゲーム装置の機能構成を示している。これは主にVRゲーム実行装置3の内部での処理機能を示したものである。HMD1の6DOFトラッキングシステム101、また9軸センサー102からのセンサ信号を入力するHMDセンサ信号受信部11、HMD装着者の頭部の座標と顔の向いている方位角とを計算するHMD座標・方位角計算部121を備えている。
また、コントローラ2R,2Lからの操作信号と6軸センサ2R1,2L1のセンサ信号を受信するコントローラ信号受信部13、コントローラ2R,2LそれぞれのトラッキングLEDマーカー情報、6軸センサ2R1,2L1のセンサ信号を用いてコントローラの位置を演算するコントローラ位置演算部14、これらHMD位置・方位角計算部121とコントローラ位置演算部14の計算結果を入力し、VRゲーム内のプレーヤーの現在位置、移動方向、移動速度、移動距離を計算するプレーヤー位置・移動方向・移動距離・速度計算部191、そしてプレーヤー位置・移動方向・移動距離・速度計算部191の計算した移動速度を入力し、移動速度に対応した長さや速さ、出現密度を変えたスピード線を作成するスピード線作成部110を備えており、このプレーヤー位置・移動方向・速度・距離計算部191の計算結果とスピード線作成部110の作成したスピード線とを、VRゲームを実行しているゲームエンジン20に出力する。
図7にプレーヤー位置・移動方向・移動距離・速度計算部191とスピード線作成部110との処理手順を示す。この処理手順はそれを実現するVRゲーム方法及びプログラムの説明でもある。HMD1の6DOFトラッキングシステム101はコントローラ2R,2Lの位置をトラッキングしてコントローラの位置座標を決定する等により、任意の基準座標を決定する(ステップST101)。またHMD1の位置座標、方位角を入力し(ステップST103)、HMD1とステップST101で決定した基準座標との距離を計算する(ステップST105)。そしてこのHMD1と基準座標との距離の計算結果に基づき、ゲーム主体であるプレーヤーの乗っている馬、オートバイ、スキー等のスピードを計算し(ステップST107)、さらにプレーヤーの現在位置、移動方向も求める(ステップST109)。続いて、これらの演算結果を用いてプレーヤーの移動速度を表現する効果線としてのスピード線を作成し(ステップST111)、これらの演算結果を用いてVRゲームを展開させる(ステップST113)。
こうして第2の実施の形態のVRゲーム装置、方法及びプログラムによれば、ゲームエンジン20によるVRゲームの展開時に、HMD1と例えばコントローラ2R,2Lの位置のような基準座標との距離の遠近に応じてプレーヤーの移動速度を決定し、両者の距離が近くなればプレーヤーひいてはそれに乗っている馬、オートバイ、スキー等のスピードを速くし、距離が遠くなればスピードを遅くするようにVRゲームを展開させることができる。同時に、この実施の形態でもその移動スピードをより実感させるための効果線としてスピード線を表示させ、このスピード線が画面の中央にいるプレーヤーに向かって来るように移動させる。実際のVRゲーム展開の様子は図5に示した第1の実施の形態の画面30とほぼ共通である。
これにより、HMD装着者が前屈みになるジェスチャー、すなわちスピードをどんどん上げるジェスチャーをすればVRゲーム内のプレーヤーの周囲の景色や路面のプレーヤーに近づいてくるスピードが速くなり、逆にHMD装着者が体を起こすジェスチャーをすればVRゲーム内のプレーヤーの周囲の景色や路面のプレーヤーに近づいてくるスピードが遅くなり、HMD装着者の意図した動作とVRゲームの展開スピードとを一致させることができてVR酔いを防止でき、かつ臨場感のあるVRゲーム展開を楽しませることができる。またVRゲーム内の景色や路面のプレーヤーに向かってくるスピードに応じたスピード線も表示することにより、一層現実感のあるゲーム展開をHMD装着者に楽しませることができる。
なお、本実施の形態においても、プレーヤーの動く速さを反映させた効果線としてスピード線をVRゲーム動画中に表示させることにより、VRゲーム展開に現実感を増加させることができるが、このスピード線は必要でなければ表示せず、プログラムをシンプル化してもよい。
また、第1の実施の形態でも述べたように、HMD1やコントローラ2R,2Lについては、本実施の形態でもWindows Mixed Reality準拠のデバイスを例示したが、現在入手できる他のHMDやコントローラ、スタンドアロン型また一体型のHMDを利用することもできる。さらに、手持ちのコントローラ2R,2Lについては、HMD装着者の手にはめるグローブ型のコントローラを採用することもでき、さらにはHMD装着者の手そのものの動きをセンシングする手段を採用することもできる。これらグローブ型コントローラや実際の手の動きをセンシングする手段を採用した場合、HMD装着者の手そのものの動きを検出して、装着者の意図するジェスチャーとしてVRゲームエンジンに取り込み、上記実施の形態のようにVRゲーム内のプレーヤーから見たVRゲーム空間の変化に反映させることができる。
上記第2の実施の形態はVRゲーム装置、方法、プログラム及び記憶媒体に関連して説明したが、本実施の形態に適用している技術的思想は、広くVR技術に採用できるものである。すなわちHMDと、HMDを装着している装着者の頭部の位置、向き及び傾きを検出する頭部姿勢検出器と、HMD装着者の少なくとも片手の位置を検出する手の位置検出器と、HMD装着者の任意の点を決定する任意点決定器と、HMD装着者の前記手の位置と前記任意の点との間の距離を演算する実空間2点間距離演算器と、手の位置と前記任意の点との距離の演算結果に基づいて、VR空間内におけるプレーヤーの位置と移動速度とを演算するプレーヤー位置・移動速度演算器と、プレーヤーの位置と移動速度との演算結果に基づき、前記VR空間内における当該プレーヤーの視野内の景色を変化させるVR景色変化器とを備えたVR装置、そしてこのVR装置によるVR方法、このVR装置が実行するVRプログラム及びその記憶媒体に適用できる。さらにプレーヤーの動く速さを反映させた効果線としてスピード線をVR動画中に表示させることにより、VR動画の展開に現実感を増加させることができる。
[第3の実施の形態]
次に、第3の実施の形態のVRゲーム装置、方法及びプログラムについて以下に説明する。第3の実施の形態では、HMD装着者がコントローラを操作してVRゲーム内のプレーヤーにVRゲーム内の複数のターゲットのいずれかを狙ってレーザー光や銃を撃たせてターゲットを特定し、あるいは釣り竿で釣り針を遠くに投げて魚釣りをする釣りゲームなど、HMD装着者が手に持っているコントローラを引き戻すジェスチャーをすることで、コントローラを引き戻す距離に応じた速さでVRゲーム内のターゲットを引き寄せるようなVRゲームコンテンツに適用できる。
本実施の形態のVRゲーム装置も第1、第2の実施の形態と同様に、図1に示すハードウェア構成であり、HMD1と、コントローラ2R、2Lと、VRゲームを実行したりVR映像を再生したりするVRゲーム実行装置3とで構成される。
図8に本実施の形態のVRゲーム装置の機能構成を示している。これは主にVRゲーム実行装置3の内部での処理機能を示したものである。HMD1の6DOFトラッキングシステム101、また9軸センサ102からのセンサ信号を入力するHMDセンサ信号受信部11、HMD装着者の頭部の座標、装着者の顔の向いている方位角、上下角を計算するHMD位置・方位角・上下角計算部12を備えている。
また、コントローラ2R,2Lからの操作信号と6軸センサ信号を受信するコントローラ信号受信部13、コントローラ2R,2LそれぞれのトラッキングLEDマーカー情報、6軸センサ信号を用いてコントローラの位置を演算するコントローラ位置演算部14、コントローラ加速度を演算するコントローラ加速度演算部15、コントローラ加速度をあらかじめ与えてある閾値と比較する加速度・閾値比較部16、コントローラ2R,2Lの6軸センサ信号からHMD装着者の腕の引き戻し持続時間を計算する引き戻し持続時間計算部171、HMD装着者の腕の引き戻し距離を計算する引き戻し距離計算部181を備えている。
さらに、これらHMD位置・方位角・上下角計算部12、引き戻し持続時間計算部171、引き戻し速度計算部181の計算結果を入力し、VRゲーム内のプレーヤーの現在位置を計算するプレーヤー位置計算部192、そしてプレーヤー位置、引き戻し速度を入力し、引き戻し速度に対応した長さと太さの引き寄せ効果線を作成する引き寄せ効果線作成部1101を備えており、このプレーヤー位置計算部192の計算結果と引き寄せ効果線作成部1101の作成した引き寄せ効果線とはVRゲームを実行しているゲームエンジン20に出力される。
このゲームエンジン20はVRゲームを進行・展開させるコンピュータであり、プレーヤーの位置計算部192の計算結果を入力してVRゲームを進行させ、VRゲームの3D動画をHMD1に出力して表示させる。さらに説明すれば、図9のブロック図に示すように、ゲームエンジン20はプレーヤー位置・向き設定部211、VR映像生成部22、引き寄せ効果線描画部231、画像重畳部24そして立体映像を作成する描画エンジン25を備え、描画エンジン25の映像信号をHMD1に出力して3D表示させる構成である。
次に、図10のフローチャートを用いて、第3の実施の形態のVRゲーム装置の処理手順を説明する。この処理手順はそれを実現するVRゲーム方法及びプログラムの説明でもある。このフローチャートの処理はシステムの処理速度に応じ、所定の周期で繰り返し実行される。HMD1の6DOFトラッキングシステム101はコントローラ2R,2Lの位置をトラッキングしコントローラ2R,2Lの基準座標を決定する(ステップST121,ST123)。
HMD装着者がコントローラ2R,2Lのコントロールボタンを操作してVRゲーム中のターゲットにレーザー光線を照射したり銃を撃ったり、釣り竿で釣り針を投げたりしてターゲットが特定されると、コントローラ2R,2Lを握っている手(ここでは右手とする)を引き戻すジェスチャーをすることで基準座標から引き戻し動作後のコントローラの位置までの距離の差をを計算し、その距離の差分をあらかじめ登録している閾値と比較する(ステップST125,ST127)。この比較においてNOであるならば何もしないでリターンする。
計算した距離の差分が閾値よりも大きくてYESである場合には引き戻し距離の差分量、また引き戻し持続時間を計時して保持する(ステップST129)。
続いてHMD位置、向き情報からVRゲーム空間上のプレーヤーの位置、向きを計算する(ステップST131)。そしてHMD装着者のコントローラ引き戻し距離の差分量に応じたターゲット引き寄せ効果線を作成し(ステップST133)、VRゲーム空間上の特定したターゲットをその引き寄せ距離だけプレーヤー側に引き寄せ、同時に引き寄せ効果線を重畳し、これをHMD1に3D表示させる(ステップST135)。
図11には第3の実施の形態によるVRゲームの一画面301を示している。HMD装着者の人物像310は説明のために重畳したものであり、この場合、HMD装着者がコントローラ2R,2Lを持ち、コントロールボタンの操作でVRゲーム空間上のターゲットを定めてシューティングし、例えば右手のコントローラ2Rのコントロールボタンでターゲットを掴み、さらにコントローラ2Rを自身の方に引き戻すジェスチャーをすれば、VRゲーム空間311内のターケッド312をプレーヤーの方に引き寄せることができる。同時にその際の引き寄せ方向を引き寄せ効果線313によって実感させることができる。なお、右手左手の使い方は特に限定されるものではない。
こうして第3の実施の形態のVRゲーム装置、方法、プログラム及び記憶媒体によれば、ゲームエンジン20によるVRゲームの展開時に、HMD1の方位や上下方向の角度と、HMD装着者の手の動きから当該装着者の意図する引き寄せ方向を読み取り、それをVRゲーム内のプレーヤーから見たVRゲーム動画の展開に反映させる。すなわち、装着者があるターゲットに対して手を引き戻すジェスチャーをするとプレーヤー視点から見たVRゲーム動画中のターゲットをプレーヤーの手元に引き寄せているように見せることができ、これによって、HMD装着者の意図した動きにマッチしてVRゲームを展開させることができ、VR酔いを防止することができる。
なお、本実施の形態においても、プレーヤーの動きを反映させた引き寄せ効果線をVRゲーム動画中に表示させることにより、VRゲーム展開に現実感を増加させることができるが、この引き寄せ効果線は必要でなければ表示せず、プログラムをシンプル化してもよい。
また、HMD1やコントローラ2R,2Lについては、本実施の形態でもWindows Mixed Reality準拠のデバイスを例示したが、現在入手できる他のHMDやコントローラを利用することもでき、またスタンドアロン型または一体型のHMDを利用することもできる。さらに、手持ちのコントローラ2R,2Lについては、HMD装着者の手にはめるグローブ型のコントローラを採用することもでき、さらにはHMD装着者の手そのものの動きをセンシングする手段を採用することもできる。これらグローブ型コントローラや実際の手の動きをセンシングする手段を採用した場合、HMD装着者の手そのものの動きを検出して、装着者の意図するジェスチャーとしてVRゲームエンジンに取り込み、上記実施の形態のようにVRゲーム内のプレーヤーから見たVRゲーム空間の変化に反映させることができる。
上記第3の実施の形態はVRゲーム装置、方法、プログラム及び記憶媒体に関連して説明したが、本実施の形態に適用している技術的思想は、広くVR技術に採用できるものである。すなわちHMDと、HMDを装着している装着者の頭部の位置、向き及び傾きを検出する頭部姿勢検出器と、HMD装着者のシューティング操作を検出するシューティング操作検出器と、シューティング操作を検出して、VR空間内でのシューティングターゲットを決定するターゲット検出器と、HMD装着者の手の引き戻し動作と引き戻し距離を検出する引き戻し操作検出器と、HMD装着者の引き戻し動作と引き戻し距離の検出結果に基づき、VR空間内で前記シューティングターゲットをプレーヤー側に引き寄せた距離を演算する引き寄せ距離演算器と、VR空間内で、引き寄せた距離に応じてシューティングターゲットがプレーヤー側に近づくように当該プレーヤーの視野内の景色を変化させるVR景色変化器とを備えたVR装置、そしてこのVR装置によるVR方法、このVR装置が実行するVRプログラム及びその記憶媒体に適用できる。さらにプレーヤーの動く速さを反映させた効果線としてスピード線をVR動画中に表示させることにより、VR動画の展開に現実感を増加させることができる。
[第4の実施の形態]
本発明の第4の実施の形態のVRゲーム装置、方法、プログラム及び記憶媒体について以下に説明する。この第4の実施の形態は、HMD装着者が手に持つコントローラのボタンなどの任意のトリガーを入力し、その入力の持続時間によってプレーヤーが空中を飛ぶ移動速度、コントローラ2R,2Lの向きによってVRゲーム内のプレーヤーが空中を飛ぶ移動方向に反映させ、HMD装着者のジェスチャーとVRゲーム内でのプレーヤーの視線から見えるVRゲーム空間の変化に連動させ、HMD装着者自身の意図した動きにマッチしてVRゲーム動画を展開させることにより、VR酔いを防止するVRゲーム装置、方法、プログラム及び記憶媒体を特徴とする。
第4の実施の形態のVRゲーム装置のハードウェア構成は図1に示した第1の実施の形態のものと共通であり、HMD1と、コントローラ2R、2Lと、VRゲームを実行したりVR映像を再生したりするVRゲーム実行装置3とで構成される。
図12に本実施の形態のVRゲーム装置の機能構成を示している。これは主にVRゲーム実行装置3の内部での処理機能を示したものである。HMD1の6DOFトラッキングシステム101、また9軸センサ102からのセンサ信号を入力するHMDセンサ信号受信部11、HMD装着者の頭部の座標、装着者の顔の向いている方位角、上下角を計算するHMD位置・方位角・上下角計算部12を備えている。
また、コントローラ2R,2Lからの操作信号と6軸センサ2R1,2L1のセンサ信号を受信するコントローラ信号受信部13、コントローラ2R,2LそれぞれのトラッキングLEDマーカー情報、6軸センサ信号を用いてコントローラの垂直座標位置を演算するコントローラ位置演算部141、コントローラの垂直加速度を演算するコントローラ垂直加速度演算部151、コントローラの垂直加速度をあらかじめ与えてある閾値と比較する加速度・閾値比較部161、コントローラ2R,2Lの6軸センサ2R1,2L1からのセンサ信号に対してHMD装着者の入力持続時間を計算する腕振り持続時間計算部172を備えている。
さらに、これらHMD位置・方位角・上下角計算部12、入力持続時間計算部172の計算結果を入力し、VRゲーム内のプレーヤーの現在位置、移動方向、移動速度、移動距離を計算するプレーヤー位置・移動方向・移動距離・速度計算部192、そしてプレーヤー位置・移動方向・移動距離・速度計算部192の計算した移動速度を入力し、その移動速度に対応した長さや速さ、出現密度を変えたスピード線を作成するスピード線作成部1102を備えており、このプレーヤー位置・移動方向・移動距離・速度計算部193の計算結果とスピード線作成部1102の作成したスピード線とはVRゲームを実行しているゲームエンジン20に出力される。
このゲームエンジン20はVRゲームを進行・展開させるコンピュータであり、プレーヤーの位置・移動方向・移動距離・速度計算部193の計算結果を入力してVRゲームを進行させ、VRゲームの3D動画をHMD1に出力して表示させる。
さらに説明すれば、図13のブロック図に示すように、ゲームエンジン20はプレーヤー位置・向き設定部211、VR映像生成部22、スピード線描画部231、画像重畳部24、そして立体映像を作成する描画エンジン25を備え、描画エンジン25の映像信号をHMD1に出力して3D表示させる構成である。
次に、図14のフローチャートを用いて、第4の実施の形態のVRゲーム装置の処理手順を説明する。この処理手順はそれを実現するVRゲーム方法及びプログラムの説明でもある。またこのフローチャートの処理はシステムの処理速度に応じ、所定の周期で繰り返し実行される。
コントローラ2R,2Lの6軸センサ2R1,2L1からセンサ信号を取り込み、コントローラ2R,2Lの向きを決定する(ステップST141,ST143)。
HMD装着者がコントローラ2R,2Lに対して任意の操作、例えばボタン操作をすれば、これをトリガー入力とし、入力時間を計測する(ステップST145)。そしてその入力時間をあらかじめ登録している閾値と比較する(ステップST147)。この比較においてNOであるならば何もしないでリターンする。
入力の継続時間が閾値よりも大きくてYESである場合には入力の持続時間を計時して保持する(ステップST149)。続いてHMD1の位置座標と正面の向きを求め(ステップST151)、またプレーヤーの移動速度を計算し(ステップST153)、VRゲーム動画内でのプレーヤーの移動方向と移動距離を計算する(ステップST155)。そして入力の持続時間に応じたスピード線を作成し(ステップST157)、これら移動方向、移動距離、移動速度に基づいてVRゲーム動画を展開させ、同時に動画中にスピード感を示すスピード線を重畳し、これをHMD1に3D表示する(ステップST159)。
図15はVRゲームの表示例である。本実施の形態により作成されたVRゲームでは、説明上、画面302上に重畳表示させている人物像(HMD装着者像)320が左右の手に持つコントローラを下向きに繰り返し動かすことにより、VRゲーム画面302内でプレーヤーから見た周囲の景色321が画面中央のプレーヤーに向かって落ちてくるように動き、同時にスピード線322も移動速度に応じた速さで画面302の中央奥側から手前外側に通り過ぎてゆくように表示される。これによりHMD装着者302には、自分のコントローラを持つ手を下側に押し下げる動作を繰り返すことによってVRゲーム中ではプレーヤーがVRゲーム空間を上昇してゆくように景色321を動かせて見せることができ、またコントローラを押し下げる動作を速めることでプレーヤーの上昇速度も速くなるように見せることができる。
こうして本実施の形態のVRゲーム装置によれば、ゲームエンジン20によるVRゲームの展開時に、HMD1の方位や上下方向の角度と、HMD装着者の手の動きから当該装着者の意図する移動方向、移動距離、移動速度を読み取り、それらをVRゲーム内のプレーヤーから見たVRゲーム動画の展開に反映させることができ、HMD1の装着者自身の意図した動きにマッチしてVRゲーム動画を展開させることができ、VR酔いを防止することができる。
なお、本実施の形態においても、プレーヤーの動きを反映させたスピード線をVRゲーム動画中に表示させることにより、VRゲーム展開に現実感を増加させることができるが、このスピード線は必要でなければ表示せず、プログラムをシンプル化してもよい。
また、HMD1やコントローラ2R,2Lについては、本実施の形態でもWindows Mixed Reality準拠のデバイスを例示したが、現在入手できる他のHMDやコントローラを利用することもでき、またスタンドアロン型または一体型のHMDを利用することもできる。さらに、手持ちのコントローラ2R,2Lについては、HMD装着者の手にはめるグローブ型のコントローラを採用することもでき、さらにはHMD装着者の手そのものの動きをセンシングする手段を採用することもできる。これらグローブ型コントローラや実際の手の動きをセンシングする手段を採用した場合、HMD装着者の手そのものの動きを検出して、装着者の意図するジェスチャーとしてVRゲームエンジンに取り込み、上記実施の形態のようにVRゲーム内のプレーヤーから見たVRゲーム空間の変化に反映させることができる。
さらに本発明において、HMD1の6軸DOFセンサ101、コントローラ2R,2Lの6軸DOFセンサ2R1,2L1については必ずしもそれらにハードウェアセンサとして実装されているものに限らず、HMD1からの映像信号やコントローラと無線通信してコントローラ2R,2Lの位置、傾き、向き等を検出する外部設置のセンサ、さらにはコントローラ2R,2Lの位置、動き、向き、傾き等を撮影して映像信号をVRゲーム実行装置3に入力し、このVRゲーム実行装置3側の映像処理によってコントローラ2R,2Lの位置、速度、向き、加速度等を算出するソフトウェア検出手段等にて代替することができる。つまり、HMD1の位置、傾き、向き、上下角等のセンシング手段、コントローラ2R,2Lの同情報のセンシング手段はハードウェアセンサに限定されるものではない。さらに加えて、本発明においては、上記各実施の形態のVRゲームプログラムを記憶した記憶媒体も技術的範囲とする。
上記第4の実施の形態はVRゲーム装置、方法、プログラム及び記憶媒体に関連して説明したが、本実施の形態に適用している技術的思想は、広くVR技術に採用できるものである。すなわちHMDと、HMDを装着している装着者の頭部の位置と向きを検出する頭部姿勢検出器と、HMD装着者の少なくとも片手のボタンやジェスチャー等の入力を検出する入力検出器と、HMD装着者の向きと片手のボタンやジェスチャー等の入力時間を検出し、VR空間内においてプレーヤーの上昇方向と上昇速度を演算する上昇動作演算部と、VR空間内で、プレーヤーの上昇方向と上昇速度に応じて当該プレーヤーの視野内の景色を変化させるVR景色変化器とを備えたVR装置、またこのVR装置によるVR方法、このVR装置が実行するVRプログラム及びその記憶媒体に適用できる。さらにプレーヤーの動く速さを反映させた効果線としてスピード線をVR動画中に表示させることにより、VR動画の展開に現実感を増加させることができる。
[第5の実施の形態]
次の本発明の第5の実施の形態のゲーム装置、方法及びプログラムについて説明する。本実施の形態の特徴は、FPS(一人称型シューティング)ゲームやその他のゲームにおいて、プレーヤーの移動速度とベクトルを測定して、自動的に速度とベクトルに合わせたスピード線をゲーム画面中に重畳して表示することによりユーザーに臨場感を味合わせると共にゲームとの一体感をも与え、しかもいわゆるゲーム酔いを防止しつつ、没入感を高めることができるゲーム装置、方法及びプログラムにある。
ゲームプレイ中のゲーム酔いの原因として、自分の体の実際の動きと目で見た映像の動きとのズレがあげられている。通常は体感や平衡感覚から得られる情報と、視覚からの情報は一致するが、ゲームプレイ中は体は動いていないのに目や耳から入ってくる情報では動いていると脳が錯覚してしまい、脳が混乱することによって気分が悪くなってしまうと言われている。このゲーム酔いはゲーム内でのキャラクターの動きの大きさによって差がでて、特に動きの激しいゲームではゲーム酔いしやすくなる。本実施の形態はそのようなゲーム酔いを防止できるゲーム装置、方法及びプログラムを特徴とする。
本実施の形態のシステム構成は図16に示している。上記の第1~第4の実施の形態で説明したようなHMD1を利用するVRゲームであってもゲーム機やPCとコントローラを利用するFPSゲームであっても適用できるが、本実施の形態では図16に示すようにPC50とコントローラ51としてのキーボード、マウスを利用するFSPゲームを実行するゲーム装置について説明する。
本実施の形態のゲーム装置の機能構成は図17に示しており、種々のコンピュータゲームを実行するゲームエンジン60に対して、そのゲームエンジン60から現在実行中のゲームにおけるプレーヤーの位置座標を入力するプレーヤーの座標入力部61、入力したプレーヤーの座標の単位時間の変位を求めて移動速度を計算し、また移動方向のベクトルも計算するプレーヤーの移動速度・ベクトル計算部62、このプレーヤーの移動速度・ベクトル計算部62の求めたプレーヤーの移動速度とベクトルの大きさに応じてプレーヤーの移動速度、移動ベクトルを表現する効果線としてスピード線を作成するスピード線作成部63、そしてゲームエンジンの出力するゲーム動画の画面中にこのスピード線作成部63の作成したスピード線を重畳させるスピード線重畳部64を備えている。ディスプレイ65はゲームエンジンの出力するゲーム動画にスピード線重畳部64からのスピード線を重畳して表示する。
次に、上記の第5の実施の形態のゲーム装置による処理手順を図18のフローチャートを用いて説明する。この処理手順はそれを実現するゲーム方法及びプログラムの説明でもある。またこのフローチャートの処理はシステムの処理速度に応じ、所定の周期で繰り返し実行される。まずプレーヤーの現在位置の座標を決定し(ステップST201)、前回処理からの座標変位を求めてプレーヤーの移動速度と移動方向のベクトルを計算する(ステップST203)。
続いて、求めたプレーヤーの移動速度があらかじめ設定した閾値よりも大きいかどうかを判断し、NOであればプレーヤーはほぼ停止しているものとみなしてスピード線を作成せずに次の処理を待つ(ステップST205でNOに分岐)。他方、ステップST205でYESであれば、スピード線を作成する処理に移行し、ステップS203で求めたプレーヤーの移動速度とベクトルを記憶装置に保持し、そのプレーヤーの移動速度とベクトルの大きさに応じたスピード線を作成し(ステップST209)、これをディスプレイのゲーム動画上に表示させる(ステップST211)。
スピード線は、例示すれば、第1の実施の形態における図5に示したスピード線33、また第3の実施の形態における図15に示したスピード線322が採用できるが、ゲーム動画に応じて別の形態にすることもできる。
なお、上記第5の実施の形態ではゲーム装置、方法及びプログラムについて説明したが、本発明は広くVR動画、あるいは通常の動画をインタラクティブに展開させ、動画内のプレーヤーから見た視界内の景色を変化させる動画操作技術に広く適用することができる。
1 HMD
2R,2L コントローラ
2R1,2L1 6軸センサ
3 VRゲーム実行装置
101 6DOFトラッキングシステム
102 9軸センサ
11 HMDセンサ信号受信部
12 HMDの位置・方位角・上下角計算部
121 LEDの位置・方位角計算部
13 コントローラ信号受信部
14 コントローラ位置演算部
141 コントローラ位置演算部
15 コントローラ加速度演算部
151 コントローラ垂直加速度演算部
16 加速度・閾値比較部
161加速度・閾値比較部
17 腕振り持続時間計算部
171 引き戻し持続時間計算部
172 入力持続時間計算部
18 腕振り速度計算部
181 引き戻し距離計算部
19 プレーヤー位置・移動方向・移動距離・速度計算部
191 プレーヤー位置・移動方向・移動距離・速度計算部
192 プレーヤー位置計算部
193 プレーヤー位置・移動方向・移動距離・速度計算部
110 スピード線作成部
1101 引き寄せ効果線作成部
1102 スピード線作成部
20 ゲームエンジン
211 プレーヤー位置・向き設定部
21 プレーヤー位置・姿勢・向き設定部
22 VR映像生成部
23 スピード線描画部
231 引き寄せ効果線描画部
24 画像重畳部
25 描画エンジン
30 VRゲーム画面
50 ゲーム装置
51 コントローラとしてのキーボード及びマウス
60 ゲームエンジン
61 プレーヤーの座標入力部
62 プレーヤーの移動速度・ベクトル計算部
63 スピード線作成部
64 スピード線重畳部
65 ディスプレイ
301 VRゲーム画面
302 VRゲーム画面
31 HMD装着者
32 VRゲーム空間内の景色
33 スピード線
310 HMD装着者
311 VRゲーム空間内の景色
312 ターゲット
313 引き寄せ効果線
320 HMD装着者の人物像
321 VRゲーム空間内の景色
322 スピード線

Claims (4)

  1. HMDと、
    前記HMDを装着しているHMD装着者の頭部の位置、向き及び傾きを検出する頭部姿勢検出器と、
    前記HMD装着者の任意の基準点を決定する基準点決定器と、
    前記HMD装着者の前記頭部の位置と前記基準点との間の距離とその変化を演算する実空間2点間距離演算器と、
    前記HMD装着者の頭部の向き及び傾きの検出値に基づいて当該HMD装着者の上下左右の進行方向を決定するHMD装着者進行方向演算器と、
    前記頭部の位置と前記基準点との間の距離変化の演算結果に基づいて、VR空間内におけるプレーヤーの位置と移動速度とを演算するプレーヤー位置・移動速度演算器と、
    前記HMD装着者進行方向演算部の決定した前記HMD装着者の上下左右の進行方向の演算結果に基づいて前記VR空間内におけるプレーヤーの上下左右の進行方向を演算するプレーヤー進行方向演算器と、
    前記プレーヤーの位置と移動速度と上下左右の進行方向との演算結果に対応して前記VR空間内における当該プレーヤーの視野内の景色を変化させるVR景色変化器とを備え、
    前記HMD装着者の頭部の位置と基準点との間の距離が近くなれば前記VR空間内のVR景色の変化を速くし、前記頭部の位置と基準点との間の距離が遠くなれば前記VR空間内のVR景色の変化を遅くし、スピード感を表現するスピード線であって、前記VR空間内のプレーヤーの移動速度に対応した長さや速さ、出現密度を変えたスピード線を前記VR空間内に重畳して表示し、前記スピード線を、前記VR空間内でのプレーヤーの移動速度を反映させた速度で、前記VR空間内のプレーヤーに向かって来るように移動させることを特徴とするVR装置。
  2. HMDを装着している装着者の頭部の位置、向き及び傾きを検出するステップと、
    前記HMD装着者の任意の基準点を決定するステップと、
    前記HMD装着者の前記頭部の位置と前記基準点との間の距離とその変化を演算するステップと、
    前記HMD装着者の頭部の向き及び傾きの検出値に基づいて当該HMD装着者の上下左右の進行方向を演算するステップと、
    前記HMD装着者の頭部の位置と前記基準点との間の距離変化の演算結果に基づいて、VR空間内におけるプレーヤーの位置と移動速度とを演算するステップと、
    前記HMD装着者の上下左右の進行方向の演算結果に基づいて前記VR空間内におけるプレーヤーの上下左右の進行方向を演算するステップと、
    前記プレーヤーの位置と移動速度と上下左右の進行方向との演算結果に対応して前記VR空間内における当該プレーヤーの視野内の景色を変化させるステップとを有し、
    前記HMD装着者の頭部の位置と基準点との間の距離が近くなれば前記VR空間内のVR景色の変化を速くし、前記頭部の位置と基準点との間の距離が遠くなれば前記VR空間内のVR景色の変化を遅くし、スピード感を表現するスピード線であって、前記VR空間内のプレーヤーの移動速度に対応した長さや速さ、出現密度を変えたスピード線を前記VR空間内に重畳して表示し、前記スピード線を、前記VR空間内でのプレーヤーの移動速度を反映させた速度で、前記VR空間内のプレーヤーに向かって来るように移動させることを特徴とするVR方法。
  3. MHDを装着している装着者の頭部の位置、向き及び傾きを検出する処理ステップと、
    前記HMD装着者の任意の基準点を決定する処理ステップと、
    前記HMD装着者の前記頭部の位置と前記基準点との間の距離とその変化を演算する処理ステップと、
    前記HMD装着者の頭部の向き及び傾きの検出値に基づいて当該HMD装着者の上下左右の進行方向を演算する処理ステップと、
    前記HMD装着者の頭部の位置と前記基準点との間の距離変化の演算結果に基づいて、VR空間内におけるプレーヤーの位置と移動速度とを演算する処理ステップと、
    前記HMD装着者の上下左右の進行方向の演算結果に基づいて前記VR空間内におけるプレーヤーの上下左右の進行方向を演算する処理ステップと、
    前記プレーヤーの位置と移動速度と上下左右の進行方向との演算結果に対応して前記VR空間内における当該プレーヤーの視野内の景色を変化させる処理ステップとを有し、
    前記HMD装着者の頭部の位置と基準点との間の距離が近くなれば前記VR空間内のVR景色の変化を速くし、前記頭部の位置と基準点との間の距離が遠くなれば前記VR空間内のVR景色の変化を遅くし、スピード感を表現するスピード線であって、前記VR空間内のプレーヤーの移動速度に対応した長さや速さ、出現密度を変えたスピード線を前記VR空間内に重畳して表示し、前記スピード線を、前記VR空間内でのプレーヤーの移動速度を反映させた速度で、前記VR空間内のプレーヤーに向かって来るように移動させることを特徴とするVRプログラム。
  4. 請求項3に記載のVRプログラムを記憶した記憶媒体。
JP2020531282A 2018-07-17 2019-07-11 Vr装置、方法、プログラム及び記憶媒体 Active JP7441442B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018134577 2018-07-17
JP2018134577 2018-07-17
PCT/JP2019/027611 WO2020017440A1 (ja) 2018-07-17 2019-07-11 Vr装置、方法、プログラム及び記憶媒体

Publications (3)

Publication Number Publication Date
JPWO2020017440A1 JPWO2020017440A1 (ja) 2021-09-16
JPWO2020017440A5 JPWO2020017440A5 (ja) 2022-07-13
JP7441442B2 true JP7441442B2 (ja) 2024-03-01

Family

ID=69163633

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020531282A Active JP7441442B2 (ja) 2018-07-17 2019-07-11 Vr装置、方法、プログラム及び記憶媒体

Country Status (2)

Country Link
JP (1) JP7441442B2 (ja)
WO (1) WO2020017440A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114327039A (zh) * 2021-11-24 2022-04-12 青岛歌尔声学科技有限公司 检测vr游戏用户动作的方法、系统及存储介质
CN116501175B (zh) * 2023-06-25 2023-09-22 江西格如灵科技股份有限公司 虚拟角色移动方法、装置、计算机设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008220580A (ja) 2007-03-12 2008-09-25 Univ Of Tsukuba 没入歩行感覚呈示装置
WO2018020735A1 (ja) 2016-07-28 2018-02-01 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008220580A (ja) 2007-03-12 2008-09-25 Univ Of Tsukuba 没入歩行感覚呈示装置
WO2018020735A1 (ja) 2016-07-28 2018-02-01 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
[体験レポ]本物のバイクにまたがって時速400kmで駆け抜けるVR体験など-先端コンテンツ展(前編),[Online]MoguLive,2015年07月11日,インターネット<URL:https://www.moguravr.com/contents-expo2015-1/>,[2020年10月15日検索]
最新VR体験スポットから見えた、VR3つの潮流 Part2,[online],2017年08月07日,インターネット<URL:https://www.entertainment-future-lab.net/2017/08/07/1423>,[2019年9月30日検索]

Also Published As

Publication number Publication date
WO2020017440A1 (ja) 2020-01-23
JPWO2020017440A1 (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
US10915166B2 (en) Simulation system, processing method, and information storage medium
JP6714791B2 (ja) シミュレーションシステム及びプログラム
EP3429714B1 (en) Spectator view tracking of virtual reality (vr) user in vr environments
US8419545B2 (en) Method and system for controlling movements of objects in a videogame
US9884248B2 (en) Display control method for head-mounted display (HMD) and image generation device
US10955909B2 (en) Simulation system, processing method, and information storage medium
EP2243525A2 (en) Method and system for creating a shared game space for a networked game
US10589176B2 (en) Method of providing a virtual space, medium for causing a computer to execute the method, and system for providing a virtual space
JP7058034B2 (ja) ゲーム処理プログラム、ゲーム処理方法、および、ゲーム処理装置
CN110769906B (zh) 模拟系统、图像处理方法以及信息存储介质
JP7441442B2 (ja) Vr装置、方法、プログラム及び記憶媒体
JP6248219B1 (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2017220224A (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム
JP6263292B1 (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP7121518B2 (ja) プログラム、情報処理装置、及び情報処理方法
KR20220024602A (ko) 게임 프로그램, 게임 방법, 및 정보 단말 장치
JP7194495B2 (ja) プログラム、コンピュータシステムおよびゲーム実行制御方法
JP7440401B2 (ja) ゲームプログラム、ゲーム方法、および情報端末装置
JP6946084B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP7037467B2 (ja) プログラム、情報処理装置、及び情報処理方法
JP2018147378A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6177965B1 (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム
JP2018147469A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20210420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220705

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240206

R150 Certificate of patent or registration of utility model

Ref document number: 7441442

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150