JP6629499B2 - プログラムおよび画像生成装置 - Google Patents
プログラムおよび画像生成装置 Download PDFInfo
- Publication number
- JP6629499B2 JP6629499B2 JP2014119125A JP2014119125A JP6629499B2 JP 6629499 B2 JP6629499 B2 JP 6629499B2 JP 2014119125 A JP2014119125 A JP 2014119125A JP 2014119125 A JP2014119125 A JP 2014119125A JP 6629499 B2 JP6629499 B2 JP 6629499B2
- Authority
- JP
- Japan
- Prior art keywords
- hmd
- virtual
- image
- game
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 51
- 238000004364 calculation method Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 27
- 238000012937 correction Methods 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 description 55
- 230000036544 posture Effects 0.000 description 51
- 238000000034 method Methods 0.000 description 41
- 210000003128 head Anatomy 0.000 description 32
- 230000033001 locomotion Effects 0.000 description 27
- 238000004891 communication Methods 0.000 description 23
- 230000008859 change Effects 0.000 description 20
- 238000001514 detection method Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 20
- 239000003550 marker Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 230000001133 acceleration Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000010355 oscillation Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 208000031872 Body Remains Diseases 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Description
前記撮像手段の撮影画像を用いて、前記HMDの表示画像空間となる仮想空間における、前記実空間中の前記操作指示物の位置に対応する仮想位置を算出する算出手段(例えば、図9の処理部200、ゲーム演算部202、手位置算出部214、図12のステップS4)、
前記仮想空間中の所与の位置に入力判定体(例えば、図6の被選択体24)を配置する入力判定体配置制御手段(例えば、図9のプレーヤ補助制御部220、被選択体制御部228、立体視画像生成制御部232、図14のステップS112)、
前記仮想位置と、前記入力判定体の配置位置とに基づき、前記入力判定体への入力を判定する入力判定手段(例えば、図9のプレーヤ補助制御部220、ジェスチャー入力判定部238、図14のステップS170〜S172)、
として機能させるためのプログラムである。
前記HMDに表示させる前記仮想空間の画像として、前記HMD位置姿勢判定手段により判定された前記HMDの位置及び/又は姿勢に応じて視界が変化する前記仮想空間の画像を生成する仮想空間画像生成手段(例えば、図9の立体視画像生成制御部232、図12のステップS15)、として前記コンピュータを更に機能させ、
前記入力判定体配置制御手段は、前記視界の変化に追従して当該視界内の所与の位置に前記入力判定体を配置させる第1の発明のプログラムである。
として前記コンピュータを機能させるための第2〜第6の何れかの発明のプログラムである。
前記仮想位置に基づいて前記キャラクタに対する操作入力を判定するキャラクタ対象操作入力判定手段(例えば、図9のジェスチャー入力判定部238、図12のステップS8)、
前記入力判定体が表示されているときには前記キャラクタ対象操作入力判定手段を無効とし、表示されていないときに前記キャラクタ対象操作入力判定手段を有効とする手段(例えば、図9の対キャラクタジェスチャー入力無効化制御部240、図13のステップS94、図14のステップS174)、として前記コンピュータを機能させるための第2〜第10の何れかの発明のプログラムである。
前記撮像手段の撮影画像を用いて、前記HMDの表示画像空間となる仮想空間における、前記実空間中の前記操作指示物の位置に対応する仮想位置を算出する算出手段(例えば、図1の制御基板1050、図9の処理部200、ゲーム演算部202、手位置算出部214、図12のステップS4)と、
前記仮想空間中の所与の位置に入力判定体を配置する入力判定体配置制御手段(例えば、図1の制御基板1050、図9のプレーヤ補助制御部220、被選択体制御部228、立体視画像生成制御部232、図14のステップS112)と、
前記仮想位置と、前記入力判定体の配置位置とに基づき、前記入力判定体への入力を判定する入力判定手段(例えば、図1の制御基板1050、図9のプレーヤ補助制御部220、ジェスチャー入力判定部238、図14のステップS170〜S172)と、
を備えた画像生成装置である。
本実施形態のゲームシステム1000は、ゲーム装置本体1002と、タッチパネル1004と、測距センサユニット1100と、ゲームコントローラ1200と、HMD1310を搭載したヘッドセット1300と、を含む。HMD1310は、非透過型(没入型とも称される)のHMDとして説明するが、半透過型や透過型のHMDであってもよい。
1)CPU(Central Processing Unit)1051やGPU(Graphics Processing Unit)、DSP(Digital Signal Processor)などの各種マイクロプロセッサ、
2)VRAMやRAM,ROM等の各種ICメモリ1052、
3)タッチパネル1004や測距センサユニット1100、ゲームコントローラ1200、ヘッドセット1300などの周辺機器と無線或いは有線により通信接続するための通信モジュール1053、
4)タッチパネル1004などのドライバ回路1054、などを搭載する。
なお、制御基板1050の一部又は全部をASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)で構成するとしてもよい。
なお、測距センサユニット1100で採用する測距技術はIR式に限らず適宜採用することができる。例えば、左右のカラーイメージセンサ1104を用いてステレオ撮影し、視差から距離を算出するとしてもよい。
6軸センサ1108は、測距センサユニット1100の前後(カラーイメージセンサ1104の光軸方向)・左右・上下の3軸方向の移動や各軸周りの回転を検出するモーショントレースのための公知のセンサであって、例えば、3軸方向の加速度と3軸周りの角速度とを検出する。或いは3軸方向の加速度と東西南北の地磁気方向を検出するとしてもよい。6軸センサ1108による検出結果から、測距空間の座標系の深度方向軸(Z軸)の向きが分かるようになる。
本実施形態のゲームコントローラ1200は、両手で把持して用いることを前提としてデザインされている。勿論、銃型コントローラのように片手での把持を前提としてデザインするとしてもよい。
ゲームコントローラ1200は、その外面に発光マーカ1202が設けられている。また、スピーカ1204と、バイブレータ1206と、6軸センサ1208と、コントローラ基板1250と、図示されないバッテリー等を内蔵する。
ヘッドセット1300は、プレーヤ2が頭部に装着する装備であって、画像と音声の情報をプレーヤ2に視聴可能に提供するとともに、ヘッドトラッキングを実現するための頭部の位置や姿勢を検出する機能を有する。例えば、ヘッドセット1300は、ヘッドホン1302と、HMD1310(頭部装着ディスプレイ:Head Mounted Display)と、ヘッドセット基板1350と、を有する。
例えば、ヘッドセット基板1350から画像信号を受信する通信ICと、受信した画像信号に基づく画像を装着者の両眼に肉眼の視野角相当で見せる画像表示デバイス及び光学素子と、6軸センサ1308と、6軸センサ1308で検出した頭部の加速度や姿勢の情報を算出処理するICチップ1309と、ゲーム装置本体1002と通信接続するための通信モジュール1352と、を含む。これらの一部は、ヘッドセット基板1350に含まれるとしてもよい。
測距空間の座標系は、測距センサユニット1100を座標原点とし、カラーイメージセンサ1104の光軸方向を深度軸(Z軸)とする。そして、スケールは実空間と同様に設定されている。測距空間は実空間でもあるが、測距センサユニット1100の設置姿勢に応じて座標系の各軸方向が定義される。測距センサユニット1100の設置姿勢は、6軸センサ1108の検知結果から判断される。勿論、6軸センサ1109の検知結果から実空間の水平方向及び鉛直方向を求めることができるため、測距空間の座標軸の方向も、水平方向及び鉛直方向に沿って設定することが可能である。
容易にゲームコントローラ1200を見つけて手に持てるようにする案内の1つが、HMD1310による案内表示の実施である。
案内表示パネル22は、操作入力の目的や操作入力を促すテキストや図を表示する、例えば板状オブジェクトある。
図6〜図8に示す画像は、ゲーム開始前の準備段階にあって、プレーヤ2が両手でヘッドセット1300を装着し、タッチパネル1004すなわち正面を向いた状態で見ることができる。
図6(1)の例では、プレーヤ2にゲーム開始の意志確認を要求している。ゲームコントローラ1200を手にとってゲームを始める意志があれば左の被選択体24を手で触れるつもりで左側奥方へ腕を伸ばせばよい。左腕を延ばすに従い左手オブジェクト14が移動表示され、図7(1)に示す立体視画像(ゲーム画像)W4のように、左の被選択体24に到達または所定距離まで近接すると、左手オブジェクト14の表示形態が別の表示形態に切り換えられる。図7(1)の例では、表示色が変更されている。そして、その状態が所定時間維持或いは所定動作(例えば、その場で手を振る動作をする)と、左手オブジェクト14が左の被選択体24を選択入力したと判定され、左の被選択体24に対応づけられている選択肢の入力が確定する。つまり、ゲームプレイする意志がジェスチャー入力される。なお、図7(1)において、方向案内オブジェクト13は、別の形態の例を示している。
サラウンド機能そのものは、公知技術により実現される。プレーヤ2は、信号音の聞こえてくる方向からゲームコントローラ1200がどちらにあるかを聴覚的に知り、ゲームコントローラ1200を見つけ出して手に取ることが可能となる。このとき、手の位置(右手位置Pr,左手位置Pl)と、ゲームコントローラ1200の位置Pcとの相対距離に応じて、音量や音高を変化させたり、パルス音であればその周期を変化させるなどの音制御を行うと一層好適である。
次に、本実施形態を実現するための機能構成例について説明する。
図9は、本実施形態におけるゲームシステム1000の機能構成例を示す機能ブロック図である。本実施形態におけるゲームシステム1000は、操作入力部100と、処理部200と、音出力部390と、画像表示部392と、通信部394と、コントローラ発振部396と、記憶部500とを備える。図9において、ゲーム装置本体1002の主要な機能ブロックは、操作入力部100、音出力部390、画像表示部392及びコントローラ発振部396を除いた構成となる。
例えば、
1)仮想空間に背景オブジェクトとプレーヤキャラクタオブジェクトと仮想ステレオカメラ10とを配置する処理、
2)操作入力部100からの操作入力信号に基づいてプレーヤキャラクタオブジェクトの動作を制御する処理、
3)頭部姿勢変化検出部102からの検出情報に基づいて仮想ステレオカメラ10の姿勢をプレーヤ2の頭部の姿勢変化に連動させて、仮想ステレオカメラ10で撮影したゲーム空間の画像をレンダリングしHMD1310にて立体視画像として表示させる処理、
4)ゲーム終了の判定処理、
5)ゲーム成績の算出処理、
6)計時処理、などを行うことができる。勿論、ゲーム内容に応じてこれら以外の処理を適宜実行することができる。
位置Phを求める方法は、適宜公知技術を用いることができる。例えば、測距部104で得られた画像に写っているHMD1310の3つの発光マーカ1312を抽出し、それらの中間位置の画像内の座標からX軸座標値及びY軸座標値を得て、その座標値に対応する測距結果からZ軸座標値を決定するとしてもよい。また、姿勢については、カラーイメージセンサ1104で撮影した画像から、発光マーカ1312や、HMD1310の正面や側面にプリントされている所定の幾何パターンをそれぞれ画像認識して算出する公知技術を用いるとしてもよい。
位置Pcを求める方法は、適宜公知技術を用いることができる。例えば、測距部104で得られた画像に写っているゲームコントローラ1200の2つの発光マーカ1202を抽出し、抽出された位置の中間位置の画像内の座標からX軸座標値及びY軸座標値を得て、その座標値に対応する測距結果からZ軸座標値を決定するとしてもよい。或いは、カラーイメージセンサ1104で撮影した画像からゲームコントローラ1200を画像認識して決定するとしてもよい。
手位置(左手、右手の仮想位置)を算出する方法は、適宜公知技術を用いることができる。例えば、カラーイメージセンサ1104で撮影した画像から人の手を画像認識し、認識した画像の座標からX軸座標値及びY軸座標値を得て、その座標値に対応する手までの測距結果からZ軸座標値を決定するとしてもよい。
本実施形態では、仮想ステレオカメラ制御部221と、コントローラオブジェクト制御部222と、方向案内オブジェクト制御部224と、手オブジェクト制御部226と、被選択体制御部228と、表出処理部230と、立体視画像生成制御部232と、コントローラ振動制御部234と、擬似サラウンド制御部236と、ジェスチャー入力判定部238と、対キャラクタジェスチャー入力無効化制御部240と、を含む。
本実施形態では、仮想空間中の操作指示物の位置と、被選択体24の配置位置とに基づき、被選択体24の選択入力を判定することができる。具体的には、仮想空間における左手位置Pl’又は右手位置Pr’と、被選択体24の配置位置との関係が到達判定条件を満たす場合に、当該被選択体24に対応づけられる選択入力を確定判定する。同様に、ジェスチャー入力判定部238は、案内キャラクタ20に対するジェスチャー入力を判定することができる。
ゲーム演算プログラム502は、処理部200にゲーム演算部202としての機能を実現させるためのプログラムである。
図12は、ゲームシステム1000における処理の流れを説明するためのフローチャートであって、ゲーム演算プログラム502を実行することにより実現される。
図13に示すように、プレーヤ補助処理では、ゲーム装置本体1002はプ仮想空間制御データ630(図11参照)を生成し、HMD1310の実空間での位置・姿勢に連動するように仮想空間における仮想ステレオカメラ10の移動と姿勢の制御を開始する(ステップS50)。
具体的には、コントローラオブジェクト12と左手オブジェクト14との相対距離、及びコントローラオブジェクト12と右手オブジェクト16との相対距離をそれぞれ算出し、小さい方の相対距離に応じてコントローラオブジェクト12の表示形態(例えば、表示カラーの変更、明滅パターン、表示サイズの変更など)を設定・変更する。
具体的には、HMD1310からゲームコントローラ1200への相対方向と相対距離を算出し、ヘッドホン1302にて相対方向から相対距離に応じてパターン変更される信号音が聞こえてくるように擬似サラウンド制御する。
そして、案内表示が必要であれば(ステップS90のYES)、ゲーム装置本体1002は、仮想ステレオカメラ10の正面、具体的には仮想ステレオカメラ10からみた奥行方向において仮想ステレオカメラ10と仮想空間の座標原点との間に案内キャラクタ20及び案内表示パネル22を配置する(ステップS92:図5参照)。ちなみに、ステップS14にてゲームプレイの意志確認の操作入力の受付を開始しているので、案内表示パネル22には意志確認のための操作入力を促すテキストが表示される(図6参照)。
そして、肯定の場合(ステップS110のYES)、ゲーム装置本体1002は仮想空間内に、選択肢に対応付けられた被選択体24を配置する(ステップS112)。具体的には、本実施形態の被選択体24は“吹き出し”型をしているので、吹き出しの引き出し部の先端を案内キャラクタ20近傍に設定し、吹き出しの本体部分を、案内キャラクタ20の脇に位置するように設定する(図6参照)。
具体的には、被選択体24と、左手オブジェクト14または右手オブジェクト16との相対距離が、当該被選択体24を選択した(到達した)とみなす所定の近接条件を満たさなければ、標準の表示形態とし、近接条件を満たした場合に選択されたことを通知するための特別な表示形態とする。
具体的には、他オブジェクトの一部又は全体を半透明化表示したり、或いは、他オブジェクトのモデルの一部を非表示にしたり変形させて背後に隠れているコントローラオブジェクト12を表出させる。
更に同様にして、左手オブジェクト14及び右手オブジェクト16についても、これらの一部又は全体を仮想ステレオカメラ10から見て隠している他オブジェクトを検出し、該当する他オブジェクトが有る場合に背後に隠される左手オブジェクト14及び右手オブジェクト16を表出させて可視化する画像処理(表出処理)を開始する(ステップS122)。
次いで、ジェスチャー入力による選択入力を判定する(ステップS170)。本実施形態では左手オブジェクト14又は右手オブジェクト16が、何れかの被選択体24に到達するとジェスチャーにより選択入力されたと判定する。もし、選択入力がYES/NOのように2択であれば、HMD1310の視界の左右方向にそれぞれYES,NO(或いは選択肢)を割り当てておいて、左手オブジェクト14又は右手オブジェクト16によって、視界の左右何れの領域で所定のモーション(例えば、手を前に突き出す、手を振るなど)がなされたか、或いは、じゃんけんのチョキのように手を所定の形態にしたか、などを判定するとしてもよい。
よって、ゲーム装置本体1002は、次にゲームプレイの制御を開始して、HMD1310にてゲーム画面を表示させる制御と、ヘッドホン1302にてゲーム音を放音させる制御とを開始させる(ステップS200)。
すなわち、プレーヤ2がゲームコントローラ1200を把持していない状態が検知されると、HMD1310にはヘッドトラッキングされたプレーヤの視点位置から見た仮想空間の立体視画像がゲーム画像として写し出される。そして、その立体視画像では、ユーザ視点から見たゲームコントローラ1200の位置にコントローラオブジェクト12が表示されるとともに、モーショントレースされるプレーヤの左手オブジェクト14及び右手オブジェクト16が表示される。よって、プレーヤはHMDを被って外界の様子が見えない状態であっても、立体視画像の仮想空間がいわば仮想現実空間となるため、ゲームコントローラ1200の有る場所に手をのばし容易に手に取ることができる。手探りでコントローラを探すような不便さが解消される。
すなわち、ヘッドトラッキングされたHMD1310に表示される立体視画像には、ジェスチャー入力する内容が割り当てられた被選択体24が、プレーヤが頭の向きを変えても同じ又は略同じ位置に残存表示される。ジェスチャー入力に慣れないと、どのようにジェスチャーすればその場で望まれている入力ができるか分かり難いものであるが、ユーザは被選択体をジェスチャー操作の案内として利用できるので、スムーズにその時要求されるジェスチャー入力ができるようになる。
また、仮想空間内に被選択体以外にもジェスチャー入力の対象が存在する場合に、被選択体以外へのジェスチャー入力を無効化することで、被選択体への入力を優先させるとともに意図しない入力を防止することができる。
なお、本発明の実施形態は上記に限らず、適宜構成要素の追加・省略・変更が可能である。
例えば、上記実施形態では、HMDを装着すると中からは外を見る事ができない非透過型HMDとして説明したが、ゲームの内容によって必ずしも非透過型HMDである必要は無い。例えば、半透過型のHMDに対しても本発明は適用可能であり上記実施形態と同様の効果を得ることができる。
また、ヘッドセット1300それ自体が、例えば、姿勢検出可能なセンサを搭載したメガネ型やゴーグル型のウェアラブルコンピュータであって、ゲーム装置本体1002を兼ねる構成としてもよい。更に言えば、上記実施形態のゲームシステム1000は、HMDを備えるコンピュータであれば家庭用据置型を想定したゲーム装置に限らず、遊園地や博物館などの施設に設置されるHMDを用いたアトラクション装置、HMDを装着して行う航空機やヘリコプターなどの操縦シミュレーション装置、HMDを装着してスタジオ内で実物のゴルフクラブでスイングするなどしてスポーツを仮想体験するスポーツシミュレーション装置など、その他の形態の装置でもよい。
また、上記実施形態ではスタンドアローンのゲームシステム1000を例示したが、図15に示すように、クライアント・サーバ型のゲームシステム1000で実現するとしてもよい。この場合、上記実施形態におけるゲーム演算部202(図9参照)は、通信回線9を介して接続されるサーバシステム1900にて実現され、当該構成におけるゲーム装置本体1002は、所定のクライアントプログラムを実行することで、操作入力部100からの入力信号をサーバシステム1900へ逐次送信する機能と、サーバシステム1900から受信したデータに基づいて画像をHMD1310にて表示させる機能及びヘッドホン1302にて音出力させる機能とを実現する。つまり、ユーザ端末としての制御機能を担うようになる。
また、上記実施形態では、HMD1310の姿勢を検知する方法は、測距センサユニット1100で撮影した画像と、HMD1310の6軸センサ1308の検出結果を用いる構成としたがこれに限らない。
例えば、図15に示すように、HMD1310に前方の外界を撮影するために赤外線撮影可能なイメージセンサ1320を姿勢検知用センサとして追加し、測距センサユニット1100では赤外線照射器1102を所定の配置関係で複数配置する。そして、コントローラ位置姿勢算出部212を、コントローラ捕捉検出手段とする。具体的には、赤外線照射器1102を実空間中の所定位置に設置される固定マーカと見なして、測距センサユニット1100による撮影画像中にこの赤外線照射器1102が写っていればゲームコントローラ1200が写っていると判定し、当該撮影画像から赤外線照射器1102の撮像位置(距離を含む)を求め、各赤外線照射器1102の位置関係の回転や変形、各赤外線照射器1102間の距離、写っている赤外線照射器1102の大きさなどから、イメージセンサ1320の位置を基準としたHMD1310の位置Phおよび姿勢を幾何的に逆算して求める。そして、プレーヤ補助制御部220のコントローラオブジェクト制御部222が、コントローラ捕捉検出部208の検出結果に応じてコントローラオブジェクト12を仮想空間に配置して所定の報知制御を行うようにすればよい。つまり、コントローラオブジェクト制御部222を捕捉時報知制御部として機能させればよい。報知の方法は、表示・音出力・振動など、適宜の方法で実現できる。
また、上記実施形態では、ゲームコントローラ1200の位置Pcは、測距空間の座標系(図4参照)における位置座標で記述したが、これに限らない。
例えば、ゲームコントローラ1200の位置Pcを認識空間におけるHMD1310の位置PhとHMD1310の姿勢(換言すれば、HMD1310を被ったプレーヤ2の視点と視線方向と)に基づく相対位置で記述する構成とすることも可能であり、上記実施形態の記述を適宜そのように読み替えることができる。
また、上記実施形態では、被選択体24をHMD1310の視界内所定領域にて仮想ステレオカメラ10に対向するように配置し、HMD1310の位置や姿勢に応じて移動制御や姿勢制御を行うこととしたが、当該移動制御や姿勢制御を省略して、案内表示パネル22と同様に、HMD1310の位置や姿勢が変化しても、仮想空間の所定位置に所定姿勢で配置することとしてもよい。上記実施形態では、FPS(ファーストパーソンシューティング)のように、ヘッドトラッキングが激しく、ともすれば被選択体24を見失いそうになるゲーム内容に好適であるが、逆に、例えばアドベンチャーゲームで秘密の部屋の鍵を解錠するための番号や操作を入力するといった内容を含むゲームでは、被選択体24が仮想空間の所定位置に動かずに固定配置され、HMD1310が当該所定位置の方向を向いたときにのみその視界内に現れるほうが好適である。
また、上記実施形態では、ジェスチャー入力に係る操作指示物としてプレーヤ2の手を用いる構成としたが、ゲーム内容によっては何らかのポインティングデバイスを用いるとしてもよい。ポインティングデバイスは、公知の銃型コントローラ(いわゆる「ガンコン」)や、公知のスティック型モーションコントローラなどを用いるとしてもよい。この場合、銃型コントローラやスティック型モーションコントローラの先端には、発光マーカ1312(図3参照)に相当するマーカを設け、これを測距センサユニット1100で撮影することで、先端位置を検出し、搭載される6軸センサで姿勢変化を検出する構成とすると好適である。勿論、その場合、ポインティングデバイスはゲームコントローラ1200を兼ねても良い。
また、上記実施形態では、HMD1310に表示する画像を立体視画像として説明したが、平面視画像としてもよい。その場合、仮想ステレオカメラ10の左右の仮想カメラの中間位置に1台の仮想カメラを配置して、仮想ステレオカメラ10の代わりに利用してもよいし、左右の仮想カメラの何れか一方を利用してもよい。
また、上記実施形態では、仮想空間の座標系(図5参照)の座標原点を測距空間(実空間)の座標系(図4参照)の座標原点としたがこれに限らない。
例えば、図16に示すように、ゲーム演算部202に、現実空間に対応するように仮想空間の座標系を初期設定する座標系初期設定部204を設けるとしてもよい。そして、座標系初期設定部204は、トラッキング開始時点の測距センサユニット1100による測距結果に基づくHMD1310の位置Phを仮想空間の座標原点とし、トラッキング開始時点のHMD1310の姿勢に座標軸を合わせ、実空間の座標系と仮想空間の座標系とを同タイミングでマッチングしてイニシャライズする。
座標系の定義において、実空間と仮想空間とで前後および左右が反転する場合には、測距結果を仮想空間中のオブジェクトに反映させるときに(例えば、左手位置Plに基づいて、左手オブジェクト14をモーショントレースさせる場合など)には適宜座標変換するものとする。
また、上記実施形態では、トラッキングやモーショントレースのスケールを、実空間中のHMD1310の位置Phと、操作指示物(左手位置Plや右手位置Pr)との相対位置関係に基づいて補正する機能を追加してもよい。
具体的には、図16に示すように、仮想位置補正部206を設ける。この仮想位置補正部206は、HMD1310の向きを基準にした相対位置関係が所定の補正条件を満たした場合に、当該補正条件に対応付けられた補正演算に従って仮想位置を補正する。
より具体的には、補正条件としては、測距センサユニット1100の正面方向(実空間の前後方向)に対して、HMD1310の正面が左90°以上、または右90°以上の場合に、左90°以上ならば左手位置Plのモーショントレースのスケールを所定倍率だけ上げる、右90°以上ならば右手位置Prのモーショントレースのスケールを所定倍率だけ上げるとしてもよい。
10…仮想ステレオカメラ
12…コントローラオブジェクト
13…方向案内オブジェクト
14…左手オブジェクト
16…右手オブジェクト
20…案内キャラクタ
22…案内表示パネル
24…被選択体
25…正面方向ガイド部
100…操作入力部
102…頭部姿勢変化検出部
104…測距部
200…処理部
202…ゲーム演算部
210…HMD位置姿勢算出部
212…コントローラ位置姿勢算出部
214…手位置算出部
216…コントローラ把持判定部
220…プレーヤ補助制御部
221…仮想ステレオカメラ制御部
222…コントローラオブジェクト制御部
224…方向案内オブジェクト制御部
226…手オブジェクト制御部
228…被選択体制御部
230…表出処理部
232…立体視画像生成制御部
234…コントローラ振動制御部
236…擬似サラウンド制御部
238…ジェスチャー入力判定部
240…対キャラクタジェスチャー入力無効化制御部
396…コントローラ発振部
500…記憶部
502…ゲーム演算プログラム
510…ゲーム初期設定データ
520…プレイデータ
521…HMD位置座標
522…HMD姿勢データ
523…コントローラ位置座標
525…左手位置座標
526…右手位置座標
602…仮想ステレオカメラ制御データ
604…コントローラオブジェクト制御データ
606…方向案内オブジェクト制御データ
608…左手オブジェクト制御データ
610…右手オブジェクト制御データ
612…案内キャラクタ制御データ
614…案内表示パネル制御データ
616…被選択体制御データ
630…仮想空間制御データ
1000…ゲームシステム
1002…ゲーム装置本体
1050…制御基板
1100…測距センサユニット
1104…カラーイメージセンサ
1200…ゲームコントローラ
1206…バイブレータ
1208…6軸センサ
1250…コントローラ基板
1300…ヘッドセット
1302…ヘッドホン
1308…6軸センサ
1310…HMD
1312…発光マーカ
1320…イメージセンサ
Ph…HMDの位置
Pc…ゲームコントローラの位置
Pl…左手位置
Pr…右手位置
Claims (11)
- ユーザの頭部に装着されるHMD(Head Mounted Display)と、前記ユーザの手或いは当該ユーザが把持するポインティングデバイス(以下包括して「操作指示物」という)及び前記HMDを含む実空間を撮影するために設置された撮像手段とに接続されたコンピュータを、
前記HMDの前記実空間中の位置及び姿勢を判定するHMD位置姿勢判定手段、
前記HMDに表示させる前記HMD用の仮想視点からみた仮想空間の画像として、前記HMD位置姿勢判定手段の判定結果に基づき算出される前記仮想視点の前記仮想空間における位置及び視線方向に応じて視界が変化する前記仮想空間の画像であって、前記仮想空間内にキャラクタを配置した画像を生成する仮想空間画像生成手段、
前記撮像手段の撮影画像を用いて、前記HMDの表示画像空間となる仮想空間における、前記実空間中の前記操作指示物の位置に対応する仮想位置を算出する算出手段、
前記視界内に前記キャラクタが位置する場合に当該キャラクタに入力判定体を付随させる付随表示を行う入力判定体配置制御手段であって、前記キャラクタが前記視界外となったか否かに応じて当該付随表示を中断させる入力判定体配置制御手段、
前記仮想位置と、前記入力判定体の配置位置とに基づき、前記入力判定体への入力を判定する入力判定手段、
として機能させるためのプログラム。 - 前記仮想位置に、前記操作指示物の前記実空間中の位置に対応する位置であることを示す指示オブジェクトを前記HMDに表示させる指示オブジェクト表示制御手段、
として前記コンピュータを機能させるための請求項1に記載のプログラム。 - 前記入力判定手段は、前記入力判定体の表示位置と前記指示オブジェクトの表示位置との相対位置関係に基づいて前記入力判定体への入力を判定する、
請求項2に記載のプログラム。 - 前記HMDからみて、前記仮想位置が前記仮想空間において隠れた位置となる場合に、当該指示オブジェクトを表出させるように画像処理する第1の画像処理手段として前記コンピュータを更に機能させるための請求項2又は3に記載のプログラム。
- 前記HMDからみて、前記入力判定体が前記仮想空間において隠れた位置となる場合に、当該入力判定体を表出させるように画像処理する第2の画像処理手段として前記コンピュータを更に機能させるための請求項1〜4の何れか一項に記載のプログラム。
- 前記仮想位置に基づいて前記キャラクタに対する操作入力を判定するキャラクタ対象操作入力判定手段、
前記入力判定体が表示されているときには前記キャラクタ対象操作入力判定手段を無効とし、表示されていないときに前記キャラクタ対象操作入力判定手段を有効とする手段、
として前記コンピュータを機能させるための請求項1に記載のプログラム。 - 前記実空間に対応するように前記仮想空間の座標系を初期設定する座標系初期設定手段、
として前記コンピュータを更に機能させるための請求項1〜6の何れか一項に記載のプログラム。 - 前記座標系初期設定手段は、前記撮像手段の撮影画像中の前記操作指示物の位置を参照して、前記初期設定を実行する、
請求項7に記載のプログラム。 - 前記算出手段は、前記実空間中の前記HMDと前記操作指示物との相対位置関係に基づいて、前記仮想位置を補正する仮想位置補正手段を有する、
請求項1〜8の何れか一項に記載のプログラム。 - 前記仮想位置補正手段は、前記HMDの向きを基準にした前記相対位置関係が所定の補正条件を満たした場合に、当該補正条件に対応付けられた補正演算に従って前記仮想位置を補正する、
請求項9に記載のプログラム。 - ユーザの頭部に装着されるHMDと、操作指示物及び前記HMDを含む実空間を撮影するために設置された撮像手段とに接続され、前記HMDに表示させる画像を生成するための画像生成装置であって、
前記HMDの前記実空間中の位置及び姿勢を判定するHMD位置姿勢判定手段と、
前記HMDに表示させる前記HMD用の仮想視点からみた仮想空間の画像として、前記HMD位置姿勢判定手段の判定結果に基づき算出される前記仮想視点の前記仮想空間における位置及び視線方向に応じて視界が変化する前記仮想空間の画像であって、前記仮想空間内にキャラクタを配置した画像を生成する仮想空間画像生成手段と、
前記撮像手段の撮影画像を用いて、前記HMDの表示画像空間となる仮想空間における、前記実空間中の前記操作指示物の位置に対応する仮想位置を算出する算出手段と、
前記視界内に前記キャラクタが位置する場合に当該キャラクタに入力判定体を付随させる付随表示を行う入力判定体配置制御手段であって、前記キャラクタが前記視界外となったか否かに応じて当該付随表示を中断させる入力判定体配置制御手段と、
前記仮想位置と、前記入力判定体の配置位置とに基づき、前記入力判定体への入力を判定する入力判定手段と、
を備えた画像生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014119125A JP6629499B2 (ja) | 2014-06-09 | 2014-06-09 | プログラムおよび画像生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014119125A JP6629499B2 (ja) | 2014-06-09 | 2014-06-09 | プログラムおよび画像生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015231445A JP2015231445A (ja) | 2015-12-24 |
JP6629499B2 true JP6629499B2 (ja) | 2020-01-15 |
Family
ID=54933342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014119125A Active JP6629499B2 (ja) | 2014-06-09 | 2014-06-09 | プログラムおよび画像生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6629499B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5981591B1 (ja) * | 2015-03-17 | 2016-08-31 | 株式会社コロプラ | 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム |
WO2017183822A1 (ko) * | 2016-04-18 | 2017-10-26 | 김종만 | 가상현실 기기용 3차원 모션 입력장치 |
KR101679779B1 (ko) | 2016-04-18 | 2016-11-25 | 김종만 | 가상현실 기기용 3차원 모션 입력장치 |
KR101779569B1 (ko) | 2016-04-18 | 2017-09-19 | 김종만 | 가상현실 기기 연동 입력장치 |
JP6457446B2 (ja) * | 2016-08-23 | 2019-01-23 | 株式会社コロプラ | 仮想空間におけるコミュニケーションを支援するための方法および装置ならびに当該方法をコンピュータに実行させるためのプログラム |
JP6298130B2 (ja) * | 2016-09-14 | 2018-03-20 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
JP6373920B2 (ja) * | 2016-09-14 | 2018-08-15 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
JP2018061666A (ja) * | 2016-10-12 | 2018-04-19 | 株式会社カプコン | ゲームプログラム及びゲーム装置 |
JP6457989B2 (ja) * | 2016-10-12 | 2019-01-23 | 株式会社カプコン | ゲームプログラム及びゲーム装置 |
US10438399B2 (en) * | 2017-02-10 | 2019-10-08 | Sony Interactive Entertainment LLC | Paired local and global user interfaces for an improved augmented reality experience |
JP6330072B1 (ja) * | 2017-03-08 | 2018-05-23 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
US10365784B2 (en) | 2017-03-08 | 2019-07-30 | Colopl, Inc. | Information processing method and apparatus for executing the information processing method |
JP6794390B2 (ja) * | 2018-02-22 | 2020-12-02 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
JP7547843B2 (ja) | 2020-08-03 | 2024-09-10 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、及びプログラム |
JP7016438B1 (ja) | 2021-03-29 | 2022-02-18 | グリー株式会社 | 情報処理システム、情報処理方法およびコンピュータプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4933406B2 (ja) * | 2007-11-15 | 2012-05-16 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP5656514B2 (ja) * | 2010-08-27 | 2015-01-21 | キヤノン株式会社 | 情報処理装置及び方法 |
JP2012048656A (ja) * | 2010-08-30 | 2012-03-08 | Canon Inc | 画像処理装置、画像処理方法 |
JP5614211B2 (ja) * | 2010-09-30 | 2014-10-29 | 株式会社セガ | 画像処理プログラム及びコンピュータ読み取り可能な記録媒体 |
JP2012181809A (ja) * | 2011-03-03 | 2012-09-20 | Panasonic Corp | 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路 |
JP2013190941A (ja) * | 2012-03-13 | 2013-09-26 | Nikon Corp | 情報入出力装置、及び頭部装着表示装置 |
JP2013258614A (ja) * | 2012-06-13 | 2013-12-26 | Sony Computer Entertainment Inc | 画像生成装置および画像生成方法 |
-
2014
- 2014-06-09 JP JP2014119125A patent/JP6629499B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015231445A (ja) | 2015-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6629499B2 (ja) | プログラムおよび画像生成装置 | |
JP6355978B2 (ja) | プログラムおよび画像生成装置 | |
US10764565B2 (en) | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method | |
US10636212B2 (en) | Method for generating image to be displayed on head tracking type virtual reality head mounted display and image generation device | |
JP6396027B2 (ja) | プログラムおよびゲーム装置 | |
JP7560568B2 (ja) | 仮想および拡張現実のためのシステムおよび方法 | |
CN108463839B (zh) | 信息处理装置和用户指南呈现方法 | |
US8952956B2 (en) | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method | |
JP2012115414A (ja) | ゲーム装置、ゲームを提供する方法、ゲームプログラム、および、ゲームシステム | |
JP6332652B1 (ja) | 表示制御装置、及びプログラム | |
KR101811809B1 (ko) | 3d hmd를 활용한 아케이드 게임시스템 | |
CN115298732A (zh) | 用于多用户虚拟和增强现实的系统和方法 | |
JP2024050696A (ja) | 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ | |
US20230252691A1 (en) | Passthrough window object locator in an artificial reality system | |
JP2023162168A (ja) | ゲームプログラム、ゲーム処理方法、及びゲーム装置 | |
JP7319686B2 (ja) | ゲームプログラム、ゲーム処理方法、及びゲーム装置 | |
WO2022124135A1 (ja) | ゲームプログラム、ゲーム処理方法、及びゲーム装置 | |
JP2018028900A (ja) | 仮想空間を提供する方法、プログラム、および記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180710 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6629499 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |