以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
[HMDシステムの構成]
図1を参照して、HMD(Head Mounted Device)システム100の構成について説明する。図1は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。なお、本実施の形態において、HMDとは、モニタを備える所謂ヘッドマウントディスプレイと、スマートホンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
HMDシステム100は、HMD110と、HMDセンサ120と、コントローラ160と、コンピュータ200とを備える。HMD110は、モニタ112と、注視センサ140とを含む。コントローラ160は、モーションセンサ130を含み得る。
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータと通信可能である。
別の局面において、HMDシステム100がHMDセンサ120を備える代わりに、HMD110がセンサ114を含んでもよい。
サーバ150は、プロセッサ151と、メモリ152と、通信インターフェイス153とを含む。サーバ150は、周知の構成を有するコンピュータによって実現される。
HMD110は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、HMD110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を3次元の画像として認識し得る。
モニタ112は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザの両目の前方に位置するようにHMD110の本体に配置されている。したがって、ユーザは、モニタ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、ユーザが選択可能なメニューの画像を含む。ある実施の形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD110の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD110の位置および傾きを検出する。
なお、別の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD110の画像情報を用いて、画像解析処理を実行することにより、HMD110の位置および傾きを検出することができる。
別の局面において、HMD110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD110は、センサ114を用いて、HMD110自身の位置および傾きを検出し得る。例えば、センサ114が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、HMD110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD110の3軸周りの角速度を経時的に検出する。HMD110は、各角速度に基づいて、HMD110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD110の傾きを算出する。また、HMD110は、透過型表示装置を備えていても良い。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視野画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、HMD110に搭載されたカメラで撮影した画像を視野画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視野画像の一部から現実空間を視認可能にしてもよい。
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方向)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。
サーバ150は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ150は、他のユーザによって使用されるHMDに仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。
コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。別の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ160は、コンピュータ200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ160は、仮想現実を提供する空間に配置されるオブジェクトの位置や動きを制御するためにユーザ190によって与えられる操作を受け付ける。
モーションセンサ130は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ130は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ130は、例えば、手袋型のコントローラ160に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。例えば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表わす信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
[ハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェイス13と、通信インターフェイス14とを備える。各構成要素は、それぞれ、バス15に接続されている。
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ12に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
なお、別の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
ある実施の形態において、入出力インターフェイス13は、HMD110、HMDセンサ120またはモーションセンサ130との間で信号を通信する。ある局面において、入出力インターフェイス13は、USB(Universal Serial Bus)インターフェイス、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェイス13は上述のものに限られない。
ある実施の形態において、入出力インターフェイス13は、さらに、コントローラ160と通信し得る。例えば、入出力インターフェイス13は、モーションセンサ130から出力された信号の入力を受ける。別の局面において、入出力インターフェイス13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光等をコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェイス14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある局面において、通信インターフェイス14は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス14は上述のものに限られない。
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ160を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ10は、入出力インターフェイス13を介して、仮想空間を提供するための信号をHMD110に送る。HMD110は、その信号に基づいてモニタ112に映像を表示する。
なお、図2に示される例では、コンピュータ200は、HMD110の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
また、コンピュータ200は、複数のHMD110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD110の各光源から発せられた赤外線をそれぞれ検出すると、HMD110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD110を装着したユーザ190の動きに応じた、現実空間内におけるHMD110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD110の位置および傾きの時間的変化を検出できる。
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
図3に示されるように、HMD110は、HMD110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
ある局面において、HMD110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
uvw視野座標系がHMD110に設定された後、HMDセンサ120は、HMD110の動きに基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD110の傾きとして、uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD110の傾き角度を表す。
HMDセンサ120は、検出されたHMD110の傾き角度に基づいて、HMD110が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾きに関わらず、常に一定である。HMD110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置および傾きが変化する。
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を決定してもよい。
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
HMD110の起動時、すなわちHMD110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD110の位置および向きの変化が、仮想空間2において同様に再現される。
仮想カメラ1には、HMD110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラのuvw視野座標系は、現実空間(グローバル座標系)におけるHMD110のuvw視野座標系に連動するように規定されている。したがって、HMD110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザが仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、HMD110を装着したユーザの視界に対応する。
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザの視線方向とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザの視線方向の決定について説明する。図5は、ある実施の形態に従うHMD110を装着するユーザ190の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けている方向に相当する。
別の局面において、HMDシステム100は、HMDシステム100を構成するいずれかのパーツに、マイクおよびスピーカを備えてもよい。ユーザは、マイクに発話することにより、仮想空間2に対して、音声による指示を与えることができる。
また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
図6に示されるように、YZ断面における視界領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間おける基準視線5を中心として極角αを含む範囲を、領域24として規定する。
図7に示されるように、XZ断面における視界領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像26をモニタ112に表示させることにより、ユーザ190に仮想空間を提供する。視界画像26は、仮想空間画像22のうち視界領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、モニタ112に表示される視界画像26は、仮想空間画像22のうち、仮想空間2においてユーザが向いた方向の視界領域23に重畳する画像に更新される。ユーザは、仮想空間2における所望の方向を視認することができる。
ユーザ190は、HMD110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザに与えることができる。
ある局面において、プロセッサ10は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD110のモニタ112に投影される画像領域(すなわち、仮想空間2における視界領域23)を特定する。
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[コントローラ]
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施の形態に従うコントローラ160の概略構成を表す図である。
図8の分図(A)に示されるように、ある局面において、コントローラ160は、右コントローラ800と左コントローラとを含み得る。右コントローラ800は、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある局面において、右コントローラ800と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ800を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ800について説明する。
右コントローラ800は、グリップ30と、フレーム31と、天面32とを備える。グリップ30は、ユーザ190の右手によって把持されるように構成されている。例えば、グリップ30は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
グリップ30は、ボタン33,34と、モーションセンサ130とを含む。ボタン33は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン33,34は、トリガー式のボタンとして構成される。モーションセンサ130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラその他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、モーションセンサ130を備えなくてもよい。
フレーム31は、その円周方向に沿って配置された複数の赤外線LED35を含む。赤外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コントローラ800と左コントローラ(図示しない)との各位置や姿勢(傾き、向き)を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED35が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
天面32は、ボタン36,37と、アナログスティック38とを備える。ボタン36,37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間2に配置されるオブジェクトを移動するための操作を含む。
ある局面において、右コントローラ800および左コントローラは、赤外線LED35その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ800と左コントローラは、例えば、コンピュータ200のUSBインターフェイスに接続され得る。この場合、右コントローラ800および左コントローラは、電池を必要としない。
図8の分図(A)および分図(B)に示されるように、例えば、ユーザ190の右手810に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ190が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
[HMD110の制御装置]
図9を参照して、HMD110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、ある実施の形態に従うコンピュータ200をモジュール構成として表わすブロック図である。
図9に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト生成モジュール232と、キャラクタ管理モジュール233と、表示状態規定モジュール234とを含む。
ある実施の形態において、表示制御モジュール220と仮想空間制御モジュール230とは、プロセッサ10によって実現される。別の実施の形態において、複数のプロセッサ10が表示制御モジュール220と仮想空間制御モジュール230として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェイス14によって実現される。
ある局面において、表示制御モジュール220は、HMD110のモニタ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向き等を制御する。視界領域決定モジュール222は、HMD110を装着したユーザの頭の向きに応じて、視界領域23を規定する。視界画像生成モジュール223は、決定された視界領域23に基づいて、モニタ112に表示される視界画像26を生成する。
基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表わす仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
仮想オブジェクト生成モジュール232は、仮想空間2に提示される対象物を生成する。対象物は、例えば、木オブジェクト、山オブジェクト、キャラクタオブジェクト、ボールオブジェクト等を含む。
キャラクタ管理モジュール233は、仮想空間2に提示されるキャラクタオブジェクトの配置を管理する。例えば、キャラクタ管理モジュール233は、ユーザ190によるコントローラ160の操作に応じて、ユーザ190を示すキャラクタオブジェクト、あるいは、ユーザ190に制御されるキャラクタオブジェクトの位置を移動する。
表示状態規定モジュール234は、ユーザ190による操作に基づいて、仮想空間2に提示される視界画像の表示状態を制御する。例えば、表示状態規定モジュール234は、ユーザ190に対応するキャラクタオブジェクトと他のキャラクタオブジェクトとの関係に応じて当該キャラクタオブジェクトの周辺を、当該キャラクタオブジェクトの中心部と異なる態様で表示する。より具体的には、ある局面において、表示状態規定モジュール234は、キャラクタオブジェクトの周辺をぼかす態様で表示する。ぼかす態様は、例えば、霧がかかった状態、色を薄く表示する状態等を含み得る。
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243とを保持している。
空間情報241は、仮想空間2を提供するために規定された1つ以上のテンプレートを保持している。
オブジェクト情報242は、仮想空間2にオブジェクトを提示するためのデータを含む。当該データは、例えば、アプリケーションプログラムにおいて規定され仮想空間2で移動し得るオブジェクトや仮想空間2において静止しているオブジェクトを含む。移動し得るオブジェクトは、例えば、ゲームプログラムにおけるプレイヤオブジェクトや対戦相手オブジェクト等を含む。静止オブジェクトは、例えば、木オブジェクト、山オブジェクトその他の静止物のオブジェクトを含む。
ユーザ情報243は、HMD110のユーザ190の識別情報、ユーザ190に関連付けられている権限等を含む。
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ10によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
コンピュータ200を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ200に格納されたプログラムであるともいえる。なお、コンピュータ200のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、データ記録媒体としては、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを含む)、光カード、マスクROM、EPROM(Electronically Programmable Read-Only Memory)、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。
ここでいうプログラムとは、プロセッサ10により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。
[制御構造]
図10を参照して、ある実施の形態に係るHMDシステム100の制御構造について説明する。図10は、HMDシステム100が実行する処理を表わすフローチャートである。
ステップS1010にて、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間画像データを特定し、仮想空間を定義する。
ステップS1020にて、プロセッサ10は、仮想カメラ1を初期化する。例えば、プロセッサ10は、メモリのワーク領域において、仮想カメラ1を仮想空間2において予め規定された中心点に配置し、仮想カメラ1の視線をユーザ190が向いている方向に向ける。
ステップS1030にて、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール223を介して通信制御モジュール250によってHMD110に送られる。
ステップS1032にて、HMD110のモニタ112は、コンピュータ200から受信した視界画像データに基づいて、視界画像を表示する。HMD110を装着したユーザ190は、視界画像を視認すると仮想空間2を認識し得る。
ステップS1034にて、HMDセンサ120は、HMD110から発信される複数の赤外線光に基づいて、HMD110の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に送られる。
ステップS1040にて、プロセッサ10は、HMD110の位置と傾きとに基づいて、HMD110を装着したユーザ190の視界方向を特定する。プロセッサ10は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間2にオブジェクトを配置する。
ステップS1042にて、コントローラ160は、モーションセンサ130から出力される信号に基づいて、ユーザ190の動作を検出する。なお、別の局面において、ユーザ190の動作は、ユーザ190の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
ステップS1050にて、プロセッサ10は、仮想空間2における第1のキャラクタオブジェクトを定義する。第1のキャラクタオブジェクトは、例えば、ユーザ190に対応する。
ステップS1060にて、プロセッサ10は、仮想空間2における第2のキャラクタオブジェクトを定義する。第2のキャラクタオブジェクトは、例えば、対戦相手のように、第1のキャラクタオブジェクトに対峙するオブジェクト、あるいは、木や岩のように仮想空間2における静止物に相当する。
ステップS1070にて、プロセッサ10は、第1のキャラクタオブジェクトと第2のキャラクタオブジェクトとの関係を特定する。関係は、例えば、位置関係、力関係その他の相対的に規定され得る関係を含む。例えば、ある局面において、第1のキャラクタオブジェクトと第2のキャラクタオブジェクトが同じ種類である場合、プロセッサ10は、第1のキャラクタオブジェクトに関連付けられている属性値と、第2のキャラクタオブジェクトに関連付けられている属性値との大小関係に基づいて、第1のキャラクタオブジェクトと第2のキャラクタオブジェクトのいずれが優位であるかを判断する。属性値は、例えば、仮想空間2におけるエネルギー量その他の物理量を仮想的に表わすデータを含み得る。本実施の形態において、エネルギー量は、例えば、仮想空間2においてキャラクタオブジェクトを動かすために必要な仮想的なエネルギーを表わし、当該キャラクタオブジェクトが出現するアプリケーションプログラムにおいて規定される。例えば、ユーザ190に制御されるキャラクタオブジェクトのエネルギーは、ユーザ190によるキャラクタオブジェクトの運動量に応じて、あるいは、相手のキャラクタオブジェクトから受けるアクションの内容に応じて変動し得る。
別の局面において、プロセッサ10は、仮想空間2における第1のキャラクタオブジェクトの座標値と、第2のキャラクタオブジェクトの座標値とに基づいて、これらのオブジェクトの位置関係を特定する。
ステップS1072にて、コントローラ160は、モーションセンサ130から出力される信号に基づいて、ユーザ190の動作を検出する。なお、ステップS1042の場合と同様に、別の局面において、ユーザ190の動作は、ユーザ190の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
ステップS1080にて、プロセッサ10は、関係に応じた視界画像を生成し、視界画像データとしてHMD110に出力する。
ステップS1092にて、HMD110は、コンピュータ200から受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ112に表示する。
図11を参照して、コンピュータ200の制御構造についてさらに説明する。図11は、ある実施の形態の一局面においてコンピュータ200のプロセッサ10が実行する詳細な処理を表わすフローチャートである。
ステップS1110にて、プロセッサ10は、ユーザ190の命令に基づいて、アプリケーションプログラムの実行を開始する。アプリケーションプログラムは、現実空間の出来事を仮想空間に表示可能なプログラムである。アプリケーションプログラムは、例えば、スポーツ、レースその他相手が存在し得るゲームプログラム等を含むが、ゲームプログラム以外のアプリケーションプログラムであってもよい。
ステップS1115にて、プロセッサ10は、HMD110における仮想空間2を定義し、仮想空間2を提示するためのデータをHMD110に送信する。
ステップS1120にて、プロセッサ10は、コントローラ160からの信号に基づいて、現実空間におけるユーザ190の動作を検出する。
ステップS1125にて、プロセッサ10は、検出した現実空間におけるユーザ190の動作に基づいて、第1のキャラクタオブジェクト(ユーザキャラクタ)を仮想空間2に定義する。
ステップS1130にて、プロセッサ10は、第2のキャラクタオブジェクト(相手オブジェクト)を仮想空間2に定義する。
ステップS1135にて、プロセッサ10は、第1のキャラクタオブジェクトと第2のキャラクタオブジェクトとの位置関係を特定する。
ステップS1140にて、プロセッサ10は、第2キャラクタオブジェクトが存在する方向の視認性と、他の方向の視認性とが異なるように視界画像を表示するためのデータを生成する。ある実施の形態において、視認性の態様は、例えば、視界画像の周縁にぼかしを入れることを含む。この場合、ぼかしは、視覚的効果を低減させるための処理として実現され、例えば、仮想空間2に表示されるオブジェクトを暗転表示させること、周縁部のオブジェクトの透明度を大きくして他のオブジェクトよりも目立たなくすること、ブラー(ぼかし)効果を使うこと等を含む。
ステップS1145にて、プロセッサ10は、生成したデータをHMD110に出力する。HMD110は、そのデータを受信すると、そのデータに基づいて視認性の態様が異なった状態で、第2のキャラクタオブジェクトを仮想空間2に提示し得る。
ステップS1150にて、プロセッサ10は、現実空間におけるユーザ190の動作を検出する。その動作がキャラクタ移動を指示する動作である場合、プロセッサ10は制御をステップS1155に切り換える。その動作がその他の指示である場合、プロセッサ10は制御をステップS1160に切り換える。その動作がアプリケーションプログラムの終了を指示する動作である場合、プロセッサ10は、処理を終了する。
ステップS1155にて、プロセッサ10は、現実空間におけるユーザ190の動作に基づいて、第1のキャラクタオブジェクトまたは第2のキャラクタオブジェクトを移動する。その後、プロセッサ10は、制御をステップS1135に戻す。
ステップS1160にて、プロセッサ10は、ユーザ190の動作に対応付けられた処理を実行する。例えば、ユーザ190がコントローラ160に対してアプリケーションプログラムの実行を一時的に中断するための操作を行なうと、プロセッサ10は、実行中のアプリケーションプログラムを一時的に中断する。
なお、別の局面において、HMD110が情報処理機能と通信機能とを有し、例えば、プロセッサとメモリと通信装置とを備える場合には、プロセッサ10による処理は、例えば、HMD110のプロセッサによって実行されてもよい。この場合、HMD110は、コンピュータ200を介することなく、サーバ150と直接通信することができる。一例として、HMD110にスマートフォンが着脱可能である場合、スマートフォンのプロセッサが、その通信機能を用いてサーバ150と通信することもできる。
本実施の形態によると、アプリケーションプログラムに登場するプレイヤのキャラクタオブジェクト、または、仮想カメラと敵キャラクタとの位置関係に応じて、視界画像の周縁にぼかし(例えば、映像からの視覚的効果を低減させる処理、例えば、暗転、透明度を上げること、ブラーをかける処理等)を入れることにより、キャラクタオブジェクトからの視界がユーザ190の視界画像に反映される。このようにすると、例えば、サッカーやバスケットボールその他のスポーツゲームにおいて、相手方にマークされると視界が狭くなるという事象、あるいは、プレイヤの能力が相手方の能力よりも低い場合に、キャラクタオブジェクトの視界が狭くなるという事象等が仮想空間2にも反映されるので、興趣がより高まる。一例としては、仮想空間2において敵のいる方角のぼかし範囲を大きくして、プレイヤのキャラクタオブジェクトから見にくくしたり、敵がいる方だけぼかしたり、プレイヤのキャラクタオブジェクトの能力(例えば、仮想パワー、仮想運動能力、仮想戦闘能力等)に応じてぼかし範囲が変更される。
そこで、図12および図13を参照して、ある実施の形態に従うキャラクタオブジェクトの配置について説明する。図12は、仮想空間2におけるキャラクタオブジェクトの配置の一態様を例示する図である。図13は、仮想空間2においてキャラクタオブジェクトの配置が変わった後の一態様を表わす図である。
図12に示されるように、分図(A)は、HMD110を装着したユーザ190が認識し得る視界画像1200の一例を表わす。視界画像1200は、キャラクタオブジェクト1210,1220と、木オブジェクト1230,1240とを含む。キャラクタオブジェクト1210は、例えば、ユーザ190によって仮想空間2において制御される。キャラクタオブジェクト1220は、キャラクタオブジェクト1210のターゲットである。ある実施の形態において、ターゲットとは、対戦相手、あるいは、捕捉の対象等を表わす。ターゲットが対戦相手であるか捕捉の対象であるかその他であるかは、アプリケーションプログラムに応じて異なる。
分図(B)は、仮想空間画像22において、キャラクタオブジェクト1210,1220、木オブジェクト1230,1240の配置を表わす図である。キャラクタオブジェクト1210は、木オブジェクト1230から離れており、ユーザ190に対応するキャラクタオブジェクト1210は、他のキャラクタオブジェクト1220、木オブジェクト1230,1240を視認できる。その後、ユーザ190がコントローラ160を操作すると、その操作に応じて、キャラクタオブジェクト1210は移動する。
より詳しくは、ある局面において、仮想空間2において、キャラクタオブジェクト1210の属性値(例えば、能力、エネルギー、技のレベル等を数値化したもの)と、キャラクタオブジェクト1220の上記属性値との大小関係に応じた仮想的なテリトリが、キャラクタオブジェクト1210,1220を中心とする仮想円1211,1221として、それぞれ規定される。一例として、キャラクタオブジェクト1220の属性値が、キャラクタオブジェクト1210の属性値よりも大きい時(相手のキャラクタオブジェクトがユーザ190のキャラクタオブジェクトよりも優位である時)、キャラクタオブジェクト1220のテリトリを示す仮想円1221の半径は、キャラクタオブジェクト1210のテリトリを示す仮想円1211の半径よりも長くなる。この場合、仮想円1211と仮想円1221とが離れている間、すなわち、キャラクタオブジェクト1210とキャラクタオブジェクト1220との間隔が十分にある場合には、ユーザ190に対応するキャラクタオブジェクト1210は、十分な視界を持ち、仮想空間2内を自由に移動することができる。
その後、キャラクタオブジェクト1210が木オブジェクト1230に接近して仮想円1221の範囲に入ると、キャラクタオブジェクト1210の視界は通常時の視界よりも狭くなる。
具体的には、例えば、図13に示されるように、分図(A)は、キャラクタオブジェクト1210が木オブジェクト1230に近づいた時の視界画像1300を表わす。このとき、キャラクタオブジェクト1210に対応するユーザ190の視界として、木オブジェクト1230は視界画像1300において大きく表示されている。また、キャラクタオブジェクト1210が木オブジェクト1230に接近したことにより、キャラクタオブジェクト1220は仮想空間2におけるユーザ190の視界から外れる。
分図(B)は、仮想空間画像22において、キャラクタオブジェクト1210が木オブジェクト1230に接近した時の各オブジェクトの配置を表わす図である。キャラクタオブジェクト1210がキャラクタオブジェクト1220に接近したとき、キャラクタオブジェクト1220の属性値に対応する仮想円1221と、キャラクタオブジェクト1210の属性値に対応する仮想円1211との間に、重なる領域が生じ得る。このとき、キャラクタオブジェクト1220の属性値(例えば、パワー値、エネルギー量、技のレベル等)がキャラクタオブジェクト1210の属性値を上回る場合、この重なる領域は、キャラクタオブジェクト1220の仮想円1221に支配される。その結果、キャラクタオブジェクト1210の仮想円1211が占有できる範囲は狭くなる。また、当該重なる領域が仮想円1221に支配されることで、分図(A)に示されるように、キャラクタオブジェクト1210を操作するユーザ190の仮想空間2における視界が狭くなるように視覚的効果の低減処理が反映される。本実施の形態において、視覚的効果の低減処理は、視界画像1300に示されるように周辺部が仮想ユーザにとって視認しにくくなるような処理、ぼかし処理、輝度を少なくする処理等を含む。ユーザ190が、このような視覚的効果の低減処理が施された視界画像1300を視認すると、相手のキャラクタオブジェクト1220の影響が及ぶ領域に存在していることを認識し、また、一部の視界が妨げられることにより、没入感が高まり得る。
なお、図13に示される例は、キャラクタオブジェクト1210がキャラクタオブジェクト1220のテリトリに入った場合に、ぼかし処理が、視界画像1300の周辺部全体に施されている。ぼかし処理が施される態様は、図示される態様に限られない。例えば、別の局面において、キャラクタオブジェクト1220が存在する方向のみ(例えば、木オブジェクト1230の近傍)、ぼかし処理が適用されてもよい。このようにすると、キャラクタオブジェクト1210よりも優位にある他のキャラクタオブジェクトが、その方向に存在していることをユーザ190に通知できるので、ストーリーの進行に応じた興趣を高めることができる。また、キャラクタオブジェクト1210とキャラクタオブジェクト1220との位置関係の変化に応じて、視覚的効果が低減される領域は変わり得る。例えば、キャラクタオブジェクト1220が領域23に入ってきた場合、ぼかし処理が、視界画像1300の上部(キャラクタオブジェクト1210の前方)に適用され得る。
図14から図17を参照して、視覚的効果が低減される他の態様について説明する。図14は、仮想円1221に含まれるオブジェクトにぼかし処理が適用される一態様を表わす図である。図14は、キャラクタオブジェクト1220がキャラクタオブジェクト1210に接近した結果、キャラクタオブジェクト1210のテリトリの一部が、キャラクタオブジェクト1220のテリトリに浸食された状態を例示する。
分図(A)に示されるように、HMD110を装着したユーザ190が認識する視界画像1400は、ぼかし処理が施された領域1410を含む。領域1410は、相手方のキャラクタオブジェクト1220と、木オブジェクト1230とを含む。領域1410のような態様で表示されることにより、ユーザ190に対応するキャラクタオブジェクト1210は、キャラクタオブジェクト1220を視認しにくくなり(あるいは、視認できなくなる)。
より詳しくは、図12の分図(A)に示されるように、当初、ユーザ190は、キャラクタオブジェクト1210として、相手方のキャラクタオブジェクト1220を視界画像1200において認識していた。キャラクタオブジェクト1220の属性値がキャラクタオブジェクト1210の属性値を上回っている場合、キャラクタオブジェクト1220がキャラクタオブジェクト1210に接近すると、図14の分図(A)に示されるように、キャラクタオブジェクト1220や木オブジェクト1230は、ぼかし処理が適用されて提示される。分図(B)に示されるように、このとき、キャラクタオブジェクト1220のテリトリを示す仮想円1221は、キャラクタオブジェクト1220のテリトリを示す仮想円1211の一部を侵食していることがわかる。
HMD110を装着した状態で視認される視界画像1400において、キャラクタオブジェクト1220とキャラクタオブジェクト1210との位置関係が変わることに応じてキャラクタオブジェクト1220の提示の態様も変化することにより、このようなキャラクタオブジェクトを使用するアプリケーションプログラムの興趣が高まり得る。
なお、他の局面において、その後、キャラクタオブジェクト1210の属性値が、キャラクタオブジェクト1220の属性値と同じになった場合、キャラクタオブジェクト1210は、キャラクタオブジェクト1220を視認し得る。この場合、仮想円1211の半径と仮想円1221の半径とが同じになり、仮想円1211と仮想円1221との重複部分はなくなる。したがって、ユーザ190は、通常の視覚的効果で提示される視界画像を視認する。
図15は、視覚的効果が低減される別の態様を表わす図である。図15の例では、キャラクタオブジェクト1210の属性値と、キャラクタオブジェクト1220の属性値との大小関係は、図14の場合と同じである。また、分図(B)に示されるように、キャラクタオブジェクト1210と相手のキャラクタオブジェクト1220との位置関係も、図14に例示される位置関係と同じである。そこで、図14の場合との相違点について説明する。
図15の分図(A)に示されるように、別の局面において、ユーザ190は視界画像1500を認識し得る。この時、キャラクタオブジェクト1220は、仮想空間2における他のオブジェクト(例えば、キャラクタオブジェクト1210、木オブジェクト1230,1240)よりも、例えば、薄く表示される。すなわち、キャラクタオブジェクト1210の透明度は、当該他のオブジェクトの透明度よりも高くなる。その結果、ユーザ190は、キャラクタオブジェクト1220を視認しにくくなる。仮に、キャラクタオブジェクト1210の透明度が100%になると、ユーザ190は、キャラクタオブジェクト1220を全く見ることができなくなる。
なお、別の局面において、透明度の代わりに、解像度が、視覚的効果の低減に使用されてもよい。この場合、キャラクタオブジェクト1220の属性値がキャラクタオブジェクト1210の属性値よりも大きいとき、キャラクタオブジェクト1220は、低解像度で提示され得る。例えば、キャラクタオブジェクト1220がその近傍の背景に溶け込む程度に、解像度が低く設定されてもよい。このようにすると、ユーザ190は、低解像度で提示されているオブジェクトをキャラクタオブジェクト1220として認識できなくなるので、実行中のアプリケーションプログラムのストーリーによっては、その興趣が向上し得る。
図16および図17を参照して、視覚的効果が低減されるさらに他の態様について説明する。図16の分図(A)は、ユーザ190が視認する視界画像1600を表わし、図17の分図(A)は、ユーザ190が視認する視界画像1700を表わす。図16および図17の分図(B)は、仮想空間2において、ユーザ190が仮想カメラ1に対応する場合におけるキャラクタオブジェクト1610と、キャラクタオブジェクト1620との位置関係を表わす。図16および図17に示される例によれば、キャラクタオブジェクト1610とキャラクタオブジェクト1620との間隔が小さくなっている場合に、キャラクタオブジェクト1620の属性値がキャラクタオブジェクト1610の属性値を上回ると、キャラクタオブジェクト1610の領域(すなわち、ユーザ190の視界)が小さくなる点で、前述の例と異なる。
図16の分図(A)に示されるように、ある局面において、HMD110を装着したユーザ190は、視界画像1600を認識している。視界画像1600は、サッカーのプレイヤーを表わすキャラクタオブジェクト1620を含む。仮想空間2に提示されるサッカーは、実際のサッカープレイの映像およびアニメーションのいずれであってもよい。ユーザ190の視点は仮想カメラ1に対応するので(分図(B))、視界画像1600は、ユーザ190に相当するキャラクタオブジェクト1610を含まない。
ある局面において、キャラクタオブジェクト1620の属性値(たとえば、サッカーのレベル)が、キャラクタオブジェクト1610の属性値を上回る場合、仮想空間2におけるキャラクタオブジェクト1610(仮想カメラ1)とキャラクタオブジェクト1620との位置関係に応じて、キャラクタオブジェクト1620の視覚的効果が低減され得る。
具体的には、図17の分図(A)に示されるように、HMD110を装着しているユーザ190は、サッカープレイの進行に応じて、視界画像1700を視認する。視界画像1700は、ユーザ190に向けて走ってくるプレイヤに対応するキャラクタオブジェクト1620を含む。キャラクタオブジェクト1620のサッカーのレベルが、ユーザ190(キャラクタオブジェクト1610)のサッカーのレベルよりも上回ると、仮想空間2におけるユーザ190の視界は狭くなる。例えば、視界画像1700の例では、キャラクタオブジェクト1620の近傍の領域1710,1711では、視覚的効果が低減されている(ユーザ190の目には、キャラクタオブジェクト1620の周りが見えにくくなっている)。
その後、仮想空間2におけるストーリーの進行に応じて、視覚的効果が低減されている領域が変わり得る。例えば、ユーザ190が仮想空間2におけるプレイヤーとしてボールを支配すると、領域1710,1711が狭くなり、ユーザ190が視認できる範囲が広がる(視界が開ける)。さらに、キャラクタオブジェクト1610が攻撃に転じた場合、キャラクタオブジェクト1620その他の相手キャラクタは、防御のため後方に移動し得る。この場合、例えば、キャラクタオブジェクト1620と当該プレイヤー(キャラクタオブジェクト1610)との位置関係(間隔)が大きくなることに応じて、領域1710,1711が狭くなり、ユーザ190の視界が広がってもよい。このようにすると、仮想空間2における臨場感が向上し得る。また、アニメーションゲームの場合には、興趣が高まり得る。
上記の視覚的効果の低減の態様(ぼかし、透明度の変更、視界領域の縮小等)は、キャラクタオブジェクト1210,1220,1610,1620の設定に応じて変更可能である。ユーザ190による設定に応じて変更可能である。例えば、ユーザ190がアプリケーションプログラムを実行する際に、キャラクタオブジェクト1210またはキャラクタオブジェクト1610の設定として、ぼかし、透明度の変更、視界領域の変更等が規定され得る。別の局面において、アプリケーションプログラムによるランダムな設定として、視覚的効果の低減の態様が規定されてもよい。この場合、ユーザ190は具体的な視覚的効果の内容を予め知ることができないので、意外性をユーザ190にもたらすこともできる。
<まとめ>
以上開示された技術的特徴は、例えば、以下のように要約され得る。
(構成1) ある実施の形態に従うと、ヘッドマウントデバイス(HMD110)を用いて仮想空間2にコンテンツを表示するためにコンピュータで実行される方法が提供される。この方法は、仮想空間2を定義するステップと、HMD110を装着したユーザ190の動きに基づいて、視界画像を第1の状態(例えば、予め設定された初期の視覚的効果をもたらす状態)でHMD110に提示するステップと、仮想空間2に第1のキャラクタオブジェクト(例えば、ユーザ190によるコントローラ160の操作によって制御されるキャラクタオブジェクト)と第2のキャラクタオブジェクト(例えば、第1のキャラクタオブジェクトと対峙するオブジェクト)とを規定するステップと、第1のキャラクタオブジェクトと第2のキャラクタオブジェクトとの関係に基づいて、第1の状態にある視界画像を第2の状態(初期の視覚的効果をもたらす状態とは異なる視覚的効果をもたらす状態、例えば、ぼかし、透明度を高める等)でHMD110に提示するステップとを含む。
(構成2) ある実施の形態に従うと、関係は、第1のキャラクタオブジェクトと第2のキャラクタオブジェクトとの位置関係(例えば、仮想空間2における第1のキャラクタオブジェクトから第2のキャラクタオブジェクトまでの距離)を含む。
(構成3) ある実施の形態に従うと、関係は、仮想空間2における第1のキャラクタオブジェクトおよび第2のキャラクタオブジェクトの能力の上下関係を含む。能力の上下関係は、例えば、仮想空間2における各キャラクタオブジェクトが有する仮想的なパワー、各キャラクタオブジェクトに関連付けられたスキルレベル等を含み得る。
(構成4) ある実施の形態に従うと、視界画像を第2の状態でHMD110に提示するステップは、第2の状態にある視界画像の少なくとも一部の領域から得られる視覚的効果が、第1の状態にある視界画像によって得られる視覚的効果よりも低減するように、視界画像を生成するステップを含む。視覚的効果が低減するとは、例えば、キャラクタオブジェクトあるいはその近傍が、他の領域よりも見えにくくなることを含む。
(構成5) ある実施の形態に従うと、第2の状態にある視界画像の少なくとも一部の領域によって提供される視覚的効果は、第1の状態にある視界画像における少なくとも一部の領域に対応する領域によって提供される視覚的効果を下回る。一部の領域とは、例えば、視界画像の周縁部、いずれかのキャラクタオブジェクトを取り巻く部分等を含む。
(構成6) ある実施の形態に従うと、第1のキャラクタオブジェクトと第2のキャラクタオブジェクトとの位置関係に応じて、少なくとも一部の領域は変更される。
(構成7) ある実施の形態に従うと、第1のキャラクタオブジェクトと第2のキャラクタオブジェクトとの位置関係に応じて、少なくとも一部の領域の透明度または解像度は変更される。
(構成8) ある実施の形態に従うと、HMD110を用いて仮想空間2にコンテンツを表示するためにコンピュータで実行される方法は、第1のキャラクタオブジェクトに関連付けられている第1のパラメータの内容に基づいて、第2の状態の態様を決定するステップをさらに含む。
(構成9) ある実施の形態に従うと、HMD110を用いて仮想空間2にコンテンツを表示するためにコンピュータで実行される方法は、第1のキャラクタオブジェクトに関連付けられている第1のパラメータの内容と、第2のキャラクタオブジェクトに関連付けられている第2のパラメータの内容との差に基づいて、第2の状態の態様を決定するステップをさらに含む。
以上の次第で、ある実施の形態に従うと、VRにおいては、視界範囲の設定がユーザ190によるHMD110動作に任されているので、状況に応じてぼかしその他の視覚的効果を変化させることで、臨場感をより高めることが可能になる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。