以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
[HMDシステムの構成]
図1を参照して、HMD(Head Mount Display)システム100の構成について説明する。図1は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
図1に示されるように、ある実施の形態に従うHMDシステム100は、HMD装置110と、HMDセンサ120と、コントローラ160と、コンピュータ200とを備える。HMD装置110は、モニタ112と、注視センサ140とを含む。コントローラ160は、モーションセンサ130を含む。ある局面において、コンピュータ200は、ネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150と通信可能である。別の局面において、HMD装置110は、HMDセンサ120の代わりに、センサ114を含み得る。
ある実施の形態に従うHMD装置110は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、HMD装置110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を3次元の画像として認識し得る。
モニタ112は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザの両目の前方に位置するようにHMD装置110の本体に配置されている。したがって、ユーザは、モニタ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、ユーザが選択可能なメニューの画像を含む。ある実施の形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は例えば、赤外線を発するLEDにより実現される。HMDセンサ120は、HMD装置110の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD装置110の位置および傾きを検出する。
なお、別の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD装置110の画像情報を用いて、画像解析処理を実行することにより、HMD装置110の位置および傾きを検出することができる。
別の局面において、HMD装置110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD装置110は、センサ114を用いて、HMD装置110自身の位置および傾きを検出し得る。例えば、センサ114が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、HMD装置110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD装置110の3軸周りの角速度を経時的に検出する。HMD装置110は、各角速度に基づいて、HMD装置110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD装置110の傾きを算出する。
モーションセンサ130は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ130は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ130は、例えば、手袋型のコントローラ160に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。例えば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表わす信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、有線により、または無線により互いに接続される。無線の場合、通信形態
は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方向)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。
サーバ150は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ150は、他のユーザによって使用されるHMD装置に仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。
[ハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェイス13と、通信インターフェイス14とを備える。各構成要素は、それぞれ、バス15に接続されている。
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FP
GA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その
他の不揮発記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ12に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
なお、別の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデー
タの更新を一括して行なうことが可能になる。
入出力インターフェイス13は、HMD装置110、HMDセンサ120、モーションセンサ130、サーバ150との間で信号を通信する。ある局面において、入出力インターフェイス13は、USB(Universal Serial Bus)インターフェイス、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェイス13は上述のものに限られない。
通信インターフェイス14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある局面において、通信インターフェイス14は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス14は上述のものに限られない。
ある局面において、プロセッサ10は、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ160を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ10は、入出力インターフェイス13を介して、仮想空間を提供するための信号をHMD装置110に送る。HMD装置110は、その信号に基づいてモニタ112に映像を表示する。
なお、図2に示される例では、コンピュータ200は、HMD装置110の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD装置110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
また、コンピュータ200は、複数のHMD装置110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD装置110の各光源から発せられた赤外線をそれぞれ検出すると、HMD装置110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD装置110を装着したユーザの動きに応じた、現実空間内におけるHMD装置110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD装置110の位置および傾きの時間的変化を検出できる。
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD装置110の各傾きは、グローバル座標系におけるHMD装置110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD装置110の傾きに基づき、uvw視野座標系をHMD装置110に設定する。HMD装置110に設定されるuvw視野座標系は、HMD装置110を装着したユーザが仮想空間において物体を見る際の視点座標系に対応する。
[開示された実施の形態の構成の概要]
(構成1)ある実施の形態において、コンピュータ200がHMD装置110に仮想空間2を提供するための方法が提供される。この方法は、コンピュータ200のプロセッサ10が、仮想空間2を定義する処理と、プロセッサ10が、HMD装置110のユーザ190の動作に応じて仮想空間2を飛翔する物体の飛翔方向を、ユーザ190の動作に基づいて決定する処理と、プロセッサ10が、仮想空間2におけるユーザ190の視界が飛翔方向に移動するように、HMD装置110に視界を表示させる処理とを含む。
(構成2)好ましくは、ある実施の形態において、構成1に加えて、決定する処理は、ユーザ190の動作に基づいて、仮想空間2における物体の飛翔距離を決定する処理を含む。HMD装置110に視界を表示させる処理は、仮想空間2において飛翔距離に応じて移動した位置からの視界をモニタ112に表示させる処理を含む。
(構成3)好ましくは、ある実施の形態において、構成1または2に加えて、当該方法は、物体が仮想空間2内の対象物に到達した場合に、プロセッサ10が、仮想空間2におけるユーザ190を当該対象物まで移動させる処理をさらに含む。
(構成4)好ましくは、ある実施の形態において、構成3に加えて、ユーザ190を対象物まで移動させる処理は、物体が静止物に到達した場合に、仮想空間2においてユーザ190を当該静止物まで移動させることを含む。
(構成5)好ましくは、ある実施の形態において、構成3に加えて、ユーザ190を対象物まで移動させる処理は、物体が移動物に到達した場合に、移動物の進行方向にユーザ190を移動させることを含む。
(構成6)好ましくは、ある実施の形態において、構成3〜5のいずれかに加えて、ユーザ190を当該対象物まで移動させる処理は、仮想空間2におけるユーザ190の周りの風景がユーザ190に接近するようにHMD装置110に視界を表示させることを含む。
(構成7)好ましくは、ある実施の形態において、構成1または2に加えて、物体が仮想空間2内の対象物に到達した場合に、プロセッサ10が、対象物がユーザ190の方に引き寄せられるようにユーザ190の視界をHMD装置110に表示させる処理をさらに含む。
(構成8)好ましくは、ある実施の形態において、構成1〜7のいずれかに加えて、物体の飛翔方向を決定する処理は、ユーザ190の手の動きに応じた物理量に基づいて、または、コンピュータ200に接続されたコントローラに対する操作に基づいて、物体の飛翔方向を決定することを含む。
(構成9)好ましくは、ある実施の形態において、構成1〜8のいずれかに加えて、物体の飛翔距離を決定する処理は、ユーザ190の手の動きに応じた物理量に基づいて、ま
たは、コンピュータ200に接続されたコントローラに対する操作に基づいて、物体の飛翔距離を決定することを含む。
(構成10)ある実施の形態に従うHMDシステム100は、HMD装置110と、HMD装置110に仮想空間2を提供するためのコンピュータ200とを備える。コンピュータ200は、一連の命令を格納するためのメモリと一連の命令を実行するためのプロセッサ10とを備えている。一連の命令がプロセッサ10によって実行されると、プロセッサ10は、仮想空間2を定義し、HMD装置110のユーザ190の動作に応じて仮想空間2を飛翔する物体の飛翔方向を、ユーザ190の動作に基づいて決定し、仮想空間2におけるユーザ190の視界が飛翔方向に移動するように、HMD装置110に視界を表示させるように構成されている。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD装置110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD装置110の起動時に、グローバル座標系におけるHMD装置110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD装置110に設定する。
図3に示されるように、HMD装置110は、HMD装置110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD装置110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD装置110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD装置110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
ある局面において、HMD装置110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD装置110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD装置110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
uvw視野座標系がHMD装置110に設定された後、HMDセンサ120は、HMD装置110の動きに基づいて、設定されたuvw視野座標系におけるHMD装置110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD装置110の傾きとして、uvw視野座標系におけるHMD装置110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD装置110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD装置110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD装置110の傾き角度を表す。
HMDセンサ120は、検出されたHMD装置110の傾き角度に基づいて、HMD装置110が動いた後のHMD装置110におけるuvw視野座標系を、HMD装置110に設定する。HMD装置110と、HMD装置110のuvw視野座標系との関係は、HMD装置110の位置および傾きに関わらず、常に一定である。HMD装置110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD装置110のuvw視野座標系の位置および傾きが変化する。
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD装置110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD装置110のuvw視野座標系の原点を決定してもよい。
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
HMD装置110の起動時、すなわちHMD装置110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD装置110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD装置110の位置および向きの変化が、仮想空間2において同様に再現される。
仮想カメラ1には、HMD装置110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラのuvw視野座標系は、現実空間(グローバル座標系)におけるHMD装置110のuvw視野座標系に連動するように規定されている。したがって、HMD装置110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD装置110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザが仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、HMD装置110を装着したユーザの視界に対応する。
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD装置110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD装置110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユー
ザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザの視線方向とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザの視線方向の決定について説明する。図5は、ある実施の形態に従うHMD装置110を装着するユーザ190の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けている方向に相当する。
別の局面において、HMDシステム100は、HMDシステム100を構成するいずれかのパーツに、マイクおよびスピーカを備えてもよい。ユーザは、マイクに発話することにより、仮想空間2に対して、音声による指示を与えることができる。
また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
図6に示されるように、YZ断面における視界領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間おける基準視線5を中心として極角αを含む範囲を、領域24として規定する。
図7に示されるように、XZ断面における視界領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像26をモニタ112に表示させることにより、ユーザ190に仮想空間を提供する。視界画像26は、仮想空間画像22のうち視界領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD装置110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、モニタ112に表示される視界画像26は、仮想空間画像22のうち、仮想空間2においてユーザが向いた方向の視界領域23に重畳する画像に更新される。ユーザは、仮想空間2における所望の方向を視認することができる。
ユーザ190は、HMD装置110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザに与えることができる。
ある局面において、プロセッサ10は、HMD装置110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD装置110のモニタ112に投影される画像領域(すなわち、仮想空間2における視界領域23)を特定する。
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD装置110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[HMD装置の制御装置]
図8を参照して、HMD装置110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図8は、ある実施の形態に従うコンピュータ200をモジュール構成として表わすブロック図である。
図8に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト生成モジュール232と、物体制御モジュール233とを含む。メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243とを保持している。
ある実施の形態において、表示制御モジュール220と仮想空間制御モジュール230とは、プロセッサ10によって実現される。別の実施の形態において、複数のプロセッサ10が表示制御モジュール220と仮想空間制御モジュール230として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェイス14によって実現される。
ある局面において、表示制御モジュール220は、HMD装置110のモニタ112に
おける画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向き等を制御する。視界領域決定モジュール222は、視界領域23を規定する。視界画像生成モジュール223は、決定された視界領域23に基づいて、モニタ112に表示される視界画像26を生成する。
基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表わす仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
仮想オブジェクト生成モジュール232は、仮想空間2に表示される対象物を生成する。対象物は、例えば、ゲームのストーリーの進行に従って表示される森、山その他を含む風景、動物等を含む。
物体制御モジュール233は、仮想空間2においてユーザが保持する物体の動作を制御する。当該物体は、例えば、現実空間におけるユーザ190の動作に連動して、仮想空間2において投げられるロープ、石、投げ輪その他の投擲物を含み得る。
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243とを保持している。空間情報241は、仮想空間2を提供するために規定された1つ以上のテンプレートを保持している。オブジェクト情報242は、仮想空間2において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを表示するための情報を保持している。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。ユーザ情報243は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。メモリモジュール240に格納されているデータおよびプログラムは、HMD装置110のユーザによって入力される。あるいは、コンピュータ200が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ150)からダウンロードして、メモリモジュール240に格納する。
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。
[制御構造]
図9を参照して、HMDシステム100の制御構造について説明する。図9は、ある実施の形態に従うHMDシステム100において実行される処理の一部を表わすシーケンスチャートである。
ステップS910にて、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間画像データを特定する。
ステップS920にて、プロセッサ10は、仮想カメラ1を初期化する。例えば、仮想
カメラ1を仮想空間2において予め規定された中心点に配置し、仮想カメラ1の視線をユーザ190が向いている方向に向ける。
ステップS930にて、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像を生成する。生成された視界画像は、視界画像生成モジュール223を介して通信制御モジュール250によってHMD装置110に送られる。
ステップS932にて、HMD装置110のモニタ112は、コンピュータ200から受信した信号に基づいて、視界画像を表示する。HMD装置110を装着したユーザ190は、視界画像を視認すると仮想空間2を認識し得る。
ステップS934にて、HMDセンサ120は、HMD装置110から発信される複数の赤外線光に基づいて、HMD装置110の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に送られる。
ステップS940にて、プロセッサ10は、HMD装置110の位置と傾きとに基づいて、HMD装置110を装着したユーザ190の視界方向を特定する。プロセッサ10は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間2においてオブジェクトを表示させる。ユーザ190は、そのアプリケーションプログラムの実行により仮想空間2において視認可能なコンテンツを楽しむ。ある局面において、当該コンテンツは、例えば、球技、縄投げその他の遊戯、観光地におけるガイドツアー等を含む。
ステップS942にて、モーションセンサ130は、ユーザ190の手の動きを検出する。検出された動きを示す信号は、コンピュータ200に送られる。当該信号は、手の回転速度、加速度等を含む。例えば、ある局面において、球技のアプリケーションプログラムが実行されている場合、ユーザ190の腕の振りに応じて、仮想空間2に存在する仮想ユーザがボールを投げるシーンがあり得る。この場合、ユーザ190が実際に腕を動かしたときに、その腕の回転方向や速度が検出される。別の局面において、ロープ投げのゲームが実行されている場合、ユーザ190が腕を回転させると、ロープを回転させる間の腕の回転速度およびロープを投げた時の腕の振り方向が検出される。さらに別の局面において、旅行のアプリケーションプログラムが実行されている場合、仮想空間2における仮想ユーザが観光ガイドとして機能している場合もあり得る。この場合、仮想空間2における観光ガイドが旅行者に対して例えば「右手の方向をご覧ください」と話しかけた時の右腕の動きおよび右腕が指示する方向が検出される。
ステップS950にて、プロセッサ10は、モーションセンサ130から出力される信号に基づいて、飛翔方向を特定する。本実施の形態において、飛翔方向とは、仮想空間2においてボール、輪、石その他の仮想物体が飛んでいく方向、あるいは、仮想ユーザの腕、指、指示棒その他のオブジェクトが指し示す方向を含む。
ステップS960にて、プロセッサ10は、特定された飛翔方向に基づいて、仮想ユーザの移動後の視界を決定する。
ステップS970にて、プロセッサ10は、特定された飛翔方向に基づいて、仮想カメラ1の向きを決定する。
ステップS980にて、プロセッサ10は、決定された仮想カメラ1の向きに基づいて、視界領域を決定する。本実施の形態において、視界領域とは、仮想空間2における仮想が視認できる範囲を表わす。
ステップS990にて、コンピュータ200は、決定された視界領域に応じて視界画像を表示するための視界画像データを生成し、生成した視界画像データをHMD装置110に出力する。
ステップS992にて、HMD装置110のモニタ112は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。ユーザ190は、更新後の視界画像、すなわち、飛翔方向に視線が移動したのちの視界を認識することができる。
図10を参照して、コンピュータ200の制御構造についてさらに説明する。図10は、仮想空間2において仮想ユーザが投げ輪その他の物体を対象物に投げる場合にコンピュータ200が実行する処理の一部を表わすフローチャートである。
ステップS1010にて、プロセッサ10は、仮想空間定義モジュール231として、メモリ11において仮想空間2を定義する。
ステップS1020にて、プロセッサ10は、モーションセンサ130からの信号に基づいて、HMD装置110を装着したユーザ190の動作を検出する。
ステップS1030にて、プロセッサ10は、ユーザ190の動作に基づいて、仮想空間2を飛翔する物体の飛翔方向を決定する。例えば、プロセッサ10は、ユーザ190の右手の回転速度および投擲方向に基づいて、物体が飛んでいくときの初速、飛翔方向等のパラメータを決定する。他の局面において、プロセッサ10は、ユーザ190の右手の回転回数および投擲方向に基づいて、当該パラメータを決定してもよい。回転速度が考慮される場合よりも回転回数が考慮される場合の方が、コントローラ160がユーザ190の手から離れる前に物体が飛んでいくように制御しやすくなるので、HMD装置110をより安全に使用できる。
ステップS1040にて、プロセッサ10は、仮想オブジェクト生成モジュール232として、仮想空間2におけるユーザ190の視界が飛翔方向に移動するように、HMD装置110に視界画像を表示させるための視界画像データを生成する。プロセッサ10は、生成した視界画像データをHMD装置110に送信し、当該視界画像データに基づいて視界画像をモニタ112に表示させる。
ステップS1050にて、プロセッサ10は、仮想空間における仮想ユーザと対象物までの仮想距離と、ユーザ190の腕の回転動作とに基づいて、物体が仮想空間2の対象物に到達したか否かを判断する。例えば、対象物は、仮想空間2において表示される木、岩その他の静止物、または、自動車、犬あるいは馬のように仮想空間2において走る移動物のいずれであってもよい。物体が対象物に到達したか否かは、例えば、仮想空間2における物体の初速、飛翔方向と、仮想ユーザから対象物までの仮想距離とに基づいて判断され得る。なお、この判断は、仮想空間2において適用されるものであるため、現実空間において考慮されるべき空気抵抗その他の物理量の存在は無視してもよい。プロセッサ10は、物体が仮想空間2の対象物に到達したと判断すると(ステップS1050にてYES)、制御をステップS1060に切り換える。そうでない場合には(ステップS1050にてNO)、プロセッサ10は、制御をステップS1020に戻す。
ステップS1060にて、プロセッサ10は、物体制御モジュール233として、仮想空間2における仮想ユーザの位置を当該対象物まで移動させる。
なお、別の局面において、ステップS1050おける判断は、例えば、ゲームソフトウ
ェアにおいて実行される物理演算を考慮してもよい。この場合、例えば、物体の大きさ、質量、仮想空間2における重力または空気抵抗等が考慮され得る。このようにすると、仮想現実において提供される興趣が高まり得る。
さらに別の局面において、ステップS1050における判断処理の代わりに、プロセッサ10は、物体が到着した対象物を特定する処理を実行してもよい。当該対象物は、例えば、木、岩、地面その他の静止物および動物、車両その他の移動物を含む。この局面では、例えば、プロセッサ10は、仮想ユーザが当該対象物まで高速に仮想空間2を移動するように視界画像を生成してもよい。このようにすると、高速移動という仮想現実ならではの場面においてもユーザ190に対するVR酔いの発生を抑制することができる。
[静止物に対するユーザの移動]
図11〜図13を参照して、仮想空間2における静止物に対するユーザの移動について説明する。ある実施の形態において、木が静止物として例示されるが、静止物は例示されるものに限られない。例えば、建物、川の向こう岸のように、少なくとも仮想空間2においてユーザが視認可能な物であればよい。
図11は、仮想空間2に山と木が存在している状態を表す図である。ユーザは、右前方に木を認識し、左前方に山を認識している。分図Aは、HMD装置110を装着したユーザ190が仮想空間2において視認している画像1100を表す。分図Bは、仮想空間2を上方(Y方向)から見た状態を表す。
一例として、HMDシステム100が仮想空間2において仮想ユーザにロープを投げさせて、そのロープが掛かった先に移動するシナリオについて説明する。ある局面において、HMD装置110を装着したユーザ190は、右手にセンサを取り付ける。当該センサは、右手の動き(回転あるいは投げ動作)を検出し、検出結果はコンピュータ200に入力される。コンピュータ200は、当該シナリオを実現するアプリケーションプログラムを実行し、画像を表示するための信号をモニタ112に送信する。モニタ112が、その信号に応じて画像を表示すると、ユーザ190は、その画像を認識する。
分図Aに示されるように、ある局面において、仮想空間2における仮想ユーザは、山や木1110を視認している。上記シナリオの進行に応じて、ユーザ190が、コントローラ160が装着された手を動かすことにより、ロープを表示させるために予め規定された動作を行なうと、ロープ1120が表示される。
分図Bに示されるように、仮想空間2をY軸方向から見ると、仮想ユーザに相当する仮想カメラ1の視野には、ロープ1120が表示される。
図12は、仮想ユーザがロープ1120を木1110に向かって投げた時の状態を説明するための図である。分図Aは、ロープ1120が木1110に向かって飛んでいく状態を表す。分図Bは、ロープ1120の投擲に応じて仮想カメラ1の向きが木1110の方に向けられた状態を表す。
ユーザ190が右腕を数回回して右前方に右手を振り出すと、プロセッサ10は、右手に取り付けられたセンサから出力される信号に基づいて、モニタ112に表示される画像を切り換える。より具体的には、仮想空間2における視界画像は、木1110を中心とした画像に切り換わる。仮想ユーザは、ロープ1120を投げる際に、視線を木1110の方向に切り換えたかのように視界画像を視認し得る。ユーザ190は、ロープ1120が飛んでいく方向を予測できるので、没入感を損なうことなく、所謂映像酔い(VR酔い)を防止することができる。
図13は、ロープ1120の輪が木1110に引っかかったことに応答して、仮想ユーザが木1110の付近に移動したことを説明するための図である。分図Aは、木1110の付近に移動した仮想ユーザが視認する画像を表す図である。分図Bは、仮想空間2における仮想カメラ1の位置および向きを表す図である。
分図Aに示されるように、ある局面において、画像1300は、仮想ユーザが木1110の近くに移動した状態を表示する。仮想空間2に存在する仮想ユーザによって投げられたロープ1120が木1110の枝に引っかかった後にユーザ190がロープ1120を手元に引き寄せるような動作を行なうと、仮想空間2において、仮想ユーザは木1110に向かって高速に移動し得る。より具体的には、仮想ユーザは、HMDセンサ120が検出するHMD装置110の位置の時間的変化に従う移動速度よりも高速に移動し得る。この時、仮想ユーザと木1110との周りの風景が仮想ユーザの方に高速に移動するように、視界画像が表示されてもよい。
分図Bに示されるように、仮想カメラ1の位置が木1110の付近に瞬時に移動されることにより、仮想ユーザが木1110に瞬時に移動したかのように、ユーザ190は視認し得る。
以上のようにして、ある局面において、ユーザ190の動作に基づいて仮想空間2において仮想ユーザが静止物に物体を投げた場合、仮想ユーザが視認する視界画像は、物体が飛ぶ方向、すなわち仮想ユーザの視界が移動する方向に切り換わる。ユーザ190の動作は、腕の回転および物体を投げる仕草を含む。視界画像が切り換わる方向は、このような動作に対応している。したがって、ユーザ190は、仮想空間2における視界画像を自身の動作に応じて視認できるので、映像酔いが抑制され得る。
[静止物に対するユーザの移動]
次に、図14〜図16を参照して、仮想空間2における移動物に対するユーザの移動について説明する。ある実施の形態において、馬が移動物として例示されるが、移動物は例示されるものに限られない。例えば、その他の動物、自動車その他の車両、鳥、飛行機、ロケット等、現実空間で動く物であればよい。
図14は、仮想空間2に山が存在しており、かつ、馬が走っている状態を表す図である。分図Aは、HMD装置110を装着したユーザ190が仮想空間2において視認している視界画像1400を表す。分図Bは、仮想空間2を上方(Y方向)から見た状態を表す。ある局面において、HMD装置110を装着したユーザ190は、仮想ユーザとして、視界画像1400を視認している。視界画像1400は、山と馬1410とを表示している。
分図Aに示されるように、ユーザ190が予め定められた動作を行なうと、HMD装置110のプロセッサ10は、視界画像1400の中にロープ1120を表示する。ユーザ190が手を動かすと、モーションセンサ130はその動きを検出し、プロセッサ10は、走っている馬1410に向けて、ロープ1120が飛んでいくように画像をモニタ112に表示させる。このとき、ユーザ190の動作に応じて、馬1410が視界画像1400の中心になるように、モニタ112は画像を表示する。したがって、ユーザ190が動作を行なう方向と視界画像1400で表示される方向とがほぼ同じ方向になるので、VR酔いが抑制され得る。
図15は、仮想空間2において対象物が移動した状態を表示する画像1500を表す図である。分図Aは、仮想空間2における馬1410が走って場所が移動した状態を表す図
である。分図Bは、仮想空間2を上方(Y方向)から見た状態を表す。
分図Aに示されるように、ユーザ190が、仮想空間2において、仮想ユーザとしてロープ1120を走っている馬1410に向かって投げる動作を行なうと、モーションセンサ130はその動作を検知して、移動方向を検出する。例えば、画像1500において馬1410が右から左に走っている場合、ユーザ190は、右手を左前方に投げる動作を行なう。そこで、プロセッサ10は、視界画像が左方向に切り換わるように信号を生成し、モニタ112にその信号を送信する。
分図Bは、仮想ユーザに相当する仮想カメラ1の向きが馬1410を中心とする方向に切り換わる。この状態で、モニタ112が画像を表示すると、ユーザ190は、仮想ユーザとして仮想空間2における画像の中心に馬1410を視認できる。
さらに別の局面において、ロープ1120が馬1410に引っかかると、ユーザ190は、ロープ1120を引っ張る動作を行なうことにより、仮想ユーザを馬1410の方に高速に移動させることができる。
図16は、一局面において仮想ユーザが移動物に高速に移動した状態を説明するための図である。分図Aは、仮想ユーザが視認する視界画像1600を表す。分図Bは、仮想空間2を上方(Y方向)から見た状態を表す。
分図Aに示されるように、仮想空間2において、仮想ユーザは高速に対象物まで移動することができる。例えば、図15の分図Aに示されるようにロープ1120が馬1410に引っかかった状態で、ユーザ190がロープ1120を引く動作、例えば、モーションセンサ130が装着された手を手前に引く動作を行なうと、プロセッサ10は、仮想ユーザが馬1410に高速で接近するような画面をモニタ112に表示させる。例えば、仮想ユーザの周りの景色が高速で仮想ユーザの後方に過ぎ去るような画像が視界画像として表示される。このようにすると、視界画像を視認したユーザ190は、自らの動作に基づく移動方向が仮想空間2においても予想できるので、VR酔いの発生が防止され得る。
以上のようにして、ある実施の形態によれば、現実空間におけるユーザ190の動作に基づき、仮想空間2における仮想ユーザの移動方向が表示されるので、ユーザ190の動作と仮想空間2における移動方向とが連動することになる。その結果、仮想空間2において仮想ユーザの移動が行なわれても、その時の画像を視認したユーザ190に対するVR酔いの発生が抑制され得る。なお、上記で開示された各特徴は、適宜、組み合わせられてもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。