[本開示の実施形態の説明]
はじめに、本開示の例示的な実施形態の構成を列記して説明する。本開示の実施形態による方法、コンピュータ及びプログラムは、以下のような構成を備えてもよい。
(項目1)
ヘッドマウントデバイスと、ユーザの頭部以外の身体の一部の位置を検知するように構成されたセンサとを備えたシステムにおける情報処理方法であって、
前記身体の一部に関連付けられる操作オブジェクト及び少なくとも1つの対象オブジェクトを含む仮想空間を規定する仮想空間データを特定するステップであって、前記操作オブジェクトは、通常モード及び選択モードを含む少なくとも2つの動作モードで動かすことができる、ステップと、
前記仮想空間における仮想視点を特定するステップと、
前記仮想空間データと、前記仮想視点と、前記ヘッドマウントデバイスの向きとに応じて、視界画像を生成するステップと、
前記身体の一部の動きに応じて、前記仮想空間内で前記操作オブジェクトを前記通常モードで動かすステップと、
前記身体の一部の状態が所定の条件を満たす場合に、前記操作オブジェクトの動作モードを前記選択モードに切り替えるステップと、
前記選択モードに切り替えられた際に、前記操作オブジェクトにより前記少なくとも1つの対象オブジェクトのうちのいずれも選択されない場合、該選択モードの継続中、前記身体の一部の動き又は前記操作オブジェクトの動きに基づいて、前記仮想視点を動かすステップと、
前記仮想視点に基づいて生成される視界画像を、前記ヘッドマウントデバイスに関連付けられる表示部に出力するステップと
を含む、方法。
(項目2)
前記身体の一部の動きは前記身体の一部の位置を含む、項目1に記載の方法。
(項目3)
前記選択モードに切り替えられた際に、前記操作オブジェクトにより前記少なくとも1つの対象オブジェクトが選択された場合、該選択モードの継続中、前記身体の一部の動き又は前記操作オブジェクトの動きに基づいて、該少なくとも1つの対象オブジェクトを動かすステップをさらに含む、項目1又は2に記載の方法。
(項目4)
前記身体の一部は右手及び左手であり、前記操作オブジェクトは右手オブジェクト及び左手オブジェクトを含み、
前記右手及び/もしくは前記左手、又は前記右手オブジェクト及び/もしくは前記左手オブジェクトの動きに基づいて、上記仮想視点を動かすステップをさらに含む、項目1から3のいずれかに記載の方法。
(項目5)
前記右手オブジェクト及び前記左手オブジェクトの両方の動作モードが前記選択モードであるとき、前記右手及び前記左手の動きが検知された場合、前記右手及び前記左手のうち先に動いた手の動き又は前記先に動いた手に対応する操作オブジェクトの動きに基づいて前記仮想視点を動かすステップをさらに含む、項目4に記載の方法。
(項目6)
前記選択モードにおいて、前記身体の一部又は前記操作オブジェクトの連続的な動きが検知された場合、前記仮想視点の移動速度を徐々に増加させるステップをさらに含む、項目1から5のいずれかに記載の方法。
(項目7)
前記連続的な動きの中の1つの動きに応じた前記仮想視点の移動速度を、該1つの動きの前に行われた動きに応じた前記仮想視点の移動速度に比べて増加させるステップをさらに含む、項目6に記載の方法。
(項目8)
前記連続的な動きに含まれる動きが一定速度以上の動きである場合、及び/又は、前記連続的な動きに含まれる複数の動きが一定時間間隔より小さい時間間隔を空けて行われる場合に、前記仮想視点の移動速度を増加させるステップをさらに含む、項目6又は7に記載の方法。
(項目9)
前記連続的な動きに含まれる1つの動きが一定速度以上の動き及び/又は一定距離以上の動きである場合に、該1つの動きが行われている間、前記仮想視点の移動速度を徐々に上げるステップをさらに含む、項目6から8のいずれかに記載の方法。
(項目10)
視野のロール軸に対する、前記身体の一部の動き又は前記操作オブジェクトの動きの角度が、視野角の半分より大きい場合に、前記仮想視点の移動速度をゼロにするか又は低減するステップをさらに含む、項目1から9のいずれかに記載の方法。
(項目11)
前記身体の一部の動き又は前記操作オブジェクトの動きのうち視野のロール軸に直交する方向の成分の少なくとも1つに基づく、前記仮想視点の移動速度の該方向の成分を、ゼロにするか又は低減するステップをさらに含む、項目1から10のいずれかに記載の方法。
(項目12)
前記右手オブジェクト及び前記左手オブジェクトの両方の動作モードが前記選択モードであるとき、前記少なくとも1つの対象オブジェクトのうちのいずれも選択されない場合に、前記右手及び前記左手の両方によって同様の方向に同様の形状の領域を囲む動きが検知された場合には、該動きに基づいて前記仮想視点を回転させるステップをさらに含む、項目4又は5に記載の方法。
(項目13)
前記同様の形状の領域を囲む動きが水平面に対して傾いている場合、水平面へと射影した該動きに基づいて前記仮想視点を回転させるステップをさらに含む、項目12に記載の方法。
(項目14)
前記仮想視点を回転させる際に、前記視界画像の視覚情報を低減させるステップをさらに含む、項目12又は13に記載の方法。
(項目15)
前記仮想視点の回転は、第1速度での回転と前記第1速度より遅いか又はゼロである第
2速度での回転との組み合わせである、項目12から14のいずれかに記載の方法。
(項目16)
前記右手オブジェクト及び前記左手オブジェクトの両方の動作モードが前記選択モードであるとき、前記少なくとも1つの対象オブジェクトのうちのいずれも選択されない場合に、前記右手と前記左手が近づく動きが検知された場合には、前記視界画像に含まれる前記仮想空間の範囲を小さくするか又は大きくするステップをさらに含む、項目4、5及び12から15のいずれかに記載の方法。
(項目17)
前記右手オブジェクト及び前記左手オブジェクトの両方の動作モードが前記選択モードであるとき、前記少なくとも1つの対象オブジェクトのうちのいずれも選択されない場合に、前記右手と前記左手が遠ざかる動きが検知された場合には、前記視界画像に含まれる前記仮想空間の範囲を小さくするか又は大きくするステップをさらに含む、項目4、5及び12から15のいずれかに記載の方法。
(項目18)
前記視界画像に含まれる前記仮想空間の範囲を小さくするか又は大きくするステップは、前記仮想視点の位置を変化させることなく、前記仮想空間内の仮想カメラの大きさを変化させるステップを含む、項目16又は17に記載の方法。
(項目19)
項目1から18のいずれかに記載の方法をプロセッサに実行させるプログラム。
(項目20)
プロセッサとメモリを備え、前記プロセッサの制御により、項目1から18のいずれか1項に記載の方法が実行される、コンピュータ。
(項目21)
ヘッドマウントデバイスと、ユーザの頭部以外の身体の一部の位置を検知するように構成されたセンサとを備えたシステムにおいて使用されるコンピュータであって、前記コンピュータはプロセッサを備え、前記プロセッサは、
前記身体の一部に関連付けられる操作オブジェクト及び少なくとも1つの対象オブジェクトを含む仮想空間を規定する仮想空間データを特定し、前記操作オブジェクトは、通常モード及び選択モードを含む少なくとも2つの動作モードで動かすことができ、
前記仮想空間における仮想視点を特定し、
前記仮想空間データと、前記仮想視点と、前記ヘッドマウントデバイスの向きとに応じて、視界画像を生成し、
前記身体の一部の動きに応じて、前記仮想空間内で前記操作オブジェクトを前記通常モードで動かし、
前記身体の一部の状態が所定の条件を満たす場合に、前記操作オブジェクトの動作モードを前記選択モードに切り替え、
前記選択モードに切り替えられた際に、前記操作オブジェクトにより前記少なくとも1つの対象オブジェクトのうちのいずれも選択されない場合、該選択モードの継続中、前記身体の一部の動き又は前記操作オブジェクトの動きに基づいて、前記仮想視点を動かし、
前記仮想視点に基づいて生成される視界画像を、前記ヘッドマウントデバイスに関連付けられる表示部に出力する
ように構成される、コンピュータ。
[本開示の実施形態の詳細]
以下、図面を参照しつつ、本開示の実施形態について説明する。以下の説明では、同様の要素には同様の符号を付してある。それらの名称及び機能も同様である。このような要素については重複する説明が省略される。
図1を参照して、ヘッドマウントデバイス(Head−Mounted Device、HMD)システム100の構成について説明する。図1は、HMDシステム100の構成を概略的に示す。一例では、HMDシステム100は、家庭用のシステム又は業務用のシステムとして提供される。HMDは、表示部を備える所謂ヘッドマウントディスプレイであってもよく、表示部を有するスマートフォン等の端末を装着可能なヘッドマウント機器であってもよい。
HMDシステム100は、HMD110と、HMDセンサ120と、コントローラ160と、コンピュータ200とを備える。HMD110は、表示部112と、注視センサ140とを含む。コントローラ160は、モーションセンサ130を含んでもよい。
一例では、コンピュータ200は、インターネット等のネットワーク192に接続可能であってもよく、ネットワーク192に接続されるサーバ150等のコンピュータと通信可能であってもよい。別の態様において、HMD110は、HMDセンサ120の代わりにセンサ114を含んでもよい。
HMD110は、ユーザ190の頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、HMD110は、右目用の画像及び左目用の画像を表示部112にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を3次元の画像として認識し得る。
表示部112は、例えば、非透過型の表示装置として実現される。一例では、表示部112は、ユーザの両目の前方に位置するように、HMD110の本体に配置される。したがって、ユーザは、表示部112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、ユーザが選択可能なメニューの画像等を含む。ある実施形態において、表示部112は、スマートフォン等の情報表示端末が備える液晶表示部又は有機EL(Electro Luminescence)表示部として実現され得る。
一例では、表示部112は、右目用の画像を表示するためのサブ表示部と、左目用の画像を表示するためのサブ表示部とを含み得る。別の態様において、表示部112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、表示部112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
一例では、HMD110は、複数の光源(図示せず)を含む。各光源は、例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD110の動きを検出するためのポジショントラッキング機能を有する。より具体的には、HMDセンサ120は、HMD110が発する複数の赤外線を読み取り、現実空間内におけるHMD110の位置及び傾きを検出してもよい。
ある態様において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD110の画像情報を用いて、画像解析処理を実行することにより、HMD110の位置及び傾きを検出することができる。
別の態様において、HMD110は、位置検出器として、HMDセンサ120の代わり
に、センサ114を備えてもよい。HMD110は、センサ114を用いて、HMD110自身の位置及び傾きを検出し得る。例えば、センサ114が角速度センサ、地磁気センサ、加速度センサ、ジャイロセンサ等である場合、HMD110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置及び傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD110の3軸周りの角速度を経時的に検出する。HMD110は、各角速度に基づいて、HMD110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD110の傾きを算出する。また、HMD110は、透過型表示装置を備えていても良い。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視界画像は、仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、HMD110に搭載されたカメラで撮影した画像を視界画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視界画像の一部から現実空間を視認可能にしてもよい。
注視センサ140は、ユーザ190の右目及び左目の視線が向けられる方向(視線)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある態様において、注視センサ140は、右目用のセンサ及び左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目及び左目に赤外光を照射するとともに、照射光に対する角膜及び虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線を検知することができる。
サーバ150は、コンピュータ200にプログラムを送信し得る。別の態様において、サーバ150は、他のユーザによって使用されるHMDに仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。
コントローラ160は、有線又は無線によりコンピュータ200に接続される。コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある態様において、コントローラ160は、ユーザ190によって把持可能に構成される。別の態様において、コントローラ160は、ユーザ190の身体又は衣類の一部に装着可能に構成される。別の態様において、コントローラ160は、コンピュータ200から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の態様において、コントローラ160は、ユーザ190から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
ある態様において、モーションセンサ130は、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ130は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ130は、例えば、手袋型のコントローラ160に設けられる。ある実施形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の態様において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。ユーザ190の身体の様々な部分の位置、向き、動きの方向、動きの距離などを検知する光学式センサが用いられてもよい。例えば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表す信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
図2を参照して、本開示の実施形態に係るコンピュータ200について説明する。図2は、本開示の一実施形態によるコンピュータ200の基本的なハードウェア構成の例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ202と、メモリ204と、ストレージ206と、入出力インターフェース208と、通信インターフェース210とを備える。各構成要素は、それぞれ、バス212に接続される。
プロセッサ202は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ204又はストレージ206に格納されているプログラムに含まれる一連の命令を実行する。ある態様において、プロセッサ202は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field−Programmable Gate Array)等のデバイスとして実現される。
メモリ204は、プログラム及びデータを一時的に保存する。プログラムは、例えば、ストレージ206からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ202によって生成されたデータとを含む。ある態様において、メモリ204は、RAM(Random Access Memory)等の揮発性メモリとして実現される。
ストレージ206は、プログラム及びデータを永続的に保持する。ストレージ206は、例えば、ROM(Read−Only Memory)、ハードディスク装置、フラッシュメモリ等の不揮発性記憶装置として実現される。ストレージ206に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラム等を含む。ストレージ206に格納されるデータは、仮想空間を規定するためのデータ及びオブジェクト等を含む。
別の態様において、ストレージ206は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の態様において、コンピュータ200に内蔵されたストレージ206の代わりに、外部の記憶装置に保存されているプログラム及びデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
ある実施形態において、入出力インターフェース208は、HMD110、HMDセンサ120及びモーションセンサ130との間で信号を通信する。ある態様において、入出力インターフェース208は、USB(Universal Serial Bus、USB)、DVI(Digital Visual Interface)、HDMI(登録商標)(High−Definition Multimedia Interface)等の端子を用いて実現される。なお、入出力インターフェース208は上述のものに限られない。
ある実施形態において、入出力インターフェース208は、さらに、コントローラ160と通信し得る。例えば、入出力インターフェース208は、コントローラ160及びモーションセンサ130から出力された信号の入力を受ける。別の態様において、入出力インターフェース208は、プロセッサ202から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光等をコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力、発光等を実行する。
通信インターフェース210は、ネットワーク192に接続され、ネットワーク192に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある態様において、通信インターフェース210は、例えば、LAN(Local Area Network)等の有線通信インターフェース、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)等の無線通信インターフェースとして実現される。なお、通信インターフェース210は上述のものに限られない。
ある態様において、プロセッサ202は、ストレージ206にアクセスし、ストレージ206に格納されている1つ以上のプログラムをメモリ204にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ202は、入出力インターフェース208を介して、仮想空間を提供するための信号をHMD110に送る。HMD110は、その信号に基づいて表示部112に映像を表示する。
図2に示される例では、コンピュータ200は、HMD110の外部に設けられている。しかし、別の態様において、コンピュータ200は、HMD110に内蔵されてもよい。一例として、表示部112を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
また、コンピュータ200は、複数のHMD110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向及び水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施形態では、グローバル座標系は視点座標系の1つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、及び前後方向は、それぞれ、x軸、y軸、z軸として規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある態様において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD110の各光源から発せられた赤外線をそれぞれ検出すると、HMD110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD110を装着したユーザ190の動きに応じた、現実空間内におけるHMD110の位置及び傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD110の位置及び傾きの時間的変化を検出できる。
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD
110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
図3を参照して、uvw視野座標系について説明する。図3は、ある実施形態に従うHMD110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置及び傾きを検出する。プロセッサ202は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
図3に示されるように、HMD110は、HMD110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD110は、グローバル座標系を規定する水平方向、鉛直方向、及び前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、及びロール方向(w軸)として設定する。
ある態様において、HMD110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ202は、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、及び前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)及びロール方向(w軸)に一致する。
uvw視野座標系がHMD110に設定された後、HMDセンサ120は、HMD110の動きに基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD110の傾きとして、uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)及びロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD110の傾き角度を表す。
HMDセンサ120は、検出されたHMD110の傾き角度に基づいて、HMD110が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置及び傾きに関わらず、常に一定である。HMD110の位置及び傾きが変わると、当該位置及び傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置及び傾きが変化する。
ある態様において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度及び複数の点間の相対的な位置関係(例えば、各点間の距離等)に基づいて、HMD110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ202は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を決定してもよい。
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施形態に従う仮想空間400を表現する一態様を概念的に表す図である。仮想空間400は、中心406の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間400のうちの上半分の天球が例示されている。仮想空間400では各メッ
シュが規定される。各メッシュの位置は、仮想空間400に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間400に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間400において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像が展開される仮想空間400をユーザに提供する。
ある態様において、仮想空間400では、中心406を原点とするxyz座標系が規定される。xyz座標系は、例えば、グローバル座標系に平行である。xyz座標系は視点座標系の一種であるため、xyz座標系における水平方向、鉛直方向(上下方向)及び前後方向は、それぞれx軸、y軸及びz軸として規定される。したがって、xyz座標系のx軸(水平方向)がグローバル座標系のx軸と平行であり、xyz座標系のy軸(鉛直方向)がグローバル座標系のy軸と平行であり、xyz座標系のz軸(前後方向)がグローバル座標系のz軸と平行である。
HMD110の起動時、すなわちHMD110の初期状態において、仮想カメラ404が、仮想空間400の中心406に配置される。ある態様において、プロセッサ202は、仮想カメラ404が撮影する画像をHMD110の表示部112に表示する。仮想カメラ404は、現実空間におけるHMD110の動きに連動して、仮想空間400を同様に移動する。これにより、現実空間におけるHMD110の位置及び向きの変化が、仮想空間400において同様に再現され得る。
HMD110の場合と同様に、仮想カメラ404には、uvw視野座標系が規定される。仮想空間400における仮想カメラ404のuvw視野座標系は、現実空間(グローバル座標系)におけるHMD110のuvw視野座標系に連動するように規定される。したがって、HMD110の傾きが変化すると、それに応じて、仮想カメラ404の傾きも変化する。また、仮想カメラ404は、HMD110を装着したユーザの現実空間における移動に連動して、仮想空間400において移動することもできる。
コンピュータ200のプロセッサ202は、仮想カメラ404の配置位置と、基準視線408とに基づいて、仮想空間400における視認領域410を規定する。視認領域410は、仮想空間400のうち、HMD110を装着したユーザが視認する領域に対応する。
注視センサ140によって検出されるユーザ190の視線は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユーザ190が表示部112を視認する際の視点座標系に等しい。また、仮想カメラ404のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある態様に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線を、仮想カメラ404のuvw視野座標系におけるユーザの視線とみなすことができる。
図5を参照して、ユーザの視線の決定について説明する。図5は、ある実施形態に従うHMD110を装着するユーザ190の頭部を上から表した図である。
ある態様において、注視センサ140は、ユーザ190の右目及び左目の各視線を検出する。ある態様において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1及びL1を検出する。別の態様において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2及びL2を検出する。この場合、ロール方向wに対して視線R2及びL2がなす角度は、ロール方向wに対して視線R1及びL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1及びL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1及びL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2及びL2の検出値を注視センサ140から受信した場合には、視線R2及びL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線N0として検出する。視線N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線N0は、視認領域410に対してユーザ190が実際に視線を向けている方向に相当する。
別の態様において、HMDシステム100は、HMDシステム100を構成するいずれかの部分に、マイク及びスピーカを備えてもよい。ユーザは、マイクに発話することにより、仮想空間400に対して、音声による指示を与えることができる。
また、別の態様において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間400においてテレビ番組を表示することができる。
さらに別の態様において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
図6及び図7を参照して、視認領域410について説明する。図6は、仮想空間400において視認領域410をx方向から見たyz断面を表す図である。図7は、仮想空間400において視認領域410をy方向から見たxz断面を表す図である。
図6に示されるように、yz断面における視認領域410は、領域602を含む。領域602は、仮想カメラ404の配置位置と基準視線408と仮想空間400のyz断面とによって定義される。プロセッサ202は、仮想空間おける基準視線408を中心として極角αを含む範囲を、領域602として規定する。
図7に示されるように、xz断面における視認領域410は、領域702を含む。領域702は、仮想カメラ404の配置位置と基準視線408と仮想空間400のxz断面とによって定義される。プロセッサ202は、仮想空間400における基準視線408を中心とした方位角βを含む範囲を、領域702として規定する。極角α及びβは、仮想カメラ404の配置位置と仮想カメラ404の向きとに応じて定まる。
ある態様において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像を表示部112に表示させることにより、仮想空間における視界をユーザ190に提供する。視界画像は、仮想空間画像402のうち視認領域410に重畳する部分に相当する。ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ404も動く。その結果、仮想空間400における視認領域410の位置が変化する。これにより、表示部112に表示される視界画像は、仮想空間画像402のうち、仮想空間400においてユーザが向いた方向の視認領域410に重畳する画像に更新される。ユーザは、仮想空間400における所望の方向を視認することができる。
このように、仮想カメラ404の向き(傾き)は仮想空間400におけるユーザの視線(基準視線408)に相当し、仮想カメラ404が配置される位置は、仮想空間400におけるユーザの視点に相当する。したがって、仮想カメラ404を移動(配置位置を変える動作、向きを変える動作を含む)させることにより、表示部112に表示される画像が
更新され、ユーザ190の視界(視点、視線を含む)が移動される。
ユーザ190は、HMD110を装着している間、現実世界を視認することなく、仮想空間400に展開される仮想空間画像402のみを視認できる。そのため、HMDシステム100は、仮想空間400への高い没入感覚をユーザに与えることができる。
ある態様において、プロセッサ202は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間400において仮想カメラ404を移動し得る。この場合、プロセッサ202は、仮想空間400における仮想カメラ404の位置及び向きに基づいて、HMD110の表示部112に投影される画像領域(すなわち、仮想空間400における視認領域410)を特定する。
ある実施形態に従うと、仮想カメラ404は、2つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含んでもよい。また、ユーザ190が3次元の仮想空間400を認識できるように、適切な視差が、2つの仮想カメラに設定されてもよい。
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施形態に従うコントローラ160の概略構成を表す図である。
ある態様において、コントローラ160は、右コントローラと左コントローラとを含み得る。説明を簡単にするために、図8には右コントローラ800のみが示される。右コントローラ800は、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある態様において、右コントローラ800と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ800を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の態様において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ800について説明する。
右コントローラ800は、グリップ802と、フレーム804と、天面806とを備える。グリップ802は、ユーザ190の右手によって把持されるように構成されている。例えば、グリップ802は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
グリップ802は、ボタン808及び810と、モーションセンサ130とを含む。ボタン808は、グリップ802の側面に配置され、右手の中指による操作を受け付ける。ボタン810は、グリップ802の前面に配置され、右手の人差し指による操作を受け付ける。ある態様において、ボタン808、810は、トリガー式のボタンとして構成される。モーションセンサ130は、グリップ802の筐体に内蔵されている。なお、ユーザ190の動作がカメラその他の装置によってユーザ190の周りから検出可能である場合には、グリップ802は、モーションセンサ130を備えなくてもよい。
フレーム804は、その円周方向に沿って配置された複数の赤外線LED812を含む。赤外線LED812は、コントローラ160を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED812から発せられた赤外線は、右コントローラ800と左コントローラ(図示しない)との各位置や姿勢(傾き、向き)を検出するために使用され得る。図8に示される例では、2列に配置された赤外線LED812が示されているが、配列の数は図8に示されるものに限られない。1列あるいは3列以上の配列が使用されてもよい。
天面806は、ボタン814及び816と、アナログスティック818とを備える。ボタン814及び816は、プッシュ式ボタンとして構成される。ボタン814及び816は、ユーザ190の右手の親指による操作を受け付ける。アナログスティック818は、ある態様において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間400に配置されるオブジェクトを移動するための操作を含む。
ある態様において、右コントローラ800及び左コントローラは、赤外線LED812等の部材を駆動するための電池を含む。電池は、1次電池及び2次電池のいずれであってもよく、その形状は、ボタン型、乾電池型等任意であり得る。別の態様において、右コントローラ800と左コントローラは、例えば、コンピュータ200のUSBインターフェースに接続され得る。この場合、右コントローラ800及び左コントローラは、USBインターフェースを介して電力を供給され得る。
図9は、本開示の一実施形態による、HMDシステム100における仮想空間400の表示処理等を実現するための、コンピュータ200の機能を示すブロック図である。コンピュータ200は、主にHMDセンサ120、モーションセンサ130、注視センサ140、コントローラ160からの入力に基づいて、表示部112への画像出力を制御する。
コンピュータ200は、プロセッサ202と、メモリ204と、通信制御部205とを備える。プロセッサ202は、仮想空間特定部902と、HMD動作検知部903と、視線検知部904と、基準視線決定部906と、視界領域決定部908と、仮想視点特定部910と、視界画像生成部912と、オブジェクト制御部914と、動作モード切り替え部916と、選択判定部918と、仮想視点制御部920と、動き判定部922と、仮想カメラ制御部924と、視界画像出力部926とを含み得る。メモリ204は様々な情報を格納するように構成され得る。一例では、メモリ204は、仮想空間データ928、オブジェクトデータ930、アプリケーションデータ932、その他のデータ934を含んでもよい。メモリ204はまた、HMDセンサ120、モーションセンサ130、注視センサ140、コントローラ160等からの入力に対応した出力情報を、HMD110に関連付けられる表示部112へ提供するための演算に必要な各種データを含んでもよい。オブジェクトデータ930は、仮想空間内に配置される操作オブジェクト、対象オブジェクト等に関するデータを含んでもよい。表示部112は、HMD110に内蔵されてもよいし、HMD110に取り付け可能な別のデバイス(例えば、スマートフォン)のディスプレイであってもよい。
図9においてプロセッサ202内に含まれるコンポーネントは、プロセッサ202が実行する機能を具体的なモジュールとして表現する1つの例にすぎない。複数のコンポーネントの機能が単一のコンポーネントによって実現されてもよい。プロセッサ202がすべてのコンポーネントの機能を実行するように構成されてもよい。
図10は、ユーザが没入する仮想空間の画像を表示部112に表示するための一般的な処理のフロー図である。
図9及び図10を参照して、仮想空間の画像を提供するためのHMDシステム100の一般的な処理を説明する。仮想空間400は、HMDセンサ120、注視センサ140及びコンピュータ200等の相互作用によって提供され得る。
処理はステップ1002において開始する。一例として、アプリケーションデータに含まれるゲームアプリケーションがコンピュータ200によって実行されてもよい。ステップ1004において、プロセッサ202(仮想空間特定部902)は、仮想空間データ9
28を参照するなどして、ユーザが没入する仮想空間400を構成する天球状の仮想空間画像402を生成する。HMDセンサ120によってHMD110の位置や傾きが検知される。HMDセンサ120によって検知された情報はコンピュータ200に送信される。ステップ1006において、HMD動作検知部903は、HMD110の位置情報や傾き情報を取得する。ステップ1008において、取得された位置情報及び傾き情報に基づいて視界方向が決定される。
注視センサ140がユーザの左右の目の眼球の動きを検出すると、当該情報がコンピュータ200に送信される。ステップ1010において、視線検知部904は、右目及び左目の視線が向けられる方向を特定し、視線方向N0を決定する。ステップ1012において、基準視線決定部906は、HMD110の傾きにより決定された視界方向又はユーザの視線方向N0を基準視線408として決定する。基準視線408はまた、HMD110の位置や傾きに追随する仮想カメラ404の位置及び傾きに基づいて決定されてもよい。
ステップ1014において、視界領域決定部908は、仮想空間400における仮想カメラ404の視界領域410を決定する。図4に示すように、視界領域410は、仮想空間画像402のうちユーザの視界を構成する部分である。視界領域410は基準視線408に基づいて決定される。視界領域410をx方向から見たyz断面図及び視界領域410をy方向から見たxz断面図は、既に説明した図6及び図7にそれぞれ示されている。
ステップ1016において、視界画像生成部912は、視界領域410に基づいて視界画像を生成する。視界画像は、右目用と左目用の2つの2次元画像を含む。これらの2次元画像が表示部112に重畳される(より具体的には、右目用画像が右目用表示部に出力され、左目用画像が左目用表示部に出力される)ことにより、3次元画像としての仮想空間400がユーザに提供される。ステップ1018において、視界画像出力部926は、視界画像に関する情報を表示部112に出力する。表示部112は、受信した視界画像の情報に基づいて、当該視界画像を表示する。処理はステップ1020において終了する。
図11は、本開示の一実施形態による方法1100のフローチャートである。本開示の一実施形態において、コンピュータプログラムが、図11に示される各ステップをプロセッサ202(又はコンピュータ200)に実行させてもよい。また、本開示の別の実施形態は、方法1100を実行するプロセッサ202(又はコンピュータ200)として実施することができる。
以下、本開示の実施形態について具体的に説明する。ここでは、本開示の実施形態を適用することができる具体例として、複数のユーザが、各ユーザのアバター、ゲームフィールド、当該ゲームフィールド内で行動する各ユーザのユニット等が配置された仮想空間に没入して楽しむことができるゲームを想定する。しかし、本開示の実施形態は、必ずしもこのような態様に限定されない。本開示の実施形態が、特許請求の範囲において規定される範囲に含まれる様々な態様を取り得ることは、当業者にとって明らかであろう。
図12は、本実施形態において想定されるゲームの態様を概略的に説明する図である。この例では、2人のユーザ1212A及び1212B(以下、まとめて「ユーザ1212」とも呼ぶ)が当該ゲームをプレイする。ユーザ1212A及び1212Bは、それぞれ、HMD110A及び110B(以下、まとめて「HMD110」とも呼ぶ)を頭部に装着し、さらにコントローラ160A及び160B(以下、まとめて「コントローラ160」とも呼ぶ)を装着する。一例では、コントローラ160は、図8に関して上述した構成を有する。この場合、各ユーザは当該コントローラを両手に装着する。但し、これはコントローラ160の例にすぎない。ユーザの身体の他の部分に装着可能な様々な態様のコントローラを本開示の実施形態に適用することができる。
仮想空間1200内には、ユーザ1212A及び1212Bのそれぞれによって操作されるアバター1214A及び1214B(以下、まとめて「アバター1214」とも呼ぶ)並びにゲームフィールド1222が配置される。ゲームフィールド1222上には、ユーザ1212A及び1212Bの各々が有するユニット1216A及び1216B(以下、まとめて「ユニット1216」とも呼ぶ)、基地1224A及び1224B(以下、まとめて「基地1224」とも呼ぶ)等が配置される。ゲームのプレイ中、ユーザ1212は、自分のユニット1216が相手ユーザの基地1224に到達することができるように、様々な操作を行う。
ユーザ1212は、アバター1214を介して、仮想空間1220内のゲームフィールド1222上で行われるゲームを楽しむことができる。アバター1214A及び1214Bは、それぞれ、操作オブジェクト1220A及び1220B(以下、まとめて「操作オブジェクト1220」とも呼ぶ)を有する。基本的に、操作オブジェクト1220は、コントローラ160が装着されたユーザ1212の身体の一部に対応する、アバター1214の身体の一部である。例えば、操作オブジェクト1220は、アバター1214の手である。これは操作オブジェクト1220の一例にすぎない。操作オブジェクト1220は、アバター1214の身体の別の部分であってもよい。例えば、コントローラ160が、ユーザ1212の足に装着されるように構成される場合、操作オブジェクト1220はアバター1214の足であってもよい。
図12に示されるように、アバター1214A及び1214Bの位置にそれぞれ仮想カメラ1204A1及び1204B1(以下、まとめて「仮想カメラ1204−1」とも呼ぶ)が配置されてもよい。また、ユニット1216A及び1216Bの位置にそれぞれ仮想カメラ1204A2及び1204B2(以下、まとめて「仮想カメラ1204−2」とも呼ぶ)が配置されてもよい。ユーザ1212は、仮想カメラ1204−1により(アバター1214の視点から)得られた仮想空間1200の映像を見ることができるだけでなく、仮想カメラ1204−2により(ユニット1216の視点から)得られた仮想空間1200の映像を見ることもできる。
図11に戻り、処理はステップ1102において開始する。プロセッサ202は、メモリ204に格納されているアプリケーションデータ932に含まれるゲームプログラムを読み出して実行する。
処理はステップ1104に進み、仮想空間特定部902は、仮想空間データ928、オブジェクトデータ930等に基づいて、実行されたゲームのための仮想空間データを特定する。当該仮想空間データは、ユーザ1212の身体の一部(例えば、手)に関連付けられる操作オブジェクト1220及び少なくとも1つの対象オブジェクトを含む仮想空間を規定する。対象オブジェクトは、ゲームに使用するカード(後述)などのゲームに関連するアイテムのほか、仮想空間1200内に存在する椅子、棚、ランプなどの様々なオブジェクト(図示せず)を含み得る。後述するように、操作オブジェクト1220は、通常モード及び選択モードを含む少なくとも2つの動作モードで動かすことができる。
処理はステップ1106に進み、仮想視点特定部910は、仮想空間1200における仮想視点を特定する。図12の例において、当該仮想視点は、仮想カメラ1204−1又は1204−2の位置であってもよい。仮想視点は、ゲームの進行状況に応じて適宜決定されてもよい。
処理はステップ1108に進み、視界画像生成部912は、仮想空間データと、仮想視点と、HMDの向きとに基づいて、視界画像を生成する。視界画像は、例えば、図10に
関連して既に説明された処理によって生成される。生成された視界画像は、視界画像出力部926によって、HMD110に関連付けられる表示部112に出力され、表示部112によって表示される。HMD110を装着したユーザ1212は、表示部112に表示された当該視界画像を見ることができる。
図13は、ステップ1108の処理により生成される視界画像の例を示す。この例においては、アバター1214Aに関連付けられる仮想カメラ1204A1が仮想視点として設定されている。図示されるように、仮想カメラ1204A1により取得された視界画像1300は、ユーザ1212Aのアバター1214Aの操作オブジェクト(ここでは、手)1220A、相手ユーザ1212Bのアバター1214B、ゲームフィールド1222、ゲームフィールド1222上のユニット1216A及び1216B、基地1224A及び1224B、壁1304、ユーザ1212Aが所有しているカードなどのゲーム内で使用できるアイテム1302−1及び1302−2等を含んでいる。この例では、操作オブジェクト1220Aは、左手オブジェクト1220A1及び右手オブジェクト1220A2を含む。ユーザ1212Aは、自分が仮想空間1200内に入り込んでゲームフィールド1222上で行われるゲームに参加しているかのような没入感を得ることができる。
処理はステップ1110に進み、動き判定部922は、ユーザの身体の一部の状態が所定の条件を満たすか否かを判定する。当該所定の条件は様々に設定することができ、メモリ204内のアプリケーションデータ930等に含まれていてもよい。例えば、所定の条件は、ユーザ1212Aがコントローラ160A(例えば、図8に示すコントローラ800)のボタン(例えば、ボタン808及び/又は810)を押すことによってユーザ1212Aの指が曲がることであってもよい。別の例として、所定の条件は、モーションセンサ130により検知されるユーザの動きが特定の動きを含むことであってもよい。以下では、所定の条件が、ユーザ1212Aが指でコントローラ160Aのボタンを押すことによってユーザ1212Aの指が曲がることであると仮定して、本実施形態を説明する。
なお、本実施形態において、ユーザの身体の一部の「動き」とは、当該身体の一部の静止状態での位置、向き、動いている状態での動きの方向、動きの距離等の様々な概念を含み得る。
所定の条件が満たされない場合(ステップ1110の「N」)、処理はステップ1112に進む。本実施形態において、操作オブジェクト1220Aは、通常モード及び選択モードを含む少なくとも2つのモードで動かすことができる。ここで、「通常モード」とは、単に操作オブジェクト1220Aを動かすことができる状態を意味してもよい。他方、「選択モード」とは、操作オブジェクト1220Aを用いてアイテム1302−1、1302−2などの対象オブジェクトを掴む動作のように、操作オブジェクト1220A以外の何らかの対象に対して影響を与えることができる状態を意味してもよい。このほか、通常モード及び選択モードは、様々に定義されてもよい。動作モードの態様に関する情報は、メモリ204内のアプリケーションデータ932等に含まれていてもよい。
ステップ1112において、動作モード切り替え部916は、操作オブジェクト1220Aの動作モードを通常モードに設定する。処理はステップ1114に進み、オブジェクト制御部914は、ユーザ1212Aの身体の一部の動きに応じて、操作オブジェクト1220Aを動かす。処理はステップ1124に進み、視界画像出力部926は、視界画像生成部912によって生成された視界画像を表示部112に出力する。
ステップ1110において所定の条件が満たされる場合(ステップ1110の「Y」)、処理はステップ1116に進む。ステップ1116において、動作モード切り替え部916は、操作オブジェクト1220Aの動作モードを選択モードに設定する。
図14は、ステップ1116の処理によって表示部112に表示される視界画像の例を示す。ユーザ1212Aが左手の指でコントローラ160Aのうちの左コントローラのボタンを押すと、ステップ1110において所定の条件が満たされたと判定され、ステップ1116において操作オブジェクト1220Aの動作モードが選択モードに設定される。この場合、図14に示すように、オブジェクト制御部914は、左手オブジェクト1220A1の形態を、手を握った状態へと変化させてもよい。
処理はステップ1118に進み、選択判定部918は、操作オブジェクト1220Aによって対象オブジェクトが選択されたか否かを判定する。一例として、所定の条件が満たされた状態で操作オブジェクト1220Aが対象オブジェクトから所定距離の範囲内に入ったとき、当該対象オブジェクトが選択されたと判定されてもよい。対象オブジェクトが選択されたか否かの判定を様々な方法で行うことができることは、当業者にとって明らかであろう。
対象オブジェクトが選択されていないと判定された場合(ステップ1118の「N」)、処理はステップ1120に進む。ステップ1120において、仮想視点制御部920は、選択モードの継続中、ユーザ1212Aの身体の一部の動き又は操作オブジェクト1220Aの動きに基づいて、仮想視点(例えば、仮想カメラ1204A1の位置)を動かす。処理はステップ1124に進み、視界画像出力部926は、仮想視点の動きに基づいて生成された視界画像を表示部112に出力する。
図15は、ステップ1118及び1120の処理によって表示部112に表示される視界画像の例を示す。選択モードの継続中、対象オブジェクトが選択されていないときにユーザ1212Aが左手を後ろに引くと、モーションセンサ130はこの動きを検知する。オブジェクト制御部914は、検知された動きに基づいて、図14において矢印で示されるように、左手オブジェクト1220A1を後ろに動かす。仮想視点制御部920は、ユーザ1212Aの左手の動き又は左手オブジェクト1220A1の動きに基づいて、仮想視点を所定の方法で動かす。例えば、仮想視点制御部920は、左手又は左手オブジェクト1220A1が後ろに動いたことに応答して、仮想視点を前方に動かしてもよい。この場合、前方に移動した仮想視点に基づいて、図15に示す視界画像1500が生成される。本実施形態によれば、自分の身体の一部の動きによって仮想空間1200内を自由に移動できるという仮想体験をユーザに提供することができる。
図11に戻り、ステップ1118において対象オブジェクトが選択されたと判定された場合(ステップ1118の「Y」)、処理はステップ1122に進む。ステップ1122において、仮想視点制御部920は、選択モードの継続中、ユーザ1212Aの身体の一部の動き又は操作オブジェクト1220Aの動きに基づいて、選択された対象オブジェクトを動かす。処理はステップ1124に進み、視界画像出力部926は、仮想視点の動きに基づいて生成された視界画像を表示部112に出力する。
図16は、対象オブジェクトが選択されたと判定されたときに表示部112に表示される視界画像の例を示す。選択モードの継続中、左手オブジェクト1220A1がカード1302−2に重なるようにユーザが左手を動かすと、モーションセンサ130はこの動きを検知する。オブジェクト制御部914は、検知された動きに基づいて、図16に示されるように、左手オブジェクト1220A1によってカード1302−2を掴ませる。結果として、視界画像1600が表示部112に表示される。
図17は、ステップ1122の処理によって表示部112に表示される視界画像の例を示す。ユーザ1212Aが左手を右斜め前方に動かすと、モーションセンサ130はこの
動きを検知する。オブジェクト制御部914は、検知された動きに基づいて、図16において矢印で示されるように左手オブジェクト1220A1及び対象オブジェクト1302−2を動かす。このとき、仮想視点制御部920は、仮想視点をまったく動かさなくてもよいし、多少動かしてもよい。結果として、図17に示す視界画像1700が生成され、表示部112に表示される。
図18は、ステップ1120における処理の例を模式的に示す図である。この例では、ユーザ1212Aの左手の動き又はそれに応じた左手オブジェクト1220A1の動きが、矢印で示されるように、視野の外部と内部とにまたがってなされている。このように、視野のロール軸に対する、ユーザの身体の一部の動き又は操作オブジェクトの動きの角度が、視野角の半分より大きい場合、仮想視点制御部920は、仮想視点の移動速度をゼロにするか、又は、当該動きが視野内でなされるときより低減してもよい。これにより、HMD110Aを装着したユーザ1212Aの脳にとって予想しにくい視点移動を避けることができ、ユーザ1212Aの酔いを防止することができる。同様の目的で、仮想視点制御部920は、ユーザの身体の一部の動き又は操作オブジェクトの動きのうち視野のロール軸に直交する方向の成分の少なくとも1つに基づく、仮想視点の移動速度の当該方向の成分を、ゼロにするか又は低減してもよい。例えば、プロセッサ202は、モーションセンサ130によって検知されたユーザ1212Aの左手の動きに基づく左手オブジェクト1220A1の動きの大きさを、ピッチ方向成分、ヨー方向成分及びロール方向成分に分解してもよい。仮想視点制御部920は、ピッチ方向成分及びヨー方向成分の動きに基づく、仮想視点の移動速度のこれらの方向の成分を、ゼロにするか又は実際の大きさより低減してもよい。
図19は、ステップ1120における処理の例を模式的に示す図である。この例では、ユーザ1212Aが、右手及び左手にそれぞれ装着された右コントローラ及び左コントローラの両方の所定のボタンを押すことにより、左手オブジェクト1220A1及び右手オブジェクト1220A2の両方の動作モードが選択モードに設定されている。この状態において、モーションセンサ130によって右手及び左手の動きが検知された場合、仮想視点制御部920は、右手及び左手のうち先に動いた手の動き又は当該先に動いた手に対応する操作オブジェクトの動きに基づいて、仮想視点を動かしてもよい。
ステップ1120において、仮想視点制御部920は、上述の例以外の様々な方法で仮想視点を移動させてもよい。一例では、選択モードにおいて、ユーザの身体の一部又は操作オブジェクトの連続的な動きが検知された場合、仮想視点制御部920は、仮想視点の移動速度を徐々に増加させてもよい。この例において、動き判定部922は、ある動きが検知された後、所定時間内に次の動きが検知された場合に、連続的な動きがなされたと判定してもよい。あるいは、動き判定部922は、所定時間内に所定回数以上の動きが検知された場合に、連続的な動きがなされたと判定してもよい。
別の例において、仮想視点制御部920は、上記の連続的な動きの中の1つの動きに応じた仮想視点の移動速度を、該1つの動きの前に行われた動きに応じた仮想視点の移動速度に比べて増加させてもよい。
別の例において、仮想視点制御部920は、連続的な動きに含まれる動きが一定速度以上の動きである場合、及び/又は、連続的な動きに含まれる複数の動きが一定時間間隔より小さい時間間隔を空けて行われる場合に、仮想視点の移動速度を増加させてもよい。
別の例において、仮想視点制御部920は、連続的な動きに含まれる1つの動きが一定速度以上の動き及び/又は一定距離以上の動きである場合に、該1つの動きが行われている間、仮想視点の移動速度を徐々に上げてもよい。
図20は、ステップ1120における処理の例を模式的に示す図である。ユーザ1212Aが右コントローラ及び左コントローラの両方の所定のボタンを押すことにより、左手オブジェクト1220A1及び右手オブジェクト1220A2の両方の動作モードが選択モードに設定されている。対象オブジェクトを選択することなく、矢印2002及び2004で示されるように右手及び左手の両方による同様の方向への同様の形状の領域を囲む動きが検知された場合、仮想視点制御部920は、該動きに基づいて仮想視点を回転させてもよい。ここで「同様の形状」は、円、楕円などのほか、多様な形状を含み得る。仮想視点が回転した結果として、視界画像2000が生成されて表示部112に表示される。
図20に示す例において、同様の形状の領域を囲む動きが水平面に対して傾いている場合、プロセッサ202は、当該動きを水平面へと射影してもよい。仮想視点制御部920は、水平面へ射影された該動きに基づいて仮想視点を回転させてもよい。
図20に示す例において、視界画像生成部912は、仮想視点が回転されるときに、視界画像の視覚情報をぼかし処理などにより低減させてもよい。図21は、視覚情報が低減された視界画像2100の例を示す。これにより、仮想視点の回転中にユーザが酔いやすくなる影響を低減することができる。
図20に示す例において、仮想視点制御部920は、仮想視点を一定の速度で回転させなくてもよい。例えば、仮想視点の回転は、第1速度での回転と当該第1速度より遅いか又はゼロである第2速度での回転との組み合わせであってもよい。図22は、仮想視点の回転角度と時間との間の関係の例を示すグラフである。図示されるように、仮想視点制御部920は、T0からT1までの時間間隔の間、仮想視点を角度θ0からθ1まで大きく回転し、次のT1からT2までの時間間隔の間、仮想視点を角度θ1からθ2まで小さく回転し、その後これらの回転を交互に繰り返してもよい。その他様々な態様で仮想視点を回転させてもよい。このような実施形態により、仮想視点を一定速度で回転させる場合と比較して、ユーザが酔いにくくなる効果を得ることができる。
図23は、ステップ1120における処理の例を模式的に示す図である。ユーザ1212Aが右コントローラ及び左コントローラの両方の所定のボタンを押すことにより、左手オブジェクト1220A1及び右手オブジェクト1220A2の両方の動作モードが選択モードに設定されている。対象オブジェクトを選択することなく、右手と左手が近づく動きが検知された場合、仮想視点制御部920は、視界画像に含まれる仮想空間の範囲を小さくするか又は大きくしてもよい。これを実現するために、例えば、図25に示すように、仮想視点制御部920は、仮想空間1200における仮想カメラ404の大きさを変化させてもよい。例えば、右手と左手が近づく動きが検知された場合、仮想視点制御部920は、図25上段に示すように、仮想カメラ404の大きさを拡大してもよい。仮想カメラ404の大きさを拡大することにより、仮想カメラ404により撮影することのできる視野が拡大する。図23の視界画像2300は、この場合に生成される視界画像の例である。図19に示す視界画像1900等と比較して、視界画像に含まれる仮想空間の範囲が大きくなっていることが分かる。別の例として、右手と左手が近づく動きが検知された場合、仮想視点制御部920は、図25下段に示すように、仮想カメラ404の大きさを縮小してもよい。この場合には、仮想カメラ404により撮影することのできる視野は縮小し、視界画像に含まれる仮想空間の範囲は小さくなる。
図24は、ステップ1120における処理の例を模式的に示す図である。図23の例とは逆に、右手と左手が遠ざかる動きが検知された場合、仮想視点制御部920は、視界画像に含まれる仮想空間の範囲を小さくするか又は大きくしてもよい。具体的な処理は図23の場合と同様である。一例として、仮想視点制御部920は、仮想カメラ404の大き
さを縮小又は拡大してもよい。視界画像2400は、仮想カメラ404の大きさが縮小された場合に生成される視界画像の例である。図19に示す視界画像1900等と比較して、視界画像に含まれる仮想空間の範囲が小さくなっていることが分かる。
図23及び図24に示す例において、仮想視点制御部920は、仮想カメラ404の大きさを拡大又は縮小するのとは別の方法によって、視界画像に含まれる仮想空間の範囲を変化させることができる。例えば、仮想カメラ404が右目用仮想カメラ及び左目用仮想カメラを含む場合、仮想視点制御部920は、これらの間の距離を大きくしたり小さくしたりしてもよい。右目用仮想カメラと左目用仮想カメラとの間の距離を大きくすることにより、視界画像に含まれる仮想空間の範囲を大きくすることができる。反対に、右目用仮想カメラと左目用仮想カメラとの間の距離を小さくすることにより、視界画像に含まれる仮想空間の範囲を小さくすることができる。
図26は、ステップ1108の処理により生成される視界画像の例を示す。この例において、ユーザ1212Aは、ゲーム内の所定の操作により、ユニット1216Aに関連付けられる仮想カメラ1204A2を仮想視点として設定している。図示されるように、仮想カメラ1204A2により取得された視界画像2600は、ユニット1216Aの操作オブジェクト(ここでは、両手)2620A1及び2620A2、相手ユーザのアバター1214B、相手ユーザのユニット1216B、ゲームフィールド1222、相手ユーザの基地1224B、壁1304などを含む。このように、本実施形態において、ユーザ1212Aは、アバター1212Aの視点から仮想空間内での仮想体験を楽しむことができるだけでなく、ゲームフィールド1222上で相手の基地1224Bを目指して進むユニット1216Aの視点からも、仮想体験を楽しむことができる。図26の場合にも、図11から図25にわたって説明した本開示の実施形態の処理を適用することができる。すなわち、ユーザ1212Aは、自分の身体の一部の動きによってユニット1216Aの左手オブジェクト2620A1及び右手オブジェクト2620A2を操作することができる。そして、ステップ1120の処理によって仮想視点が移動する場合、ユーザ1212Aは、自分自身がユニット1216Aとしてゲームフィールド1222上を(例えば、匍匐前進することによって)相手の基地1224Bへと移動しているような体験を得ることができる。そのため、本開示の実施形態によれば、エンタテイメント性の高い、仮想空間における仮想体験をユーザに提供することができる。
本開示の実施形態は、主に、プロセッサ202(もしくはコンピュータ200)又は方法1100として実施されるものとして説明された。しかし、本開示の実施形態が、プロセッサ202に方法1100を実行させるコンピュータプログラムとして実施することができることは、当業者にとって明らかであろう。
本開示の実施形態が説明されたが、これらが例示にすぎず、本開示の範囲を限定するものではないことが理解されるべきである。本開示の趣旨及び範囲から逸脱することなく、実施形態の変更、追加、改良等を適宜行うことができることが理解されるべきである。本開示の範囲は、上述した実施形態のいずれによっても限定されるべきではなく、特許請求の範囲及びその均等物によってのみ規定されるべきである。