JP6941130B2 - 情報処理方法、情報処理プログラム及び情報処理装置 - Google Patents

Description

本開示は、情報処理方法、情報処理プログラム及び情報処理装置に関する。

特許文献１では、現実空間におけるユーザの手の動きに応じて、仮想空間内における仮想手の動きを制御する技術が開示されている。このように、ユーザの手の動きに応じて仮想手を動かすことで、ユーザに自由度の高い仮想空間内の体験（以下、仮想体験という。）を提供することができる。

特許第５９９６１３８号公報

ところで、ユーザに様々な仮想体験を提供する場合において、ユーザの手の動きを様々なアクションのトリガーとして設定することが考えられる。しかしながら、ユーザの手の動きを様々なアクションのトリガーとして設定すると、ユーザは、様々なアクションに関連付けられた様々な手の動きを習得する必要がある。従って、仮想空間におけるユーザの利便性を高める上では、改善の余地がある。

本開示は、仮想空間におけるユーザの利便性を高めることが可能な情報処理方法、情報処理プログラム及び情報処理装置を提供することを目的とする。

本開示が示す一態様によれば、プロセッサによって事項される情報処理方法は、
ａ）操作オブジェクトと、指示オブジェクトとを含む仮想空間を規定する仮想空間データを生成するステップと、
ｂ）ヘッドマウントデバイスの動きと、前記仮想空間データとに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
ｃ）前記ヘッドマウントデバイスを装着したユーザの頭部以外の身体の一部の動きに応じて、前記操作オブジェクトを動かすステップと、を含む。
前記指示オブジェクトは、前記操作オブジェクトに視覚的に関連付けられ、前記ユーザの身体の前記一部に誘導動作をさせるように誘導する。

本開示によれば、仮想空間におけるユーザの利便性を高めることが可能な情報処理方法、情報処理プログラム及び情報処理装置を提供することができる。

ユーザ端末を示す概略図である。 ＨＭＤを装着したユーザの頭部を示す図である。 制御装置のハードウェア構成を示す図である。 視野画像をＨＭＤに表示する処理を示すフローチャートである。 仮想空間の一例を示すｘｙｚ空間図である。 状態（ａ）は、図５に示す仮想空間のｙｘ平面図である。状態（ｂ）は、図５に示す仮想空間のｚｘ平面図である。 ＨＭＤに表示された視野画像の一例を示す図である。 第１実施形態に係る仮想空間を模式的に示した図である。 第２指示オブジェクトが仮想カメラの視野内の所定の位置に移動する様子を示した模式図である。 第２指示オブジェクトを仮想カメラの視野内に移動させる処理を説明するためのフローチャートである。 第２実施形態に係る仮想空間を模式的に示した図である。 アバターの動きを説明するための図である。

［本開示が示す実施形態の説明］
本開示が示す実施形態の概要を説明する。
（１）ａ）操作オブジェクトと、指示オブジェクトとを含む仮想空間を規定する仮想空間データを生成するステップと、
ｂ）ヘッドマウントデバイスの動きと、前記仮想空間データとに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
ｃ）前記ヘッドマウントデバイスを装着したユーザの頭部以外の身体の一部の動きに応じて、前記操作オブジェクトを動かすステップと、を含み、
前記指示オブジェクトは、
前記操作オブジェクトに視覚的に関連付けられ、前記ユーザの身体の前記一部に誘導動作をさせるように誘導する、プロセッサによって実行される情報処理方法。

上記方法によれば、指示オブジェクトは、ユーザの身体の一部（例えば、手や指）に誘導動作をさせるように誘導する。このように、ユーザは、指示オブジェクトを視認することで、身体の一部が誘導動作を行うように当該身体の一部を動かすことができる。例えば、ユーザは、チュートリアル等において、指示オブジェクトを視認することで、仮想空間内での所定のアクションに関連付けられたユーザの手や指（ユーザの身体の一部の一例）の動きを比較的容易に習得することができる。このように、仮想空間におけるユーザの利便性を高めることが可能な情報処理方法を提供することができる。

（２）前記仮想空間は、前記操作オブジェクトと前記指示オブジェクトとを視覚的に関連付けるように連結する第１連結オブジェクトをさらに含む、項目（１）に記載の情報処理方法。

上記方法によれば、操作オブジェクトと指示オブジェクトを視覚的に関連付けるように連結する第１連結オブジェクトによって、ユーザの視線を指示オブジェクトに誘導させることができる。

（３）ｄ）前記操作オブジェクトの移動に応じて、前記第１連結オブジェクトの視覚的態様を、前記操作オブジェクトと前記指示オブジェクトとを視覚的に関連付け続けるように更新するステップをさらに含む、項目（２）に記載の情報処理方法。

上記方法によれば、操作オブジェクトの移動に応じて、操作オブジェクトと指示オブジェクトとを視覚的に関連付け続けるように、第１連結オブジェクトの視覚的態様が更新される。このように、操作オブジェクトを動かした場合でも、第１連結オブジェクトによってユーザの視線を指示オブジェクトに誘導させることができる。

（４）前記仮想空間は、
仮想ボタンを有し、前記操作オブジェクトに関連付けられた仮想コントローラと、
前記指示オブジェクトと前記仮想ボタンを視覚的に関連付けるように連結する第２連結オブジェクトを更に含む、項目（２）又は（３）に記載の情報処理方法。

上記方法によれば、指示オブジェクトと仮想コントローラの仮想ボタンを視覚的に関連付けるように連結する第２連結オブジェクトによって、ユーザの視線を仮想ボタンと指示オブジェクトに誘導させることができる。このため、ユーザは、チュートリアル等において、指示オブジェクトと仮想ボタンの両方を視認することで、ユーザの指（ユーザの身体の一部の一例）の動きと仮想空間内でのアクションの関連付けを覚えることができる。

（５）ｅ）前記ユーザの視野の移動に応じて、前記指示オブジェクトが前記視野内の所定位置に配置され続けるように前記指示オブジェクトを移動させるステップを更に含む、項目（１）から（４）うちいずれか一項に記載の情報処理方法。

上記方法によれば、ユーザの視野の移動に応じて、指示オブジェクトがユーザの視野内の所定位置に配置され続けるように移動する。このように、指示オブジェクトがユーザの視野に追随するため、仮想空間におけるユーザの利便性を高めることができる。

（６）前記指示オブジェクトは、前記仮想空間内に固定的に配置される、項目（１）から（４）のうちいずれか一項に記載の情報処理方法。

上記方法によれば、指示オブジェクトが仮想空間内に固定的に配置される。このため、指示オブジェクトがユーザの視野外に位置する場合でも、操作オブジェクトと指示オブジェクトを連結する第１連結オブジェクトによって、ユーザの視線を指示オブジェクトに誘導させることができる。

（７）前記指示オブジェクトは、前記仮想空間内に配置されたアバターであり、
前記アバターの仮想身体の一部が、前記誘導動作を実行させるべき前記ユーザの身体の前記一部に相当する部分を含むことにより、前記指示オブジェクトは前記操作オブジェクトに視覚的に関連付けられ、
前記部分の動きが誘導動作を実行することにより、前記指示オブジェクトは前記ユーザの身体の前記一部に前記誘導動作を実行させるように誘導する、項目（６）に記載の情報処理方法。

上記方法によれば、アバターの仮想身体の一部の動きが誘導動作を実行することにより、指示オブジェクトは、ユーザの身体の一部（例えば、手や指）に誘導動作を実行させるように誘導する。このように、ユーザは、アバターの仮想身体の一部の動きを視認することで、身体の一部が誘導動作を行うように当該身体の一部を動かすことができる。例えば、ユーザは、チュートリアル等において、アバターの仮想身体の一部の動きを視認することで、仮想空間内での所定のアクションに関連付けられたユーザの手や指（ユーザの身体の一部の一例）の所定の動きを比較的容易に習得することができる。

（８）前記ユーザの視野内に前記アバターが存在する場合に、前記アバターの背面が前記視野画像上に表示されるように、前記アバターの向きが設定される、項目（７）に記載の情報処理方法。

上記方法によれば、ユーザの視野内にアバターが存在する場合に、アバターの背面が視野画像上に表示されるようにアバターの向きが設定される。このように、アバターはユーザに対して背を向けているため、ユーザは、アバターの仮想身体の一部の動きを比較的容易に真似ることができる。

（９）前記アバターは、前記仮想身体のうち前記部分のみが動くように制御される、項目（７）又は（８）に記載の情報処理方法。

上記方法によれば、アバターは仮想身体のうちユーザの身体の一部に相当する部分のみが動くように制御されるので、ユーザの視線をアバターの仮想身体の一部分（例えば、仮想手）に誘導させることができる。

（１０）前記誘導動作は、第１の動きと第２の動きを含み、
前記ユーザの身体の前記一部は、手と指を含み、
前記指示オブジェクトは、前記手に前記第１の動きをさせるように誘導する第１指示オブジェクトと、前記指に前記第２の動きをさせるように誘導する第２指示オブジェクトと、を有し、
ｆ）前記第１の動きに引き続いて実行される前記第２の動きに応じて、前記操作オブジェクトによって操作される対象オブジェクトを生成するステップをさらに含む、項目（１）から（３）のうちいずれか一項に記載の情報処理方法。

上記方法によれば、第１指示オブジェクトは、ユーザの手に第１の動きをさせるように誘導すると共に、第２指示オブジェクトは、ユーザの指に第２の動きをさせるように誘導する。さらに、第１の動きに引き続いて実行される第２の動きに応じて、操作オブジェクトによって操作される対象オブジェクトが生成される。このように、ユーザは、第１指示オブジェクトを視認することで、ユーザの手の動きが第１の動きとなるようにユーザの手を動かすことができると共に、第２指示オブジェクトを視認することで、ユーザの指の動きが第２の動きとなるようにユーザの指を動かすことができる。例えば、ユーザは、チュートリアル等において、第１指示オブジェクトと第２指示オブジェクトを視認することで、仮想空間内での対象オブジェクトの出現に関するアクションに関連付けられたユーザの手の第１の動きとユーザの指の第２の動きを比較的容易に習得することができる。

（１１）項目（１）から（１０）のうちいずれか一項に記載の情報処理方法をコンピュータに実行させるための情報処理プログラムが提供される。

上記によれば、仮想空間におけるユーザの利便性を高めることが可能な情報処理プログラムを提供することができる。

（１２）プロセッサと、
コンピュータ可読命令を記憶するメモリと、を備えた情報処理装置であって、
前記コンピュータ可読命令が前記プロセッサにより実行されると、前記情報処理装置は項目（１）から（１０）のうちいずれか一項に記載の情報処理方法を実行する、情報処理装置。

上記によれば、仮想空間におけるユーザの利便性を高めることが可能な情報処理装置を提供することができる。

［本開示が示す実施形態の詳細］
以下、本開示が示す実施形態について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。

最初に、図１を参照してユーザ端末１の構成について説明する。図１は、ユーザ端末１を示す概略図である。図１に示すように、ユーザ端末１は、ユーザＵの頭部に装着されたヘッドマウントデバイス（ＨＭＤ）１１０と、ヘッドフォン１１６と、マイク１１８と、位置センサ１３０と、外部コントローラ３２０と、制御装置１２０とを備える。

ＨＭＤ１１０は、表示部１１２と、ＨＭＤセンサ１１４と、注視センサ１４０とを備えている。表示部１１２は、ＨＭＤ１１０を装着したユーザＵの視界（視野）を完全に覆うように構成された非透過型の表示装置を備えている。これにより、ユーザＵは、表示部１１２に表示された視野画像のみを見ることで仮想空間に没入することができる。尚、表示部１１２は、ユーザＵの左目に画像を提供するように構成された左目用表示部と、ユーザＵの右目に画像を提供するように構成された右目用表示部とから構成されてもよい。また、ＨＭＤ１１０は、透過型の表示装置を備えてもよい。この場合、透過型の表示装置は、その透過率を調整することで、一時的に非透過型の表示装置として構成されてもよい。

ＨＭＤセンサ１１４は、ＨＭＤ１１０の表示部１１２の近傍に搭載される。ＨＭＤセンサ１１４は、地磁気センサ、加速度センサ、傾きセンサ（角速度センサやジャイロセンサ等）のうちの少なくとも１つを含み、ユーザＵの頭部に装着されたＨＭＤ１１０の各種動き（傾き等）を検出することができる。

注視センサ１４０は、ユーザＵの視線を検出するアイトラッキング機能を有する。注視センサ１４０は、例えば、右目用注視センサと、左目用注視センサを備えてもよい。右目用注視センサは、ユーザＵの右目に例えば赤外光を照射して、右目（特に、角膜や虹彩）から反射された反射光を検出することで、右目の眼球の回転角に関する情報を取得してもよい。一方、左目用注視センサは、ユーザＵの左目に例えば赤外光を照射して、左目（特に、角膜や虹彩）から反射された反射光を検出することで、左目の眼球の回転角に関する情報を取得してもよい。

ヘッドフォン１１６（音声出力部）は、ユーザＵの左耳と右耳にそれぞれ装着されている。ヘッドフォン１１６は、制御装置１２０から音声データ（電気信号）を受信し、当該受信した音声データに基づいて音声を出力するように構成されている。マイク１１８（音声入力部）は、ユーザＵから発声された音声を収集し、当該収集された音声に基づいて音声データ（電気信号）を生成するように構成されている。さらに、マイク１１８は、音声データを制御装置１２０に送信するように構成されている。

位置センサ１３０は、例えば、ポジション・トラッキング・カメラにより構成され、ＨＭＤ１１０と外部コントローラ３２０の位置を検出するように構成されている。位置センサ１３０は、制御装置１２０に無線又は有線により通信可能に接続されており、ＨＭＤ１１０に設けられた図示しない複数の検知点の位置、傾き又は発光強度に関する情報を検出するように構成されている。さらに、位置センサ１３０は、外部コントローラ３２０に設けられた図示しない複数の検知点の位置、傾き及び／又は発光強度に関する情報を検出するように構成されている。検知点は、例えば、赤外線や可視光を放射する発光部である。また、位置センサ１３０は、赤外線センサや複数の光学カメラを含んでもよい。

外部コントローラ３２０は、ユーザＵの身体の一部（頭部以外の部位であり、本実施形態においてはユーザＵの手）の動きを検知することにより、仮想空間内に表示される手オブジェクト（アバターの仮想手ともいう。）の動作を制御するために使用される。外部コントローラ３２０は、ユーザＵの右手によって操作される右手用外部コントローラ３２０Ｒ（以下、単にコントローラ３２０Ｒという。）と、ユーザＵの左手によって操作される左手用外部コントローラ３２０Ｌ（以下、単にコントローラ３２０Ｌという。）と、を有する。

コントローラ３２０Ｒは、ユーザＵの右手の位置や右手の指の動きを示す装置であって、右手の指によって操作される複数の操作ボタンを備えてもよい。コントローラ３２０Ｒの動きに応じて仮想空間内に存在する右手オブジェクト（アバターの仮想右手ともいう。）が動く。例えば、ユーザＵがコントローラ３２０Ｒの所定の操作ボタンを押すことで、右手オブジェクトの所定の指が折れ曲がる一方、ユーザＵがコントローラ３２０Ｒの所定の操作ボタンを離すことで、右手オブジェクトの所定の指が伸びてもよい。このように、コントローラ３２０Ｒの操作ボタンに対する操作に応じて右手オブジェクトの指が制御されてもよい。

コントローラ３２０Ｌは、ユーザＵの左手の位置や左手の指の動きを示す装置であって、左手の指によって操作される複数の操作ボタンを備えてもよい。コントローラ３２０Ｌの動きに応じて仮想空間内に存在する左手オブジェクト（アバターの仮想左手ともいう。）が動く。例えば、ユーザＵがコントローラ３２０Ｌの所定の操作ボタンを押すことで、左手オブジェクトの所定の指が折れ曲がる一方、ユーザＵがコントローラ３２０Ｌの所定の操作ボタンを離すことで、左手オブジェクトの所定の指が伸びてもよい。このように、コントローラ３２０Ｌの操作ボタンに対する操作に応じて左手オブジェクトの指が制御されてもよい。

制御装置１２０は、ＨＭＤ１１０を制御するように構成されたコンピュータである。制御装置１２０は、位置センサ１３０から取得された情報に基づいて、ＨＭＤ１１０の位置情報を特定し、当該特定された位置情報に基づいて、仮想空間における仮想カメラの位置と、現実空間におけるＨＭＤ１１０を装着したユーザＵの位置を正確に対応付けることができる。さらに、制御装置１２０は、位置センサ１３０及び／又は外部コントローラ３２０から送信された情報に基づいて、外部コントローラ３２０の動作を特定し、当該特定された外部コントローラ３２０の動作に基づいて、仮想空間内に表示される手オブジェクトの動作と現実空間における外部コントローラ３２０の動作を正確に対応付けることができる。特に、制御装置１２０は、位置センサ１３０及び／又はコントローラ３２０Ｌから送信された情報に基づいて、コントローラ３２０Ｌの動作を特定し、当該特定されたコントローラ３２０Ｌの動作に基づいて、仮想空間内に表示される左手オブジェクトの動作と現実空間におけるコントローラ３２０Ｌの動作（ユーザＵの左手の動作）を正確に対応付けることができる。同様に、制御装置１２０は、位置センサ及び／コントローラ３２０Ｒから送信された情報に基づいて、コントローラ３２０Ｒの動作を特定し、当該特定されたコントローラ３２０Ｒの動作に基づいて、仮想空間内に表示される右手オブジェクトの動作と現実空間におけるコントローラ３２０Ｒの動作（ユーザＵの右手の動作）を正確に対応付けることができる。

また、制御装置１２０は、注視センサ１４０（左目用注視センサと右目用注視センサ）から送信された情報に基づいて、ユーザＵの右目の視線と左目の視線をそれぞれ特定し、当該右目の視線と当該左目の視線の交点である注視点を特定することができる。さらに、制御装置１２０は、特定された注視点に基づいて、ユーザＵの両目の視線（ユーザＵの視線）を特定することができる。ここで、ユーザＵの視線は、ユーザＵの両目の視線であって、ユーザＵの右目と左目を結ぶ線分の中点と注視点を通る直線の方向に一致する。

次に、図２を参照して、ＨＭＤ１１０の位置や傾きに関する情報を取得する方法について説明する。図２は、ＨＭＤ１１０を装着したユーザＵの頭部を示す図である。ＨＭＤ１１０を装着したユーザＵの頭部の動きに連動したＨＭＤ１１０の位置や傾きに関する情報は、位置センサ１３０及び／又はＨＭＤ１１０に搭載されたＨＭＤセンサ１１４により検出可能である。図２に示すように、ＨＭＤ１１０を装着したユーザＵの頭部を中心として、３次元座標（ｕｖｗ座標）が規定される。ユーザＵが直立する垂直方向をｖ軸として規定し、ｖ軸と直交しＨＭＤ１１０の中心を通る方向をｗ軸として規定し、ｖ軸およびｗ軸と直交する方向をｕ軸として規定する。位置センサ１３０及び／又はＨＭＤセンサ１１４は、各ｕｖｗ軸回りの角度（すなわち、ｖ軸を中心とする回転を示すヨー角、ｕ軸を中心とした回転を示すピッチ角、ｗ軸を中心とした回転を示すロール角で決定される傾き）を検出する。制御装置１２０は、検出された各ｕｖｗ軸回りの角度変化に基づいて、仮想カメラの視軸を制御するための角度情報を決定する。

次に、図３を参照することで、制御装置１２０のハードウェア構成について説明する。図３は、制御装置１２０のハードウェア構成を示す図である。図３に示すように、制御装置１２０は、制御部１２１と、記憶部１２３と、Ｉ／Ｏ（入出力）インターフェース１２４と、通信インターフェース１２５と、バス１２６とを備える。制御部１２１と、記憶部１２３と、Ｉ／Ｏインターフェース１２４と、通信インターフェース１２５は、バス１２６を介して互いに通信可能に接続されている。

制御装置１２０は、ＨＭＤ１１０とは別体に、パーソナルコンピュータ、タブレット又はウェアラブルデバイスとして構成されてもよいし、ＨＭＤ１１０に内蔵されていてもよい。また、制御装置１２０の一部の機能がＨＭＤ１１０に搭載されると共に、制御装置１２０の残りの機能がＨＭＤ１１０とは別体の他の装置に搭載されてもよい。

制御部１２１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び／又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。

特に、プロセッサが制御プログラムをＲＡＭ上に展開し、ＲＡＭとの協働で制御プログラムを実行することで、制御部１２１は、制御装置１２０の各種動作を制御してもよい。制御部１２１は、視野画像データに基づいてＨＭＤ１１０の表示部１１２に視野画像を表示する。これにより、ユーザＵは、仮想空間に没入することができる。

記憶部（ストレージ）１２３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部１２３は、本実施形態に係る情報処理方法の少なくとも一部をコンピュータに実行させるための制御プログラムや、複数のユーザによる仮想空間の共有を実現するための制御プログラムを格納してもよい。また、記憶部１２３には、ユーザＵの認証プログラムや各種画像やオブジェクト（指示オブジェクト等）に関するデータが格納されてもよい。さらに、記憶部１２３には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。

Ｉ／Ｏインターフェース１２４は、位置センサ１３０と、ＨＭＤ１１０と、外部コントローラ３２０と、ヘッドフォン１１６と、マイク１１８とをそれぞれ制御装置１２０に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ
Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。尚、制御装置１２０は、位置センサ１３０と、ＨＭＤ１１０と、外部コントローラ３２０と、ヘッドフォン１１６と、マイク１１８とのそれぞれと無線接続されていてもよい。

通信インターフェース１２５は、制御装置１２０をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はインターネット等の通信ネットワーク３０に接続させるように構成されている。通信インターフェース１２５は、通信ネットワーク３０を介してサーバ等の外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク３０を介して通信するための通信規格に適合するように構成されている。

次に、図４から図７を参照することで視野画像をＨＭＤ１１０に表示するための処理について説明する。図４は、視野画像をＨＭＤ１１０に表示する処理を示すフローチャートである。図５は、仮想空間２００の一例を示すｘｙｚ空間図である。図６の状態（ａ）は、図５に示す仮想空間２００のｙｘ平面図である。図６の状態（ｂ）は、図５に示す仮想空間２００のｚｘ平面図である。図７は、ＨＭＤ１１０に表示された視野画像Ｖの一例を示す図である。

図４に示すように、ステップＳ１において、制御部１２１（図３参照）は、仮想カメラ３００と、各種オブジェクトとを含む仮想空間２００を示す仮想空間データを生成する。図５に示すように、仮想空間２００は、中心位置２１０を中心とした全天球として規定される（図５では、上半分の天球のみが図示されている）。また、仮想空間２００では、中心位置２１０を原点とするｘｙｚ座標系が設定されている。仮想カメラ３００は、ＨＭＤ１１０に表示される視野画像Ｖ（図７参照）を特定するための視軸Ｌを規定している。仮想カメラ３００の視野を定義するｕｖｗ座標系は、現実空間におけるユーザＵの頭部を中心として規定されたｕｖｗ座標系に連動するように決定される。また、ＨＭＤ１１０を装着したユーザＵの現実空間における移動に連動して、制御部１２１は、仮想カメラ３００を仮想空間２００内で移動させてもよい。

次に、ステップＳ２において、制御部１２１は、仮想カメラ３００の視野ＣＶ（図６参照）を特定する。具体的には、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の状態を示すデータに基づいて、ＨＭＤ１１０の位置や傾きに関する情報を取得する。次に、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想空間２００内における仮想カメラ３００の位置や向きを特定する。次に、制御部１２１は、仮想カメラ３００の位置や向きから仮想カメラ３００の視軸Ｌを決定し、決定された視軸Ｌから仮想カメラ３００の視野ＣＶを特定する。ここで、仮想カメラ３００の視野ＣＶは、ＨＭＤ１１０を装着したユーザＵが視認可能な仮想空間２００の一部の領域に相当する（換言すれば、ＨＭＤ１１０に表示される仮想空間２００の一部の領域に相当する）。また、視野ＣＶは、図６の状態（ａ）に示すｘｙ平面において、視軸Ｌを中心とした極角αの角度範囲として設定される第１領域ＣＶａと、図６の状態（ｂ）に示すｘｚ平面において、視軸Ｌを中心とした方位角βの角度範囲として設定される第２領域ＣＶｂとを有する。尚、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線を示すデータに基づいてユーザＵの視線を特定し、特定されたユーザＵの視線とＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想カメラ３００の向き（仮想カメラの野軸Ｌ）を決定してもよい。

このように、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４からのデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。ここで、ＨＭＤ１１０を装着したユーザＵが動くと、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の動きを示すデータに基づいて、仮想カメラ３００の視野ＣＶを更新することができる。つまり、制御部１２１は、ＨＭＤ１１０の動きに応じて、視野ＣＶを更新することができる。同様に、ユーザＵの視線が変化すると、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線を示すデータに基づいて、仮想カメラ３００の視野ＣＶを更新してもよい。つまり、制御部１２１は、ユーザＵの視線の変化に応じて、視野ＣＶを変化させてもよい。

次に、ステップＳ３において、制御部１２１は、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖを示す視野画像データを生成する。具体的には、制御部１２１は、仮想空間２００を規定する仮想空間データと、仮想カメラ３００の視野ＣＶとに基づいて、視野画像データを生成する。

次に、ステップＳ４において、制御部１２１は、視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に視野画像Ｖを表示する（図７参照）。このように、ＨＭＤ１１０を装着しているユーザＵの動きに応じて、仮想カメラ３００の視野ＣＶが変化し、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖが変化するので、ユーザＵは仮想空間２００に没入することができる。

尚、仮想カメラ３００は、左目用仮想カメラと右目用仮想カメラを含んでもよい。この場合、制御部１２１は、仮想空間データと左目用仮想カメラの視野に基づいて、左目用の視野画像を示す左目用視野画像データを生成する。さらに、制御部１２１は、仮想空間データと、右目用仮想カメラの視野に基づいて、右目用の視野画像を示す右目用視野画像データを生成する。その後、制御部１２１は、左目用視野画像データに基づいて、左目用表示部に左目用の視野画像を表示すると共に、右目用視野画像データに基づいて、右目用表示部に右目用の視野画像を表示する。このようにして、ユーザＵは、左目用視野画像と右目用視野画像との間の視差により、視野画像を３次元的に視認することができる。尚、仮想カメラは、後述するように、ユーザによって操作されるアバターの目の位置に配置されてもよい。例えば、左目用仮想カメラは、アバターの左目に配置される一方で、右目用仮想カメラは、アバターの右目に配置されてもよい。

また、図４に示すステップＳ１〜Ｓ４の処理は１フレーム（動画を構成する静止画像）毎に実行されてもよい。例えば、動画のフレームレートが９０ｆｐｓである場合、ステップＳ１〜Ｓ４の処理はΔＴ＝１／９０（秒）間隔で繰り返し実行されてもよい。このように、ステップＳ１〜Ｓ４の処理が所定間隔ごとに繰り返し実行されるため、ＨＭＤ１１０の動作に応じて仮想カメラ３００の視野が更新されると共に、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖが更新される。

（第１実施形態）
次に、図８を参照して本開示の第１実施形態について以下に説明する。図８は、第１実施形態に係る仮想空間２００Ａを模式的に示した図である。図８に示すように、仮想空間２００Ａは、仮想カメラ３００と、左手オブジェクト５Ｌと、右手オブジェクト５Ｒと、左仮想コントローラ６Ｌと、右仮想コントローラ６Ｒとを含む。更に、仮想空間２００Ａは、第１指示オブジェクト３と、第２指示オブジェクト４と、第１連結オブジェクト１２，１３と、第２連結オブジェクト１４，１６とを含む。

図８に示す仮想空間２００Ａは、アクションゲーム等の開始前にユーザＵに所定のアクション（例えば、仮想剣を取り出すアクション）に関連付けられた所定の手の動きと指の動きを習得させるためのチュートリアル用の仮想空間である。制御部１２１（図３参照）は、図８に示す仮想空間２００Ａを規定する仮想空間データを生成した上で、仮想カメラ３００の視野ＣＶと仮想空間データに基づいて視野画像データを生成する。その後、制御部１２１は、視野画像データに基づいて視野画像ＶをＨＭＤ１１０上に表示する。

制御部１２１は、ユーザＵの左手の動きを示すコントローラ３２０Ｌ（図１参照）の動きに応じて、仮想空間２００Ａ内で左手オブジェクト５Ｌ（操作オブジェクトの一例）を動かす。特に、制御部１２１は、位置センサ１３０及び／又はコントローラ３２０Ｌから送信された情報に基づいて、コントローラ３２０Ｌの動作を特定し、当該特定されたコントローラ３２０Ｌの動作に基づいて、左手オブジェクト５Ｌの動作とコントローラ３２０Ｌの動作（ユーザＵの左手の動作）を正確に対応付ける。例えば、制御部１２１は、コントローラ３２０Ｌの移動に応じて左手オブジェクト５Ｌを移動させると共に、コントローラ３２０Ｌの操作ボタンに対する操作に応じて左手オブジェクト５Ｌの指を動かしてもよい。

同様に、制御部１２１は、ユーザＵの右手の動きを示すコントローラ３２０Ｒ（図１参照）の動きに応じて、仮想空間２００Ａ内で右手オブジェクト５Ｒ（操作オブジェクトの一例）を動かす。特に、制御部１２１は、位置センサ１３０及び／又はコントローラ３２０Ｒから送信された情報に基づいて、コントローラ３２０Ｒの動作を特定し、当該特定されたコントローラ３２０Ｒの動作に基づいて、右手オブジェクト５Ｒの動作とコントローラ３２０Ｒの動作（ユーザＵの右手の動作）を正確に対応付ける。例えば、制御部１２１は、コントローラ３２０Ｒの移動に応じて右手オブジェクト５Ｒを移動させると共に、コントローラ３２０Ｒの操作ボタンに対する操作に応じて右手オブジェクト５Ｒの指を動かしてもよい。

左仮想コントローラ６Ｌは、コントローラ３２０Ｌに対応するオブジェクトであって、左手オブジェクト５Ｌと視覚的に関連付けられる。左仮想コントローラ６Ｌは、仮想ボタン７Ｌ，８Ｌを備える。仮想ボタン７Ｌは、コントローラ３２０Ｌの第１ボタンに対応するオブジェクトである一方、仮想ボタン８Ｌは、コントローラ３２０Ｌの第２ボタンに対応するオブジェクトである。左仮想コントローラ６Ｌは、左手オブジェクト５Ｌと共に移動してもよい。現実空間においてコントローラ３２０Ｌの第１ボタンがユーザＵによって押されることで、左仮想コントローラ６Ｌの仮想ボタン７Ｌが左手オブジェクト５Ｌの指によって押されてもよい。

右仮想コントローラ６Ｒは、現実空間のコントローラ３２０Ｒに対応するオブジェクトであって、右手オブジェクト５Ｒと視覚的に関連付けられる。右仮想コントローラ６Ｒは、仮想ボタン７Ｒ，８Ｒを備える。仮想ボタン７Ｒは、コントローラ３２０Ｒの第１ボタンに対応するオブジェクトである一方、仮想ボタン８Ｒは、コントローラ３２０Ｒの第２ボタンに対応するオブジェクトである。右仮想コントローラ６Ｒは、右手オブジェクト５Ｒと共に移動してもよい。現実空間においてコントローラ３２０Ｒの第１ボタンがユーザＵによって押されることで、右仮想コントローラ６Ｒの仮想ボタン７Ｒが右手オブジェクト５Ｒの指によって押されてもよい。

また、制御部１２１は、コントローラ３２０Ｌ（３２０Ｒ）から送信されたコントローラ３２０Ｌ（３２０Ｒ）の種類を示す情報に基づいて、左仮想コントローラ６Ｌ（右仮想コントローラ６Ｒ）の形状等の視覚的態様を特定してもよい。

第１指示オブジェクト３は、ユーザＵの手（手全体）に誘導動作をさせるように誘導するように構成されている。ここで、誘導動作とは、第１指示オブジェクト３によって誘導されるユーザＵの動作をいう。特に、第１指示オブジェクト３は、ユーザＵの手（手全体の動き）に第１の動きをさせるように誘導するように構成されている。本実施形態では、「左手を下から上に動かしてください」旨の動作指示が第１指示オブジェクト３に表示されている。ユーザＵは、第１指示オブジェクト３を視認することで、左手を下から上に動かすように誘導される。第１指示オブジェクト３は、仮想空間２００Ａに固定的に配置されてもよい。

第２指示オブジェクト４は、ユーザＵの指に誘導動作をさせるように誘導するように構成されている。ここで、誘導動作とは、第２指示オブジェクト４によって誘導されるユーザＵの動作をいう。特に、第２指示オブジェクト４は、ユーザＵの指に第２の動きをさせるように誘導するように構成されている。本実施形態では、「左コントローラの第１ボタンと第２ボタンを押してください」旨の動作指示が第２指示オブジェクト４に表示されている。ユーザＵは、第２指示オブジェクト４を視認することで、コントローラ３２０Ｌの第１ボタンと、第２ボタンを押すように誘導される。

第１連結オブジェクト１２は、左手オブジェクト５Ｌと第２指示オブジェクト４とを視覚的に関連付けるように連結するように構成される。このように、第１連結オブジェクト１２によって、第２指示オブジェクト４は、左手オブジェクト５Ｌに視覚的に関連付けられる。また、左手オブジェクト５Ｌの移動に応じて、左手オブジェクト５Ｌと第２指示オブジェクト４とを視覚的に関連付け続けるように、第１連結オブジェクト１２の視覚的態様（形状等）が更新されてもよい。この点において、制御部１２１は、左手オブジェクト５Ｌの位置を更新した後に、第１連結オブジェクト１２の視覚的態様を更新する。左手オブジェクト５Ｌと第２指示オブジェクト４との間の距離が大きい程、第１連結オブジェクト１２の長さは大きくなる。その反対に、左手オブジェクト５Ｌと第２指示オブジェクト４との間の距離が小さい程、第１連結オブジェクト１２の長さは小さくなる。尚、第１連結オブジェクト１２によって第２指示オブジェクト４が左手オブジェクト５Ｌに視覚的に関連付けられていることをユーザＵが視認できる限りにおいて、第１連結オブジェクト１２の表示形態は特に限定されない。例えば、第１連結オブジェクト１２の一部が可視化されていなくてもよい（透明化されてもよい）。

第１連結オブジェクト１３は、右手オブジェクト５Ｒと第２指示オブジェクト４とを視覚的に関連付けるように連結するように構成される。このように、第１連結オブジェクト１３によって、第２指示オブジェクト４は、右手オブジェクト５Ｒに視覚的に関連付けられる。また、右手オブジェクト５Ｒの移動に応じて、右手オブジェクト５Ｒと第２指示オブジェクト４とを視覚的に関連付け続けるように、第１連結オブジェクト１３の視覚的態様（形状等）が更新されてもよい。尚、第１連結オブジェクト１３によって第２指示オブジェクト４が右手オブジェクト５Ｒに視覚的に関連付けられていることをユーザＵが視認できる限りにおいて、第１連結オブジェクト１３の表示形態は特に限定されない。例えば、第１連結オブジェクト１３の一部が可視化されていなくてもよい。

第２連結オブジェクト１４は、左仮想コントローラ６Ｌの仮想ボタン７Ｌと第２指示オブジェクト４とを連結するように構成される。第２連結オブジェクト１４によって、第２指示オブジェクト４は、仮想ボタン７Ｌに視覚的に関連付けられる。尚、第２連結オブジェクト１４の表示形態は特に限定されない。例えば、第２連結オブジェクト１４の一部が可視化されなくてもよい。

第２連結オブジェクト１６は、左仮想コントローラ６Ｌの仮想ボタン８Ｌと第２指示オブジェクト４とを連結するように構成される。第２連結オブジェクト１６によって、第２指示オブジェクト４は、仮想ボタン８Ｌに視覚的に関連付けられる。また、左手オブジェクト５Ｌの移動に応じて、第２連結オブジェクト１４，１６の視覚的態様（形状等）が更新されてもよい。尚、第２連結オブジェクト１６の表示形態は特に限定されない。例えば、第２連結オブジェクト１６の一部が可視化されなくてもよい。また、本実施形態では、「左コントローラの第１ボタンと第２ボタンを押してください」旨の動作指示が第２指示オブジェクト４に表示されていることから、２つの第２連結オブジェクト１４，１６が生成されている。一方、「左コントローラの第１ボタンを押してください」旨の動作指示が第２指示オブジェクト４に表示される場合、第２連結オブジェクト１４のみが生成されてもよい。

本実施形態では、ユーザＵの左手を下から上に動かした後に、コントローラ３２０Ｌの第１ボタンと第２ボタンを押すことで、仮想剣（対象オブジェクトの一例）を取り出すアクションが実行される場合、第１指示オブジェクト３は、当該アクションに関連付けられた手の動き（第１の動き）を示すと共に、第２指示オブジェクト４は、当該アクションに関連付けられた指の動き（第２の動き）を示す。このように、ユーザＵは、第１指示オブジェクト３を視認することで、仮想剣を取り出すアクションに関連付けられた手の動き（即ち、左手を下から上に動かすこと）となるように手を動かすことができると共に、第２指示オブジェクト４を視認することで、当該アクションに関連付けられた指の動き（即ち、コントローラ３２０Ｌの第１ボタンと、第２ボタンを押すこと）となるように指を動かすことができる。このように、ユーザＵは、チュートリアルにおいて、第１指示オブジェクト３と第２指示オブジェクト４を視認することで、仮想空間２００Ａ内での仮想剣の出現に関するアクションに関連付けられた手の動きと指の動きを比較的容易に習得することができる。このように、仮想空間におけるユーザの利便性を高めることができる。

また、本実施形態によれば、第１連結オブジェクト１２，１３によって、ユーザＵの視線を第２指示オブジェクト４に誘導させることができる。さらに、左手オブジェクト５Ｌの移動に応じて第１連結オブジェクト１２の視覚的態様が更新されると共に、右手オブジェクト５Ｒの移動に応じて第１連結オブジェクト１３の視覚的態様が更新される。このように、左手オブジェクト５Ｌ又は右手オブジェクト５Ｒを動かした場合でも、第１連結オブジェクトによってユーザＵの視線を第２指示オブジェクト４に誘導させることができる。

さらに、第２連結オブジェクト１４，１６によって、ユーザＵの視線を仮想ボタン７Ｌ，８Ｌと第２指示オブジェクト４に誘導させることができる。このため、ユーザＵは、チュートリアルにおいて、第２指示オブジェクト４と仮想ボタン７Ｌ，８Ｌの両方を視認することで、仮想空間２００Ａ内での所定のアクションに関連付けられた指の動きを比較的容易に習得することができる。

尚、本実施形態では、所定のアクションの一例として仮想剣を取り出すアクションについて説明したが、本実施形態は様々なアクションのチュートリアルに適用可能である。例えば、ユーザＵの手の動きが第１の動きとなるようにユーザＵの手を動かすと共に、ユーザＵの指の動きが第２の動きとなるようにユーザＵの指を動かすことで、第１のアクションが実行される場合では、第１指示オブジェクト３は、第１の動きを示す動作指示を表示することで、ユーザＵの手に第１の動きをさせるように誘導する。第２指示オブジェクト４は、第２の動きを示す動作指示を表示することで、ユーザＵの指に第２の動きをさせるように誘導する。

また、本実施形態では、２つの第１連結オブジェクト１２，１３が生成されているが、第１連結オブジェクト１２，１３のうちの一方のみが生成されてもよい。仮想空間２００Ａは、第１指示オブジェクト３と左手オブジェクト５Ｌを視覚的に関連付けるように連結する連結表示オブジェクト及び／又は第１指示オブジェクト３と右手オブジェクト５Ｒとを視覚的に関連付けるように連結する連結表示オブジェクトをさらに含んでもよい。この場合、第１指示オブジェクト３は仮想空間２００Ａ内に固定的に配置されている。このため、第１指示オブジェクト３が仮想カメラ３００の視野ＣＶ外に位置する場合でも、連結表示オブジェクトによってユーザＵの視線を第１指示オブジェクト３に誘導させることができる。特に、連結表示オブジェクトが視野画像上に表示されるので、ユーザＵの視線を第１指示オブジェクト３に誘導させることができる。

また、第２指示オブジェクト４には、所定のアクションに関連するユーザＵの指の動きを示す動作指示だけでなく、所定のアクションに関連するユーザＵの手の動きを示す動作指示が表示されてもよい。この場合、第１指示オブジェクト３は、仮想空間２００Ａ内に配置されなくてもよい。

次に、図９及び図１０を参照して第２指示オブジェクト４を移動させる処理について以下に説明する。図９は、第２指示オブジェクト４が仮想カメラ３００の視野ＣＶ内の所定の位置に移動する様子を示した模式図である。図１０は、第２指示オブジェクト４を仮想カメラ３００の視野ＣＶ（ユーザＵの視野ともいう。）内の所定の位置に移動させる処理を説明するためのフローチャートである。

図９に示すように、前提条件として、仮想カメラ３００の視野ＣＶの移動に伴い第２指示オブジェクト４が仮想カメラ３００の視野ＣＶ（ユーザＵの視野）外に位置したとする。このとき、図１０に示すように、制御部１２１は、第２指示オブジェクト４が視野ＣＶ内に位置しているかどうかを判定する（ステップＳ１０）。次に、制御部１２１は、第２指示オブジェクト４が視野ＣＶ内に位置していないと判定した場合（ステップＳ１０でＮＯ）、第２指示オブジェクト４が視野ＣＶ内の所定の位置に配置され続けるように第２指示オブジェクト４を移動させる。一方、制御部１２１は、第２指示オブジェクト４が視野ＣＶ内に位置していると判定した場合（ステップＳ１０でＹＥＳ）、本処理は終了する。

ステップＳ１１の処理において、制御部１２１は、仮想カメラ３００の動作が終了した後の所定期間経過後に、視野ＣＶ内の所定の位置に向けて第２指示オブジェクト４を徐々に移動させてもよい。または、制御部１２１は、第２指示オブジェクト４が視野ＣＶ外に位置したと判定した後の次フレームにおいて、第２指示オブジェクト４の移動処理を開始してもよい。また、視野ＣＶ内の所定の位置は、特に限定されない。

本実施形態によれば、仮想カメラ３００の視野ＣＶの移動に応じて、第２指示オブジェクト４が視野ＣＶ内の所定の位置に配置され続けるように移動する。このように、第２指示オブジェクト４が視野ＣＶに追随するため、仮想空間におけるユーザＵの利便性を高めることができる。換言すれば、第２指示オブジェクト４が視野画像上の所定の位置に表示されるため、仮想空間におけるユーザＵの利便性を高めることができる。

（第２実施形態）
次に、図１１及び図１２を参照して本開示の第２実施形態について以下に説明する。図１１は、第２実施形態に係る仮想空間２００Ｂを模式的に示した図である。図１２は、仮想空間２００Ｂに配置されたアバター９（指示オブジェクトの一例）の動きを説明するための図である。特に、図１２は、仮想剣８０（対象オブジェクトの一例）を取り出すアクションに関連する手の動きを演じるアバター９の右側面を示している。図１２の状態（ａ）は、仮想剣を取り出すアクションの第１段階におけるアバター９の左手９３Ｌの動きを示す。図１２の状態（ｂ）は、当該アクションの第２段階における左手９３Ｌの動きを示す。図１２の状態（ｃ）は、当該アクションの第３段階における左手９３Ｌの動きを示す。図１２の状態（ｄ）は、仮想剣８０を取り出したアバター９を示す。第２実施形態に係る仮想空間２００Ｂは、第１指示オブジェクト３の代わりにアバター９が仮想空間上に配置されている点で第１実施形態に係る仮想空間２００Ａとは相違する。

図１２に示すように、アバター９は、ユーザＵの手の動き（手全体の動き）に第１の動きをさせるように誘導するように構成されている。特に、アバター９は、第１の動きを実行させるべきユーザＵの左手に相当する左手９３Ｌを含んでいる。このように、アバター９は、左手オブジェクト５Ｌに視覚的に関連付けられる。アバター９の動作は、制御部１２１によって制御される（つまり、アバター９は、プロセッサによって制御されるアバターであって、他のユーザによって操作されるアバターではない。）。本実施形態では、アバター９は、仮想剣８０を取り出すアクションに関連付けられた手の動きの手本を示している。具体的には、アバター９は、左手９３Ｌを動かすことで、仮想剣８０を取り出すアクションに関連付けられた左手の動きの手本を示している（尚、本アクションでは右手を動かさないため、アバター９は右手を動かしていない）。このように、ユーザＵは、チュートリアルにおいて、アバター９の左手９３Ｌの動きと第２指示オブジェクト４を視認することで、仮想剣８０を取り出すアクションに関連付けられた手の動き（第１の動き）と指の動き（第２の動き）を比較的容易に習得することができる。また、仮想剣８０を取り出すアクションに関連付けられた手の動きに引き続いて実行される指の動きに応じて、制御部１２１は、左手オブジェクト５Ｌによって操作される仮想剣８０を生成する（図１２の状態（ｄ）参照）。

また、アバター９は、仮想剣８０を取り出すアクションに関連付けられた左手の動きの手本を示しているため、左手オブジェクト５Ｌに視覚的に関連付けられている。つまり、ユーザＵは、アバター９の左手９３Ｌを視認することで、自身の左手を動かすため、アバター９（より具体的には、アバター９の左手９３Ｌ）は、左手オブジェクト５Ｌに視覚的に関連付けられている。また、アバター９は、仮想剣８０を取り出すアクションに関連する左手９３Ｌのみが動くように制御部１２１によって制御されるため、ユーザＵの視線をアバター９の左手９３Ｌに誘導させることができる。尚、習得すべきアクションがユーザＵの右手の動きに関連する場合、アバター９は、アバター９の右手のみが動くように制御部１２１によって制御される。この場合、アバター９の右手は、右手オブジェクト５Ｒに関連付けられると共に、ユーザＵの視線をアバター９の右手に誘導させることができる。

また、図１１に示すように、アバター９は、仮想カメラ３００に対して背を向けているため、アバター９はユーザＵに対して背を向けた状態で視野画像上に表示される。特に、仮想カメラ３００の視野ＣＶ内にアバター９が存在する場合に、制御部１２１は、アバター９の背面が視野画像上に表示されるように、アバター９の向きを設定している。このように、アバター９はユーザＵに対して背を向けているため、アバター９とユーザＵの向きが一致することで両者の動作の向きが一致するので、ユーザＵは、アバター９の手の動きを比較的容易に真似することができる。

尚、本実施形態では、仮想空間２００Ｂは、アバター９（特に、アバター９の左手）と左手オブジェクト５Ｌを視覚的に関連付けるように連結する連結表示オブジェクト及び／又はアバター９（特に、アバター９の右手）と右手オブジェクト５Ｒとを連結する連結表示オブジェクトをさらに含んでもよい。

また、ユーザ端末１の制御部１２１によって実行される各種処理をソフトウェアによって実現するために、各種処理をコンピュータ（プロセッサ）に実行させるための制御プログラムが記憶部１２３又はメモリに予め組み込まれていてもよい。または、制御プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙ（登録商標）ディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置１２０に接続されることで、当該記憶媒体に格納された制御プログラムが、記憶部１２３に組み込まれる。そして、記憶部１２３に組み込まれた制御プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部１２１は各種処理を実行する。

また、制御プログラムは、通信ネットワーク３０上のコンピュータから通信インターフェース１２５を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該制御プログラムが記憶部１２３に組み込まれる。

以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。

本実施形態では、ユーザＵの手の動きを示す外部コントローラ３２０の動きに応じて、アバターの手の移動が制御されているが、ユーザＵの手自体の移動量に応じて、仮想空間内における手オブジェクトの移動が制御されてもよい。例えば、外部コントローラを用いる代わりに、ユーザの指に装着されるグローブ型デバイスや指輪型デバイスを用いることで、位置センサ１３０により、ユーザＵの手の位置や移動量を検出することができると共に、ユーザＵの指の動きや状態を検出することができる。また、位置センサ１３０は、ユーザＵの手（指を含む）を撮像するように構成されたカメラであってもよい。この場合、カメラを用いてユーザの手を撮像することにより、ユーザの指に直接何らかのデバイスを装着させることなく、ユーザの手が表示された画像に基づいて、ユーザＵの手の位置や移動量を検出することができると共に、ユーザＵの指の動きや状態を検出することができる。

また、本実施形態では、ユーザＵの身体の一部である手（左手と右手）の動きに応じて手オブジェクト（左手オブジェクトと右手オブジェクト）が動かされているが、本実施形態はこれには限定されない。例えば、ユーザＵの身体の一部であるユーザＵの足（左足、右足）の動きに応じて足オブジェクト（左足オブジェクトと右足オブジェクト）が動かされてもよい。所定のアクションがユーザＵの足の動きに関連する場合、ユーザＵの足に誘導動作をさせるように誘導すると共に、足オブジェクトに視覚的に関連付けられた指示オブジェクトが生成されてもよい。

本実施形態において、仮想空間は、ユーザにＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）及びＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）といった、仮想体験を提供するために用いられる。仮想空間がＶＲを提供する場合、仮想空間の背景にはメモリに保存された背景データが使用される。仮想空間がＡＲ又はＭＲを提供する場合、仮想空間の背景には現実空間が使用される。この場合、ＨＭＤ１１０が透過型の表示装置（光学シースルーまたはビデオシースルー型の表示装置）を備えることにより、現実空間が仮想空間の背景として使用され得る。仮想空間がＭＲに適用される場合、オブジェクトは、現実空間によって影響を与えられてもよい。このように、仮想空間が背景や仮想オブジェクトといった仮想シーンを少なくとも一部に含むことにより、ユーザには当該仮想シーンとの相互作用が可能な仮想体験が提供され得る。また、仮想空間がＡＲ又はＭＲに適用される場合、手オブジェクトの代わりにユーザの手が用いられてもよい。この場合、図８に示す左手オブジェクト５Ｌに代わりにユーザの左手が仮想空間２００Ａに配置されると共に、右手オブジェクト５Ｒの代わりにユーザの右手が仮想空間２００Ａに配置される。第２指示オブジェクト４は、第１連結オブジェクト１２によってユーザの左手に視覚的に関連付けられると共に、第１連結オブジェクト１３によってユーザの右手に視覚的に関連付けられる。

１：ユーザ端末
３：第１指示オブジェクト
４：第２指示オブジェクト
５Ｌ：左手オブジェクト（操作オブジェクトの一例）
５Ｒ：右手オブジェクト（操作オブジェクトの一例）
６Ｌ：左仮想コントローラ
６Ｒ：右仮想コントローラ
７Ｌ：仮想ボタン
７Ｒ：仮想ボタン
８Ｌ：仮想ボタン
８Ｒ：仮想ボタン
９：アバター
１２，１３：第１連結オブジェクト
１４，１６：第２連結オブジェクト
３０：通信ネットワーク
８０：仮想剣
９３Ｌ：左手
１１０：ヘッドマウントデバイス（ＨＭＤ）
１１２：表示部
１１４：センサ
１１６：ヘッドフォン
１１８：マイク
１２０：制御装置
１２１：制御部
１２３：記憶部
１２４：Ｉ／Ｏインターフェース
１２５：通信インターフェース
１２６：バス
１３０：位置センサ
１４０：注視センサ
２００，２００Ａ，２００Ｂ：仮想空間
２１０：中心位置
３００：仮想カメラ
３２０：外部コントローラ
３２０Ｌ：左手用外部コントローラ（コントローラ）
３２０Ｒ：右手用外部コントローラ（コントローラ）

Claims (11)

1. ａ）操作オブジェクトと、指示オブジェクトと、仮想ボタンを有する仮想コントローラとを含む仮想空間を規定する仮想空間データを生成するステップと、
   ｂ）ヘッドマウントデバイスの動きと、前記仮想空間データとに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
   ｃ）前記ヘッドマウントデバイスを装着したユーザの手及び指の動きに応じて、前記操作オブジェクトを動かすステップと、を含み、
   前記指示オブジェクトは、
   前記操作オブジェクトに視覚的に関連付けられ、前記ユーザの手に所定の動きをさせるように誘導するアバターと、
   前記仮想ボタンに対して所定の操作が実行されるように前記ユーザの指を誘導する第２指示オブジェクトと、
   を有する、
   プロセッサによって実行される情報処理方法。
2. 前記仮想空間は、前記操作オブジェクトと前記第２指示オブジェクトとを視覚的に関連付けるように連結する第１連結オブジェクトをさらに含む、請求項１に記載の情報処理方法。
3. ｄ）前記操作オブジェクトの移動に応じて、前記第１連結オブジェクトの視覚的態様を、前記操作オブジェクトと前記第２指示オブジェクトとを視覚的に関連付け続けるように更新するステップをさらに含む、請求項２に記載の情報処理方法。
4. 前記仮想空間は、
   前記第２指示オブジェクトと前記仮想ボタンを視覚的に関連付けるように連結する第２連結オブジェクトを更に含む、請求項２又は３に記載の情報処理方法。
5. ｅ）前記ユーザの視野の移動に応じて、前記第２指示オブジェクトが前記視野内の所定位置に配置され続けるように前記第２指示オブジェクトを移動させるステップを更に含む、請求項２から４のうちいずれか一項に記載の情報処理方法。
6. 前記アバターは、前記仮想空間内に固定的に配置される、請求項１から５のうちいずれか一項に記載の情報処理方法。
7. 前記ユーザの視野内に前記アバターが存在する場合に、前記アバターの背面が前記視野画像上に表示されるように、前記アバターの向きが設定される、請求項１から６のうちいずれか一項に記載の情報処理方法。
8. 前記アバターの仮想身体は、前記ユーザの手に相当する部分を含み、
   前記アバターは、前記仮想身体のうち前記ユーザの手に相当する部分のみが動くように制御される、請求項１から７のうちいずれか一項に記載の情報処理方法。
9. ｆ）前記ユーザの手の前記所定の動き及び前記仮想ボタンに対する前記所定の操作の実行に応じて、前記操作オブジェクトによって操作される対象オブジェクトを生成するステップをさらに含む、請求項２から８のうちいずれか一項に記載の情報処理方法。
10. 請求項１から９のうちいずれか一項に記載の情報処理方法をコンピュータに実行させるための情報処理プログラム。
11. プロセッサと、
    コンピュータ可読命令を記憶するメモリと、を備えた情報処理装置であって、
    前記コンピュータ可読命令が前記プロセッサにより実行されると、前記情報処理装置は請求項１から９のうちいずれか一項に記載の情報処理方法を実行する、情報処理装置。

Images