JP6776155B2

JP6776155B2 - 仮想現実を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置

Info

Publication number: JP6776155B2
Application number: JP2017037072A
Authority: JP
Inventors: 孝司中坊; 一晃澤木
Original assignee: Colopl Inc
Current assignee: Colopl Inc
Priority date: 2017-02-28
Filing date: 2017-02-28
Publication date: 2020-10-28
Anticipated expiration: 2037-02-28
Also published as: JP2018142251A

Description

この開示は、仮想現実を提供する技術に関し、より特定的には、仮想空間においてユーザインターフェイスを表示する技術に関する。

ユーザの頭部に装着されるヘッドマウントデバイス（以下、「ＨＭＤ」とも称する）に設けられたディスプレイに画像を表示することで、ユーザに仮想空間を提供する技術が知られている。ＨＭＤまたはＨＭＤに接続されるコンピュータは、単にユーザに仮想空間における視界を提供するだけでなく、ユーザの操作を仮想空間に反映するものもある。

近年、仮想空間におけるユーザの操作を快適にするための技術開発が活発に行なわれている。例えば、特開２０１５−０３２０８５号公報（特許文献１）は、「各アプリケーションを呼び出すための複数のアイコン（メニュー）を表示画面上に表示させる表示制御部と、複数のアイコンを表示する表示部と、を備え、表示制御部は、表示画面における視界確保領域を避けた退避領域に、複数のアイコンを表示させる」構成を開示している（「要約」参照）。

特開２０１５−０３２０８５号公報

特許文献１に記載される手法は、表示部端部の退避領域に複数のアイコン（メニュー）を表示するため、ユーザの仮想空間における実質的な視界が視界確保領域（表示部の中央部）のみとなってしまう。この場合、ユーザの仮想空間における視界が狭いため、ユーザはストレスを感じ得る。したがって、ユーザが仮想空間において快適にメニューを操作できる技術が必要とされている。

本開示は、上記のような問題を解決するためになされたものであって、ある局面における目的は、ユーザが仮想空間において快適にメニューを操作できる技術を提供することである。

ある実施形態に従うと、ヘッドマウントデバイスが仮想空間を提供するためにコンピュータで実行される方法が提供される。この方法は、仮想空間を定義するステップと、ヘッドマウントデバイスのユーザが選択可能な一つ以上の項目を含むメニューオブジェクトを仮想空間に配置するステップと、一つ以上の項目のうちのいずれかが選択されたことに基づいて、選択された項目の下位概念の項目を含むサブメニューオブジェクトを、選択されたときにメニューオブジェクトが配置されていた場所とは異なる場所に配置するステップとを含む。

開示される技術的特徴の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。

ＨＭＤシステムの構成の概略を表す図である。ある局面に従うコンピュータのハードウェア構成の一例を表すブロック図である。ある実施形態に従うＨＭＤに設定されるｕｖｗ視野座標系を概念的に表す模式図である。ある実施形態に従う仮想空間を表現する一態様を概念的に表す模式図である。ある実施形態に従うＨＭＤを装着するユーザの頭部を上から表した模式図である。仮想空間において視認領域をＸ方向から見たＹＺ断面を表す図である。仮想空間において視認領域をＹ方向から見たＸＺ断面を表す図である。ある実施の形態に従うコントローラの概略構成を表す図である。右コントローラを把持するユーザの右手に対応して仮想空間に配置されるハンドオブジェクトの一例を示す図である。ある実施形態に従うコンピュータをモジュール構成として表わすブロック図である。ＨＭＤシステムが実行する処理を表わすフローチャートである。メインメニューオブジェクトを説明するための図である。位置情報のデータ構造の一例を表す図である。図１２において中項目が選択された後の仮想空間を表す図である。図１４においてメインメニューオブジェクトが移動した後の仮想空間を表す図である。図１４において中項目が移動した後の仮想空間を表す図である。図１６においてサブメニューオブジェクトが配置された後の仮想空間を説明するための図である。仮想空間においてメニューを表示する処理を表すフローチャートである。ハンドオブジェクトとメインメニューオブジェクトとが離れていることを表す図である。メインメニューオブジェクトがハンドオブジェクトに追随する様子を表す図である。メインメニューオブジェクトが視界画像から外れている様子を表す図である。メインメニューオブジェクトがユーザの視界に追随する様子を表す図である。ユーザの選択を受け付けた後のメインメニューオブジェクトの表示態様を説明するための図である。メニューオブジェクトを表す図である。

以下、この発明の実施形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤシステム１００の構成について説明する。図１は、ＨＭＤシステム１００の構成の概略を表す図である。ある局面において、ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。ＨＭＤ１１０は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。

ＨＭＤシステム１００は、ＨＭＤ１１０と、ＨＭＤセンサ１２０と、コントローラ１６０と、コンピュータ２００とを備える。ＨＭＤ１１０は、モニタ１１２と、注視センサ１４０とを含む。コントローラ１６０は、モーションセンサ１３０を含み。

ある局面において、コンピュータ２００は、インターネットその他のネットワーク１９に接続可能であり、ネットワーク１９に接続されているサーバ１５０その他のコンピュータと通信可能である。別の局面において、ＨＭＤ１１０は、ＨＭＤセンサ１２０の代わりに、センサ１１４を含み得る。

ＨＭＤ１１０は、ユーザ１９０の頭部に装着され、動作中に仮想空間をユーザ１９０に提供し得る。より具体的には、ＨＭＤ１１０は、右目用の画像および左目用の画像をモニタ１１２にそれぞれ表示する。ユーザ１９０の各目がそれぞれの画像を視認すると、ユーザ１９０は、両目の視差に基づき当該画像を３次元の画像として認識し得る。

モニタ１１２は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１１２は、ユーザ１９０の両目の前方に位置するようにＨＭＤ１１０の本体に配置されている。したがって、ユーザ１９０は、モニタ１１２に表示される３次元画像を視認すると、仮想空間に没入することができる。ある実施形態において、仮想空間は、例えば、背景、ユーザ１９０が操作可能なオブジェクト、ユーザ１９０が選択可能なメニューの画像を含む。ある実施形態において、モニタ１１２は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro Luminescence）モニタとして実現され得る。

他の局面において、モニタ１１２は、透過型の表示装置として実現され得る。この場合、ＨＭＤ１１０は、図１に示されるようにユーザ１９０の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ１１２は、その透過率を調整することにより、一時的に非透過型の表示装置として機能してもよい。また、モニタ１１２は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ１１２は、ＨＭＤ１１０に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。

モニタ１１２は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含む。別の局面において、モニタ１１２は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１１２は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。

ＨＭＤセンサ１２０は、ＨＭＤ１１０の位置および姿勢（傾き）を検出する。この場合、ＨＭＤ１１０は、複数の光源（図示しない）を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ１２０は、各光源が発する光を検出して、ＨＭＤ１１０の位置および姿勢を検出するためのポジショントラッキング機能を有する。

なお、別の局面において、ＨＭＤセンサ１２０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ１２０は、カメラから出力されるＨＭＤ１１０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ１１０の位置および傾きを検出することができる。

さらに他の局面において、コンピュータ２００は、ＨＭＤセンサ１２０の出力に替えてセンサ１１４の出力に基づいてＨＭＤ１１０の傾きを検出するように構成されてもよい。センサ１１４は、例えば、角速度センサ、加速度センサ、ジャイロセンサ、地磁気センサにより、またはこれらのセンサの組み合わせにより実現される。コンピュータ２００は、センサ１１４の出力に基づいて、ＨＭＤ１１０の傾きを検出する。一例として、センサ１１４が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ１１０の３軸周りの角速度を経時的に検出する。コンピュータ２００は、各角速度に基づいて、ＨＭＤ１１０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ１１０の傾きを算出する。

注視センサ１４０は、ユーザ１９０の右目および左目の視線が向けられる方向（視線）を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ１９０の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ１９０の視線を検知できる。

サーバ１５０は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ１５０は、他のユーザによって使用されるＨＭＤに仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ２００は、各ユーザの動作に基づく信号を他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。

コントローラ１６０は、無線によりコンピュータ２００に接続されている。コントローラ１６０は、ユーザ１９０からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ１６０は、ユーザ１９０によって把持可能に構成される。別の局面において、コントローラ１６０は、ユーザ１９０の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ１６０は、コンピュータ２００から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ１６０は、ユーザ１９０から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。

モーションセンサ１３０は、ある局面において、ユーザ１９０の手に取り付けられて、ユーザ１９０の手の動きを検出する。例えば、モーションセンサ１３０は、３軸のジャイロセンサと３軸の加速度センサとの組み合わせにより構成され、重力方向（鉛直方向）を基準として３軸まわりの加速度を検出する。検出された信号は、コントローラ１６０からコンピュータ２００に送られる。モーションセンサ１３０は、例えば、手袋型のコントローラ１６０に設けられている。ある実施形態において、現実空間における安全のため、コントローラ１６０は、手袋型のようにユーザ１９０の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ１９０に装着されないセンサがユーザ１９０の手の動きを検出してもよい。例えば、ユーザ１９０を撮影するカメラ（例えば、ステレオ赤外線カメラ）の信号が、ユーザ１９０の動作を表わす信号として、コンピュータ２００に入力されてもよい。モーションセンサ１３０とコンピュータ２００とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。

［ハードウェア構成］
図２を参照して、本実施形態に係るコンピュータ２００について説明する。図２は、ある局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ１０と、メモリ１１と、ストレージ１２と、入出力インターフェイス１３と、通信インターフェイス１４とを備える。各構成要素は、それぞれ、バス１５に接続されている。

プロセッサ１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ１１またはストレージ１２に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ１０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。

メモリ１１は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ１２からロードされる。データは、コンピュータ２００に入力されたデータと、プロセッサ１０によって生成されたデータとを含む。ある局面において、メモリ１１は、ＲＡＭ（Random Access Memory）その他の揮発メモリとして実現される。

ストレージ１２は、プログラムおよびデータを永続的に保持する。ストレージ１２は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ１２に格納されているプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ２００との通信を実現するためのプログラムを含む。ストレージ１２に格納されているデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。

なお、別の局面において、ストレージ１２は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ１２の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。

ある実施形態において、入出力インターフェイス１３は、ＨＭＤ１１０、ＨＭＤセンサ１２０およびモーションセンサ１３０との間で信号を通信する。ある局面において、ＨＭＤ１１０に含まれるセンサ１１４および注視センサ１４０は、ＨＭＤ１１０のインターフェイスを介してコンピュータ２００との通信を行ない得る。入出力インターフェイス１３は、一例として、ＵＳＢ（Universal Serial Bus）、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。なお、入出力インターフェイス１３は上述のものに限られない。

ある実施形態において、入出力インターフェイス１３は、さらに、コントローラ１６０と通信し得る。例えば、入出力インターフェイス１３は、コントローラ１６０およびモーションセンサ１３０から出力された信号の入力を受ける。別の局面において、入出力インターフェイス１３は、プロセッサ１０から出力された命令を、コントローラ１６０に送る。当該命令は、振動、音声出力、発光等をコントローラ１６０に指示する。コントローラ１６０は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。

通信インターフェイス１４は、ネットワーク１９に接続されて、ネットワーク１９に接続されている他のコンピュータ（例えば、サーバ１５０）と通信する。ある局面において、通信インターフェイス１４は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェイス、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス１４は上述のものに限られない。

ある局面において、プロセッサ１０は、ストレージ１２にアクセスし、ストレージ１２に格納されている１つ以上のプログラムをメモリ１１にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ１０は、入出力インターフェイス１３を介して、仮想空間を提供するための信号をＨＭＤ１１０に送る。ＨＭＤ１１０は、その信号に基づいてモニタ１１２に映像を表示する。

なお、図２に示される例では、コンピュータ２００は、ＨＭＤ１１０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ１１０に内蔵されてもよい。一例として、モニタ１１２を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。

また、コンピュータ２００は、複数のＨＭＤ１１０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。

ある実施形態において、ＨＭＤシステム１００では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、グローバル座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。

ある局面において、ＨＭＤセンサ１２０は、赤外線センサを含む。赤外線センサが、ＨＭＤ１１０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ１１０の存在を検出する。ＨＭＤセンサ１２０は、さらに、各点の値（グローバル座標系における各座標値）に基づいて、ＨＭＤ１１０を装着したユーザ１９０の動きに応じた、現実空間内におけるＨＭＤ１１０の位置および傾きを検出する。より詳しくは、ＨＭＤセンサ１２０は、経時的に検出された各値を用いて、ＨＭＤ１１０の位置および傾きの時間的変化を検出できる。ＨＭＤ１１０の位置とは、ＨＭＤセンサ１２０の位置に対する相対的な位置である。

グローバル座標系は現実空間の座標系と平行である。したがって、ＨＭＤセンサ１２０によって検出されたＨＭＤ１１０の各傾きは、グローバル座標系におけるＨＭＤ１１０の３軸周りの各傾きに相当する。コンピュータ２００は、グローバル座標系におけるＨＭＤ１１０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。ＨＭＤ１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ１１０を装着したユーザ１９０が仮想空間において物体を見る際の視点座標系に対応する。

［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施形態に従うＨＭＤ１１０に設定されるｕｖｗ視野座標系を概念的に表す模式図である。ＨＭＤセンサ１２０は、ＨＭＤ１１０の起動時に、グローバル座標系におけるＨＭＤ１１０の位置および傾きを検出する。プロセッサ１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。

図３に示されるように、ＨＭＤ１１０は、ＨＭＤ１１０を装着したユーザ１９０の頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ１１０は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。

ある局面において、ＨＭＤ１１０を装着したユーザ１９０が直立し、かつ、正面を視認している場合、プロセッサ１０は、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ１１０に設定する。この場合、グローバル座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。

ｕｖｗ視野座標系がＨＭＤ１１０に設定された後、ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ１１０の傾き（傾きの変化量）を検出できる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ１１０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ１１０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ１１０の傾き角度を表す。

コンピュータ２００は、ＨＭＤセンサ１２０の出力に基づいて検出したＨＭＤ１１０の傾き角度に基づいて、ＨＭＤ１１０が動いた後のＨＭＤ１１０におけるｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。ＨＭＤ１１０と、ＨＭＤ１１０のｕｖｗ視野座標系との関係は、ＨＭＤ１１０の位置および傾きに関わらず、常に一定である。ＨＭＤ１１０の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるＨＭＤ１１０のｕｖｗ視野座標系の位置および傾きが変化する。

ある局面において、ＨＭＤセンサ１２０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定する。また、プロセッサ１０は、特定された相対位置に基づいて、現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の原点を決定してもよい。

［仮想空間］
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施形態に従う仮想空間２を表現する一態様を概念的に表す模式図である。仮想空間２は、中心２１の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間２のうちの上半分の天球が例示されている。仮想空間２では各メッシュが規定される。各メッシュの位置は、仮想空間２に規定されるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２において対応する各メッシュにそれぞれ対応付けて、ユーザ１９０によって視認可能な仮想空間画像２２が展開される仮想空間２をユーザ１９０に提供する。

ある局面において、仮想空間２では、中心２１を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、グローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。

ＨＭＤ１１０の起動時、すなわちＨＭＤ１１０の初期状態において、仮想カメラ１が、仮想空間２の中心２１に配置される。ある局面において、プロセッサ１０は、仮想カメラ１が撮影する画像をＨＭＤ１１０のモニタ１１２に表示する。仮想カメラ１は、現実空間におけるＨＭＤ１１０の動きに連動して、仮想空間２を同様に移動する。これにより、現実空間におけるＨＭＤ１１０の位置および向きの変化が、仮想空間２において同様に再現される。

仮想カメラ１には、ＨＭＤ１１０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間２における仮想カメラ１のｕｖｗ視野座標系は、現実空間（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ１１０の傾きが変化すると、それに応じて、仮想カメラ１の傾きも変化する。また、仮想カメラ１は、ＨＭＤ１１０を装着したユーザ１９０の現実空間における移動に連動して、仮想空間２において移動することもできる。

コンピュータ２００のプロセッサ１０は、仮想カメラ１の位置と、仮想カメラ１の撮影方向を示す基準視線５（仮想カメラ１の傾き方向）とに基づいて、仮想空間２における視認領域２３を規定する。視認領域２３は、仮想空間２のうち、ＨＭＤ１１０を装着したユーザ１９０が視認する領域に対応する。上記のように、仮想カメラ１のｕｖｗ視野座標系はＨＭＤ１１０のｕｖｗ視野座標系に連動している。そのため、基準視線５は、センサ１１４またはＨＭＤ１２０の出力に基づいて算出されるＨＭＤ１１０の傾きによって定まる。

注視センサ１４０によって検出されるユーザ１９０の視線は、ユーザ１９０が物体を視認する際の視点座標系における方向である。ＨＭＤ１１０のｕｖｗ視野座標系は、ユーザ１９０がモニタ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ１１０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ１９０の視線を、仮想カメラ１のｕｖｗ視野座標系におけるユーザ１９０の視線とみなすことができる。

［ユーザの視線］
図５を参照して、ユーザ１９０の視線の決定について説明する。図５は、ある実施形態に従うＨＭＤ１１０を装着するユーザ１９０の頭部を上から表した模式図である。

ある局面において、注視センサ１４０は、ユーザ１９０の右目および左目の各視線を検出する。ある局面において、ユーザ１９０が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ１９０が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール方向ｗに対して視線Ｒ２およびＬ２が成す角度は、ロール方向ｗに対して視線Ｒ１およびＬ１が成す角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。

コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ１９０の視線Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ１９０の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線Ｎ０として検出する。視線Ｎ０は、ユーザ１９０が両目により実際に視線を向けている方向である。また、視線Ｎ０は、視認領域２３に対してユーザ１９０が実際に視線を向けている方向に相当する。

別の局面において、ＨＭＤシステム１００は、ＨＭＤシステム１００を構成するいずれかのパーツに、マイクおよびスピーカを備えてもよい。ユーザ１９０は、マイクに発話することにより、仮想空間２に対して、音声による指示を与えることができる。

また、別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間２においてテレビ番組を表示することができる。

さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。

［視界領域］
図６および図７を参照して、視認領域２３について説明する。図６は、仮想空間２において視認領域２３をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間２において視認領域２３をＹ方向から見たＸＺ断面を表す図である。

図６に示されるように、ＹＺ断面における視認領域２３は、領域２４を含む。領域２４は、仮想カメラ１の位置と基準視線５と仮想空間２のＹＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心として極角αを含む範囲を、領域２４として規定する。

図７に示されるように、ＸＺ断面における視認領域２３は、領域２５を含む。領域２５は、仮想カメラ１の位置と基準視線５と仮想空間２のＸＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、領域２５として規定する。

ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像２６をモニタ１１２に表示させることにより、ユーザ１９０に仮想空間を提供する。視界画像２６は、仮想空間画像２２のうち視認領域２３に重畳する部分に相当する。ユーザ１９０が、頭に装着したＨＭＤ１１０を動かすと、その動きに連動して仮想カメラ１も動く。その結果、仮想空間２における視認領域２３の位置が変化する。これにより、モニタ１１２に表示される視界画像２６は、仮想空間画像２２のうち、仮想空間２においてユーザ１９０が向いた方向の視認領域２３に重畳する画像に更新される。ユーザ１９０は、仮想空間２における所望の方向を視認することができる。このように、仮想カメラ１の向き（傾き）は仮想空間２におけるユーザ１９０の視線（基準視線５）に相当し、仮想カメラ１が配置される位置は、仮想空間２におけるユーザ１９０の視点に相当する。したがって、仮想カメラ１を移動（位置を変える動作、向きを変える動作を含む）させることにより、モニタ１１２に表示される画像が更新される。

ユーザ１９０は、ＨＭＤ１１０を装着している間、現実世界を視認することなく、仮想空間２に展開される仮想空間画像２２のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間２への高い没入感覚をユーザ１９０に与えることができる。

ある局面において、プロセッサ１０は、ＨＭＤ１１０を装着したユーザ１９０の現実空間における移動に連動して、仮想空間２において仮想カメラ１を移動させ得る。この場合、プロセッサ１０は、仮想空間２における仮想カメラ１の位置および向きに基づいて、ＨＭＤ１１０のモニタ１１２に投影される画像領域（すなわち、仮想空間２における視認領域２３）を特定する。

ある実施形態に従うと、仮想カメラ１は、２つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。また、ユーザ１９０が３次元の仮想空間２を認識できるように、適切な視差が、２つの仮想カメラに設定される。本実施形態においては、仮想カメラ１が２つの仮想カメラを含み、２つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ１１０のロール方向（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。

［コントローラ］
図８を参照して、コントローラ１６０の一例について説明する。図８は、ある実施の形態に従うコントローラ１６０の概略構成を表す図である。

図８に示されるように、ある局面において、コントローラ１６０は、右コントローラ８００と左コントローラとを含み得る。右コントローラ８００は、ユーザ１９０の右手で操作される。左コントローラは、ユーザ１９０の左手で操作される。ある局面において、右コントローラ８００と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ１９０は、右コントローラ８００を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ１６０は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ８００について説明する。

右コントローラ８００は、グリップ３０と、フレーム３１と、天面３２とを備える。グリップ３０は、ユーザ１９０の右手によって把持されるように構成されている。例えば、グリップ３０は、ユーザ１９０の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。

グリップ３０は、ボタン３３，３４と、モーションセンサ１３０とを含む。ボタン３３は、グリップ３０の側面に配置され、右手の中指による操作を受け付ける。ボタン３４は、グリップ３０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３３，３４は、トリガ式のボタンとして構成される。モーションセンサ１３０は、グリップ３０の筐体に内蔵されている。なお、ユーザ１９０の動作がカメラその他の装置によってユーザ１９０の周りから検出可能である場合には、グリップ３０は、モーションセンサ１３０を備えなくてもよい。

フレーム３１は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３５を含む。赤外線ＬＥＤ３５は、コントローラ１６０を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３５から発せられた赤外線は、右コントローラ８００と左コントローラ（図示しない）との各位置や姿勢（傾き、向き）を検出するために使用され得る。図８に示される例では、二列に配置された赤外線ＬＥＤ３５が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。

天面３２は、ボタン３６，３７と、アナログスティック３８とを備える。ボタン３６，３７は、プッシュ式ボタンとして構成される。ボタン３６，３７は、ユーザ１９０の右手の親指による操作を受け付ける。アナログスティック３８は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間２に配置されるオブジェクトを移動するための操作を含む。

ある局面において、右コントローラ８００および左コントローラは、赤外線ＬＥＤ３５その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ８００と左コントローラは、例えば、コンピュータ２００のＵＳＢインターフェイスに接続され得る。この場合、右コントローラ８００および左コントローラは、電池を必要としない。

図９は、右コントローラ８００を把持するユーザ１９０の右手に対応して仮想空間に配置されるハンドオブジェクト９１０の一例を示す。例えば、ユーザ１９０の右手に対応するハンドオブジェクト９１０に対して、ヨー、ロール、ピッチの各方向が規定される。例えば、入力操作が、右コントローラ８００のボタン３４に対して行なわれると、ハンドオブジェクト９１０の人差し指を握りこんだ状態とし、入力操作がボタン３４に対して行なわれていない場合には、図９に示すように、ハンドオブジェクト９１０の人差し指を伸ばした状態とすることもできる。例えば、ハンドオブジェクト９１０において親指と人差し指とが伸びている場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向としてハンドオブジェクト９１０に規定される。

［ＨＭＤの制御装置］
図１０を参照して、ＨＭＤ１１０の制御装置について説明する。ある実施形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図１０は、ある実施形態に従うコンピュータ２００をモジュール構成として表わすブロック図である。

図１０に示されるように、コンピュータ２００は、表示制御モジュール２２０と、仮想空間制御モジュール２３０と、メモリモジュール２４０と、通信制御モジュール２５０とを備える。表示制御モジュール２２０は、サブモジュールとして、仮想カメラ制御モジュール２２１と、視界領域決定モジュール２２２と、視界画像生成モジュール２２３と、基準視線特定モジュール２２４とを含む。仮想空間制御モジュール２３０は、サブモジュールとして、仮想空間定義モジュール２３１と、仮想オブジェクト生成モジュール２３２と、操作オブジェクト制御モジュール２３３と、メニュー制御モジュール２３４とを含む。

ある実施形態において、表示制御モジュール２２０と仮想空間制御モジュール２３０とは、プロセッサ１０によって実現される。別の実施形態において、複数のプロセッサ１０が表示制御モジュール２２０と仮想空間制御モジュール２３０として作動してもよい。メモリモジュール２４０は、メモリ１１またはストレージ１２によって実現される。通信制御モジュール２５０は、通信インターフェイス１４によって実現される。

仮想カメラ制御モジュール２２１は、仮想空間２に仮想カメラ１を配置する。また、仮想カメラ制御モジュール２２１は、仮想空間２における仮想カメラ１の配置位置と、仮想カメラ１の向き（傾き）を制御する。視界領域決定モジュール２２２は、ＨＭＤ１１０を装着したユーザ１９０の頭の向きと、仮想カメラ１の配置位置に応じて、視認領域２３を規定する。視界画像生成モジュール２２３は、決定された視認領域２３に基づいて、モニタ１１２に表示される視界画像２６を生成する。

基準視線特定モジュール２２４は、センサ１１４またはＨＭＤセンサ１２０の出力に基づいて、ＨＭＤ１１０の傾き（ユーザ１９０の頭が向いている方向）を特定する。他の局面において、基準視線特定モジュール２２４は、注視センサ１４０からの信号に基づいて、ユーザ１９０の視線を特定し得る。

仮想空間制御モジュール２３０は、ユーザ１９０に提供される仮想空間２を制御する。仮想空間定義モジュール２３１は、仮想空間２を表わす仮想空間データを生成することにより、ＨＭＤシステム１００における仮想空間２を規定する。

仮想オブジェクト生成モジュール２３２は、後述するオブジェクト情報２４２を参照して仮想空間２に配置されるオブジェクトを生成する。オブジェクトは、例えば、木、岩などの風景を構成するオブジェクト、人間を含む動物のオブジェクト、仮想空間２の地図のオブジェクト、ユーザ１９０から選択を受け付けるメニューのオブジェクトなどである。

操作オブジェクト制御モジュール２３３は、仮想空間２においてユーザ１９０の操作を受け付けるための操作オブジェクトを仮想空間２に配置する。ユーザ１９０は、操作オブジェクトを操作することにより、例えば、仮想空間２に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、ＨＭＤ１１０を装着したユーザ１９０の手に相当するハンドオブジェクト９１０である。他の局面において、操作オブジェクトは、ユーザ１９０の足に相当する足オブジェクト、ユーザ１９０の指に相当する指オブジェクト、ユーザ１９０が使用するスティックに相当するスティックオブジェクト等を含み得る。

メニュー制御モジュール２３４は、ユーザ１９０の選択を受け付けるメニューオブジェクトの動作を制御する。メニュー制御モジュール２３４の詳細は後述される。

仮想空間制御モジュール２３０は、仮想空間２に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。仮想空間制御モジュール２３０は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。仮想空間制御モジュール２３０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。仮想空間制御モジュール２３０は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。具体的には、操作オブジェクト制御モジュール２３３は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。仮想空間制御モジュール２３０が、あるオブジェクトと別のオブジェクトとが衝突したこと、および離れたことを検出する制御の詳細は、図１３を用いて後述される。

メモリモジュール２４０は、コンピュータ２００が仮想空間２をユーザ１９０に提供するために使用されるデータを保持している。ある局面において、メモリモジュール２４０は、空間情報２４１と、オブジェクト情報２４２と、ユーザ情報２４３とを保持している。

空間情報２４１は、仮想空間２を提供するために規定された１つ以上のテンプレートを保持している。このテンプレートは、仮想空間２の形状、大きさを定義する情報および仮想空間２を構成する各メッシュに展開されるコンテンツの情報などを含む。

オブジェクト情報２４２は、仮想空間２において再生されるコンテンツ、当該コンテンツで使用されるオブジェクト、およびオブジェクトを仮想空間２に配置するための情報（たとえば、位置情報）を保持している。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。オブジェクト情報２４２は、位置情報２４４をさらに含む。位置情報２４４は、仮想空間２に配置されているオブジェクトの位置を示す情報を含む。位置情報２４４の詳細は、図１３を用いて後述される。

ユーザ情報２４３は、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム、オブジェクト情報２４２に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。

メモリモジュール２４０に格納されているデータおよびプログラムは、ＨＭＤ１１０のユーザによって入力される。あるいは、プロセッサ１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ１５０）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール２４０に格納する。

通信制御モジュール２５０は、ネットワーク１９を介して、サーバ１５０その他の情報通信装置と通信し得る。

ある局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、各処理を実現する回路素子の組み合わせとしても実現され得る。

コンピュータ２００における処理は、ハードウェアと、プロセッサ１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール２４０に予め格納されている場合がある。また、ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール２５０を介してサーバ１５０その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ１０によって記憶モジュールから読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ１０は、そのプログラムを実行する。

図１１に示されるコンピュータ２００を構成するハードウェアは、一般的なものである。したがって、本実施形態に係る最も本質的な部分は、コンピュータ２００に格納されたプログラムであるともいえる。なお、コンピュータ２００のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

なお、データ記録媒体としては、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Electronically Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。

なお、ここでいうプログラムとは、プロセッサ１０により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。

［制御構造］
図１１を参照して、コンピュータ２００の制御構造について説明する。図１１は、ＨＭＤシステム１００が実行する処理を表わすフローチャートである。

図１１を参照して、ステップＳ１１１０において、コンピュータ２００のプロセッサ１０は、仮想空間定義モジュール２３１として、仮想空間画像データを特定し、仮想空間２を定義する。

ステップＳ１１２０において、プロセッサ１０は、仮想カメラ１を初期化する。例えば、プロセッサ１０は、メモリのワーク領域において、仮想カメラ１を仮想空間２において予め規定された中心２１に配置し、仮想カメラ１の傾きをＨＭＤ１１０の傾きに連動させる。

ステップＳ１１３０において、プロセッサ１０は、視界画像生成モジュール２２３として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール２２３を介して通信制御モジュール２５０によってＨＭＤ１１０に送信される。

ステップＳ１１３２において、ＨＭＤ１１０のモニタ１１２は、コンピュータ２００から受信した信号に基づいて、視界画像を表示する。ＨＭＤ１１０を装着したユーザ１９０は、視界画像を視認すると仮想空間２を認識し得る。

ステップＳ１１３４において、ＨＭＤセンサ１２０は、ＨＭＤ１１０から発信される複数の赤外線光に基づいて、ＨＭＤ１１０の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ２００に送信される。

ステップＳ１１４０において、プロセッサ１０は、ＨＭＤセンサ１２０から入力された動き検知データに基づいて、ＨＭＤ１１０の位置および傾きを取得する。プロセッサ１０はさらに、仮想カメラ制御モジュール２２１として、検知した位置および傾きに連動するように仮想空間２における仮想カメラ１の位置および傾き（すなわち、仮想カメラ１の基準視線５）を変更する。これにより、仮想カメラ１が撮影する視界画像２６が更新される。

ステップＳ１１６０において、プロセッサ１０は、操作オブジェクト制御モジュール２３３として、仮想空間２にハンドオブジェクト９１０を配置するためのデータを生成する。ハンドオブジェクト９１０は、現実空間におけるユーザ１９０の右手に対応する。なお、他の局面において、プロセッサ１０は、仮想空間２にユーザ１９０の左手に対応するハンドオブジェクトを配置してもよい。

ステップＳ１１７０において、モーションセンサ１３０は、現実空間におけるユーザ１９０が操作するコントローラ１６０（８００）の動作を検出する。検出内容を示す検出信号は、コンピュータ２００に送られる。

ステップＳ１１８０において、プロセッサ１０は、操作オブジェクト制御モジュール２３３として、モーションセンサ１３０から入力された検出信号に基づいて、仮想空間２におけるハンドオブジェクト９１０を動かすためのデータを生成する。より具体的には、プロセッサ１０は、現実空間におけるユーザ１９０の手の動きに連動するように、ハンドオブジェクト９１０を動かす。また、プロセッサ１０は、仮想空間制御モジュール２３０として、ハンドオブジェクト９１０と他のオブジェクトとが衝突したことまたは離れたことを検出した場合、予め定められた処理を実行する。

ステップＳ１１９０において、プロセッサ１０は、視界画像生成モジュール２２３として、処理の結果に基づく視界画像を表示するための視界画像データを生成し、生成した視界画像データをＨＭＤ１１０に出力する。

ステップＳ１１９２において、ＨＭＤ１１０のモニタ１１２は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。

［メニューの表示方法］
次に、図１２〜図１６を用いて仮想空間２におけるメニューの表示方法について説明する。図１２は、メインメニューオブジェクト１２００を説明するための図である。図１２の局面において、仮想空間２は、メインメニューオブジェクト１２００と、ハンドオブジェクト９１０とを含む。

プロセッサ１０は、コントローラ１６０に設けられたモーションセンサ１３０の出力に基づいて、仮想空間２におけるハンドオブジェクト９１０の動きを、現実空間におけるユーザ１９０の手の動きに連動させる。

メインメニューオブジェクト１２００は、ユーザ１９０が選択可能な１つ以上の項目を含む。図１２の例において、メインメニューオブジェクト１２００は、日本を示す大項目１２１０と、日本の地方を示す中項目１２２０〜１２７０とを含む。メインメニューオブジェクト１２００の中心に配置される大項目１２１０は、中項目１２２０〜１２７０の上位概念であり得る。大項目１２１０は、ユーザ１９０の選択を受け付けないように構成され得る。一方、中項目１２２０〜１２７０は、ユーザ１９０の選択を受け付け可能に構成される。これらの大項目１２１０および中項目１２２０〜１２７０は、六角形のオブジェクトであって、大項目１２１０を中心として、中項目１２２０〜１２７０が大項目１２１０の各辺に接している。なお、これら項目の形状は六角形に限られない。他の局面において、これら項目の形状は、円形または球形であり得る。さらに他の局面において、項目の輪郭は示されなくてもよい。

メインメニューオブジェクト１２００は、例えば、ユーザがコントローラ１６０の所定ボタン（例えば、ボタン３４）を押したことに応じて、仮想空間２に配置される。

プロセッサ１０は、仮想空間制御モジュール２３０として、ハンドオブジェクト９１０と、中項目１２２０〜１２７０のいずれかとの接触を判断する。プロセッサ１０は、位置情報２４４を参照してこの判断を行なう。

図１３は、位置情報２４４のデータ構造の一例を表す。位置情報２４４は、仮想空間２に配置されている各オブジェクトの位置情報と、形状情報とを互いに関連付けて保持する。一例として、ハンドオブジェクト９１０の位置情報（仮想空間２における座標位置）（Ｘ１，Ｙ１，Ｚ１）は、ハンドオブジェクト９１０の人差し指の先端の位置であり得る。プロセッサ１０は、モーションセンサ１３０の出力に基づいて、ハンドオブジェクト９１０の位置情報を随時更新する。

形状情報は、対応するオブジェクトの形状を表す情報である。例えば、大項目１２１０および中項目１２２０〜１２７０の形状情報は、これらのオブジェクトが予め定められた大きさの六角形であることを表す。プロセッサ１０は、仮想空間制御モジュール２３０として、オブジェクトの位置情報と形状情報とに基づいて、当該オブジェクトが仮想空間２において占める領域を算出する。プロセッサ１０は、他のオブジェクトが占める領域にハンドオブジェクト９１０の位置が含まれた（接触を含む）場合に、ハンドオブジェクト９１０と他のオブジェクトとが接触したと判断する。プロセッサ１０は、他のオブジェクトが占める領域にハンドオブジェクト９１０の位置が含まれなくなった場合に、ハンドオブジェクト９１０と他のオブジェクトとが離れたと判断する。

図１２を再び参照して、プロセッサ１０は、ハンドオブジェクト９１０と中項目１２４０とが接触したと判断する。このとき、中項目１２４０の位置は座標値（Ｘ５ａ，Ｙ５ａ，Ｚ５ａ）で特定される。プロセッサ１０は、これらが接触したと判断すると、メインメニューオブジェクト１２００を図１４に示される状態に移行する。

図１４は、図１２において中項目１２４０が選択された後の仮想空間２を表す。プロセッサ１０は、ハンドオブジェクト９１０と中項目１２４０とが接触したと判断すると、メインメニューオブジェクト１２００から中項目１２４０を分離させ、中項目１２４０以外のメインメニューオブジェクト１２００を矢印１４００の方向に移動させる。したがって、図１４において、中項目１２４０の位置は、座標値（Ｘ５ａ，Ｙ５ａ，Ｚ５ａ）のままである。矢印１４００の方向は、ユーザ１９０の仮想空間２における視点（仮想カメラ１の位置）を基準として奥側（Ｘ軸）の方向である。他の局面において、矢印１４００の方向は、上記視点を基準として、右斜め奥側または左斜め奥側の方向であり得る。これにより、ユーザ１９０は、後述するサブメニューオブジェクト１６００が表示されている状態（例えば図１６の状態）においてもメインメニューオブジェクト１２００を容易に視認できる。

ある実施形態において、プロセッサ１０は、移動後のメインメニューオブジェクト１２００の透明度を、移動前のメインメニューオブジェクト１２００の透明度よりも高く設定する。一例として、プロセッサ１０は、移動前のメインメニューオブジェクト１２００の透明度を０％に、移動後のメインメニューオブジェクト１２００の透明度を５０％に設定する。当該構成によれば、メインメニューオブジェクト１２００の表示態様が移動前後で変更されるため、ユーザ１９０は、メインメニューオブジェクト１２００が選択済みであることを直感的に理解できる。

プロセッサ１０は、メインメニューオブジェクト１２００を移動させた後、中項目１２４０を図１５に示される状態に移行する。

図１５は、図１４においてメインメニューオブジェクト１２００が移動した後の仮想空間２を表す。プロセッサ１０は、メインメニューオブジェクト１２００を移動させた後に、中項目１２４０を矢印１５００の方向に移動する。その結果、中項目１２４０の位置は、座標値（Ｘ５ａ，Ｙ５ａ，Ｚ５ａ）から座標値（Ｘ５ｂ，Ｙ５ｂ，Ｚ５ｂ）に変更される。矢印１５００の方向と、矢印１４００の方向とは、同じ方向であり得る。また、図１４で説明したメインメニューオブジェクト１２００の移動量よりも、この中項目１２４０の移動量の方が少ない。

中項目１２４０が移動したことにより、ハンドオブジェクト９１０と中項目１２４０とが離れる（接触していない状態になる）。なお、上記の例では、プロセッサ１０は、メインメニューオブジェクト１２００の移動の後に、中項目１２４０を移動するように構成されているが、これらの処理は逆の順番で行なわれてもよいし、同時に行なわれてもよい。

図１６は、図１４において中項目１２４０が移動した後の仮想空間２を表す。プロセッサ１０は、移動後の中項目１２４０の各辺を取り囲むように小項目１６１０〜１６６０を配置して、中項目１２４０と小項目１６１０〜１６６０とによって構成されるサブメニューオブジェクト１６００を形成する。中項目１２４０は、近畿地方を表す。小項目１６１０〜１６６０は、近畿地方に含まれる県を表す。このように、中項目１２４０は、小項目１６１０〜１６６０の上位概念であり得る。つまり、サブメニューオブジェクト１６００に示される内容は、メインメニューオブジェクト１２００に示される内容の下位概念であり得る。

図１６に示される例において、仮想空間２におけるユーザ１９０の視点（仮想カメラ１の位置）を基準とした奥行き方向、すなわちＸ軸方向におけるサブメニューオブジェクト１６００の座標値はＸ５ｂである。座標値Ｘ５ｂは、ハンドオブジェクト９１０に接触したときのメインメニューオブジェクト１２００の座標値Ｘ５ａよりも奥側である。そのため、プロセッサ１０は、サブメニューオブジェクト１６００が仮想空間２に配置されたときに、ハンドオブジェクト９１０とサブメニューオブジェクト１６００とが接触することを避け得る。つまり、プロセッサ１０は、ユーザ１９０の意図しないサブメニューオブジェクト１６００の選択を避け得る。

仮に、サブメニューオブジェクト１６００が、移動前のメインメニューオブジェクト１２００の位置に配置された場合、サブメニューオブジェクト１６００が仮想空間２に配置されたときに、このオブジェクトとハンドオブジェクト９１０とが接触してしまう。その結果、プロセッサ１０は、サブメニューオブジェクト１６００のいずれかの項目がユーザ１９０によって選択されたと誤認識してしまう。実施形態に従うプロセッサ１０は、このような誤認識を抑制し得る。

ある実施形態において、プロセッサ１０は、サブメニューオブジェクト１６００のうち、ユーザ１９０の視点を基準として奥行き方向（図１６ではＸ軸方向）にメインメニューオブジェクト１２００と重なっている部分の透明度を所定値（例えば、５０％）に設定する。これにより、ユーザ１９０は、メインメニューオブジェクト１２００をより視認しやすくなる。

ある実施形態において、プロセッサ１０は、サブメニューオブジェクト１６００を構成する中項目１２４０とハンドオブジェクト９１０とが接触した場合、サブメニューオブジェクト１６００を仮想空間２から削除し、図１２に示される状態に戻す。

上記ではプロセッサ１０は、サブメニューオブジェクト１６００を、移動前のメインメニューオブジェクト１２００より奥側に配置するように構成されている。しかしながら、メニューがメインメニューオブジェクト１２００およびサブメニューオブジェクト１６００の２階層ではなく、もっと多くの階層を有する場合もある。この場合、下の階層のメニューほど奥側に配置されるため、ユーザ１９０が下の階層のメニューを選択しにくくなる可能性がある。ある実施形態に従うプロセッサ１０は、図１７に示されるような制御を行なうことでこの課題を解決し得る。

図１７は、図１６においてサブメニューオブジェクト１６００が配置された後の仮想空間２を説明するための図である。図１７を参照して、プロセッサ１０は、サブメニューオブジェクト１６００が仮想空間２に配置された後、サブメニューオブジェクト１６００を矢印１７００の方向に徐々に動かす。具体的には、プロセッサ１０は、ユーザ１９０の視点（仮想カメラ１の位置）を基準としてサブメニューオブジェクト１６００を手前に動かす。一例として、プロセッサ１０は、奥行き方向（Ｘ軸方向）におけるサブメニューオブジェクト１６００の位置（Ｘ５ｂ）を、移動前のメインメニューオブジェクト１２００の位置（Ｘ５ａ）に動かす。

当該構成によれば、サブメニューオブジェクト１６００（下の階層のメニュー）は、ハンドオブジェクト９１０に接触しない位置に配置され、徐々にユーザ１９０の視点（仮想カメラ１の位置）側に移動する。そのため、ユーザ１９０は、サブメニューオブジェクト１６００を容易に選択できる。

［メニューを表示する処理］
図１８は、仮想空間２においてメニューを表示する処理を表すフローチャートである。図１８に示される処理は、コンピュータ２００のプロセッサ１０がメモリ１１またはストレージ１２に格納されている制御プログラムを実行することにより実現される。

ステップＳ１８１０において、プロセッサ１０は、仮想空間定義モジュール２３１として、空間情報２４１に格納されているテンプレートに基づいて、仮想空間２を定義する。また、プロセッサ１０は、仮想空間２を構成するメッシュにコンテンツを展開する。

ステップＳ１８２０において、プロセッサ１０は、仮想オブジェクト生成モジュール２３２として、ユーザ１９０が選択可能な１つ以上の項目を含むメインメニューオブジェクト１２００を仮想空間２に配置する。例えば、プロセッサ１０は、コントローラ１６０の予め定められたボタンが押下されたことを検知すると、ステップＳ１８２０の処理を実行する。

ステップＳ１８３０において、プロセッサ１０は、仮想オブジェクト生成モジュール２３２として、ハンドオブジェクト９１０を仮想空間２に配置する。ハンドオブジェクト９１０は、仮想空間２においてユーザ１９０の操作を受け付けるための操作オブジェクトとして機能する。また、プロセッサ１０は、仮想カメラ１を仮想空間２に配置する。

ステップＳ１８４０において、プロセッサ１０は、ＨＭＤ１１０のモニタ１１２に初期画像（例えば、中心２１に配置された仮想カメラ１が撮影する画像）を表示してユーザ１９０に仮想空間２における視界を提供する。

ステップＳ１８５０において、プロセッサ１０は、メインメニューオブジェクト１２００に含まれる項目１２２０〜１２７０のいずれかの選択を受け付けたか否かを判断する。より具体的には、プロセッサ１０は、ハンドオブジェクト９１０と項目１２２０〜１２７０のいずれかとが接触したことを検知した場合に、これらのいずれかが選択されたと判断する。

なお、他の局面において、プロセッサ１０は、ハンドオブジェクト９１０と項目１２２０〜１２７０のいずれかとが接触し、その後に離れた場合に、これらのいずれかが選択されたと判断する。さらに他の局面において、プロセッサ１０は、コントローラ１６０の予め定められたボタンが押下された状態でハンドオブジェクト９１０とこれらの項目のいずれかとが接触した場合に、これらのいずれかが選択されたと判断する。

プロセッサ１０は、ユーザ１９０がいずれかの項目を選択したと判断した場合（ステップＳ１８５０においてＹＥＳ）、処理をステップＳ１８６０に進める。一方、プロセッサ１０は、ユーザ１９０がいずれかの項目を選択していないと判断した場合（ステップＳ１８５０においてＮＯ）、処理をステップＳ１８５０に戻す。

ステップＳ１８６０において、プロセッサ１０は、仮想空間２におけるユーザ１９０の視点（仮想カメラ１の位置）を基準として、メインメニューオブジェクト１２００を奥側に動かす。

ステップＳ１８７０において、プロセッサ１０は、ステップＳ１８５０で選択された項目の下位概念の項目を含むサブメニューオブジェクト１６００を、ユーザ１９０の選択を受け付けたときにメインメニューオブジェクト１２００が配置されていた場所とは異なる場所に配置する。一例として、プロセッサ１０は、選択を受け付けたときにメインメニューオブジェクト１２００が配置されていた場所よりもユーザ１９０の視点を基準として奥側にサブメニューオブジェクト１６００を配置する。

ステップＳ１８８０において、プロセッサ１０は、ユーザ１９０の視点を基準としてサブメニューオブジェクト１６００を手前側に動かす。一例として、プロセッサ１０は、選択を受け付けたときにメインメニューオブジェクト１２００が配置されていた場所までサブメニューオブジェクト１６００を移動させる。

上記によれば、コンピュータ２００は、ハンドオブジェクト９１０と接触しないようにサブメニューオブジェクト１６００を仮想空間２に配置するため、ユーザ１９０の意図しないサブメニューオブジェクト１６００の選択を避け得る。

また、プロセッサ１０は、はじめからサブメニューオブジェクト１６００を配置するのではなく、メインメニューオブジェクト１２００に対するユーザ１９０の選択を受け付けたことに応じてサブメニューオブジェクト１６００を表示する。これにより、プロセッサ１０は、ユーザ１９０の視界内に多くのメニューが表示されることによりユーザ１９０が混乱することを抑制し得る。

また、プロセッサ１０は、ユーザ１９０の視界内に常にメニューオブジェクトを配置するのではなく、ユーザ１９０の操作に応じて、メニューオブジェクトを仮想空間２に配置する。そのため、プロセッサ１０は、通常、ユーザ１９０の仮想空間２における視界を狭めない。

また、プロセッサ１０は、選択されたメインメニューオブジェクト１２００を仮想空間２から削除するのではなく、サブメニューオブジェクト１６００の奥側に配置する。これにより、ユーザ１９０は、自分が選択した内容の履歴を直感的に理解できる。

また、プロセッサ１０は、サブメニューオブジェクト１６００を仮想空間２に配置した後に、このオブジェクトを仮想空間２におけるユーザ１９０の視点に近づける。これにより、ユーザ１９０は、容易にサブメニューオブジェクト１６００を選択し得る。

［ユーザの視野内にメニューが表示される態様］
コンピュータ２００は、何らかのトリガに基づいてメインメニューオブジェクト１２００を仮想空間２に配置する。その後、ユーザ１９０が頭を動かすと、メインメニューオブジェクト１２００が視認領域２３に含まれなくなることもある。この場合、ユーザ１９０は、メインメニューオブジェクト１２００を視認するために、再度頭を動かさなければならない。そこで、ある実施形態に従うコンピュータ２００は、ユーザ１９０の視界内にメインメニューオブジェクト１２００が表示されるように当該オブジェクトの動作を制御する。

（操作オブジェクトに追随）
図１９および図２０を用いて、メインメニューオブジェクト１２００を操作オブジェクト（ハンドオブジェクト９１０）に追随させる処理について説明する。図１９は、ハンドオブジェクト９１０とメインメニューオブジェクト１２００とが離れていることを表す。図２０は、メインメニューオブジェクト１２００がハンドオブジェクト９１０に追随する様子を表す。

図１９において、プロセッサ１０は、モーションセンサ１３０の出力結果に基づいて、ハンドオブジェクト９１０を破線位置から実線位置に動かす。プロセッサ１０は、位置情報２４４を参照して、ハンドオブジェクト９１０の位置と、メインメニューオブジェクト１２００の位置とに基づいて、これらの間隔Ｄを算出する。メインメニューオブジェクト１２００の位置は、大項目１２１０の位置とする。プロセッサ１０は、間隔Ｄが予め定められた間隔Ｄｔｈを上回ったか否かを判断する。プロセッサ１０は、間隔Ｄが予め定められた間隔Ｄｔｈを上回ったと判断した場合に、メインメニューオブジェクト１２００をハンドオブジェクト９１０に追随するように動かす（図２０）。

一例として、プロセッサ１０は、基準視線５（仮想カメラ１が向いている方向）に直交する平面における、これらのオブジェクトの位置が等しくなるように制御する。図２０の例において、基準視線５はＸ軸に平行である。そのため、プロセッサ１０は、メインメニューオブジェクト１２００（大項目１２１０）のＹ，Ｚ座標がハンドオブジェクト９１０のＹ，Ｚ座標に等しくなるように、メインメニューオブジェクト１２００を動かす。このとき、プロセッサ１０は、Ｘ軸方向におけるこれらのオブジェクト同士の間隔が予め定められた間隔となるように、換言すれば、これらのオブジェクト同士が接触しないように、メインメニューオブジェクト１２００を動かし得る。その理由は、誤検出を抑制するためである。

上記によれば、メニューは操作オブジェクトに追随する。また、操作オブジェクトは、ユーザ１９０の視界内に表示されている。そのため、ユーザ１９０は、頭を動かして視界画像が切り替わった場合においても、メニューを常に視認できる。

なお、コンピュータ２００は、コントローラ１６０の所定ボタンが押下されたことに応じて、仮想空間２からメインメニューオブジェクト１２００およびサブメニューオブジェクト１６００を削除し得る。

（ユーザの視界に追随）
上記では、プロセッサ１０は、メニューが操作オブジェクトに追随する処理を行なうように構成されている。他の局面において、プロセッサ１０は、メニューがユーザ１９０の視界に追随する処理を行なうように構成される。

図２１は、メインメニューオブジェクト１２００が視界画像２６から外れている様子を表す。図２２は、メインメニューオブジェクト１２００がユーザ１９０の視界に追随する様子を表す。

プロセッサ１０は、メインメニューオブジェクト１２００がユーザ１９０の視界から外れたか否かを判断する。一例として、プロセッサ１０は、大項目１２１０の位置が、仮想カメラ１の撮影範囲である視認領域２３から外れた場合に、メインメニューオブジェクト１２００が視界から外れたと判断する（図２１）。プロセッサ１０は、メニューが操作オブジェクトに追随する処理を行なうため、（ｉ）メニューを視界内のどの位置に戻すのか、（ｉｉ）メニューの一部または全部が視界から外れた後、どのタイミングで視界に戻し始めるか、（ｉｉｉ）メニューの位置を移動させる態様をどのようにするかの設定に従って、または、これら（ｉ）〜（ｉｉｉ）を決定して上記の処理を行なう。

（ｉ）プロセッサ１０がユーザの視界に追随させてメニューを移動させる際に、メニューを視界内のどの位置に戻すかについて説明する。具体的には、（ｉ‐１）仮想カメラ２の撮影範囲に基づく位置（基準視線５に基づく位置）にメニューを配置する例、（ｉ‐２）ハンドオブジェクト９１０の位置に基づく位置にメニューを配置する例、（ｉ‐３）ハンドオブジェクト９１０がユーザ１９０の視界内（すなわち、視認領域２３）にある場合と、視界内にない場合とに応じてメニューの配置場所を決定する例、（ｉ‐４）仮想カメラ２の撮影範囲とハンドオブジェクト９１０との位置に応じてメニューの配置場所を決定する例などがある。

（ｉ‐１）仮想カメラの撮影範囲に基づく位置（基準視線に基づく位置）
プロセッサ１０は、メインメニューオブジェクト１２００がユーザ１９０の視界から外れていると判断した場合、メインメニューオブジェクト１２００を基準視線５の位置に動かす（図２２）。このとき、プロセッサ１０は、ユーザ１９０の視点（仮想カメラ１の位置）とメインメニューオブジェクト１２００との間隔が予め定められた間隔となるようにメインメニューオブジェクト１２００を動かし得る。また、プロセッサ１０は、これらのオブジェクト同士が接触しないように、メインメニューオブジェクト１２００を動かし得る。上記によれば、メニューはユーザ１９０の視界に追随する。そのため、ユーザ１９０は、頭を動かして視界画像が切り替わった場合においても、メニューを常に視認できる。

（ｉ‐２）ハンドオブジェクトの位置に基づく位置
プロセッサ１０は、メインメニューオブジェクト１２００に対し、ハンドオブジェクト９１０を接触（衝突）させることで、メニューに対するユーザの操作を受け付ける。そのため、メインメニューオブジェクト１２００がユーザ１９０の視界から外れた場合、ハンドオブジェクト９１０の位置の近くにメインメニューオブジェクト１２００が配置されると、メニューに対するユーザの入力操作が容易になる。プロセッサ１０は、メインメニューオブジェクト１２００が視界から外れたと判断した場合に、メインメニューオブジェクト１２００を、ハンドオブジェクト９１０の位置から予め定められた間隔の位置に動かす。例えば、プロセッサ１０は、ハンドオブジェクト９１０のロール方向に一定距離を空けた位置にメインメニューオブジェクト１２００を動かす。

（ｉ‐３）ハンドオブジェクトが視界内にある場合と、視界内にない場合とに応じてメニューの配置個所を決定
プロセッサ１０は、ユーザの視界に追随させてメニューを動かす際に、ユーザの視界内にハンドオブジェクト９１０がある場合と、ない場合とでメニューの配置場所を異なるものとしてもよい。プロセッサ１０は、ユーザの視界内にハンドオブジェクト９１０がある場合は、上記（ｉ‐２）で説明したように、ハンドオブジェクト９１０の位置に基づく位置にメインメニューオブジェクト１２００を配置し、ユーザの視界内にハンドオブジェクト９１０がない場合は、上記（ｉ‐１）で説明したように、基準視線に基づく位置にメインメニュー９１０を配置することとしてもよい。

（ｉ‐４）仮想カメラの撮影範囲とハンドオブジェクトとの位置に応じてメニューの配置個所を決定
プロセッサ１０は、ユーザ１９０の視界に追随させてメニューを動かす際に、仮想カメラ２の撮影範囲と、ハンドオブジェクト９１０の位置とに基づいてメインメニューオブジェクト１２００を動かすこととしてもよい。例えば、プロセッサ１０は、メインメニューオブジェクト１２００がユーザ１９０の視界から外れていると判断した場合、メインメニューオブジェクト１２００を、ユーザ１９０の視点（仮想カメラ１の位置）から予め定められた間隔をあけた位置と、ハンドオブジェクト９１０の位置との中間の位置に動かす。他の局面において、プロセッサ１０は、ユーザ１９０の視点位置（仮想カメラ２の位置）と、ハンドオブジェクト９１０の位置とを結ぶ直線上であって、ハンドオブジェクト９１０の位置を基準としてユーザ１９０の視点位置とは反対側に予め定められた間隔の位置にメインメニューオブジェクト１２００を配置してもよい。これにより、メニューがなるべくユーザの視界内に位置しつつ、ハンドオブジェクト９１０による操作も容易な位置に配置されるので、ユーザの操作性が向上し得る。

また、上記（ｉ‐２）、および（ｉ‐４）において、ハンドオブジェクト９１０がユーザの右手に対応するものと左手に対応するものとの両方がある場合、ハンドオブジェクト９１０の位置に基づいてメニューを動かす場合に、右手か左手に対応するいずれかのハンドオブジェクト９１０を優先してメニューの配置をしてもよい。

（ｉｉ）メニューの一部または全部が視界から外れた後、どのタイミングで視界に戻し始めるかについて説明する。プロセッサ１０は、例えば、メインメニューオブジェクト１２００がユーザ１９０の視界から外れた期間をカウントし、一定期間を経過するまではメインメニューオブジェクト１２００を動かさず、一定期間を経過した際にメインメニューオブジェクト１２００を動かすこととしてもよい。ユーザ１９０の視界からメニューが外れたとしても、メニューが追随して移動するまで時間的な間隔を空けることにより、ユーザ１９０の視界を過度に妨げることを抑止し得る。

（ｉｉｉ）メニューの位置を移動させる態様をどのようにするかについて説明する。プロセッサ１０は、ユーザ１９０の視界に追随させてメニューを動かす場合に、メニューがスライドするように移動させてもよいし、ワープするように移動させてもよい。

［メニューの表示態様］
図２３は、ユーザ１９０の選択を受け付けた後のメインメニューオブジェクト１２００の表示態様を説明するための図である。図１２〜図１６の例において、プロセッサ１０は、ユーザ１９０の選択を受け付けた中項目１２４０をメインメニューオブジェクト１２００から分離するように構成されている。一方、図２３の例では、中項目１２４０に対応する中項目２３００が、メインメニューオブジェクト１２００を構成している。

プロセッサ１０は、ユーザ１９０の選択を受け付けた中項目１２４０に対応する中項目２３００の表示態様を変更する。一例として、プロセッサ１０は、中項目２３００の透過率を所定値（例えば、５０％）に設定する。当該構成によれば、ユーザ１９０は、自分が選択した内容の履歴を直感的に理解できる。

［アイコン］
図２４は、メニューオブジェクト２４００を表す。上記の例において、メニューを構成する各項目は、文字によってその項目が示す内容をユーザ１９０に提示する。他の局面において、メニューを構成する各項目は、メニューオブジェクト２４００のように、項目が示す内容を絵、図、記号としてユーザ１９０に提示する。当該構成によれば、ユーザ１９０は、メニューを構成する各項目が示す内容を直感的に理解できる。

［構成］
以上に開示された技術的特徴は、以下のように要約され得る。

（構成１）ある実施形態に従うと、ＨＭＤ１１０が仮想空間２を提供するためにコンピュータ２００で実行される方法が提供される。この方法は、仮想空間２を定義するステップ（Ｓ１８１０）と、ＨＭＤ１１０のユーザ１９０が選択可能な一つ以上の項目１２２０〜１２７０を含むメインメニューオブジェクト１２００を仮想空間２に配置するステップ（Ｓ１８２０）と、一つ以上の項目のうちのいずれかがユーザ１９０に選択されたこと（Ｓ１８５０においてＹＥＳ）に基づいて、選択された項目の下位概念の項目１６１０〜１６６０を含むサブメニューオブジェクト１６００を、選択されたときにメインメニューオブジェクト１２００が配置されていた場所とは異なる場所に配置するステップ（Ｓ１８７０）とを含む。

（構成２）上記の方法は、（構成１）に加えて、ＨＭＤ１１０に画像を表示してユーザ１９０に仮想空間における視界を提供するステップ（Ｓ１８４０）をさらに備える。サブメニューオブジェクト１６００を配置するステップは、仮想空間２におけるユーザ１９０の視点（仮想カメラ１の位置）を基準として、サブメニューオブジェクト１６００を、選択されたときにメインメニューオブジェクト１２００が配置されていた場所よりも奥に配置することを含む。

（構成３）上記の方法は、（構成２）に加えて、一つ以上の項目１２２０〜１２７０のうちのいずれかがユーザ１９０に選択されたことに基づいて、仮想空間２におけるユーザ１９０の視点を基準として、メインメニューオブジェクト１２００をサブメニューオブジェクト１６００が配置された場所よりも奥に移動するステップ（Ｓ１８６０）をさらに含む。

（構成４）（構成３）に加えて、メインメニューオブジェクト１２００を移動させるステップは、移動後のメインメニューオブジェクト１２００の透明度を、移動前のメインメニューオブジェクト１２００よりも高くするステップを含む。

（構成５）（構成２）〜（構成４）のいずれかに加えて、サブメニューオブジェクト１６００を配置するステップは、サブメニューオブジェクト１６００が仮想空間２に配置された後に、仮想空間２におけるユーザ１９０の視点を基準としてサブメニューオブジェクト１６００を手前に移動するステップ（Ｓ１８８０）を含む。

（構成６）（構成１）〜（構成５）のいずれかに加えて、サブメニューオブジェクト１６００は、ユーザ１９０に選択された項目を含む。サブメニューオブジェクト１６００を配置するステップは、ユーザ１９０に選択された項目を取り囲むように、当該ユーザ１９０に選択された項目の下位概念の１つ以上の項目１６１０〜１６６０を配置することを含む（図１６）。

（構成７）上記方法は、（構成１）〜（構成６）のいずれかに加えて、仮想空間２においてユーザ１９０の操作を受け付けるためのハンドオブジェクト９１０を仮想空間２に表示するステップ（Ｓ１１６０）と、モーションセンサ１３０の出力に基づいてユーザ１９０の右手の動作を検出するステップ（Ｓ１１７０）と、検出された動作に連動するようにハンドオブジェクト９１０を動かすステップ（Ｓ１１８０）とをさらに備える。サブメニューオブジェクト１６００を配置するステップは、ハンドオブジェクト９１０とメインメニューオブジェクト１２００の項目１２２０〜１２７０のいずれかとが接触したことに基づいて、接触した項目がユーザ１９０によって選択されたと判断することを含む。

（構成８）上記方法は、（構成１）〜（構成７）のいずれかに加えて、仮想空間２においてユーザ１９０の操作を受け付けるためのハンドオブジェクト９１０を仮想空間２に、表示するステップと、モーションセンサ１３０の出力に基づいてユーザ１９０の右手の動作を検出するステップと、検出された動作に連動するようにハンドオブジェクト９１０を動かすステップと、メインメニューオブジェクト１２００をハンドオブジェクト９１０に追随させるステップ（図１９、図２０）とをさらに備える。

（構成９）上記の方法は、（構成１）〜（構成７）のいずれかに加えて、ＨＭＤ１１０のモニタ１１２に画像を表示してユーザ１９０に仮想空間２における視界を提供するステップ（Ｓ１８４０）と、メインメニューオブジェクト１２００を視界に追随させるステップ（図２１、図２２）とをさらに備える。

今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１仮想カメラ、２仮想空間、５基準視線、１０プロセッサ、１１メモリ、１２ストレージ、１３入出力インターフェイス、１４通信インターフェイス、２２仮想空間画像、２３視認領域、２６視界画像、１００ＨＭＤシステム、１１０ＨＭＤ、１１２モニタ、１１４，１２０センサ、１３０モーションセンサ、１４０注視センサ、１５０サーバ、１６０コントローラ、１９０ユーザ、２００コンピュータ、２２０表示制御モジュール、２２１仮想カメラ制御モジュール、２２２視界領域決定モジュール、２２３視界画像生成モジュール、２２４基準視線特定モジュール、２３０仮想空間制御モジュール、２３１仮想空間定義モジュール、２３２仮想オブジェクト生成モジュール、２３３操作オブジェクト制御モジュール、２３４メニュー制御モジュール、２４０メモリモジュール、２４１空間情報、２４２オブジェクト情報、２４３ユーザ情報、２４４位置情報、２５０通信制御モジュール、８００右コントローラ、９１０ハンドオブジェクト、１２００メインメニューオブジェクト、１２１０大項目、１２２０，１２４０，１２７０，２３００中項目、１６００サブメニューオブジェクト、１６１０，１６６０小項目、２４００メニューオブジェクト。

Claims

ヘッドマウントデバイスが仮想空間を提供するためにコンピュータで実行される方法であって、
仮想空間を定義するステップと、
前記ヘッドマウントデバイスのユーザが選択可能な一つ以上の項目を含むメニューオブジェクトを前記仮想空間に配置するステップと、
前記一つ以上の項目のうちのいずれかが選択されたことに基づいて、選択された項目の下位概念の項目を含むサブメニューオブジェクトを、前記選択されたときに前記メニューオブジェクトが配置されていた場所とは異なる場所に配置するステップと、
前記ヘッドマウントデバイスに画像を表示して前記ユーザに前記仮想空間における視界を提供するステップと、を含み、
前記サブメニューオブジェクトを配置するステップは、前記視界の視点を基準として、前記サブメニューオブジェクトを、前記選択されたときに前記メニューオブジェクトが配置されていた場所よりも奥に配置することを含み、
前記サブメニューオブジェクトを配置するステップは、前記サブメニューオブジェクトが前記仮想空間に配置された後に、前記視界の視点を基準として前記サブメニューオブジェクトを手前に移動するステップを含む、方法。
前記一つ以上の項目のうちのいずれかが前記ユーザに選択されたことに基づいて、前記視界の視点を基準として、前記メニューオブジェクトを前記サブメニューオブジェクトが配置された場所よりも奥に移動するステップをさらに含む、請求項１に記載の方法。
前記メニューオブジェクトを移動させるステップは、移動後の前記メニューオブジェクトの透明度を、移動前の前記メニューオブジェクトよりも高くするステップを含む、請求項２に記載の方法。
前記サブメニューオブジェクトは、前記ユーザに選択された項目を含み、
前記サブメニューオブジェクトを配置するステップは、前記ユーザに選択された項目を取り囲むように、当該ユーザに選択された項目の下位概念の１つ以上の項目を配置することを含む、請求項１〜３のいずれか１項に記載の方法。
前記仮想空間に、前記仮想空間において前記ユーザの操作を受け付けるための操作オブジェクトを表示するステップと、
前記ユーザの身体の一部の動作を検出するステップと、
前記検出された動作に連動するように前記操作オブジェクトを動かすステップとをさらに備え、
前記サブメニューオブジェクトを配置するステップは、前記操作オブジェクトと前記メニューオブジェクトの項目とが接触したことに基づいて、当該項目が前記ユーザによって選択されたと判断することを含む、請求項１〜４のいずれか１項に記載の方法。
前記仮想空間に、前記仮想空間において前記ユーザの操作を受け付けるための操作オブジェクトを表示するステップと、
前記ユーザの身体の一部の動作を検出するステップと、
前記検出された動作に連動するように前記操作オブジェクトを動かすステップと、
前記メニューオブジェクトを前記操作オブジェクトに追随させるステップとをさらに備える、請求項１〜５のいずれか１項に記載の方法。
前記ヘッドマウントデバイスに画像を表示して前記ユーザに前記仮想空間における視界を提供するステップと、
前記メニューオブジェクトを前記視界に追随させるステップとをさらに備える、請求項１〜５のいずれか１項に記載の方法。
請求項１〜７のいずれか１項に記載の方法をコンピュータに実現させるためのプログラム。
請求項８に記載のプログラムを格納したメモリと、
前記プログラムを実行するためのプロセッサとを備える、情報処理装置。