JP7070993B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、ユーザがヘッドマウントディスプレイを介して体験する仮想現実において、ユーザインタフェースを提供するための、情報処理装置及び情報処理方法に関し、更には、これらを実現するためのプログラムに関する。

近年、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）の低価格化が進んだことから、ＨＭＤと仮想現実（ＶＲ：Virtual Reality）とを利用したシステムの実用化が進んでいる。特に、非透過型のＨＭＤによれば、ＶＲにおいて、ユーザに没入感を提供でき、ユーザは、ＶＲを実際の現実のように感じることができる。

また、このようなＨＭＤとＶＲとを利用したシステムの用途は、ゲームに限られず、シミュレーション、医療、エンターテインメント、自動車、広告、教育等、多岐に渡っている。

ところで、このようなＨＭＤとＶＲとを利用したシステムでは、ユーザは、手元を見ることができず、マウス、タッチパネル、キーボードといった既存の入力機器を利用できない状態にある。このため、ＨＭＤ用に種々のユーザインタフェースが開発されている（例えば、特許文献１参照）。

具体的には、特許文献１は、ユーザの視線に対応して画面上に焦点を検出する機能を備えた、ＨＭＤを開示している。特許文献１に開示されたＨＭＤでは、ユーザは、視線によって焦点の位置を画面上の特定のオブジェクト（操作ボタン等）に合わせ、特定の期間、その状態を保持することで、特定のオブジェクトに対する操作を行うことができる。

特開２０１７－５１０８７７号公報

しかしながら、特許文献１に開示されたＨＭＤでは、焦点は、２次元画面上でのポインタと同様に機能するに過ぎず、階層的に構成された情報から必要な情報を取り出す場合は、焦点の位置を特定の期間保持する操作を何度も行う必要がある。このため、特許文献１に開示されたＨＭＤでは、操作対象となるデータの量が増えるほど、ユーザにおける操作が煩雑となる。

本発明の目的の一例は、上記問題を解消し、ヘッドマウントディスプレイに表示される仮想空間において、ユーザに対して煩雑な操作を強いることなく、ユーザが直感的に情報を把握できるようにし得る、情報処理装置、情報処理方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における情報処理装置は、
情報を保持する複数のオブジェクトそれぞれを、それぞれが保持する情報に基づいて、互いに関連付けて管理する、オブジェクト管理部と、
仮想空間を表示しているヘッドマウントディスプレイを装着した、ユーザの前記仮想空
間内での動作を検出する、ユーザ動作検出部と、
前記ユーザ動作検出部が、前記ユーザの動作として、前記ユーザによる、前記仮想空間内に配置された前記オブジェクトへの接触を検出すると、前記仮想空間内での前記ユーザを、前記ユーザが接触している前記オブジェクト内に移動させる、ユーザ位置制御部と、
前記ユーザが前記オブジェクト内に移動すると、当該オブジェクトに関連付けられた他のオブジェクトを特定し、特定した前記他のオブジェクトを、当該オブジェクト内に配置する、オブジェクト配置部と、
を備えている、ことを特徴とする。

また、上記目的を達成するため、本発明の一側面における情報処理方法は、
（ａ）情報を保持する複数のオブジェクトそれぞれを、それぞれが保持する情報に基づいて、互いに関連付けて管理する、ステップと、
（ｂ）仮想空間を表示しているヘッドマウントディスプレイを装着した、ユーザの前記仮想空間内での動作を検出する、ステップと、
（ｃ）前記（ｂ）のステップにおいて、前記ユーザの動作として、前記ユーザによる、前記仮想空間内に配置された前記オブジェクトへの接触が検出されると、前記仮想空間内での前記ユーザを、前記ユーザが接触している前記オブジェクト内に移動させる、ステップと、
（ｄ）前記ユーザが前記オブジェクト内に移動すると、当該オブジェクトに関連付けられた他のオブジェクトを特定し、特定した前記他のオブジェクトを、当該オブジェクト内に配置する、ステップと、
を有する、ことを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）情報を保持する複数のオブジェクトそれぞれを、それぞれが保持する情報に基づいて、互いに関連付けて管理する、ステップと、
（ｂ）仮想空間を表示しているヘッドマウントディスプレイを装着した、ユーザの前記仮想空間内での動作を検出する、ステップと、
（ｃ）前記（ｂ）のステップにおいて、前記ユーザの動作として、前記ユーザによる、前記仮想空間内に配置された前記オブジェクトへの接触が検出されると、前記仮想空間内での前記ユーザを、前記ユーザが接触している前記オブジェクト内に移動させる、ステップと、
（ｄ）前記ユーザが前記オブジェクト内に移動すると、当該オブジェクトに関連付けられた他のオブジェクトを特定し、特定した前記他のオブジェクトを、当該オブジェクト内に配置する、ステップと、
を実行させることを特徴とする。

以上のように、本発明によれば、ヘッドマウントディスプレイに表示される仮想空間において、ユーザは、煩雑な操作を強いられることなく、直感的に情報を把握することができる。

図１は、本発明の実施の形態における情報処理装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における情報処理装置の構成を具体的に示すブロック図である。 図３は、本発明の実施の形態において仮想空間内で行われるユーザの移動を俯瞰して示す図である。 図４は、図３に示したユーザの移動が行われた場合のヘッドマウントディスプレイに表示される仮想空間を示す図である。 図５は、特定のオブジェクトにユーザが接触した場合に展開される他のオブジェクトの一例を示す図であり、図５（ａ）及び（ｂ）はそれぞれ異なる例を示している。 図６は、本発明の実施の形態における情報処理装置の動作を示すフロー図である。 図７は、本発明の実施の形態における情報処理装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態）
以下、本発明の実施の形態における情報処理装置、情報処理方法、及びプログラムについて、図１～図７を参照しながら説明する。

［装置構成］
最初に、図１を用いて、本発明の実施の形態における情報処理装置の概略構成について説明する。図１は、本発明の実施の形態における情報処理装置の概略構成を示すブロック図である。

図１に示す、本実施の形態における情報処理装置１０は、ユーザ３０がヘッドマウントディスプレイ２０を介して体験している仮想現実において、ユーザインタフェースを提供する装置である。図１に示すように、情報処理装置１０は、オブジェクト管理部１１と、ユーザ動作検出部１２と、ユーザ位置制御部１３と、オブジェクト配置部１４とを備えている。

オブジェクト管理部１１は、情報を保持する複数のオブジェクトそれぞれを、それぞれが保持する情報に基づいて、互いに関連付けて管理する。以降においては、上述した「情報を保持するオブジェクト」は、「情報オブジェクト」と表記することとする。ユーザ動作検出部１２は、仮想空間を表示しているヘッドマウントディスプレイ２０を装着した、ユーザ３０の仮想空間内での動作を検出する。

ユーザ位置制御部１３は、ユーザ動作検出部１２が、ユーザ３０の動作として、ユーザ３０による、仮想空間内に配置された情報オブジェクトへの接触を検出すると、仮想空間内でのユーザ３０を、ユーザが接触している情報オブジェクト内に移動させる。

オブジェクト配置部１４は、ユーザ３０が情報オブジェクト内に移動すると、この情報オブジェクトに関連付けられた他の情報オブジェクトを特定し、特定した他の情報オブジェクトを、この情報オブジェクト内に配置する。

このように、本実施の形態では、情報を保持している情報オブジェクトにユーザが触れると、ユーザは情報オブジェクト内に移動し、そこで、この情報オブジェクトに関連付けられた情報オブジェクトを確認することができる。従って、本実施の形態によれば、ヘッドマウントディスプレイに表示される仮想空間において、ユーザは、煩雑な操作を強いられることなく、直感的に情報を把握することができる。

続いて、図１に加えて、図２～図５を用いて、本実施の形態における情報処理装置１０の構成についてより具体的に説明する。図２は、本発明の実施の形態における情報処理装置の構成を具体的に示すブロック図である。図３は、本発明の実施の形態において仮想空間内で行われるユーザの移動を俯瞰して示す図である。図４は、図３に示したユーザの移動が行われた場合のヘッドマウントディスプレイに表示される仮想空間を示す図である。
図５は、特定のオブジェクトにユーザが接触した場合に展開される他のオブジェクトの一例を示す図であり、図５（ａ）及び（ｂ）はそれぞれ異なる例を示している。

図２に示すように、本実施の形態では、情報処理装置１０は、上述した、オブジェクト管理部１１、ユーザ動作検出部１２、ユーザ位置制御部１３、及びオブジェクト配置部１４に加えて、仮想空間構築部１５を備えている。

また、図２に示すように、本実施の形態では、情報処理装置１０には、ヘッドマウントディスプレイ２０と、ユーザ３９の位置を検出するためのカメラ２１とが接続されている。

ヘッドマウントディスプレイ２０は、図示されていないが、それ自体の動きを検出するモーションセンサと、それを装着しているユーザの手の動きを検出する赤外線センサとを搭載している。

モーションセンサは、加速度センセ及び角速度センサを備え、ヘッドマウントディスプレイ２０自体の動きを特定する信号を出力する。赤外線センサは、赤外線を出力する光源と、装着者の手で反射された赤外線を受光する撮像素子とを備え、信号として、赤外線画像を出力する。

また、本実施の形態において、ヘッドマウントディスプレイ２０及びそれに用いられるセンサは、特に限定されるものではない。本実施の形態では、将来開発される種々のヘッドマウントディスプレイ及びセンサを用いることができる。

オブジェクト管理部１１は、本実施の形態では、オブジェクトデータベース１６を備えている。オブジェクトデータベース１６は、上述した情報オブジェクトを含め、仮想空間内に配置される全てのオブジェクトを登録している。また、オブジェクトデータベース１６は、上述したように、各情報オブジェクトを、それぞれが保持する情報に基づいて、互いに関連付けて登録している。

仮想空間構築部１５は、図３に示すように、オブジェクトデータベース１６に登録されているオブジェクトを用いて、情報処理装置１０が備えるメモリ（図２において図示せす）のメモリ区間内に仮想空間４０を構築する。また、図３に示すように、仮想空間構築部１５は、構築した仮想空間内に、ユーザ３０を表すオブジェクト（以下「ユーザオブジェクト」と表記する）３１も配置し、ヘッドマウントディスプレイ２０の画面に、ユーザオブジェクト３１を視点とした仮想空間内の映像を表示する。

ユーザ動作検出部１２は、本実施の形態では、ヘッドマウントディスプレイ２０に搭載されているモーションセンサからの信号と、赤外線センサからの信号とに基づいて、ユーザ３０の実空間での姿勢と手の動きとを検出する。また、ユーザ動作検出部１２は、カメラ２１からの映像データに基づいて、ユーザ３０の実空間での位置を検出する。

また、ユーザ動作検出部１２は、検出した、ユーザ３０の実空間での姿勢、手の動き、及び位置を、ユーザオブジェクト３１に反映し、仮想空間内におけるユーザ３０の動作を検出する。例えば、図４の例では、ユーザ３０の仮想空間内での動作として、ユーザオブジェクト３１によるファイルボックス４１への接触が検出されている。

ユーザ位置制御部１３は、本実施の形態では、ユーザ動作検出部１２によって、ユーザ３０による、仮想空間内に配置された情報オブジェクトへの接触が検出されると、仮想空間４０内にあるユーザオブジェクト３１を、この情報オブジェクト内に移動させる。

オブジェクト配置部１４は、本実施の形態では、ユーザオブジェクト３１が情報オブジェクト内に移動すると、この情報オブジェクトに関連付けられた他の情報オブジェクト、例えば、下位概念の情報を保持する情報オブジェクトを特定する。そして、オブジェクト配置部１４は、特定した他の情報オブジェクトを、ユーザオブジェクト３１が存在している情報オブジェクト内に配置する。

ここで、図３及び図４を用いて、ユーザ動作検出部１２、ユーザ位置制御部１３及びオブジェクト配置部１４の機能の具体例について説明する。

図３の上段に示すように、ユーザオブジェクト３１は、仮想空間４０内に配置される。この場合、図４の上段に示すように、ヘッドマウントディスプレイ２０の画面には、ユーザオブジェクト３１を視点とした仮想空間４０内の映像が表示される。

そして、ユーザ３０が、ヘッドマウントディスプレイ２０の画面を見ながら、仮想空間４０内に配置されているファイルボックス４１に接触したとする。この場合、ユーザ動作検出部１２は、この動作をユーザオブジェクト３１に反映し、ユーザ３０の仮想空間内での動作として、ユーザオブジェクト３１によるファイルボックス４１への接触を検出する。

そして、ファイルボックス４１が、情報を保持した情報オブジェクトであるとすると、ユーザ位置制御部１３は、図３の中段に示すように、仮想空間４０内にあるユーザオブジェクト３１を、ファイルボックス４１内に移動させる。

そして、ファイルボックス４１に対して、それに包含されるファイルＡ～Ｃが予め関連付けられているとすると、図３の下段及び図４の下段に示すように、オブジェクト配置部１４は、ファイルボックス４１に関連付けられているファイルＡ～Ｃを特定する。そして、オブジェクト配置部１４は、特定したファイルＡ～Ｃそれぞれを保持するオブジェクト４２をファイルボックス４１内に配置する。

また、本実施の形態は、ユーザ３０が情報オブジェクトのどこに接触したかによって、特定される他の情報オブジェクトが変化する態様とすることができる。つまり、この態様では、ユーザ動作検出部１２は、ユーザ３０による、仮想空間内に配置された情報オブジェクトへの接触を検出する際に、情報オブジェクトにおけるユーザ３０との接触位置も検出する。オブジェクト配置部１４は、検出された接触位置に応じて、情報オブジェクトに関連付けられた他のオブジェクトを特定する。

具体的には、オブジェクト管理部１１が、例えば、オブジェクトデータベース１６において、各情報オブジェクトを、それぞれが保持する情報の上下関係と並列関係とに基づいて管理しているとする。

図５（ａ）の例では、オブジェクト管理部１１は、ファイルＤとその子ファイルｄ１～ｄ３とを上下関係に基づいて管理している。また、図５（ｂ）の例では、オブジェクト管理部１１は、ファイルＤとその関連ファイルＥ～Ｇとを並列関係に基づいて管理している。そして、図５（ａ）及び（ｂ）の例では、情報オブジェクトの上面への接触が上下関係に紐付けられ、情報オブジェクトの側面への接触が並列関係に紐付けられているとする。

このような場合、図５（ａ）に示すように、ユーザ動作検出部１２が、親ファイルＤを保持する情報オブジェクトの上面への接触を検出すると、オブジェクト管理部１１は、子ファイルｄ１～ｄ３を保持する各情報オブジェクトを特定し、これらを配置する。一方、
図５（ｂ）に示すように、ユーザ動作検出部１２が、親ファイルＤを保持する情報オブジェクトの側面への接触を検出すると、オブジェクト管理部１１は、関連ファイルＥ～Ｇを保持する各情報オブジェクトを特定し、これらを配置する。

［動作説明］
次に、本実施の形態における情報処理装置１０の動作について図６を用いて説明する。図６は、本発明の実施の形態における情報処理装置の動作を示すフロー図である。以下の説明においては、適宜図１～図５を参照する。また、本実施の形態では、情報処理装置１０を動作させることによって、情報処理方法が実施される。よって、本実施の形態における情報処理方法の説明は、以下の情報処理装置１０の動作説明に代える。

まず、前提として、仮想空間構築部１５は、オブジェクトデータベース１６に登録されているオブジェクトを用いて、情報処理装置１０が備えるメモリのメモリ区間内に仮想空間４０を構築しているとする。そして、仮想空間構築部１５は、仮想空間内に、ユーザオブジェクト３１も配置し、ヘッドマウントディスプレイ２０の画面に、ユーザオブジェクト３１を視点とした仮想空間内の映像を表示し、ユーザ３０が仮想現実を体験しているとする。

上述の前提において、図６に示すように、ユーザ動作検出部１２は、ヘッドマウントディスプレイ２０のモーションセンサ及び赤外線センサからの信号と、カメラ２１からの映像データとに基づき、実空間におけるユーザの姿勢、手の動き、位置を検出する（ステップＡ１）。

次に、ユーザ動作検出部１２は、検出した、ユーザ３０の実空間での姿勢、手の動き、及び位置を、ユーザオブジェクト３１に反映する（ステップＡ２）。更に、ユーザ動作検出部１２は、反映の結果から、ユーザオブジェクト３１の動作、即ち、仮想空間内におけるユーザ３０の動作を検出する。（ステップＡ３）。

次に、ユーザ位置制御部１３は、ステップＡ３で検出されたユーザ３０の動作が、情報オブジェクトの特定の部位（例えば、上面、側面等）への接触であるかどうかを判定する（ステップＡ４）。

ステップＡ４の判定の結果、ステップＡ３で検出されたユーザ３０の動作が、情報オブジェクトの特定の部位（例えば、上面、側面等）への接触でない場合は、再度、ユーザ位置制御部１３は、ユーザ動作検出部１２に、再度ステップＡ１を実行させる。

ステップＡ４の判定の結果、ステップＡ３で検出されたユーザ３０の動作が、情報オブジェクトの特定の部位（例えば、上面、側面等）への接触である場合は、ユーザ位置制御部１３は、仮想空間４０内にあるユーザオブジェクト３１を、ユーザ３０が接触した情報オブジェクト内に移動させる（ステップＡ５）。

次に、オブジェクト配置部１４は、接触部位に応じて、ユーザ３０が接触した情報オブジェクトに関連付けられた他の情報オブジェクトを特定し、特定した他の情報オブジェクトを、ユーザオブジェクト３１が存在している情報オブジェクト内に配置する（ステップＡ６）。

具体的には、図５（ａ）及び（ｂ）に示したように、オブジェクト配置部１４は、接触部位に応じて、ユーザ３０が接触した情報オブジェクトと上下関係にある情報を持つオブジェクト、又は並列関係にある情報を持つオブジェクトを特定する。

ステップＡ６の実行により、ユーザは、必要な情報を素早く把握することができる。また、情報処理装置１０は、ユーザ３０が仮想現実を体験している間は、繰り返しステップＡ１～Ａ６を実行する。

［実施の形態による効果］
以上のように、本実施の形態では、ヘッドマウントディスプレイを装着したユーザに対して、オブジェクトに触れるという簡単な操作だけで、必要な情報を提供することができる、ユーザインタフェースが提供される。このため、ユーザは、仮想空間において、煩雑な操作を強いられることなく、直感的に情報を把握することができる。

また、本実施の形態における情報処理装置１０は、例えば、仮想現実を利用して工場での作業のシミュレーションを行う場合、機械の整備のシミュレーションを行う場合等に利用できる。これらの場合では、ユーザは、例えば、各種ツールの入ったオブジェクトに接触することで、必要なツールを簡単に取得することができる。

更に、本実施の形態における情報処理装置１０は、ユーザが選択肢を選ぶことで、仮想現実における場面が進行していく、教育的コンテンツにおいて、選択肢毎に異なるフィードバックを行う場合にも利用できる。このような場合では、情報処理装置１０は、選択肢を可視化でき、ユーザに対して選択操作における直感的なインターフェイスを提供できる。

［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図６に示すステップＡ１～Ａ６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における情報処理装置１０と情報処理方法とを実現することができる。この場合、コンピュータのプロセッサは、オブジェクト管理部１１、ユーザ動作検出部１２、ユーザ位置制御部１３、オブジェクト配置部１４、及び仮想空間構築部１５として機能し、処理を行なう。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、オブジェクト管理部１１、ユーザ動作検出部１２、ユーザ位置制御部１３、オブジェクト配置部１４、及び仮想空間構築部１５のいずれかとして機能しても良い。

ここで、本実施の形態におけるプログラムを実行することによって、情報処理装置１０を実現するコンピュータについて図７を用いて説明する。図７は、本発明の実施の形態における情報処理装置を実現するコンピュータの一例を示すブロック図である。

図７に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コ
ンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

なお、本実施の形態における情報処理装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、情報処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記９）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
情報を保持する複数のオブジェクトそれぞれを、それぞれが保持する情報に基づいて、互いに関連付けて管理する、オブジェクト管理部と、
仮想空間を表示しているヘッドマウントディスプレイを装着した、ユーザの前記仮想空間内での動作を検出する、ユーザ動作検出部と、
前記ユーザ動作検出部が、前記ユーザの動作として、前記ユーザによる、前記仮想空間内に配置された前記オブジェクトへの接触を検出すると、前記仮想空間内での前記ユーザを、前記ユーザが接触している前記オブジェクト内に移動させる、ユーザ位置制御部と、
前記ユーザが前記オブジェクト内に移動すると、当該オブジェクトに関連付けられた他のオブジェクトを特定し、特定した前記他のオブジェクトを、当該オブジェクト内に配置する、オブジェクト配置部と、
を備えている、ことを特徴とする情報処理装置。

（付記２）
付記１に記載の情報処理装置であって、
前記ユーザ動作検出部が、前記ユーザによる、前記仮想空間内に配置されたオブジェクトへの接触を検出する際に、前記オブジェクトにおける前記ユーザとの接触位置を検出し、
前記オブジェクト配置部が、検出された前記接触位置に応じて、当該オブジェクトに関連付けられた他のオブジェクトを特定する、
ことを特徴とする情報処理装置。

（付記３）
付記２に記載の情報処理装置であって、
前記オブジェクト管理部が、前記複数のオブジェクトそれぞれを、それぞれが保持する情報の上下関係と並列関係とに基づいて管理し、
前記オブジェクト配置部が、検出された前記接触位置に応じて、当該オブジェクトと上下関係にある他のオブジェクト、又は当該オブジェクトと並列関係にある他のオブジェクトを特定する、
ことを特徴とする情報処理装置。

（付記４）
（ａ）情報を保持する複数のオブジェクトそれぞれを、それぞれが保持する情報に基づいて、互いに関連付けて管理する、ステップと、
（ｂ）仮想空間を表示しているヘッドマウントディスプレイを装着した、ユーザの前記仮想空間内での動作を検出する、ステップと、
（ｃ）前記（ｂ）のステップにおいて、前記ユーザの動作として、前記ユーザによる、前記仮想空間内に配置された前記オブジェクトへの接触が検出されると、前記仮想空間内での前記ユーザを、前記ユーザが接触している前記オブジェクト内に移動させる、ステップと、
（ｄ）前記ユーザが前記オブジェクト内に移動すると、当該オブジェクトに関連付けられた他のオブジェクトを特定し、特定した前記他のオブジェクトを、当該オブジェクト内に配置する、ステップと、
を有する、ことを特徴とする情報処理方法。

（付記５）
付記４に記載の情報処理方法であって、
前記（ｂ）のステップにおいて、前記ユーザによる、前記仮想空間内に配置されたオブジェクトへの接触を検出する際に、前記オブジェクトにおける前記ユーザとの接触位置を検出し、
前記（ｄ）のステップにおいて、検出された前記接触位置に応じて、当該オブジェクトに関連付けられた他のオブジェクトを特定する、
ことを特徴とする情報処理方法。

（付記６）
付記５に記載の情報処理方法であって、
前記（ａ）のステップにおいて、前記複数のオブジェクトそれぞれを、それぞれが保持する情報の上下関係と並列関係とに基づいて管理し、
前記（ｄ）のステップにおいて、検出された前記接触位置に応じて、当該オブジェクトと上下関係にある他のオブジェクト、又は当該オブジェクトと並列関係にある他のオブジェクトを特定する、
ことを特徴とする情報処理方法。

（付記７）
コンピュータに、
（ａ）情報を保持する複数のオブジェクトそれぞれを、それぞれが保持する情報に基づいて、互いに関連付けて管理する、ステップと、
（ｂ）仮想空間を表示しているヘッドマウントディスプレイを装着した、ユーザの前記仮想空間内での動作を検出する、ステップと、
（ｃ）前記（ｂ）のステップにおいて、前記ユーザの動作として、前記ユーザによる、前記仮想空間内に配置された前記オブジェクトへの接触が検出されると、前記仮想空間内での前記ユーザを、前記ユーザが接触している前記オブジェクト内に移動させる、ステップ
と、
（ｄ）前記ユーザが前記オブジェクト内に移動すると、当該オブジェクトに関連付けられた他のオブジェクトを特定し、特定した前記他のオブジェクトを、当該オブジェクト内に配置する、ステップと、
を実行させるプログラム。

（付記８）
付記７に記載のプログラムであって、
前記（ｂ）のステップにおいて、前記ユーザによる、前記仮想空間内に配置されたオブジェクトへの接触を検出する際に、前記オブジェクトにおける前記ユーザとの接触位置を検出し、
前記（ｄ）のステップにおいて、検出された前記接触位置に応じて、当該オブジェクトに関連付けられた他のオブジェクトを特定する、
ことを特徴とするプログラム。

（付記９）
付記８に記載のプログラムであって、
前記（ａ）のステップにおいて、前記複数のオブジェクトそれぞれを、それぞれが保持する情報の上下関係と並列関係とに基づいて管理し、
前記（ｄ）のステップにおいて、検出された前記接触位置に応じて、当該オブジェクトと上下関係にある他のオブジェクト、又は当該オブジェクトと並列関係にある他のオブジェクトを特定する、
ことを特徴とするプログラム。

以上のように、本発明によれば、ヘッドマウントディスプレイに表示される仮想空間において、ユーザは、煩雑な操作を強いられることなく、直感的に情報を把握することができる。本発明は仮想現実が利用される各種システムに有用である。

１０ 情報処理装置
１１ オブジェクト管理部
１２ ユーザ動作検出部
１３ ユーザ位置制御部
１４ オブジェクト配置部
１５ 仮想空間構築部
１６ オブジェクトデータベース
２０ ヘッドマウントディスプレイ
２１ カメラ
３０ ユーザ
４０ 仮想空間
４１ ファイルボックス（情報オブジェクト）
４２ ファイルを保持するオブジェクト（情報オブジェクト）
３１ ユーザオブジェクト
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (6)

1. 情報を保持する複数のオブジェクトそれぞれを、それぞれが保持する情報に基づいて、互いに関連付けて管理する、オブジェクト管理部と、
   仮想空間を表示しているヘッドマウントディスプレイを装着した、ユーザの前記仮想空間内での動作を検出する、ユーザ動作検出部と、
   前記ユーザ動作検出部が、前記ユーザの動作として、前記ユーザによる、前記仮想空間内に配置された前記オブジェクトへの接触を検出すると、前記仮想空間内での前記ユーザを、前記ユーザが接触している前記オブジェクト内に移動させる、ユーザ位置制御部と、
   前記ユーザが前記オブジェクト内に移動すると、当該オブジェクトに関連付けられた他のオブジェクトを特定し、特定した前記他のオブジェクトを、当該オブジェクト内に配置する、オブジェクト配置部と、
   を備え、
   前記ユーザ動作検出部が、前記ユーザによる、前記仮想空間内に配置されたオブジェクトへの接触を検出する際に、前記オブジェクトにおける前記ユーザとの接触位置を検出し、
   前記オブジェクト配置部が、検出された前記接触位置に応じて、当該オブジェクトに関連付けられた他のオブジェクトを特定する、
   ことを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記オブジェクト管理部が、前記複数のオブジェクトそれぞれを、それぞれが保持する情報の上下関係と並列関係とに基づいて管理し、
   前記オブジェクト配置部が、検出された前記接触位置に応じて、当該オブジェクトと上下関係にある他のオブジェクト、又は当該オブジェクトと並列関係にある他のオブジェクトを特定する、
   ことを特徴とする情報処理装置。
3. （ａ）情報を保持する複数のオブジェクトそれぞれを、それぞれが保持する情報に基づいて、互いに関連付けて管理する、ステップと、
   （ｂ）仮想空間を表示しているヘッドマウントディスプレイを装着した、ユーザの前記仮想空間内での動作を検出する、ステップと、
   （ｃ）前記（ｂ）のステップにおいて、前記ユーザの動作として、前記ユーザによる、前記仮想空間内に配置された前記オブジェクトへの接触が検出されると、前記仮想空間内での前記ユーザを、前記ユーザが接触している前記オブジェクト内に移動させる、ステップと、
   （ｄ）前記ユーザが前記オブジェクト内に移動すると、当該オブジェクトに関連付けられた他のオブジェクトを特定し、特定した前記他のオブジェクトを、当該オブジェクト内に配置する、ステップと、
   を有し、
   前記（ｂ）のステップにおいて、前記ユーザによる、前記仮想空間内に配置されたオブジェクトへの接触を検出する際に、前記オブジェクトにおける前記ユーザとの接触位置を検出し、
   前記（ｄ）のステップにおいて、検出された前記接触位置に応じて、当該オブジェクトに関連付けられた他のオブジェクトを特定する、
   ことを特徴とする情報処理方法。
4. 請求項３に記載の情報処理方法であって、
   前記（ａ）のステップにおいて、前記複数のオブジェクトそれぞれを、それぞれが保持する情報の上下関係と並列関係とに基づいて管理し、
   前記（ｄ）のステップにおいて、検出された前記接触位置に応じて、当該オブジェクトと上下関係にある他のオブジェクト、又は当該オブジェクトと並列関係にある他のオブジェクトを特定する、
   ことを特徴とする情報処理方法。
5. コンピュータに、
   （ａ）情報を保持する複数のオブジェクトそれぞれを、それぞれが保持する情報に基づいて、互いに関連付けて管理する、ステップと、
   （ｂ）仮想空間を表示しているヘッドマウントディスプレイを装着した、ユーザの前記仮想空間内での動作を検出する、ステップと、
   （ｃ）前記（ｂ）のステップにおいて、前記ユーザの動作として、前記ユーザによる、前記仮想空間内に配置された前記オブジェクトへの接触が検出されると、前記仮想空間内での前記ユーザを、前記ユーザが接触している前記オブジェクト内に移動させる、ステップと、
   （ｄ）前記ユーザが前記オブジェクト内に移動すると、当該オブジェクトに関連付けられた他のオブジェクトを特定し、特定した前記他のオブジェクトを、当該オブジェクト内に配置する、ステップと、
   を実行させ、
   前記（ｂ）のステップにおいて、前記ユーザによる、前記仮想空間内に配置されたオブジェクトへの接触を検出する際に、前記オブジェクトにおける前記ユーザとの接触位置を検出し、
   前記（ｄ）のステップにおいて、検出された前記接触位置に応じて、当該オブジェクトに関連付けられた他のオブジェクトを特定する、
   ことを特徴とするプログラム。
6. 請求項５に記載のプログラムであって、
   前記（ａ）のステップにおいて、前記複数のオブジェクトそれぞれを、それぞれが保持する情報の上下関係と並列関係とに基づいて管理し、
   前記（ｄ）のステップにおいて、検出された前記接触位置に応じて、当該オブジェクトと上下関係にある他のオブジェクト、又は当該オブジェクトと並列関係にある他のオブジェクトを特定する、
   ことを特徴とするプログラム。

Images