JP6726016B2 - 情報処理装置、情報処理方法 - Google Patents

Description

本発明は、仮想現実空間若しくは複合現実空間を提示するための技術に関するものである。

従来から製造設計分野において３次元モデルを設計する際、３次元ＣＡＤが用いられている。従来の３次元ＣＡＤシステムでは、車や家や高層ビルなどの建築物を３次元モデルとして設計することが可能になっている。３次元ＣＡＤシステムでは、プレゼンテーションなどの際に注目すべき視点位置姿勢を登録しておくことが可能である。また、監視カメラの姿勢制御においても、あらかじめ注目したいカメラ姿勢を登録しておいて、カメラ起動時にその姿勢へとカメラを制御することも提案されている（特許文献１）。

一方、ＨＭＤ（ヘッドマウントディスプレイ、頭部装着型ディスプレイ）を用いて仮想現実空間で３次元ＣＡＤシステムによる設計を行なう事が可能な仮想現実空間感（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）システムも研究されている（特許文献２）。上記のシステムを用いて建築物などの３次元モデルを観察する環境下では、注目位置への移動を行うために仮想現実物体を動かす操作をするなど時間がかかる。そのため、視点の位置姿勢を登録しておいて、仮想的に視点を移動させて注目位置にすぐに移動できるようにすることが必要とされる。また、ＨＭＤをかぶりながら視点の登録をするためにはＨＭＤで見やすい位置にＧＵＩ（グラフィカルユーザインターフェース）を提示することが重要になる。

特開２００４−３２０７９５号公報 特開２０１２−０５３６３１号公報

従来の方法では、現在の視点における画像を表示する画面と、２次元のマップや登録のためのダイアログなど、２つ以上の画面が登録時に使用される（特許文献１）。しかし、ＨＭＤをかぶりながら詳細な画面を確認することは困難であった。また、ＨＭＤでは左右の目に別々の画像を提示することで仮想現実物体を立体的に見えるようにすることが可能である。しかし、視点の登録を行うために立体的に見えるＧＵＩの提示が考慮されていない。

本発明はこのような問題に鑑みてなされたものであり、頭部装着型表示装置を自身の頭部に装着した観察者が仮想空間や複合現実空間における視点を登録する場合に、該登録のためのＧＵＩを、より見やすいように観察者に提供するための技術を提供する。

本発明の一様態は、第１の視点から観察した第１の画像と前記第１の視点と異なる第２の視点から観察した第２の画像を表示する表示装置の位置姿勢に基づいて仮想空間の画像を生成する生成手段と、
前記生成手段が生成した画像を選択可能に一覧表示するユーザインターフェースを、前記第１の視点の視界と前記第２の視点の視界との重複領域に配置して前記表示装置に表示させる表示制御手段と
を備え、
前記生成手段は、ユーザからの指示に基づいて登録すべき前記仮想空間の画像を生成するときに、前記ユーザへの警告を示す情報を除いて、前記登録すべき仮想空間の画像を生成することを特徴とする。

本発明の構成によれば、頭部装着型表示装置を自身の頭部に装着した観察者が仮想空間や複合現実空間における視点を登録する場合に、該登録のためのＧＵＩを、より見やすいように観察者に提供することができる。

システムの構成例を示すブロック図。 磁界センサシステムを示す図。 ＧＵＩの構成例を示す図。 ＧＵＩの配置位置を決定する方法を示す図。 情報処理装置１０４０の各機能部の動作を示すフローチャート。 視点及び仮想物体の位置姿勢を説明する図。 システムの構成例を示すブロック図。 範囲８０３０を示す図。 ステップＳ５０５における判断処理のフローチャート。 システムの構成例を示すブロック図。 コンピュータ装置のハードウェア構成例を示すブロック図。 生成部１０８０が生成する仮想空間の画像の例を示す図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
以下では、第１の視点から観察した第１の画像と第１の視点と異なる第２の視点から観察した第２の画像を表示する表示装置の位置姿勢に基づいて仮想空間の画像を生成し、該生成した画像を選択可能に一覧表示するユーザインターフェースを、第１の視点の視界と第２の視点の視界との重複領域に配置して表示装置に表示させる（表示制御）情報処理装置の一例について説明する。

以下では、このような情報処理装置を、ＨＭＤを頭部に装着した観察者に仮想空間を体験させるためのシステムに適用した実施形態について説明する。なお、ＨＭＤが光学シースルー方式のものである場合、このシステムは、仮想空間ではなく、複合現実空間を観察者に体験させるためのシステムとなる。

先ず、本実施形態に係るシステムの構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、ＨＭＤ１０１０、情報処理装置１０４０、操作入力部１０５０、入力部１１４０、を有している。また、ＨＭＤ１０１０と情報処理装置１０４０との間、情報処理装置１０４０と操作入力部１０５０との間、情報処理装置１０４０と入力部１１４０との間、は有線及び／又は無線でもって互いにデータ通信が可能なように接続されている。

先ず、ＨＭＤ１０１０について説明する。観察者は自身の頭部にＨＭＤ１０１０を装着することで、該ＨＭＤ１０１０を介して仮想空間や複合現実空間を体験することができる。なお、本実施形態では頭部装着型表示装置の一例としてＨＭＤ１０１０を挙げているが、他の種類の頭部装着型表示装置を適用しても構わない。また、頭部装着型表示装置に限らず、観察者に仮想現実空間や複合現実空間を体験させるために観察者によって閲覧される表示装置であれば、例えば、ハンドヘルド型表示装置など、他のタイプの表示装置を適用しても構わない。

表示部１０３０は、情報処理装置１０４０から送出された右眼用の映像信号に基づく映像（画像や文字）を表示するための右眼用の表示画面と、左眼用の映像信号に基づく映像（画像や文字）を表示するための左眼用の表示画面と、を有する。右眼用の表示画面は、ＨＭＤ１０１０を頭部に装着した観察者の右眼の眼前に位置するように設けられており、左眼用の表示画面は、ＨＭＤ１０１０を頭部に装着した観察者の左眼の眼前に位置するように設けられている。然るに、ＨＭＤ１０１０を頭部に装着した観察者の右眼には、右眼用の映像信号に基づく映像が提示され、該観察者の左眼には、左眼用の映像信号に基づく映像が提示されることになる。なお、観察者の両眼の間の距離に応じて、右眼用の表示画面と、左眼用の表示画面と、の間の間隔を調整できるように構成しても構わない。なお、表示部１０３０は、右眼用の表示画面と、左眼用の表示画面と、を有する構成であっても良いが、１つの表示画面を有する構成であっても良く、その場合、この１つの表示画面は、右眼によって観察される領域と、左眼によって観察される領域と、を有する。

計測部１０２０は、磁界センサシステムにおけるレシーバとして機能するもので、自身の位置姿勢を計測する。磁界センサシステムについて、図２を用いて説明する。磁界発生装置２０１０は、磁界センサシステムにおけるトランスミッタとして機能するもので、現実空間中の所定の位置に固定して配置されており、自身の周囲に磁界を発生させる。磁界発生装置２０１０の動作制御はコントローラ２０２０によって行われ、コントローラ２０２０の動作制御は情報処理装置１０４０によって行われる。

計測部１０２０は、ＨＭＤ１０１０に対して固定して取り付けられており、磁界発生装置２０１０が発生する磁界中における自身の位置姿勢に応じた磁界の変化を計測し、その計測結果をコントローラ２０２０に対して送出する。コントローラ２０２０は、この計測結果から、センサ座標系２０４０における計測部１０２０の位置姿勢を示す信号値を生成して情報処理装置１０４０に送出する。センサ座標系２０４０とは、磁界発生装置２０１０の位置を原点とし、該原点でもって互いに直交する３軸をそれぞれ、ｘ軸、ｙ軸、ｚ軸とする座標系である。なお、磁気センサシステムの代わりに、超音波センサシステムや光学式センサシステムを用いても構わないし、これらのシステムを組み合わせて使用しても構わない。

次に、操作入力部１０５０について説明する。操作入力部１０５０は図２に示す如く、観察者が各種の操作入力を行うために操作するユーザインターフェースであり、例えば、カーソル等の移動指示対象を上下左右に移動させるための十字キーと、決定やキャンセル等を指示するためのボタン群と、を有する。なお、操作入力部１０５０は、後述するような様々な操作指示を情報処理装置１０４０に対して入力することができるように構成されていれば、如何なる形態のユーザインターフェースを適用しても構わない。すなわち、操作入力部１０５０は、マウス、キーボード等のような装置であっても良いし、観察者や他のユーザのジェスチャーや声を認識することによって対応する操作指示を入力する装置であっても良い。また、これらの装置の組み合わせによって操作入力部１０５０を構成しても構わない。

次に、入力部１１４０について説明する。入力部１１４０は、仮想空間を構成する各仮想物体（後述するＧＵＩを含む）の情報を含む様々な情報を情報処理装置１０４０に入力するものである。仮想物体の中には、複数の観察者が仮想空間を体験している際に、観察者同士の距離が規定距離以内になったことを条件に警告を発するための仮想物体が存在する。その他にも、１秒間に表示部１０３０に表示される画像数を表示する仮想物体、表示中の仮想物体の情報（ポリゴン数等）、観察者の体験中の状態等（体験時間、情報処理装置１０４０に設定している情報等）、観察者に知らせる情報を示す仮想物体も存在して良い。入力部１１４０は、観察者や他のユーザが手動で入力した情報を情報処理装置１０４０に入力するものであっても構わないし、外部の機器から取得した情報を情報処理装置１０４０に入力するものであっても構わない。仮想物体の情報には、仮想空間座標系における仮想物体の位置姿勢、仮想物体の形状情報、色情報、質感などを表す情報、テクスチャを規定する情報、テクスチャ等、仮想物体を描画するために必要な情報が含まれている。仮想空間座標系とは、仮想空間中の１点を原点とし、該原点で互いに直交する３軸をそれぞれ、ｘ軸、ｙ軸、ｚ軸とする座標系であり、図２の場合は座標系２０３０に相当する。また、入力部１１４０が入力する情報には、仮想空間や仮想物体に係る様々な画像情報、文字情報が含まれる。

次に、情報処理装置１０４０について説明する。情報処理装置１０４０は、ＰＣ（パーソナルコンピュータ）等のコンピュータ装置、スマートフォンやタブレット端末装置等の携帯型端末装置、により構成されている。情報処理装置１０４０の各機能部の動作について、図５のフローチャートに従って説明する。図５のフローチャートは、ＨＭＤ１０１０の右眼用の表示画面及び左眼用の表示画面のそれぞれに対して、仮想空間の画像の映像信号を出力するための処理のフローチャートである。

ステップＳ５０１では、算出部１０７０は、右眼用の表示画面を右視点、左眼用の表示画面を左視点とし、ＨＭＤ１０１０の右視点及び左視点の仮想空間座標系における位置姿勢を算出する。先ず、センサ座標系における位置姿勢を仮想空間座標系における位置姿勢に変換するための変換情報は予め求められ、情報処理装置１０４０に予め登録されているものとする。また、計測部１０２０と右眼用の表示画面との間の相対的な位置関係（右眼用バイアス）、計測部１０２０と左眼用の表示画面との間の相対的な位置関係（左眼用バイアス）もまた予め求められ、情報処理装置１０４０に予め登録されているものとする。

然るに算出部１０７０は、計測部１０２０から（図２の場合はコントローラ２０２０を介して）センサ座標系における計測部１０２０の位置姿勢を示す信号値を取得すると、該信号値が表す位置姿勢を上記の変換情報を用いて仮想空間座標系における位置姿勢に変換する。そして算出部１０７０は、変換した位置姿勢に右眼用バイアスを加えることで、仮想空間座標系における右視点の位置姿勢を算出する。同様に算出部１０７０は、変換した位置姿勢に左眼用バイアスを加えることで、仮想空間座標系における左視点の位置姿勢を算出する。以下では、右視点及び左視点で共通する説明においては、右視点及び左視点をまとめて単に視点と呼称する場合がある。

なお、仮想空間座標系における視点の位置姿勢を求めるための方法には、これ以外にも様々な方法が適用可能である。例えば、ＨＭＤ１０１０に撮像装置を取り付け、該撮像装置による撮像画像中の画像特徴量に基づいて撮像装置の位置姿勢を求め、該求めた位置姿勢を上記の変換情報を用いて変換する。そして変換した位置姿勢に右眼用バイアスを加えることで仮想空間座標系における右視点の位置姿勢を求め、該変換した位置姿勢に左眼用バイアスを加えることで仮想空間座標系における左視点の位置姿勢を求める。また、相対位置姿勢を用いずに、左視点、右視点の位置姿勢それぞれを別々に求めても良い。

ＧＵＩ操作部１０６０は、観察者若しくはそれ以外のユーザが操作入力部１０５０を操作して入力した操作指示を受け付ける。ＧＵＩ操作部１０６０が受け付けた操作指示が、ＧＵＩの表示指示である場合には、処理はステップＳ５０２を介してステップＳ５０３に進み、ＧＵＩの表示指示ではない場合には、処理はステップＳ５０２を介してステップＳ５０５に進む。また、操作入力部１０５０が受け付けた操作指示が、視点追加指示である場合には、処理はステップＳ５０５を介してステップＳ５０６に進み、視点追加指示ではない場合には、処理はステップＳ５０５を介してステップＳ５０８に進む。また、操作入力部１０５０が受け付けた操作指示が、視点の変更指示である場合には、処理はステップＳ５０８を介してステップＳ５０９に進み、視点の変更指示ではない場合には、処理はステップＳ５０８を介してステップＳ５１０に進む。また、操作入力部１０５０が受け付けた操作指示が、ＧＵＩの消去指示である場合には、処理はステップＳ５１０を介してステップＳ５１２に進み、ＧＵＩの消去指示ではない場合には、ステップＳ５１０を介して処理はステップＳ５１５に進む。また、操作入力部１０５０が受け付けた操作指示が、視点の削除指示である場合には、処理はステップＳ５１５を介してステップＳ５１６に進み、視点の削除指示ではない場合には、処理はステップＳ５１５を介してステップＳ５１２に進む。

ステップＳ５０６では、生成部１０８０は先ず、取得部１１３０が入力部１１４０から取得した仮想物体の情報を用いて、各仮想物体が配置された仮想空間を構築する。ここで、前述した警告を発するための仮想物体、ＧＵＩ、観察者に知らせる情報を示す仮想物体、はＧＵＩに表示する画像において不要であるため配置しなくても良い。例えば、図１２（Ａ）に示すように、警告を発するための仮想物体１２０１０などにより、画像として記録しておきたい仮想物体１２０２０が隠されてしまう。そこで、図１２（Ｂ）に示すように、警告を発するための仮想物体１２０１０、ＧＵＩ１２０３０、観察者に知らせる情報を示す仮想物体１２０４０、は配置せずに仮想空間を構築する。このように、各仮想物体をすべて配置した状態で仮想空間を構築しなくて良い。また、予め情報処理装置１０４０に配置する仮想物体を設定しても良いし、仮想空間の画像を生成するときに、観察者が配置する仮想物体を設定できるようにしても良い。そして生成部１０８０は、ＧＵＩ操作部１０６０が視点追加指示を受けた時点で算出部１０７０が算出した右視点若しくは左視点の位置姿勢（予めどちらかを決めておく）から見える仮想空間の画像を生成する。視点から見た仮想空間の画像を生成するための技術については周知であるため、これに係る説明は省略する。

ステップＳ５０７では、保存部１０９０は、以下の２つの情報（登録情報１、登録情報２）を関連づけて記憶部１１０に登録する。

（登録情報１） ステップＳ５０６で生成部１０８０が生成した仮想空間の画像
（登録情報２） ＧＵＩ操作部１０６０が視点追加指示を受けた時点で算出部１０７０が算出した右視点及び左視点のそれぞれの位置姿勢
このように、観察者若しくはそれ以外のユーザが操作入力部１０５０を操作して視点追加指示を入力するたびに、その時点における右視点及び左視点の位置姿勢と、何れかの視点からの仮想空間の画像と、が関連づけて記憶部１１０に登録されることになる。

ステップＳ５０３では、計算部１１２０は、ＧＵＩの仮想空間における配置位置を求める。詳しくは後述するが、ＧＵＩは、記憶部１１０に登録されている仮想空間の画像群（より詳しくは対応するサムネイル画像群）が配置された平面のオブジェクト（３次元仮想物体）であり、該画像群の一覧を表すものである。観察者はこのＧＵＩにおいて一覧を表示している面を観察するのであるから、このＧＵＩは、一覧表示している面を視点側に向けて、観察者が観察可能な（より詳しくは立体視可能な）位置に配置する必要がある。そこで本実施形態では、ＧＵＩを、右視点の視界と左視点の視界とが重なる領域（重複領域）内に収まるように配置する。観察者は、この重複領域に配置された仮想物体については立体視することができる。ＧＵＩの配置位置を決定する方法について、図４を用いて説明する。

図４（Ａ）において、左視点の視界４０１及び右視点の視界４０２は何れも視点を頂点とする視錐台であり、この視錐台内に存在する仮想物体については観察可能となる。計算部１１２０は、それぞれの視点の位置姿勢と視界から求められる視界（視錐台）４０１及び視界（視錐台）４０２が重なる重複領域４０１０を求める。視点の視界は、予め設定されているものとするが、適宜変更しても構わない。そして計算部１１２０は、重複領域４０１０内で仮想物体４０２０と重ならない（視点から見て重ならない）位置を、ＧＵＩ４０３０の配置位置として求める。図４（Ｂ）の左側には、左視点から見た仮想空間の画像（観察者の左眼に提示する画像）が示されており、該画像内には、重複領域４０１０内に配置された仮想物体４０２０及びＧＵＩ４０３０が表示されている。一方、図４（Ｂ）の右側には、右視点から見た仮想空間の画像（観察者の右眼に提示する画像）が示されており、該画像内には、重複領域４０１０内に配置された仮想物体４０２０及びＧＵＩ４０３０が表示されている。なお、ＧＵＩ４０３０の位置は、観察者や他のユーザが操作入力部１０５０を操作することで移動させても良い。また、視錐台の形状なども、観察者若しくはそれ以外のユーザが操作入力部１０５０を操作することで変更しても構わない。

また、図４（Ｃ）に示す如く、ＧＵＩ４０３０を、何れの仮想物体４０２０よりも視点により近い位置に配置しても良い。この場合、図４（Ｄ）の左側に示す如く、観察者の左眼に提示する画像内には、仮想物体４０２０に重ねてＧＵＩ４０３０が表示されており、観察者の右眼に提示する画像内には、仮想物体４０２０に重ねてＧＵＩ４０３０が表示されている。この場合、ＧＵＩ４０３０が重なって見えない仮想物体４０２０が観察可能なように、ＧＵＩ４０３０の重なって見えない部分を半透明表示してもよいし、全体を半透明表示しても構わない。

また、右眼用の表示画面と左眼用の表示画面との間の間隔を調整した場合、右視点と左視点との間の距離も変わり、それぞれの視点に対応する視錐台の間隔も変わるため、該調整に応じて重複領域を再度求める必要がある。そして、重複領域を再度求めた場合には、該再度求めた重複領域内でＧＵＩの配置位置を同様にして求める。

なお、右視点と左視点との間の間隔や、それぞれの視点の視界によっては、重複領域が存在しない場合もある。そのような場合は、ＧＵＩの立体視は考慮せず、右眼用の画像及び左眼用の画像で同じ位置にＧＵＩを表示するようにしても構わない。

図５に戻って、次に、ステップＳ５０４では、生成部１１１０は先ず、取得部１１３０が取得した仮想物体の情報に含まれている、ＧＵＩの情報を用いて、画像群を配置する平面のオブジェクトを生成する。そして生成部１１１０は、記憶部１１０に登録されている画像を該平面のオブジェクトの面上に配置することで、該画像の一覧を表すＧＵＩを生成する。本実施形態に係るＧＵＩの構成例を図３（Ｂ）に示す。図３（Ｂ）では、平面のオブジェクト３０４０の面上に、記憶部１１０に登録されている画像３０２０（図３（Ｂ）では記憶部１１０に登録されている画像の数は１）を配置したものがＧＵＩとして生成されている。

そして生成部１０８０は、該生成したＧＵＩを、仮想空間においてステップＳ５０３で求めた配置位置に配置する。その際、画像を配置した面が視点側に向くように、ＧＵＩの姿勢を調整する。

ステップＳ５１２では、生成部１１１０は先ず、取得部１１３０が入力部１１４０から取得した仮想物体の情報を用いて、各仮想物体を仮想空間中に配置する。なお、ステップＳ５０４でＧＵＩを配置した場合、この仮想空間中にはＧＵＩも含まれていることになる。その他にも、条件を満たしていた場合、警告を発するための仮想物体や観察者に知らせる情報を示す仮想物体も含まれる。そして生成部１１１０は、算出部１０７０が算出した右視点の位置姿勢から見える仮想空間の画像（右眼用画像）を生成する。一方、生成部１１１０は、算出部１０７０が算出した左視点の位置姿勢から見える仮想空間の画像（左眼用画像）を生成する。

ステップＳ５１３では、生成部１１１０は、右眼用画像の映像信号を右眼用の表示画面に対して送出し、左眼用画像の映像信号を左眼用の表示画面に対して送出する。これにより観察者の右眼の眼前には、右眼用の仮想空間の画像が提示され、左眼の眼前には、左眼用の仮想空間の画像が提示される。また、仮想空間中にＧＵＩが配置されている場合には、観察者の右眼及び左眼のそれぞれの眼前には、ＧＵＩが表示されていることになる。

そして、観察者若しくはそれ以外のユーザが操作入力部１０５０を操作して処理を終了する旨の指示を入力した場合には、処理はステップＳ５１４を介して終了し、入力していない場合は、処理はステップＳ５１４を介してステップＳ５０１に戻る。

次に、ステップＳ５０８における処理について説明する。視点の変更指示とは以下に説明するように、ＧＵＩに一覧表示されている画像群から１つの画像を選択して決定する選択指示である。上記では触れなかったが、ＧＵＩ上の画像群のうち１つの画像（例えば初期状態では左上隅の位置に配置されている画像）の位置にはカーソルオブジェクトが配置されている。そして、観察者若しくはそれ以外のユーザが操作入力部１０５０の十字キーを操作して上下左右の何れかの方向を指示すると、現在カーソルオブジェクトが配置されている画像に対して指示方向に隣接する画像の位置にカーソルオブジェクトが移動する。このように、観察者若しくはそれ以外のユーザは操作入力部１０５０を操作することで、ＧＵＩ上に配置されている任意の画像の位置にカーソルオブジェクトを移動させることができる。そして観察者若しくはそれ以外のユーザが操作入力部１０５０に割り当てられている決定ボタンを押下する若しくはＧＵＩ上に配置されている決定ボタンオブジェクトにカーソルオブジェクトを移動させてそこで決定ボタンを押下する。これにより現在カーソルオブジェクトが配置されている画像が選択画像として選択されたことになる。このような選択指示がなされると、処理はステップＳ５０９に進む。なお、カーソルオブジェクトの配置や移動の処理は、生成部１１１０が行う。

ステップＳ５０９では、生成部１１１０は、画像選択がなされた時点で算出部１０７０が求めた右視点の位置姿勢と、選択画像と関連づけて記憶部１１０に登録されている右視点の位置姿勢と、の差分を求める。また、生成部１１１０は、画像選択がなされた時点で算出部１０７０が求めた左視点の位置姿勢と、選択画像と関連づけて記憶部１１０に登録されている左視点の位置姿勢と、の差分を求める。本ステップにおける処理について、図６（Ａ）、（Ｂ）を用いて説明する。

図６（Ａ）は、選択画像が登録されたときの観察者６０２０の視点の位置姿勢（選択画像と関連づけて記憶部１１０に登録されている視点の位置姿勢）、仮想物体６０１０の位置姿勢を示している。位置姿勢は何れも、仮想空間座標系（座標系２０３０）におけるものである。

選択画像の登録時における観察者６０２０の視点の位置姿勢を（ｘＨ０、ｙＨ０、ｚＨ０、θｘＨ０、θｙＨ０、θｚＨ０）とする。ｘＨ０、ｙＨ０、ｚＨ０はそれぞれ、選択画像の登録時における観察者６０２０の視点の仮想空間座標系におけるｘ座標値、ｙ座標値、ｚ座標値を表している。また、θｘＨ０、θｙＨ０、θｚＨ０はそれぞれ、選択画像の登録時における観察者６０２０の視点の、仮想空間座標系のＸ、Ｙ、Ｚ軸周りの回転角を表している。

また、選択画像の登録時における仮想物体６０１０の位置姿勢を（ｘＶ０、ｙＶ０、ｚＶ０、θｘＶ０、θｙＶ０、θｚＶ０）とする。ｘＶ０、ｙＶ０、ｚＶ０はそれぞれ、選択画像の登録時における仮想物体６０１０の仮想空間座標系におけるｘ座標値、ｙ座標値、ｚ座標値を表している。また、θｘＶ０、θｙＶ０、θｚＶ０はそれぞれ、選択画像の登録時における仮想物体６０１０の、仮想空間座標系のＸ、Ｙ、Ｚ軸周りの回転角を表している。

図６（Ｂ）は、画像選択がなされた時点で算出部１０７０が求めた観察者６０２０の視点の位置姿勢、仮想物体６０１０の位置姿勢を示している。位置姿勢は何れも、仮想空間座標系（座標系２０３０）におけるものである。

画像選択がなされた時点で算出部１０７０が求めた観察者６０２０の視点の位置姿勢を（ｘＨ１、ｙＨ１、ｚＨ１、θｘＨ１、θｙＨ１、θｚＨ１）とする。ｘＨ１、ｙＨ１、ｚＨ１はそれぞれ、画像選択がなされた時点で算出部１０７０が求めた観察者６０２０の視点の仮想空間座標系におけるｘ座標値、ｙ座標値、ｚ座標値を表している。また、θｘＨ１、θｙＨ１、θｚＨ１はそれぞれ、画像選択がなされた時点で算出部１０７０が求めた観察者６０２０の視点の、仮想空間座標系のＸ、Ｙ、Ｚ軸周りの回転角を表している。また、仮想物体６０１０は移動してないため、画像選択がなされた時点でも、その位置姿勢は（ｘＶ０、ｙＶ０、ｚＶ０、θｘＶ０、θｙＶ０、θｚＶ０）のままである。

画像選択がなされた時点で算出部１０７０が求めた視点の位置姿勢と、選択画像と関連づけて記憶部１１０に登録されている視点の位置姿勢と、の差分（ΔｘＨ、ΔｙＨ、ΔｚＨ、ΔθｘＨ、ΔθｙＨ、ΔθｚＨ）は次のようになる。

ΔｘＨ＝ｘＨ０−ｘＨ１
ΔｙＨ＝ｙＨ０−ｙＨ１
ΔｚＨ＝ｚＨ０−ｚＨ１
ΔθｘＨ＝θｘＨ０−θｘＨ１
ΔθｙＨ＝θｙＨ０−θｙＨ１
ΔθｚＨ＝θｚＨ０−θｚＨ１
なお、ステップＳ５１２では、生成部１１１０は、視点の変更指示がなされて差分を求めた場合には、以降、仮想空間の画像を生成する際には、算出部１０７０が算出した視点の位置姿勢をそのまま用いるのではなく、該位置姿勢に該差分を加えたものを用いる。すなわち、図６（Ｃ）に示す如く、算出部１０７０が算出した現在の視点の位置姿勢が（ｘＨ１、ｙＨ１、ｚＨ１、θｘＨ１、θｙＨ１、θｚＨ１）であるとすると、この位置姿勢を仮想空間の画像生成に用いるのではない。位置姿勢（ｘＨ１、ｙＨ１、ｚＨ１、θｘＨ１、θｙＨ１、θｚＨ１）に差分（ΔｘＨ、ΔｙＨ、ΔｚＨ、ΔθｘＨ、ΔθｙＨ、ΔθｚＨ）を加えた位置姿勢（ｘＨ１＋ΔｘＨ、ｙＨ１＋ΔｙＨ、ｚＨ１＋ΔｚＨ、θｘＨ１＋ΔθｘＨ、θｙＨ１＋ΔθｙＨ、θｚＨ１＋ΔθｚＨ）を用いる（仮想の観察者６０３０の視点の位置姿勢）。

そして、視点の位置姿勢変更をキャンセルする指示が、観察者若しくはそれ以外のユーザが操作入力部１０５０を操作することで入力されたとする。この場合には、生成部１１１０は、算出部１０７０が算出した視点の位置姿勢に上記の差分を加えることなく、算出部１０７０が算出した視点の位置姿勢をそのまま用いて仮想空間の画像生成を行う。

図５に戻って、次に、ステップＳ５１５における処理について説明する。観察者若しくはそれ以外のユーザは操作入力部１０５０を操作して削除したい画像にカーソルオブジェクトを移動させる。そして観察者若しくはそれ以外のユーザが、そこで操作入力部１０５０に割り当てられている削除ボタンを押下する若しくはＧＵＩ上に配置されている削除ボタンオブジェクトにカーソルオブジェクトを移動させてそこで決定ボタンを押下する。このような一連の操作がなされると、視点の削除指示がなされたとして、処理はステップＳ５１６に進む。

ステップＳ５１６では、保存部１０９０は、現在カーソルオブジェクトが配置されている画像及び該画像と関連づけて記憶部１１０に登録されている視点の位置姿勢を記憶部１１０から削除する。

ステップＳ５０４では記憶部１１０に登録されている画像を用いてＧＵＩを生成するので、記憶部１１０に新たな画像を登録したり、記憶部１１０から画像を削除したりした場合、該変化はその後のステップＳ５０４において生成されるＧＵＩに反映される。

なお、右眼用の表示画面及び左眼用の表示画面には、上記の情報に加えて、１秒間あたりに生成される表示画像の枚数や観察者の設定した情報などを仮想物体として表示しても良い。

以下では、第１の実施形態の幾つかの変形例について説明するが、各変形例では第１の実施形態との差分について重点的に説明し、特に触れない限りは、第１の実施形態と同様であるものとする。

＜変形例１＞
第１の実施形態では、記憶部１１０に登録する位置姿勢は、全ての位置成分（Ｘ，Ｙ，Ｚ座標値）及び全ての姿勢成分（Ｘ軸周りの回転角、Ｙ軸周りの回転角、Ｚ軸周りの回転角）とした。しかし、全ての成分を登録することに限るものではなく、状況や用途に応じて登録する成分を変更しても構わない。例えば、全ての位置成分（Ｘ，Ｙ，Ｚ座標値）及びＺ軸周りの回転角を登録対象としても良い。

＜変形例２＞
第１の実施形態では、記憶部１１０に登録する画像の数（登録する視点の数）を制限していないが、登録画像数を規定数に制限しても良い。そのような場合、図３（Ｂ）のようなＧＵＩの変わりに、図３（Ａ）に示すようなＧＵＩ３０５０や図３（Ｃ）に示すようなＧＵＩ３０１０を採用しても良い。

図３（Ａ）のＧＵＩ３０５０は、記憶部１１０に３枚の仮想空間の画像が登録されている場合に、該３枚の画像３０２０（最上段の３枚の画像）と、あと９枚の画像が登録可能であることを示す、９枚の画像３０３０と、を一覧表示するＧＵＩである。つまり、図３（Ａ）のＧＵＩ３０５０は、最大１２枚の画像登録を行うことができる場合に、現在登録されている画像と、登録可能な画像の残数と、をユーザに通知するためのものである。

このようなＧＵＩ３０５０を用いて記憶部１１０への画像登録を行う場合、観察者若しくはそれ以外のユーザは操作入力部１０５０を操作して何れか１つの画像を選択して決定指示を入力する。選択した画像が画像３０２０である場合には、選択した画像及び選択した画像と関連づけて記憶部１１０に登録されている位置姿勢を削除し、上記と同様に、登録指示された画像及び対応する視点位置姿勢を記憶部１１０に登録する。一方、選択した画像が画像３０３０である場合には、選択した画像を削除し、上記と同様に、登録指示された画像及び対応する視点位置姿勢を記憶部１１０に登録する。何れの場合も、ＧＵＩ上では、削除した画像の代わりに、登録指示した画像が表示される。また、このようなＧＵＩ３０５０を用いて画像削除を行う場合、観察者若しくはそれ以外のユーザは操作入力部１０５０を操作して何れか１つの画像を選択して決定指示を入力する。選択した画像が画像３０２０である場合には、選択した画像及び選択した画像と関連づけて記憶部１１０に登録されている位置姿勢を削除し、ＧＵＩ上では、削除した画像の変わりに、画像３０３０が表示される。一方、選択した画像が画像３０３０である場合には、何も処理は行われない。

また、図３（Ｃ）のＧＵＩ３０１０は、図３（Ａ）のように、一度に全ての画像を表示するのではなく、それよりも少ない数（図３（Ｃ）では６）の画像を表示するためのものである。操作入力部１０５０を操作して表示された画像の右端にカーソルオブジェクトがあるときに、さらに右へカーソルオブジェクトを操作することで残りの画像が６枚ずつ表示される。三角のアイコン３０１５は表示された画像の右端から、さらにカーソルオブジェクトを右へ操作することができることを示す。反対に表示された画像の左端から、さらにカーソルオブジェクトを左へ操作することができる場合は、三角のアイコン３０１６が表示される。ＧＵＩ３０１０とＧＵＩ３０５０とは一度に表示する画像の数が異なるだけであるから、ＧＵＩ３０１０を用いた画像登録、画像削除については、ＧＵＩ３０５０と同様である。

また、図３（Ａ）のＧＵＩ３０５０でも、図３（Ｃ）のＧＵＩ３０１０でも、記憶部１１０に未だ１枚も画像が登録されていない場合、ＧＵＩには「未登録」と記された画像３０３０のように未登録を示す画像のみが一覧表示される。このような場合、ＧＵＩの一部若しくは全部を半透明表示するようにしても構わない。

＜変形例３＞
第１の実施形態では、記憶部１１０に画像と共に登録したものは視点の位置姿勢であった。ここで、視点の位置姿勢を登録したのは、視点の変更指示がなされた場合に、現在の視点と仮想物体との相対的な位置姿勢関係を、ＧＵＩ上で指定した画像の登録時における視点と仮想物体との相対的な位置姿勢関係に変更するためである。然るに、同様の目的を達成するために、例えば、視点の位置姿勢に加えて仮想物体の位置姿勢も記憶部１１０に登録するようにしても構わない。この場合、上記の差分としては、登録した視点（右視点及び左視点の何れか一方）と仮想物体との間の位置成分同士の差分及び姿勢成分同士の差分から成る差分ベクトルを求める。なおケースによっては、記憶部１１０には、視点及び仮想物体の位置姿勢を登録する変わりに差分ベクトルを登録するようにしても構わない。そして更に、画像選択がなされた時点で算出部１０７０が求めた視点の位置姿勢に差分ベクトルを加えたことで得られる位置姿勢を、仮想物体の配置位置姿勢として求める。そして、視点の変更指示がなされている状態では、仮想物体を配置する際には、仮想物体の情報が規定する位置姿勢ではなく、上記の求めた配置位置姿勢でもって配置する。視点の変更指示がなされていない限りは、仮想物体は、仮想物体の情報が規定する位置姿勢でもって配置する。

＜変形例４＞
図６（Ｄ）に示す如く、仮想物体が画像登録時から移動してしまった場合（仮想物体６０１０は画像登録時の仮想物体、仮想物体６０４０は画像選択がされた時点における仮想物体）には、次のようにして対処する。すなわち、画像登録時の仮想物体の位置姿勢から画像選択がなされた時点における仮想物体の位置姿勢を引いた差分（ΔｘＶ、ΔｙＶ、ΔｚＶ、ΔθｘＶ、ΔθｙＶ、ΔθｚＶ）を求める。そして、仮想空間の画像生成に用いる視点の位置姿勢には、位置姿勢（ｘＨ１、ｙＨ１、ｚＨ１、θｘＨ１、θｙＨ１、θｚＨ１）に差分（ΔｘＨ、ΔｙＨ、ΔｚＨ、ΔθｘＨ、ΔθｙＨ、ΔθｚＨ）及び（ΔｘＶ、ΔｙＶ、ΔｚＶ、ΔθｘＶ、ΔθｙＶ、ΔθｚＶ）を加えた位置姿勢（ｘＨ１＋ΔｘＨ＋ΔｘＶ、ｙＨ１＋ΔｙＨ＋ΔｙＶ、ｚＨ１＋ΔｚＨ＋ΔｚＶ、θｘＨ１＋ΔθｘＨ＋ΔθｘＶ、θｙＨ１＋ΔθｙＨ＋ΔθｙＶ、θｚＨ１＋ΔθｚＨ＋ΔθｚＶ）を用いる（仮想の観察者６０３０の視点の位置姿勢）。なお、同様の効果を得るために、視点の位置姿勢を変更するのではなく、＜変形例３＞のように、仮想物体の位置姿勢を変更するようにしても構わない。

＜変形例５＞
第１の実施形態では、生成部１０８０が生成部１１１０とは別途仮想空間の画像を生成していた。しかし、生成部１０８０が仮想空間の画像を生成するタイミングとして説明したタイミング近傍で生成部１１１０が生成した仮想空間の画像を生成部１０８０が取得するようにしても構わない。また、すでにＧＵＩが配置されている状態において生成部１０８０が仮想空間の画像を生成する際に、ＧＵＩをそのまま配置しておいても良いし、生成部１０８０が仮想空間の画像を生成する際にはＧＵＩは配置しないようにしても良い。

［第２の実施形態］
第１の実施形態では、記憶部１１０への画像登録は、観察者若しくはそれ以外のユーザによる操作入力部１０５０の操作等、ユーザ操作を介して行われていた。本実施形態では、視点の移動量が規定量以下となった状態が連続して規定時間以上続けば、画像登録条件が満たされたと判断して、画像登録を行う。以下では、第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。

本実施形態に係るシステムの構成例について、図７のブロック図を用いて説明する。情報処理装置７０００は、図１の情報処理装置１０４０に判定部７０１０を加えた構成を有する。

判定部７０１０は、算出部１０７０が算出した視点の位置姿勢と、記憶部１１０に登録されている視点の位置姿勢と、を用いて、画像登録条件が満たされたか否かを判断し、満たされたと判断した場合に、その旨を生成部１０８０に通知する。生成部１０８０は、判定部７０１０から画像登録条件が満たされた旨の通知を受けると、第１の実施形態で説明したように動作する。本実施形態では、図５のフローチャートにおいて、ステップＳ５０５における判断処理では、図９のフローチャートに従った判断処理を行う。

ステップＳ９０１０では、判定部７０１０は、算出部１０７０から視点の位置姿勢を取得する。ステップＳ９０２０では、判定部７０１０は、ステップＳ９０１０で取得した視点の位置と、記憶部１１０に登録されているそれぞれの視点の位置と、の間の距離を求める。なお、「ステップＳ９０１０で取得した視点の位置」、「記憶部１１０に登録されているそれぞれの視点の位置」における「視点」は右視点、左視点何れでも良いが、双方で同じ視点を採用する。即ちステップＳ９０２０では、ステップＳ９０１０で取得した右視点の位置と記憶部１１０に登録されている右視点の位置との間の距離、若しくはステップＳ９０１０で取得した左視点の位置と記憶部１１０に登録されている左視点の位置との間の距離を求める。

そして判定部７０１０は、求めた何れの距離も閾値以上であるか否かを判断する。このときに用いる閾値は、記憶部１１０に登録されている位置に応じて異なっていても良いし、全て若しくは一部が同じでも良い。例えば、部屋Ａにおける位置と比較する為の閾値としては、部屋Ａのサイズを表す閾値Ａ、部屋Ｂにおける位置と比較する為の閾値としては、部屋Ｂのサイズを表す閾値Ｂ、を用いるようにする。このような閾値設定は、画像登録を、登録済みの画像に対応する視点の位置に応じて制限することを目的としたものである。

この判断の結果、求めた何れの距離も閾値以上である場合には、処理はステップＳ９０３０に進み、何れか１つでも閾値未満である場合には、処理はステップＳ５０８に進む。例えば、建築物においてある部屋について既に画像登録を行った場合、この部屋についてはもう画像登録を行わなくても良い場合には、この部屋についての閾値を該部屋のサイズに設定しておけば良い。

ステップＳ９０３０では、判定部７０１０は、算出部１０７０から取得した位置姿勢の変化量が規定量以下であるか否かを判断する。例えば、判定部７０１０は、前回のステップＳ９０１０で取得した視点の位置姿勢と今回のステップＳ９０１０で取得した視点の位置姿勢との差分を求め、その差分が規定量以下であるか否かを判断する。この判断の結果、差分が規定量以下である場合には、処理はステップＳ９０４０に進み、差分が規定量よりも大きければ、処理はステップＳ５０８に進む。なお、判定部７０１０は、差分が規定量以下であればカウント値（初期値は０）を１つカウントアップし、差分が規定量よりも大きければカウント値を０に初期化する。

ステップＳ９０４０では、判定部７０１０は、カウント値が規定値を超えたか否か、すなわち、視点の位置姿勢の変化量が規定量以下の状態が一定時間Ｔ以上続いたか否かを判断する。この判断の結果、視点の位置姿勢の変化量が規定量以下の状態が一定時間Ｔ以上続いた場合（カウント値が規定値を超えた場合）には、処理はステップＳ５０６に進む。一方、視点の位置姿勢の変化量が規定量以下の状態が一定時間Ｔ以上続いていない場合（カウント値が規定値を超えていない場合）は、処理はステップＳ５０８に進む。

例えば、視点の位置姿勢の変化量が規定量以下の状態の連続時間が一定時間Ｔ１（＜Ｔ）に達した時点で、図８に例示する範囲８０３０を設定する。範囲８０３０は、視点の位置姿勢の変化量が規定量以下の状態の連続時間が一定時間Ｔ１に達した時点における観察者８０２０の視点の位置を中心とし、規定の半径ｒを有する球状の領域である。そして、範囲８０３０を設定してから一定時間Ｔ２（＝Ｔ−Ｔ１）以上、視点が範囲８０３０からはみ出さなかった場合には、視点の位置姿勢の変化量が規定量以下の状態が一定時間Ｔ以上続いた、と判断する。

なお、範囲８０３０は球状の領域に限ったものではなく、直方体や立方体の領域であっても良いし、任意の形状を採用しても構わない。また、視点の位置姿勢の変化量が規定量以下の状態が一定時間Ｔ以上続いたか否かを判断する方法は上記の方法に限ったものではない。例えば、一定時間内の視点の位置姿勢の変化量の平均が規定量以下であれば、視点の位置姿勢の変化量が規定量以下の状態が一定時間Ｔ以上続いた、と判断しても良い。また、位置成分のみ若しくは姿勢成分のみについて、その変化量が規定量以下の状態が一定時間Ｔ以上続いたか否かを判断するようにしても構わない。

また、範囲８０３０の設定方法は上記の方法に限ったものではなく、例えば、仮想空間中の任意の箇所に範囲８０３０を設定しても構わない。そして視点が範囲８０３０内に滞在し続けた時間が閾値を超えた場合に、視点の位置姿勢の変化量が規定量以下の状態が一定時間Ｔ以上続いた、と判断するようにしても構わない。

また、登録する画像数に上限値を設けても良く、画像登録条件が満たされたとしても、既に登録済みの画像の数が上限値に達している場合には、その旨を観察者若しくはそれ以外のユーザに通知するようにしても構わない。例えば、ＨＭＤ１０１０の表示画面にその旨のメッセージを表示するようにしても構わない。

また、画像の登録方法について、第１の実施形態を採用するのか、それとも第２の実施形態を採用するのかを、観察者若しくはそれ以外のユーザが操作入力部１０５０を操作することで決定するようにしても構わない。また、画像登録条件が満たされた場合に、すぐに画像登録を行うのではなく、画像登録を促すようし、画像登録を行う旨の指示が、例えば、観察者若しくはそれ以外のユーザが操作入力部１０５０を操作することで入力した場合に、画像登録を行うようにしても構わない。画像登録を促す方法としては、例えば、操作入力部１０５０がバイブレータを有する場合には、このバイブレータを動作させることで振動を観察者に感知させて画像登録を促すようにしても構わない。他にも、ＨＭＤ１０１０の表示画面に画像登録を促すメッセージを表示したり、ＨＭＤ１０１０や情報処理装置７０００がスピーカなどの音声出力機器を有する場合には、該音声出力機器から画像登録を促すメッセージを音声として出力するようにしても構わない。

［第３の実施形態］
第１，２の実施形態では、ＨＭＤを自身の頭部に装着した観察者に仮想空間の画像を提供するためのものであった。本実施形態に係るシステムは、ＨＭＤを頭部に装着した観察者に、現実空間の画像と仮想空間の画像とを合成した複合現実空間の画像を提供する。以下では、第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。

本実施形態に係るシステムの構成例について、図１０のブロック図を用いて説明する。ＨＭＤ１００１０は、図１のＨＭＤ１０１０に撮像部１００２０を加えた構成を有する。また、情報処理装置１０は、図１の情報処理装置１０４０に取得部１００３０を加えた構成を有する。

撮像部１００２０は、現実空間の動画像を撮像するもので、観察者の右眼に提供するための画像を撮像する撮像部（右撮像部）と、観察者の左眼に提供するための画像を撮像する撮像部（左撮像部）と、を有する。それぞれの撮像部による動画像を構成する各フレームの画像（現実空間の画像）は順次、情報処理装置１０４０に対して送出される。なお、観察者の両眼の間の距離に応じて、右撮像部と左撮像部との間の間隔を調整できるように構成しても構わない。また、本実施形態では、右撮像部が右視点、左撮像部が左視点となる。

取得部１００３０は、撮像部１００２０からの各フレームの画像を算出部１０７０及び生成部１００５０に対して送出する。算出部１０７０に画像を送出するのは、視点の位置姿勢の計算のために画像中の特徴量を利用するためであって、画像の特徴を用いずに視点の位置姿勢を求める場合には、算出部１０７０に画像を送出する必要はない。

生成部１００５０は、右視点に対応する仮想空間の画像と右撮像部による現実空間の画像とを合成して、右眼用の表示画面に表示するための複合現実空間の画像を生成する。また、生成部１００５０は、左視点に対応する仮想空間の画像と左撮像部による現実空間の画像とを合成して、左眼用の表示画面に表示するための複合現実空間の画像を生成する。そして生成部１００５０は、右眼用の表示画面に表示するための複合現実空間の画像の映像信号を右眼用の表示画面に対して送出し、左眼用の表示画面に表示するための複合現実空間の画像の映像信号を左眼用の表示画面に対して送出する。

なお、上記の各実施形態及び変形例では、右視点、左視点というように２つの視点を設けていたが、１つの視点としても良く、該１つの視点に応じた画像を両眼に提供するようにしても構わない。

また、上記の説明において、大小比較のために閾値として使用したものについては、予め設定された値であっても良いし、観察者若しくはそれ以外のユーザが適宜変更するようにしても構わないし、処理の流れに応じて動的に変更しても構わない。

なお、上記の各実施形態や各変形例は、その一部若しくは全部を適宜組み合わせて使用しても構わない。また、上記の各実施形態や各変形例において説明した全ての構成を必ず使用することに限らず、一部の構成を必要に応じて省略しても良いし、新たな構成を追加しても良い。

なお、上記の説明において「画像登録」という文言は、画像のみを登録することを意図したものではなく、画像と共に登録すべき他の情報（視点の位置姿勢や仮想物体の位置姿勢など）の登録をも含むものである。

［第４の実施形態］
図１の情報処理装置１０４０、図７の情報処理装置７０００、図１０の情報処理装置１０、を構成する各機能部は何れもハードウェアで構成しても良いが、記憶部１１０をメモリで構成し、残りの機能部をソフトウェア（コンピュータプログラム）で構成しても良い。その場合、この該メモリを有し且つ該コンピュータプログラムを実行する実行部を有するコンピュータ装置は、図１，７，１０の各情報処理装置に適用可能である。図１，７，１０の各情報処理装置に適用可能なコンピュータ装置のハードウェア構成例について、図１１のブロック図を用いて説明する。

ＣＰＵ１１０１は、ＲＡＭ１１０２やＲＯＭ１１０３に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりＣＰＵ１１０１は、コンピュータ装置全体の動作制御を行うと共に、図１，７，１０の各情報処理装置が行うものとして上述した各処理を実行若しくは制御する。

ＲＡＭ１１０２は、外部記憶装置１１０５からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１１０６を介して外部から受信したデータ、を格納するためのエリアを有する。更にＲＡＭ１１０２は、ＣＰＵ１１０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１１０２は、各種のエリアを適宜提供することができる。ＲＯＭ１１０３には、コンピュータ装置の書き換え不要の設定データやコンピュータプログラム（ブートプログラムなど）等が格納されている。

表示部１１０４はＣＲＴや液晶画面などにより構成されており、ＣＰＵ１１０１による処理結果を画像や文字などでもって表示することができる。例えば、ＨＭＤ１０１０に対して出力するものとして説明した各種の情報（仮想空間の画像や複合現実空間の画像等）を表示部１１０４に表示させることができる。なお、操作入力部１０５０と表示部１１０４とを一体化させてタッチパネル画面を構成しても良い。

外部記憶装置１１０５は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１１０５には、ＯＳ（オペレーティングシステム）や、図１，７，１０の各情報処理装置が行うものとして上述した各種の処理をＣＰＵ１１０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置１１０５に保存されているコンピュータプログラムには、図１，７，１０において記憶部１１０を除く各機能部の機能をＣＰＵ１１０１に実行若しくは制御させるためのコンピュータプログラムが含まれている。外部記憶装置１１０５に保存されているデータには、既知の情報として説明した各種の情報（バイアスや閾値など）が含まれている。外部記憶装置１１０５に保存されているコンピュータプログラムやデータは、ＣＰＵ１１０１による制御に従って適宜ＲＡＭ１１０２にロードされ、ＣＰＵ１１０１による処理対象となる。なお、図１，７，１０の記憶部１１０は、外部記憶装置１１０５やＲＡＭ１１０２で構成される。

Ｉ／Ｆ１１０６は、操作入力部１０５０、入力部１１４０、ＨＭＤ１０１０、との間のデータ通信を行うためのものである。また、Ｉ／Ｆ１１０６は、ＬＡＮやインターネットを介して他の機器との間のデータ通信を行うこともできる。

ＣＰＵ１１０１、ＲＡＭ１１０２、ＲＯＭ１１０３、表示部１１０４、外部記憶装置１１０５、Ｉ／Ｆ１１０６は何れも、バス１１０７に接続されている。なお、図１１に示した構成は、図１，７，１０の情報処理装置に適用可能なコンピュータ装置の構成の一例に過ぎない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０８０：生成部 １１２０：計算部 １１１０：生成部 １０７０：取得部

Claims (16)

1. 第１の視点から観察した第１の画像と前記第１の視点と異なる第２の視点から観察した第２の画像を表示する表示装置の位置姿勢に基づいて仮想空間の画像を生成する生成手段と、
   前記生成手段が生成した画像を選択可能に一覧表示するユーザインターフェースを、前記第１の視点の視界と前記第２の視点の視界との重複領域に配置して前記表示装置に表示させる表示制御手段と
   を備え、
   前記生成手段は、ユーザからの指示に基づいて登録すべき前記仮想空間の画像を生成するときに、前記ユーザへの警告を示す情報を除いて、前記登録すべき仮想空間の画像を生成することを特徴とする情報処理装置。
2. 更に、
   前記生成手段が生成した画像と、該画像に対応する表示装置の位置姿勢と、を関連づけて登録する登録手段を備え、
   前記表示制御手段は、前記登録手段が登録した画像の一覧を表すユーザインターフェースを、前記第１の視点の視界と前記第２の視点の視界との重複領域に配置して前記表示装置に表示させることを特徴とする請求項１に記載の情報処理装置。
3. 更に、
   前記仮想空間の画像を生成するために使用する表示装置の位置姿勢を、前記ユーザインターフェースが表す一覧から選択された画像と関連づけて登録されている表示装置の位置姿勢に基づいて変更する変更手段を備えることを特徴とする請求項２に記載の情報処理装置。
4. 更に、
   前記ユーザインターフェースが表す一覧から選択された選択画像を削除する指示が入力されたことに応じて、該選択画像と、該選択画像と関連づけて登録された表示装置の位置姿勢と、を削除する削除手段を備えることを特徴とする請求項２又は３に記載の情報処理装置。
5. 前記登録手段は、前記生成手段が生成した画像と、該画像に対応する表示装置の位置姿勢と、前記仮想空間における仮想物体の位置姿勢と、を関連づけて登録することを特徴とする請求項２に記載の情報処理装置。
6. 更に、
   前記仮想空間の画像を生成するために使用する表示装置の位置姿勢もしくは前記仮想物体の位置姿勢を、前記ユーザインターフェースが表す一覧から選択された画像と関連づけて登録されている、表示装置の位置姿勢、仮想物体の位置姿勢、に基づいて変更する変更手段を備えることを特徴とする請求項５に記載の情報処理装置。
7. 前記登録手段は、ユーザからの登録指示を受け付けたことに応じて前記登録を行うことを特徴とする請求項２乃至６の何れか１項に記載の情報処理装置。
8. 第１の視点から観察した第１の画像と前記第１の視点と異なる第２の視点から観察した第２の画像を表示する表示装置の位置姿勢に基づいて仮想空間の画像を生成する生成手段と、
   前記生成手段が生成した画像と、該画像に対応する表示装置の位置姿勢と、を関連づけて登録する登録手段と、
   前記登録手段が登録した画像を選択可能に一覧表示するユーザインターフェースを、前記第１の視点の視界と前記第２の視点の視界との重複領域に配置して前記表示装置に表示させる表示制御手段と
   を備え、
   前記登録手段は、表示装置の位置姿勢の変化量が規定量以下になったことに応じて前記登録を行うことを特徴とする情報処理装置。
9. 前記登録手段は、画像登録を促すことを特徴とする請求項２乃至６の何れか１項に記載の情報処理装置。
10. 第１の視点から観察した第１の画像と前記第１の視点と異なる第２の視点から観察した第２の画像を表示する表示装置の位置姿勢に基づいて仮想空間の画像を生成する生成手段と、
    前記生成手段が生成した画像と、該画像に対応する表示装置の位置姿勢と、を関連づけて登録する登録手段と、
    前記登録手段が登録した画像を選択可能に一覧表示するユーザインターフェースを、前記第１の視点の視界と前記第２の視点の視界との重複領域に配置して前記表示装置に表示させる表示制御手段と
    を備え、
    前記登録手段は、前記登録を、登録済みの画像に対応する表示装置の位置に応じて制限することを特徴とする情報処理装置。
11. 前記生成手段は、生成した仮想空間の画像を、頭部装着型表示装置に対して出力することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 前記生成手段は、現実空間の画像と仮想空間の画像とを合成した画像を頭部装着型表示装置に対して出力することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
13. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の生成手段が、第１の視点から観察した第１の画像と前記第１の視点と異なる第２の視点から観察した第２の画像を表示する表示装置の位置姿勢に基づいて仮想空間の画像を生成する生成工程と、
    前記情報処理装置の表示制御手段が、前記生成工程で生成した画像を選択可能に一覧表示するユーザインターフェースを、前記第１の視点の視界と前記第２の視点の視界との重複領域に配置して前記表示装置に表示させる表示制御工程と
    を備え、
    前記生成工程では、ユーザからの指示に基づいて登録すべき前記仮想空間の画像を生成するときに、前記ユーザへの警告を示す情報を除いて、前記登録すべき仮想空間の画像を生成することを特徴とする情報処理方法。
14. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の生成手段が、第１の視点から観察した第１の画像と前記第１の視点と異なる第２の視点から観察した第２の画像を表示する表示装置の位置姿勢に基づいて仮想空間の画像を生成する生成工程と、
    前記情報処理装置の登録手段が、前記生成工程で生成した画像と、該画像に対応する表示装置の位置姿勢と、を関連づけて登録する登録工程と、
    前記情報処理装置の表示制御手段が、前記登録工程で登録した画像を選択可能に一覧表示するユーザインターフェースを、前記第１の視点の視界と前記第２の視点の視界との重複領域に配置して前記表示装置に表示させる表示制御工程と
    を備え、
    前記登録工程では、表示装置の位置姿勢の変化量が規定量以下になったことに応じて前記登録を行うことを特徴とする情報処理方法。
15. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の生成手段が、第１の視点から観察した第１の画像と前記第１の視点と異なる第２の視点から観察した第２の画像を表示する表示装置の位置姿勢に基づいて仮想空間の画像を生成する生成工程と、
    前記情報処理装置の登録手段が、前記生成工程で生成した画像と、該画像に対応する表示装置の位置姿勢と、を関連づけて登録する登録工程と、
    前記情報処理装置の表示制御手段が、前記登録工程で登録した画像を選択可能に一覧表示するユーザインターフェースを、前記第１の視点の視界と前記第２の視点の視界との重複領域に配置して前記表示装置に表示させる表示制御工程と
    を備え、
    前記登録工程では、前記登録を、登録済みの画像に対応する表示装置の位置に応じて制限することを特徴とする情報処理方法。
16. コンピュータを、請求項１乃至１２の何れか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。

Images