JP4834424B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関し、特には現実世界の画像にコンピュータにより生成された画像（ＣＧ：Computer Graphics）を位置合わせして重畳する画像合成技術に関する。

実写画像を背景とし、その上にコンピュータグラフィックス（以下、ＣＧ）で生成した仮想物体の画像を位置合わせして重畳表示することにより、観察者に対して、あたかも現実空間中に仮想物体が存在するかのように体感させる複合現実感(Mixed Reality: MR)技術がある（例えば特許文献１参照）。

ＭＲ技術の応用例には様々なものがある。例えば、患者の体表面の実写画像に、内蔵のＣＧを位置合わせして重畳表示することで、体内を透視しているように医師に提示する医療補助の用途。また、工場において製品の実写画像にその組み立て手順をＣＧで重畳表示することで、組み立て作業を補助する用途や、現実の風景の画像に地名や名称などをＣＧで重畳表示する案内用途などを例示することができる。

なお、ＣＧを重畳する背景は必ずしも撮影された画像である必要はなく、観察者の視線上に配置された半透明表示部材（ハーフミラーなど）にＣＧのみを表示することによっても同様の効果が実現される。このような方式を光学シースルー方式と呼ぶ。一方、実写画像を背景に用いる方式をビデオシースルー方式と呼ぶ。

特開平１１−８４３０７号公報

複合現実感を違和感なく観察者に体感させるためには、背景となる現実空間と、そこに重畳するＣＧとの位置合わせ精度が重要となる。そのため、通常は観察者の視点位置及び姿勢を計測し、計測した視点位置及び姿勢と、仮想物体の３次元モデルとを用いてＣＧを生成することにより、違和感の少ないＣＧの重畳を実現している。

観察者の視点位置姿勢は６自由度を有する情報であるため、その測定に用いられるセンサ（位置姿勢センサ）として利用できるものは限られており、一般に磁気センサ、光学センサ、画像センサが用いられている。

しかしながら、磁気センサや画像センサをはじめ、位置姿勢測定用のセンサは、予め設定された計測範囲を持ち、その計測範囲の中でしか位置姿勢を計測することができない。そのため、センサの配置によって観察者の行動できる範囲が限定されてしまう。

従って、現場にセンサを設置する際、どのようにセンサを配置するかが大きな課題となる。しかし、センサが用いる磁気や光といった情報は視覚的に捉えることができないため、センサの計測範囲は目視できず、結局のところ経験による勘に頼ってセンサを配置するしかなかった。しかし、勘に頼ったセンサの配置では、計画した計測範囲を確保できない場合があり、その場合には再度センサの設置調整を行う必要があるため、非効率であった。

また、センサの検出情報を補正するための情報を得るなどの目的により、センサに加えて客観カメラ（第３者の視点位置姿勢から撮影するカメラ）を用いることもある。しかし、センサと同様、カメラで撮影可能（計測可能な）範囲は限られているため、客観カメラの計測可能範囲についても可視化可能であることが好ましい。

本発明はこのような従来技術の課題に鑑みなされたものであり、センサや客観カメラの計測範囲を可視化することで、画像合成システムの設定や管理を効率よく行えるようにすることを目的とする。

上述の目的は、以下の情報処理装置によって達成される。

現実空間に配置されたセンサの位置姿勢を入力するセンサ位置姿勢入力手段と、
前記センサの計測範囲の内外を移動可能な観察者の、前記測定範囲内における位置を前記センサによって計測した、複数の計測位置を入力する計測位置入力手段と、
前記計測位置入力手段によって入力された前記複数の計測位置のうち、前記観察者が前記センサの計測範囲外に移動する直前に計測された計測位置を、境界計測位置として記録する境界計測位置記録手段と、
前記記録された境界計測位置に基づいて、前記センサの計測範囲を示す仮想物体の３次元モデルを生成するモデル生成手段と、
前記入力されたセンサの位置姿勢に基づいて、前記現実空間に対応する仮想空間に前記生成した３次元モデルを配置するモデル配置手段と、
前記観察者が前記センサの計測範囲外に存在するときの前記観察者の視点の位置姿勢を入力する視点位置姿勢入力手段と、
前記観察者の視点の位置姿勢に基づいて、前記３次元仮想モデルが配置された前記仮想空間の画像を生成する仮想画像生成手段と、
前記仮想空間の画像を前記観察者に提示する提示制御手段と、
を有することを特徴とする情報処理装置。

以上の構成により、本発明によれば、センサや客観カメラの目に見えない計測範囲を可視化することが可能となり、画像合成システムの設定や管理を効率よく行うことが可能となる。

〈第１の実施形態〉
以下、添付図面を参照して本発明をその好適な実施形態に基づき詳細に説明する。
第１の実施形態に係る画像合成装置の一例は、センサに取り付けたマーカに基づいてセンサの位置情報を取得し、その位置にセンサの計測範囲を３次元ＣＧのモデルデータを用いて重畳表示して、センサの計測範囲を可視化する。なお、計測範囲を可視化するための３次元ＣＧのモデルデータは、センサの仕様による計測範囲に対応したモデルデータであっても良いし、経験によって得られる計測範囲でも良い。また、モデルデータの表示方法も特に制限はなく、そのまま出力しても良いし、透明度の設定を行って表示するなどしても良い。

（画像合成装置の構成）
図１は、本実施形態における画像合成装置の構成例を示すブロック図である。また、図２は図１の画像合成装置を複合現実感アプリケーションに適用した場合の具体的な機器配置と、観察者が体感する複合現実感を模式的に示す図である。

図１において、小型のビデオカメラ１０１は現実空間を撮影する。ビデオカメラ１０１は、図２に示すように頭部搭載型画像表示装置（Head Mounted Display、以下ＨＭＤという）１０８の、観察者２０１の両目に近い部分に、それぞれ観察者の視線と一致する向きに固定されている。なお、右目用、左目用のビデオカメラ１０１を用いる代わりに、単眼のビデオカメラを用いたり、観察者が手で保持するタイプの表示装置（Hand Held Display、以下ＨＨＤという）にビデオカメラを取り付けても良い。

なお、以下では、説明及び理解を簡単にするため、右目用ビデオカメラと左目用ビデオカメラが撮影した一対の画像に対してそれぞれ行われる処理であっても、１つの画像に対する処理として説明することがある。しかし、一対のビデオカメラ（複眼カメラ）を用いる場合には、各ビデオカメラが撮影した画像についてそれぞれ同様の処理が行われ、一対の合成画像が生成され、例えばＨＭＤが有する右目用表示装置、左目用表示装置に独立して表示される。

例えばビデオキャプチャボードである画像入力部１０２は、ビデオカメラ１０１より撮影された映像（画像）を入力する。図２では観察者が現実物体である机の上を見ているものとする。ビデオカメラ１０１で撮影された画像の信号は、画像入力部１０２によって処理され、ディジタル画像データとして画像合成部１０７及びマーカ検出部１０３に供給される。

マーカ検出部１０３は画像入力部１０２から供給される画像から、図２に示す２次元マーカ２０５を検出する。２次元マーカは、現実空間上の絶対位置が既知の、画像から抽出可能な特徴（色、形、パターンなど）を有する指標である。従って、マーカ検出部１０３は、２次元マーカ２０５の有する特徴に合致する領域を画像中から探索することにより２次元マーカ２０５を検出する。

視点位置姿勢算出部１０４は、観察者の頭部２０２に装着されたＨＭＤ１０８の３次元位置、姿勢を算出する。この算出には、マーカ検出部１０３が検出したマーカ情報（画像中の位置やマーカ２０５の向き、面積など）と、マーカ２０５の特徴点のマーカ座標系における位置及びビデオカメラ１０１のカメラパラメータなどを用いる。視点位置姿勢算出部１０４の処理の詳細については後述する。

画像生成部１０５は、仮想空間データベース１０６に登録されている３次元ＣＧモデルデータを視点位置姿勢算出部１０４で算出したＨＭＤ１０８の位置姿勢データを元に、観察者の視点から観察されるべきＣＧ画像の生成を行う。仮想空間データベース１０６は例えばハードディスクドライブである。生成したＣＧ画像は画像合成部１０７へ供給する。画像生成部１０５におけるＣＧ画像の生成においては、仮想空間データベース１０６に含まれるＣＧモデルの幾何情報、色やテクスチャなどの属性情報、および照明情報が用いられる。なお、３次元ＣＧ画像の生成は既知の技術であるのでその詳細についての説明は省略する。

画像合成部１０７は、画像入力部１０２からの実写画像と、画像生成部１０５からのＣＧ画像（仮想物体２０６の画像）とを合成し、ＨＭＤ１０８に出力する。ＨＭＤ１０８に表示された合成画像を観察者が見ると、机２０４の上に仮想物体２０６があるかのように見える。

なお、このような画像合成装置のうち、ビデオカメラ１０１を除く機能ブロックについては、ビデオキャプチャボードを装着した汎用コンピュータ装置によって実現することが可能である。従って、以下に説明する画像合成装置内の処理は、少なくともその一部をＣＰＵが制御プログラムを実行することによってソフトウェア的に実現することが可能である。

（センサ計測範囲の可視化）
本実施形態においては、上で説明した画像合成装置を用いて、位置姿勢センサの計測範囲を可視化することを特徴とする。
図３は本実施形態における位置姿勢センサの計測範囲可視化を模式的に示す図である。観察者２０１は例えばＨＭＤ１０８に取り付けられたビデオカメラ１０１により、一対のセンサ３０１に取り付けた２次元マーカ２０５を撮像する。そして、予め用意したセンサ３０１の計測範囲の３次元モデルデータを仮想空間データベース１０６より読み出し、センサ３０１の計測範囲を表すＣＧ画像３０２を視点位置姿勢算出部１０４が算出する観察者の視点位置姿勢に基づいて生成する。このＣＧ画像３０２をカメラ１０１で撮影した実写画像と合成してＨＭＤ１０８に表示することで、観察者にセンサ３０１の計測範囲を提示する。

なお、上述したように、センサの計測範囲を表す３次元モデルデータには、センサの仕様上の計測範囲を用いても良いし、経験による計測範囲を用いてもよい。また、ワイヤーフレーム表示、面のある立体として表示、不透明物体として表示、透明度を有する物体として表示など、任意の表示方法を採用することができる。また、センサが複数存在する場合には、個々のセンサの計測範囲が識別できるよう、色などの視覚的に識別可能な属性を異ならせて表示することも可能である。また、２つのセンサの各々のみが計測可能な範囲を赤と青で、重複する計測範囲は紫で表示するようにするなど、計測範囲の重なりを把握しやすくなるように表示することも可能である。

また、本実施形態において、２次元マーカ２０５は、白色カード上に書かれた黒色正方形であり、黒色正方形によるパターンをマーカ毎に異ならせることで、マーカの識別を容易にしている。マーカの詳細についても後述する。

（センサの計測範囲の３次元モデルの作成方法）
本実施形態において用いることができる、センサの計測範囲の３次元モデルの作成方法としては、様々な方法が考えられる。
まず、センサの仕様に基づき計測範囲の３次元モデルを作成する方法を説明する。
位置姿勢センサが光学センサの場合は、図９に示されるような対象機種の仕様に基づき、計測範囲の寸法をコンピュータグラフィックのモデリングソフト上で入力することで、センサの計測範囲の３次元モデルを作成することができる。
また、磁気センサの場合は、対象機種の仕様に記載されている計測範囲の距離を半径とする半球をコンピュータグラフィックのモデリングソフトで作成することにより、センサの計測範囲の３次元モデルを作成することができる。

次に、経験に基づき位置姿勢センサの計測範囲の３次元モデルを作成する方法を説明する。
センサの計測範囲外に出たときにセンサから「センサの計測範囲外」という旨のデータが送られてくる場合は、その直前の座標（Ｘ，Ｙ，Ｚ）データを複数取得、格納しておく。そして、格納した座標点を頂点としたポリゴンを生成することで、計測範囲をモデリングすることができる。格納した頂点からポリゴンを生成する方法としては、Marching Cubes法「Lorensen,W.E and Cline H.E, Marching Cubes: A High Resolution 3D Surface Construction Algorithm,ACM computer Graphics,21(3),1987.」などが知られている。
「センサの計測範囲外」という旨のデータが送られてこない場合は、オペレータが予め体験し、その体験結果から計測範囲を示す３次元データを作成する。例えば、磁気センサでは、計測結果から半球の半径を設定し、半球の３次元モデルを作成する。

（視点位置姿勢算出部１０４）
ここで、本実施形態に係る画像合成装置において重要な機能を果たす視点位置姿勢算出部１０４の動作について詳細に説明する。視点位置姿勢算出部１０４の基本的な動作は座標変換である。

図４は本実施形態の画像合成装置が取り扱う座標系を示している。
本実施形態において、仮想物体２０６はマーカ座標系４０１の上で表現される。
撮影画像中のマーカ位置およびマーカ座標系におけるマーカ位置の関係に基づき、マーカ座標系からカメラ座標系への変換行列Ｔ_ｃｍを動的に求める。そして、予め求められている、カメラ座標系からＨＭＤスクリーン座標系への変換行列Ｔ_ｓｃと、変換行列Ｔ_ｃｍとに基づき、マーカ座標系で定義されているセンサの計測範囲の３次元モデルを変換して、仮想物体２０６をＨＭＤスクリーン上に表示する。

以下に、変換行列の算出方法を具体的に説明する。
図３の実施形態では、配置する２台のセンサの夫々に対してマーカを取り付け、各センサの計測範囲の３次元モデルを独立に管理している。したがって、本実施形態では、以下に示す変換行列の算出を、各マーカに対して行う。
カメラ座標系４０２は焦点位置を原点、画像平面に垂直な方向をＺ軸、画像のｘ，ｙ軸に平行な方向を各Ｘ，Ｙ軸とする。
マーカ座標系４０１で表現された任意の点（Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍ）は、回転移動と平行移動の組合せでカメラ座標系４０２上の点に変換可能であり、カメラ座標系４０２では（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）と表記する。

透視変換モデルによって投影される画像平面を理想スクリーン座標系４０３と呼ぶ。カメラ座標系４０２における点（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）は理想スクリーン座標系４０３において（ｘ_ｃ，ｙ_ｃ）に写るものとする。
また、複合現実感システムにおいては広範囲における位置計測が要求され、そのためにビデオカメラ１０１には広角レンズが用いられる。そのため、撮影した画像には樽型歪みが発生する。

そこで、まず、理想スクリーン座標系４０３から画像歪み変換関数４０４によって変換された座標系を観測スクリーン座標系４０５とする。また、実際にビデオカメラ１０１から取り込まれた画像データを観測スクリーン座標系４０５で表現し、その座標値を（ｘ_ｄ，ｙ_ｄ）で表す。

ＨＭＤ１０８と観察者の目は理想的な透視変換モデルで表現できる。ＨＭＤ１０８の画像表示面をＨＭＤスクリーン座標系４０６と呼び、その上の座標値を（ｘ_ｓ，ｙ_ｓ）で表す。このＨＭＤスクリーン座標系４０６に対し同一方向にＸ，Ｙ軸を持ち、垂直な方向にＺ軸を有する、目の焦点位置を原点とする座標系を視点座標系４０７と呼び、その座標値は（Ｘ_ｅ，Ｙ_ｅ，Ｚ_ｅ）で表す。

この視点座標系４０７の設定は、視線方向をＺ軸にした方が考えやすいが、ＨＭＤスクリーン座標系４０６との間に透視変換モデルを成立させるためには、そのスクリーンとの相対的な関係によって規定されるような座標系設定が重要となる。また、視点座標系４０７及びＨＭＤスクリーン座標系４０６は左右各々の目に対して設定する必要があるが、ここでは説明の簡素化のために両眼に共通した座標系として説明する。

次に、視点位置姿勢算出部１０４における処理の概要を、図５に示すフローチャートを用いて説明する。
Ｓ５０１の前処理では、入力された実写画像に対して、固定閾値による２値化、連結領域ごとの面積・外接長方形計算を行う。本実施形態においては、これらの処理を１パスで行うアルゴリズムを用いることで高速化を図っている。

Ｓ５０２のマーカ抽出では、Ｓ５０１で検出された連結領域から、面積値によって巨大領域と微少領域を除外し、さらに連結領域に外接する長方形情報から、画像境界に接する連結領域も除外する。
残された連結領域に対して輪郭線追跡を行い、輪郭線上の画素位置をすべて記憶する。

輪郭線データに対して折れ線近似を行い、４本の線分によって十分な精度で近似できた連結領域をマーカ候補とする。そして、マーカ候補領域の４つの折れ点（頂点）の座標値を記憶しておく。

図６は、本実施形態に適用可能な次元マーカの例を示す。
２次元マーカは、黒い枠の中に識別用のパターン５０１が設けられた正方形マーカである。なお、本実施形態ではテンプレートマッチングによりマーカ識別を行っているため、中央部の識別用パターンはマーカの方向性（上下左右）が認識できる任意のシンボルを用いることができる。

そして、Ｓ５０３のマーカ識別では、実写画像と予め登録したパターンとのテンプレートマッチングによりマーカを検出及び識別する。
このテンプレートマッチングを行うためには、画像の正規化を行う必要がある。

まず、透視変換モデルによって、マーカをマーカ座標系４０１から理想スクリーン座標系４０３に投影する。
式１は、マーカ座標系４０１のＸ_ｍ−Ｙ_ｍ平面内の点（Ｘ_ｍ，Ｙ_ｍ，０）を、透視変換モデル行列Ｃによって理想スクリーン座標系４０３上の点（ｘ_ｃ，ｙ_ｃ）に変換する変換式である。

マーカの物理的な大きさ（図６における一辺の長さＬ（ｍｍ））は既知なので、その情報と画像から検出したマーカ候補領域の４頂点の座標値とを用いて、連立方程式を解くと透視変換モデル行列Ｃの値を求めることができる。従って、マーカ内部のパターンはこの式によって正規化できる。

具体的には、マーカ内部のパターン領域を縦横６４ｘ６４の領域に分割し、各領域に対応する画素値を入力画像から抜き出し、６４ｘ６４画素のパターン画像を得る。これを１６ｘ１６画素の画像に縮小し、テンプレートマッチングに使用する。

また、テンプレートマッチングに用いるテンプレートは、マーカの回転に対処するために、０度、９０度、１８０度、２７０度に回転した状態のものを各１枚、合計４枚作成しておく。

式２は、４枚のテンプレート画像と入力画像間の類似度を計算する式である。

式２において、ｘ_ｉは１６ｘ１６の縮小画像（画像ベクトル）のｉ番目の要素を示す。ｘ〜は要素の平均値で、Ｎは次元数（この場合は２５５となる）。ｘ^（ｌ）はｌ番目（ｌ＝１、２、３、４）のテンプレート画像（画像ベクトル）を意味し、ｘ_ｉ ^（ｌ）はｌ番目のテンプレート画像のｉ番目の画素を意味する。そして、式２は明るさの正規化された２つの画像ベクトルの余弦を求める式に相当する。
そして、縮小画像との類似度ｓが最大値となるテンプレートの種類と向きを、マーカの種類及び方向と見なす。

続いて、Ｓ５０４の頂点の位置検出では、マーカの各辺に対応する輪郭線データに最小２乗法で直線当てはめを行い、それら直線の交点を頂点座標値とする。

この直線当てはめの際、式３の歪み関数による変換を行い、理想スクリーン座標系４０３における頂点座標値を求める。
ここで、（ｘ_ｃ，ｙ_ｃ）は理想スクリーン座標系４０３における座標値、（ｘ_ｄ，ｙ_ｄ）は観測スクリーン座標系４０５における座標値である。

また、ｐは歪み率、（ｘ_ｃ０，ｙ_ｃ０）は歪み中心座標値で、この３パラメータはカメラキャリブレーションによって予め算出しておく。

観測された正方形マーカ画像には広角レンズの影響で樽型歪みが生じているため、マーカの辺は曲線として観測される。しかし、観測スクリーン座標系４０５から理想スクリーン座標系４０３への変換式３により樽型歪みが補正され、辺は直線として取り扱うことができる。

最後に、Ｓ５０５の後処理では、マーカの誤検出の抑制を行う。具体的には、処理中に過去のマーカの検出位置とその大きさを記憶しておき、検出されたマーカの位置・大きさが記憶されている値に類似している場合には、同一マーカと見なす。類似度が所定値よりも低い場合には異なるマーカもしくは誤検出と判断する。これにより、マーカのパターン識別誤りを抑制することが可能である。

次に、マーカの３次元位置推定処理に関して説明する。
まず、マーカ座標系４０１からカメラ座標系４０２への変換行列Ｔ_ｃｍ の推定を行う。
この変換行列は、回転移動成分Ｒと平行移動成分Ｔからなる。理想スクリーン座標系４０３とカメラ座標系４０２の間は透視変換モデルで変換でき、その具体的な変換行列Ｐは事前にキャリブレーションにより算出することができる。この透視変換モデルの算出は一般的に利用されている技術であるため、ここでは、その具体的な算出方法の説明は省略する。

以下の式４、５はこれらの座標系の関係を示したものである。

式１は、マーカ座標系４０１のＸ_ｍ−Ｙ_ｍ平面内座標値（２次元座標値）と理想スクリーン座標系４０３の関係式であったが、式４及び５は、マーカ座標系４０１の３次元座標値とカメラ座標系４０２の関係式である。

マーカ座標系４０１におけるマーカの４頂点の座標値は図６に示すように設定されており、これらに対応する理想スクリーン座標系４０３における座標値もこれまでの処理で得られている。

図７は式４及び式５より変換行列Ｔ_ｃｍを算出する際の手順を示したフローチャートである。
Ｓ７０１では、回転移動成分Ｒの推定を行う。

理想スクリーン座標系４０３におけるマーカの頂点位置から向かい合う２辺の直線の方程式が得られる（式６）。
そして、式５の（ｘ_ｃ，ｙ_ｃ）をこれに代入すると、式７が得られる。

式７は、カメラ座標系４０２によって表現される３次元空間中の平面の方程式であり、３次元空間中のマーカの辺がこの平面内に存在することを意味する。マーカの向かい合う２辺は平行なのでその方向ベクトルは一致し、式７の２平面の面内方向となる。つまり、式７の２平面の各法線ベクトルの外積として計算されるベクトルが、平行２辺のカメラ座標系４０２における方向ベクトルとなる。

この計算を２組の平行２辺に対して行うことで、マーカの隣り合う２辺の方向ベクトルＵ_１，Ｕ_２を求めることができる。本実施形態で用いるマーカは正方形であるので、理想的には、この２つのベクトルは直交するが、計測誤差により実際には直交しない。そこで、計測された２つの方向ベクトルに対し、それらを含む平面内で直交する２つの単位ベクトルＶ_１，Ｖ_２を計算し、これをＵ_１，Ｕ_２の代わりに用いる。

またこのＶ_１，Ｖ_２の外積を計算することでマーカ平面に垂直な方向の単位ベクトルＶ_３も得られる。このとき、［Ｖ_１ ^ｔ，Ｖ_３ ^ｔ，Ｖ_３ ^ｔ］が、マーカ座標系４０１からカメラ座標系４０２への回転変換成分Ｒとなる。

ただし、前述のテンプレートマッチングの結果から、２つの方向ベクトルとマーカ座標系４０１のＸ軸Ｙ軸の対応関係および正逆方向を判定しておく必要がある。マーカ座標系４０１のＺ軸はマーカ平面下向きに設定しているので、カメラ座標系４０２の原点から理想スクリーン座標系４０３でのマーカ対角線交点を向く方向ベクトルとの内積が正になる方向に設定する。

Ｓ７０２では、平行移動成分Ｔの推定を行う。
式４及び式５を結合し、マーカ４頂点のマーカ座標系４０１での座標値、理想スクリーン座標系４０３での座標値を代入すると、Ｔ_１，Ｔ_２，Ｔ_３に関する１次方程式が８個得られる。行列Ｐ，Ｒが既知なので、これらの式からＴ_１，Ｔ_２，Ｔ_３を計算できる。最後にＳ７０３では、変換行列Ｔ_ｃｍの修正を行う。

Ｓ７０２までの計算でＴ_ｃｍが一応求まるが、回転行列Ｒの計算においてしばしば大きな誤差を伴う。そこで、再度、画像情報を利用し回転行列Ｒの修正を行う。式４において回転行列は９個のパラメータＲ_１１〜Ｒ_３３で表現されているが、これを３つの回転角（ａ：Ｚ_ｍ軸の傾斜方向、ｂ：Ｚ_ｍ軸の傾斜角度、ｃ：Ｘ_ｍ−Ｙ_ｍ平面のＺ_ｍ軸周りの回転角）で表現する。

これはＺＹＺオイラー角表現を修正したものである。通常のオイラー角表現ではベクトルの微少変動が回転角に大きな変化を及ぼす場合があるが、この表現ではそのような影響が小さい。
式８は回転行列を回転角で表した式である。

この式より（式９）が導出でき、回転行列Ｒから各回転角ａ〜ｃを求めることができる。

そこで、これまでに求めたＴ_ｃｍを用いて、マーカ４頂点の座標値を式４，式５に代入することで、その理想スクリーン座標系４０３における座標値を計算できる。この計算値と実際に画像処理によって求められた値の誤差の２乗和が少なくなるようにａ，ｂ，ｃの値を修正する。具体的には、山登り法を用いて１０回の繰り返し処理により新たな回転行列Ｒを求める。さらにＳ７０２の処理を再度適用し平行移動成分Ｔも更新する。

カメラ座標系４０２からＨＭＤスクリーン座標系４０６への変換行列Ｔ_ｓｃを公知のキャリブレーション方法などによって予め算出しておく。算出した変換行列は、カメラ座標系４０２からＨＭＤスクリーン座標系４０６への射影行列として使用する。

このようにして、視点位置姿勢算出部１０４は、逐次観測によって得られるマーカ座標系４０１からカメラ座標系４０２への変換行列Ｔ_ｃｍと、変換行列Ｔ_ｓｃを用いて、マーカ座標系４０１で表現された３次元ＣＧモデルデータをＨＭＤスクリーン座標４０６に投影する変換行列を求める。そして、この変換行列を視点位置姿勢情報として画像生成部１０５に出力する。

画像合成部１０５はこの変換行列を用いてＣＧ画像を生成することで、ＨＭＤスクリーン座標系４０６に正しく投影されたＣＧ画像生成することができ、実写画像とＣＧ画像とが正しく位置合わせされた合成画像が生成できる。その結果、観察者はマーカ座標系を基準に表現された仮想物体を実世界のマーカ位置に存在する物体であるかのように見ることができる。

上述した仮想物体の３次元ＣＧモデルデータとして、センサ３０１の計測範囲を表す３次元ＣＧモデルデータを予め用意しておく。そして、２次元マーカを貼り付けたセンサ３０１をビデオカメラ１０１で逐次観測し、上述の処理によって現実空間と位置合わせして表示することにより、観察者は計測範囲を確認しながら作業することができる。

なお、センサの計測範囲を表すＣＧ画像は、常時生成、表示することも可能であるが、本来の複合現実感アプリケーションの体感の邪魔になる場合も考えられる。従って、例えば観察者が操作するスイッチのオン、オフに応じて、動的に、表示あり、無しを切り替え可能に構成してもよい。また、表示透明度を変更可能にして、必要な場合には透明度を下げ、不要な場合には透明度を上げて表示するように構成することも可能である。

また、本実施形態では、計測範囲を可視化したいセンサに直接２次元マーカを貼り付け、計測範囲の可視化を行ったが、例えばセンサのレイアウトを検討する場合などは、本物のセンサを用いる必要は無い。むしろ、センサが大型又は重い場合などは、配置の検討時には移動の容易な別のもの、例えばラケットや杖の先といった場所に２次元マーカを貼り付けておき、計測範囲を可視化しながらセンサの配置を検討し、決定後に実際のセンサを設置する方が作業効率が向上する。
また、本実施形態では、各センサに1つの２次元マーカを使用したが、マーカ間の位置関係が予め定義されている場合は、1つのセンサに対して複数の点マーカを使用することができる。また、同様に複数の２次元マーカを使用することもできる。

以上説明したように、本実施形態によれば、複合現実感技術を用い、センサの計測範囲を仮想物体として可視化することにより、センサの設置位置をすみやかに、かつ適切に、勘に頼ることなく決定することができる。
また、複合現実感アプリケーションの実行中に、観察者がセンサの計測範囲を把握することを可能とし、正しい範囲内で移動することを可能とする。

〈第２の実施形態〉
第２の実施形態に係る画像合成装置は、位置姿勢センサの設置後、実際に設置した位置姿勢センサの計測値から観察者の頭部の世界座標系における位置姿勢情報を取得する。そして、予め用意した、世界座標系で定義された、センサの計測範囲を表す３次元ＣＧモデルデータを、観察者の視線近傍に配置したカメラから得られる実写画像に重畳表示することによって位置姿勢センサの計測範囲を可視化するものである。

本実施形態では、観察者の世界座標系における位置姿勢をセンサの出力値にから求めることができる。よって、センサの計測範囲を表す３次元ＣＧモデルデータを、世界座標系で管理している。 なお、本実施形態においても、第１の実施形態と同様、計測範囲を可視化するための３次元ＣＧのモデルデータは、仕様による計測範囲であっても良いし、経験によって得られる計測範囲でも良い。また、モデルデータの表示方法も任意である。

第２の実施形態に係る画像合成装置の構成例を図１０に示す。なお、図１０において図１と同一の構成には同一の番号を付与し、説明を省略する。
１００１は、観察者の視点位置姿勢を検出する位置姿勢センサである。１００２は位置姿勢センサ１００１の出力に基づき世界座標系をＨＭＤスクリーン座標系４０６へ変換する変換行列を算出する視点位置姿勢算出部である。画像生成部１０５は、視点位置姿勢算出部１００２で算出された変換行列を用いて、仮想空間データベース１００３に格納されている世界座標系で定義されている３次元モデルに基づく仮想物体画像を生成する。
ただし、複合現実感技術の分野では周知であるように、位置姿勢センサの出力値をマーカから得られる情報によって補正することも可能である。

図８は本実施形態の画像合成装置によって実現されるセンサ計測範囲の表示を模式的に表す図である。
位置姿勢センサ１００１で観察者２０１の視点位置姿勢を検出する。そして、予め用意した、センサ１００１の計測範囲を表す３次元ＣＧモデルデータ（本実施形態では世界座標系で記述）と、観察者２０１に提示するためのＣＧオブジェクト８０１の３次元ＣＧモデルデータとを仮想空間データベース１００３より読み出す。次に、位置姿勢センサ１００１が測定した観察者の視点位置姿勢と、視点位置姿勢算出部１００２からの変換行列とから、ＨＭＤ１０８のスクリーン座標系４０６へ投影された３次元ＣＧ画像３０２を生成する。画像合成部１０７は画像入力部１０２からの実写画像に画像生成部１０５からのＣＧ画像３０２を合成し、ＨＭＤ１０８に表示させる。このようにして、観察者にセンサ１００１の計測範囲を視認させることができる。

ここで、単純にセンサの計測範囲を半透明３次元ＣＧ画像３０２により観察者２０１に提示すると、観察者２０１は計測範囲内において、計測範囲を表すＣＧ画像の中に閉じ込められているような感覚を受けることとなる。さらに、複合現実感アプリケーションにおいて本来視認させるべき目的のＣＧオブジェクトにセンサの計測範囲を表すＣＧ画像が重なって描画され、描画品質を劣化させたり、ＣＧオブジェクトの視認を妨げる原因になってしまうことがある。

本実施形態においては、実空間においてセンサがどこまで計測可能であるのかを観察者２０１が把握可能であればよい。したがって、計測範囲を表すＣＧ画像を常時描画する必要は必ずしもない。例えば、観察者２０１が計測範囲の境界線に近付いたときに、計測範囲を示す３次元オブジェクトの半透明度を調整して表示することにより、観察者２０１に計測範囲の限界に近づいていることを知らせるようにしてもよい。

このような表示方法を適用することで、観察者２０１の位置姿勢が正常に取得できている位置（すなわち、センサの計測範囲の十分内側に観察者が存在する状態）では、計測範囲を表すＣＧ画像を表示せず、計測範囲の境界に近付くにしたがって、観察者２０１に明示的に計測範囲の境界を示す方法を実現することができる。

以上説明したように、本実施形態によっても、センサの計測範囲を仮想物体として可視化することにより、センサの設置位置をすみやかに、かつ適切に、勘に頼ることなく決定することができる。
また、複合現実感アプリケーションの実行中に、観察者がセンサの計測範囲を把握することを可能とし、正しい範囲内で移動することを可能とする。

（第３の実施形態）
上述の実施形態においては、いずれも観察者にセンサの計測範囲を提示するものであった。しかしながら、画像合成装置のオペレータに、可視化したセンサの計測範囲を提示することも可能である。オペレータ用の操作画面にセンサの計測範囲を可視化することによって、オペレータは観察者とセンサ計測範囲との位置関係を把握することができる。そのため、オペレータが観察者の作業をモニタリングする場合などにおいて、観察者を適切な位置（センサ計測範囲内）に誘導することが可能となる。
また、図８に示すようなＣＧオブジェクトを動的に観察者に提示させる場合、観察者にとって最も見易い位置に配置させることも可能となる。

このように、オペレータに対してセンサ計測範囲を提示する場合には、観察者とセンサの計測範囲との関係が把握できるような第３者の視点位置姿勢から見た可視化画像を用いることが好ましい。図８は、オペレータに対して提示する画像の例を示す。このように、全体を見渡せる第３者の視点位置姿勢を用いて画像生成部１０５で観察者（３次元ＣＧモデルを登録しておく）及びセンサの計測範囲をＣＧ画像として生成し、図示しないオペレータ用表示装置に提示することができる。図８では、斜め上方から全体を見下ろすような第３者の視点位置姿勢を用いた例を示している。しかし、真下を見るような第３者の視点位置姿勢として、俯瞰図のように、上方から複合現実空間を模式的に表すような画像を生成してオペレータに提示しても良い。

なお、現実空間上に配置される位置姿勢センサの計測範囲を仮想物体としてコンピュータグラフィクスにより描画し、現実空間を撮像した実写画像に位置合わせして合成することにより位置姿勢センサの計測範囲を可視化することができれば、上述した実施形態以外の任意の構成の画像合成装置に本発明を適用することができる。

（第４の実施形態）
第４の実施形態に係る画像合成装置は、観察者の位置姿勢情報を取得するために、位置姿勢センサに加え客観カメラ（第３者の視点位置姿勢から撮影するカメラ）を用いることで、一層高精度に観察者の位置姿勢情報を取得する。また、センサの計測範囲および客観カメラの計測範囲の両方を可視化し、提示する。

客観カメラを用いて位置姿勢情報を取得する場合、客観カメラがどの程度の視野範囲（計測範囲）をカバーし、位置姿勢情報の取得に寄与できるのかについて、客観カメラの実写映像から判断することは困難である。また、位置姿勢情報の精度を向上させるために、複数台の客観カメラをシーン中に配置して計測を行う場合がある。この場合、どの客観カメラとどの客観カメラの計測範囲が重なり合っているか、といった情報が必要となるが、客観カメラの実写映像からだけでは判断が困難である。

つまり、シーン中に客観カメラを配置する場合にも、上述のセンサ配置の問題と同様の問題が生じる。そこで、この問題を解決するため、本実施形態では、上述のセンサの計測範囲を可視化するのと同様の方法で、客観カメラの視野範囲（計測範囲）を可視化してオペレータおよび観察者に提示する。

第４の実施形態に係る画像合成装置の構成例を図１１に示す。なお、図１１において図１又は図１０と同一の構成には同一の番号を付与し、説明を省略する。
１１０１は、観察者２０１の視点位置姿勢を精度良く検出するために配置された客観カメラである。客観カメラ１２０１の位置姿勢は固定かつ既知である。また、観察者２０１の視点位置姿勢を検出するための目安として、観察者の頭部に、例えばＨＭＤを利用して少なくとも１点、好ましくは複数のマーカを取り付けておく。複数のマーカを取り付ける場合、マーカ間の位置姿勢関係を予め求めておく。客観カメラ１２０１の撮影した映像は、画像入力部１０２と同様の画像入力部１１０２を通じて入力される。

マーカ検出部１１０３は画像入力部１１０２から供給される画像から、観察者の頭部に装着されたマーカ、例えば２次元マーカを検出する。この２次元マーカは、画像から抽出可能な特徴（色、形、パターンなど）を有する指標である。従って、マーカ検出部１１０３は、２次元マーカの有する特徴に合致する領域を画像中から探索することにより２次元マーカを検出する。

視点位置姿勢算出部１００２は、位置姿勢が既知の客観カメラ１２０１が撮影した画像に含まれる、観察者頭部に装着されたマーカの３次元位置、姿勢を算出する。この算出には、マーカ検出部１１０３が検出したマーカ情報（画像中の位置やマーカの向き、面積など）と、客観カメラ１２０１のカメラパラメータなどを用いる。そして、算出したマーカの位置姿勢から、観察者の視点位置姿勢を算出する。

そして、視点位置姿勢算出部１００２は、客観カメラ１２０１が撮影する映像に基づいて算出した視点位置姿勢を用い、位置姿勢センサ１００１の出力を補正する。そして、補正した視点位置姿勢値に基づき、世界座標系をＨＭＤスクリーン座標系４０６へ変換する変換行列を算出する。画像生成部１０５は、視点位置姿勢算出部１００２で算出された変換行列を用いて、仮想空間データベース１００３に格納されている、世界座標系で定義されている３次元モデルに基づく仮想物体画像を生成する。また、センサ３０１の計測範囲や、客観カメラ１２０１の視野範囲１２０２を表す３次元モデルも、仮想空間データベース１００３に予め格納しておき、仮想物体画像として描画、表示することができる。

図１２は本実施形態の画像合成装置によって実現される、センサ計測範囲及び客観カメラの視野範囲の表示を模式的に表す図である。ここで、図１２では、説明及び理解を簡単にするため、客観カメラを１台用いる例を示しているが、複数台の客観カメラを用いてもよい。

視点位置姿勢算出部１００２位置姿勢センサ１００１の測定結果からもで観察者２０１の視点位置姿勢を検出する。そして、客観カメラ１２０１で撮影した画像から検出した観察者２０１の視点位置姿勢を用い、位置姿勢センサ１００１の測定値を補正する。視点位置姿勢算出部１００２は、補正した視点位置姿勢を用いて変換行列を算出する。

そして、画像生成部１００５は、予め用意した、客観カメラ１２０１およびセンサ１００１の計測範囲１２０１及び３０２を表す３次元ＣＧモデルデータ（本実施形態では世界座標系で記述）を、仮想空間データベース１００３から読み出す。また、観察者２０１に提示するためのＣＧオブジェクト８０１の３次元ＣＧモデルデータもまた、仮想空間データベース１００３より読み出す。画像合成部１０５は、これらの３次元ＣＧモデルデータと、視点位置姿勢算出部１００２が算出した変換行列とから、ＨＭＤ１０８のスクリーン座標系４０６へ投影された３次元ＣＧ画像を生成する。画像合成部１０７は画像入力部１０２からの実写画像に画像生成部１０５からのＣＧ画像を合成し、ＨＭＤ１０８に表示させる。このようにして、観察者２０１に、客観カメラ１２０１および位置姿勢センサ１００１の計測範囲１２０２および３０２を視認させることができる。

また、第３の実施形態において説明したように、客観カメラ１２０１の計測範囲１２０２と、位置姿勢センサ１００１の計測範囲３０２とを、画像合成装置のオペレータに提示するように構成することももちろん可能である。
この場合、客観カメラ１２０１とは別の、オペレータ用の画像（客観画像）を生成するための仮想客観カメラとして第３者の視点位置姿勢を想定し、オペレータに提示する画像を生成、表示すればよい。

なお、客観カメラの視野範囲（計測範囲）を示すＣＧオブジェクト１２０２の奥行きは、客観カメラ１２０１で撮影した画像から、実際にどの程度離れた位置までのマーカを（視点位置姿勢の検出に利用可能な大きさで）観察できるかに基づいて決定する。これは、実際に使用する客観カメラ１２０１の性能やマーカの大きさ等に依存するため、予め計測して定めることができる。

なお、本実施形態では、位置姿勢センサと客観カメラの組み合わせにより観察者の視点位置姿勢を算出し、計測範囲を可視化した。しかし、客観カメラを必ずしも位置姿勢センサと組み合わせる必要はない。例えば、ジャイロ等の姿勢センサと客観カメラを組み合わせることにより観察者の視点位置姿勢を検出し、複合現実空間を構築する画像合成装置であってもよい。

（他の実施形態）
上述の実施形態において、センサや客観カメラの計測範囲を観察者およびオペレータに、より効果的に提示するための方法としては、以下の方法を例示できる。例えば、計測範囲を、取得可能な位置姿勢情報の精度に応じて色分けし、グラデーション表示を行う方法。また、視野範囲（計測範囲）を半透明のＣＧオブジェクトとして描画し、視野範囲同士が重なり合う部分が、ＣＧオブジェクトの色の混合により把握可能なように表示する方法などがある。さらに、シーン中に存在する客観カメラの番号等を、客観カメラの画像に注釈情報として重畳表示するなどして、観察者およびオペレータに提示する方法などもある。

また、第４の実施形態においては、位置姿勢センサと客観カメラの両方の計測範囲を可視化していたが、客観カメラの計測範囲だけを可視化する構成であっても良い。また、位置姿勢センサの計測範囲のみ、客観カメラの計測範囲のみ、両方の計測範囲、を切り換えて表示するように構成することももちろん可能である。

また、上述した画像合成装置と同等の機能を複数の機器から構成されるシステムによって実現しても良い。
尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。

つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

本発明の第１の実施形態に係る画像合成装置の構成例を示すブロック図である。 図１の画像合成装置を複合現実感アプリケーションに適用した場合の具体的な機器配置と、観察者が体感する複合現実感を模式的に示す図である。 本実施形態における位置姿勢センサの計測範囲可視化を模式的に示す図である。 本実施形態の画像合成装置が取り扱う座標系を示す図である。 本実施形態の画像合成装置における視点位置姿勢算出処理の概要を説明するフローチャート。 本実施形態で用いることのできる２次元マーカの例を示す図である。 変換行列Ｔ_ｍを算出する手順を説明するフローチャートである。 本発明の第２の実施形態の画像合成装置によって実現されるセンサ計測範囲の表示を模式的に表す図である。 センサ計測範囲の仕様例を模式的に表す図である。 本発明の第２の実施形態に係る画像合成装置の構成例を示すブロック図である。 本発明の第４の実施形態に係る画像合成装置の構成例を示すブロック図である。 本発明の第４の実施形態に係る画像合成装置によって実現されるセンサ計測範囲及び客観カメラの視野範囲の表示を模式的に表す図である。

Claims (12)

1. 現実空間に配置されたセンサの位置姿勢を入力するセンサ位置姿勢入力手段と、
   前記センサの計測範囲の内外を移動可能な観察者の、前記測定範囲内における位置を前記センサによって計測した、複数の計測位置を入力する計測位置入力手段と、
   前記計測位置入力手段によって入力された前記複数の計測位置のうち、前記観察者が前記センサの計測範囲外に移動する直前に計測された計測位置を、境界計測位置として記録する境界計測位置記録手段と、
   前記記録された境界計測位置に基づいて、前記センサの計測範囲を示す仮想物体の３次元モデルを生成するモデル生成手段と、
   前記入力されたセンサの位置姿勢に基づいて、前記現実空間に対応する仮想空間に前記生成した３次元モデルを配置するモデル配置手段と、
   前記観察者が前記センサの計測範囲外に存在するときの前記観察者の視点の位置姿勢を入力する視点位置姿勢入力手段と、
   前記観察者の視点の位置姿勢に基づいて、前記３次元仮想モデルが配置された前記仮想空間の画像を生成する仮想画像生成手段と、
   前記仮想空間の画像を前記観察者に提示する提示制御手段と、
   を有することを特徴とする情報処理装置。
2. 前記モデル生成手段が、前記境界計測位置を頂点としたポリゴンを生成することにより、前記計測範囲を示す仮想物体の３次元モデルを生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記現実空間を前記観察者の視線方向に撮像した撮像画像を入力する画像入力手段を更に有することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記画像入力手段が、前記現実空間を、前記センサに配置された指標がふくまれるように前記観察者の視線方向に撮像した撮像画像を入力し、
   前記センサ位置姿勢入力手段が、前記撮像画像中の前記指標の画像に基づいて算出された前記センサの位置姿勢を入力することを特徴とする請求項３に記載の情報処理装置。
5. 前記画像入力手段が、前記現実空間を、前記センサとは異なる物体に配置された指標を含むように前記観察者の視線方向に撮像した撮像画像を入力し、
   前記モデル配置手段が、前記入力されたセンサの位置姿勢に代えて、前記センサとは異なる物体に配置された前記指標の画像に基づいて計算された位置姿勢に基づいて、前記現実空間に対応する仮想空間に前記生成した３次元モデルを配置することを特徴とする請求項３に記載の情報処理装置。
6. 前記画像入力手段が、前記現実空間を、前記現実空間に配置された指標を含むように前記観察者の視線方向に撮像した撮像画像を入力し、
   前記視点位置姿勢入力手段が、前記撮像された指標の画像に基づいて算出された前記観察者の視点の位置姿勢を入力することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記撮像画像と前記仮想空間の画像とを合成した合成画像を生成する合成手段を更に有し、
   前記提示制御手段が、前記合成画像を前記観察者に提示させることにより、前記仮想空間の画像を前記観察者に提示することを特徴とする請求項３乃至６の何れか１項に記載の情報処理装置。
8. 前記センサが磁気センサであることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記センサは複数あり、
   前記境界計測位置記録手段が、前記複数のセンサの各々について前記境界計測位置を記録し、
   前記モデル生成手段が、前記複数のセンサの各々について前記計測範囲を示す３次元モデルを生成し、
   前記モデル配置手段が、前記複数のセンサの各々についての３次元モデルを配置し、
   前記仮想画像生成手段が、前記３次元モデルごとに異なる色を有する前記仮想空間の画像を生成することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 前記仮想画像生成手段が、複数の３次元モデルが互いに重なる部位の色を、当該複数の３次元モデルが互いに重ならない部位とは異ならせて前記仮想空間の画像を生成することを特徴とする請求項９に記載の情報処理装置。
11. コンピュータを、請求項１乃至１０の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
12. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置が有するセンサ位置姿勢入力手段が、現実空間に配置されたセンサの位置姿勢を入力するセンサ位置姿勢入力工程と、
    前記情報処理装置が有する計測位置入力手段が、前記センサの計測範囲の内外を移動可能な観察者の、前記計測範囲内における位置を前記センサによって計測した、複数の計測位置を入力する計測位置入力工程と、
    前記情報処理装置が有する境界計測位置記録手段が、前記計測位置入力工程で入力された前記複数の計測位置のうち、前記観察者が前記センサの計測範囲外に移動する直前に計測された計測位置を、境界計測位置として記録する境界計測位置記録工程と、
    前記情報処理装置が有するモデル生成手段が、前記記録された境界計測位置に基づいて、前記センサの計測範囲を示す仮想物体の３次元モデルを生成するモデル生成工程と、
    前記情報処理装置が有するモデル配置手段が、前記入力されたセンサの位置姿勢に基づいて、前記現実空間に対応する仮想空間に前記生成した３次元モデルを配置するモデル配置工程と、
    前記情報処理装置が有する視点位置姿勢入力手段が、前記観察者が前記センサの計測範囲外に存在するときの前記観察者の視点の位置姿勢を入力する視点位置姿勢入力工程と、
    前記情報処理装置が有する仮想画像生成手段が、前記観察者の視点の位置姿勢に基づいて、前記３次元モデルが配置された前記仮想空間の画像を生成する仮想画像生成工程と、
    前記情報処理装置が有する提示制御手段が、前記仮想空間の画像を前記観察者に提示する提示制御工程と
    を有することを特徴とする情報処理方法。

Images