JP4401727B2

JP4401727B2 - 画像表示装置及び方法

Info

Publication number: JP4401727B2
Application number: JP2003341628A
Authority: JP
Inventors: 隆麻生; 宏明佐藤; 雅博鈴木; 壽弘中澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-09-30
Filing date: 2003-09-30
Publication date: 2010-01-20
Anticipated expiration: 2023-09-30
Also published as: US7312795B2; CN1604014A; US20050068314A1; JP2005107970A; EP1521482B1; EP1521482A3; CN1320423C; EP1521482A2

Description

本発明は、任意視点における現実空間の映像情報に、仮想空間の映像情報を重畳し、観察者に提示する複合現実感システムにおける画像表示装置及び方法に関する。

複合現実感システムとは、現実空間映像と、ユーザの視点位置、視線方向等に応じて生成される仮想空間映像とを合成することにより得られる合成映像をユーザに提供するものである。複合現実感システムでは、現実空間中に仮想物体が実在しているかのような感覚を観察者に提示することが可能であり、従来の仮想現実感システム（ＶＲシステム）に比べてよりリアルに、実寸感覚を伴った観察が可能である（特許文献１を参照）。

一方、従来、設計・製造分野において３次元ＣＡＤを使った設計（形状、デザイン）が主流になってきている。３次元ＣＡＤで設計された物体を評価する方法としては、３次元ＣＡＤで作成されたデータ（ソリッド形式）を３次元コンピュータぐらいフィックス（以下、３Ｄ−ＣＧ）として計算機の画面上に表示して視覚的に評価する方法や、ラピッド・プロトタイピング装置などで簡易試作物（簡易モックアップ）を作成し、視覚に加えて触覚的に評価する方法などが主流である。
特開平１１−１３６７０６号公報

しかし、３次元ＣＡＤデータを３Ｄ−ＣＧとして計算機の画面上に表示する方法では、仮想空間内での評価となり、現実空間内での実寸感覚で物体の評価をすることができない。また、ラピッド・プロトタイピング装置などで簡易試作物（簡易モックアップ）を作成する方法は、加工精度、素材などの制約により、おおまかな形状を把握するのには有効であるが、デザインや形状の詳細、色彩など、３Ｄ−ＣＡＤ上で設計した詳細な情報が再現されるものではない。したがって、より完成品に近い状況で、設計データを評価する方法が求められている。

本発明は上記の課題に鑑みてなされたものであり、簡易的に試作された模型を用いながら、完成品に近い形で設計評価を可能とすることを目的とする。

上記の目的を達成するための本発明による画像表示方法は、
任意視点における現実空間の映像情報に仮想空間の映像情報を重畳し、観察者に提示する画像表示装置による画像表示方法であって、
撮像手段が、現実空間の映像情報を撮像装置により取り込む撮像工程と、
計測手段が、前記撮像装置と、マーカの添付位置を指示するマークを有する３次元ＣＡＤデータとしてのソリッドデータに基づいて作成された模型との位置及び姿勢を計測し、前記撮像工程によって得られる映像中の該模型の位置及び姿勢を示す位置／姿勢情報を取得する計測工程と、
変換手段が、前記ソリッドデータを３次元コンピュータグラフィック画像用のデータに変化する変換工程と、
合成手段が、前記位置／姿勢情報に基づいて、前記撮像工程で得られた映像中の前記模型に重なるように前記変換工程で得られた３次元コンピュータグラフィック画像用のデータを描画して、該映像と該３次元コンピュータグラフィック画像を合成する合成工程と、
特徴点抽出手段が、前記撮像工程で得られた映像より、前記模型上のマーカを抽出する特徴点抽出工程とを備え、
前記計測工程では、前記撮像工程で得られた映像における前記模型と前記撮像装置の相対的な位置／姿勢情報を、前記特徴点抽出工程で抽出された前記マーカの映像上の位置と前記模型上のマークに対応する前記３次元ＣＡＤデータが有する前記マーカの添付位置の情報とに基づいて補正する。

また、上記の目的を達成するための本発明の他の態様による画像表示装置は以下の構成を備える。すなわち、
任意視点における現実空間の映像情報に仮想空間の映像情報を重畳し、観察者に提示する画像表示装置であって、
現実空間の映像情報を取り込む撮像手段と、
前記撮像手段と、マーカの添付位置を指示するマークを有する３次元ＣＡＤデータとしてのソリッドデータに基づいて作成された模型との位置及び姿勢を計測し、前記撮像手段によって得られる映像中の該模型の位置及び姿勢を示す位置／姿勢情報を取得する計測手段と、
前記ソリッドデータを３次元コンピュータグラフィック画像用のデータに変化する変換手段と、
前記位置／姿勢情報に基づいて、前記撮像手段によって得られた映像中の前記模型に重なるように前記変換手段で得られた３次元コンピュータグラフィック画像用のデータを描画することにより、該映像と該３次元コンピュータグラフィック画像を合成する合成手段と、
前記撮像手段により得られた映像より、前記模型上のマーカを抽出する特徴点抽出手段とを備え、
前記計測手段は、前記撮像手段で得られた映像における前記模型と前記撮像装置の相対的な位置／姿勢情報を、前記特徴点抽出手段により抽出された前記マーカの映像上の位置と前記模型上のマークに対応する前記３次元ＣＡＤデータが有する前記マーカの添付位置の情報とに基づいて補正する。

上記の構成によれば、３次元ＣＡＤデータに基づいて生成された簡易模型の実写映像部分に当該３次元ＣＡＤデータに基づくコンピュータグラフィックス画像を重畳表示させることが可能となるので、より完成品に近い状況で、設計データを評価することができる。

以下、添付の図面を参照して本発明の実施形態について説明する。

＜第１実施形態＞
以下に説明する本実施形態の複合現実感システムでは、３次元ＣＡＤのデータよりラピッド・プロトタイピング装置で作成した簡易試作物（簡易モックアップ）に、同じ３次元ＣＡＤのデータを変換して作成した３次元ＣＧ（３Ｄ−ＣＧ）データを、複合現実感システムを使って位置・姿勢方向を一致させて重ね合わせ、表示する。これにより、視覚的な評価と触覚的な評価を同時に実現し、より完成品に近い状態での評価を可能とする。

第１実施形態によるシステム構成を図１に示す。

図１において、１００は観察者が頭部に装着して現実空間と仮想空間を合成した映像を観察するための頭部装着型映像入出力装置（頭部装着型ディスプレイ（Head Mounted Display）などと呼ばれる。以下、ＨＭＤと称する）である。また、２００は磁場を発生させる磁気トランスミッタ、２０１、２０２は磁気トランスミッタ２００が発生させた磁場の変化を計測するための磁気センサである。２０５は位置・姿勢計測装置であり、磁気センサ２０１、２０２の計測結果より、各磁気センサの位置・姿勢を計測する。磁気センサ２０１はＨＭＤ１００に取り付けられており、観察者の視点位置、視線方向を算出するのに用いられる。３００は観察者が手で保持、操作する操作手段としての簡易試作物（簡易モックアップ）である。簡易試作物３００には、ＨＭＤ１００と同様に磁気センサ２０２が組み込まれている。磁気センサ２０２の簡易試作物３００における位置や姿勢は既知であり、位置・姿勢計測装置２０５は、磁気センサ２０２の計測結果に基づいて、簡易試作物３００の位置・姿勢を算出する。なお、磁気センサ２０２の位置や姿勢は、予め物理的に計測して情報処理装置４００にインプットされているものとする。３０１は簡易試作物を観察するための台である。

１０１はＨＭＤ１００に組み込まれている映像表示装置、１０２はＨＭＤ１００に組み込まれている映像入力装置であり、それぞれ右目、左目用に２セットずつ組み込まれている。４００は情報処理装置であって、位置・姿勢計測装置２０５により算出した位置・姿勢情報に合わせたＣＧ映像を生成し、ＨＭＤ１００の映像入力装置１０２より入力した映像に重畳し、得られた合成映像をＨＭＤ１００の映像表示装置１０１に向けて出力するものである。

次に、ＨＭＤ１００の具体的な構成について図２を参照して説明する。図２において１０１は図１でも示されている映像表示装置であり、０．５〜数インチ程度の小型の液晶表示デバイス等で構成される。１０３は、映像表示装置１０１の映像を拡大するレンズの役目を果たす自由曲面プリズムである。これらの構成により、映像表示装置１０１に表示された映像は、観察者にとってはたとえば２ｍ先に９０インチ相当の映像として提示される。

１０２は図１にも示されている映像入力装置であり、ＣＣＤカメラ、ＣＭＯＳカメラなどの撮像デバイスで構成されるものである。１０４は現実空間の光を映像入力装置１０２に収束させるためのレンズの役目をはたす撮像系プリズムである。撮像系プリズム１０４は自由曲面プリズム１０３の外側に、両プリズムにおける光軸を一致させるように配置することで、映像入力装置１０２で入力した映像と、映像表示装置１０１に表示した映像の視差をなくし、現実空間の映像を違和感なく再現することを可能としている。

次に、図１における情報処理装置４００の具体的な構成について、図３を使って説明する。

４０１Ｌ、Ｒは映像キャプチャ部であり、映像入力装置１０２より入力した映像データを取り込み、デジタル信号として情報処理装置４００内に提供する。４０４は位置・姿勢情報入力部であり、位置・姿勢計測装置２０５より送られるＨＭＤ１００と簡易試作物３００の位置・姿勢データを情報処理装置４００内に取り込む。４０５は位置・姿勢算出部であり、位置・姿勢入力部４０４からの入力データをもとに、ＨＭＤ１００と簡易試作物３００の相対的な位置関係を算出する。

４０６は簡易試作物３００に重畳させるための３ＤＣＧ描画データである。４０７はＣＧレンダリング部であり、位置・姿勢算出部４０５で算出したＨＭＤ１００と簡易試作物３００の相対的な位置関係に基づいて、右目用、左目用それぞれのＣＧデータを描画させるべき位置、大きさ、角度（パース）などを計算し、その計算結果に基づいて３ＤＣＧ描画用データ４０６をレンダリングする。

４０２Ｌ、Ｒは映像合成部であり、映像キャプチャ部４０１Ｌ、Ｒで取り込んだ現実空間の映像データに、ＣＧレンダリング部４０７で生成したＣＧ映像を重畳する。４０３Ｌ、Ｒは映像生成部であり、合成した映像をアナログデータに変換し、映像表示装置１０１に出力する。

上記構成による本実施形態の処理の流れを、図４を使って説明する。まず、３Ｄ−ＣＡＤのデータから簡易試作物３００と３ＤＣＧ描画用データ４０６を作成する手順を図４左側の処理手順で説明する。

通常３次元ＣＡＤシステムを使って形状やデザインなどの設計業務を行う（１０１０）場合、設計データはそれぞれの３次元ＣＡＤシステム固有のソリッドデータとして保存されるのが一般的である。簡易試作物３００は、このソリッドデータより、光造形などのラピッド・プロトタイピング装置を使って作成する（１１１０）。一方、３Ｄソリッドデータは、各設計部品の幾何学的なパラメータの集合で表現されており、そのままではＣＧとして描画することはできない。そこで、３Ｄソリッドデータを３ＤＣＧの描画に適したデータ形式（たとえばＶＲＭＬなど）に変換する（１２１０）。

本実施形態の複合現実感システムでは、このように変換された３ＤＣＧ描画用データ４０６を使って仮想空間を生成する。

次に、本実施形態における複合現実感システムの処理手順について、図４右側の処理手順で説明する。

磁気トランスミッタ２００と磁気センサ２０２のデータを使って、位置・姿勢計測装置２０５は簡易試作物３００の現実空間中における位置・姿勢を計測する（２０１０）。同様に、磁気トランスミッタ２００と磁気センサ２０１のデータを使って、位置・姿勢計測装置２０５は観察者が装着しているＨＭＤ１００の現実空間中における位置・姿勢を計測する（２０２０）。位置・姿勢計測装置２０５によって得られた計測データは、位置・姿勢情報入力部４０４を通して情報処理装置４００に取り込まれる。そして、位置・姿勢算出部４０５においてＨＭＤ１００と簡易試作物３００との相対的な位置・姿勢関係が計算される（２０３０）。

一方、上記の処理２０１０、２０２０、２０３０と並行して、ＨＭＤ装置１００の映像入力装置１０１からの現実空間の映像を、映像キャプチャ部４０１を通して情報処理装置４００に取り込む（３０１０）。ＣＧレンダリング部４０７では、処理２０３０で算出した相対的な位置関係と３ＤＣＧ描画用データ４０６を用いてＣＧを描画し、ビデオバッファなどのメモリ（不図示）に展開する（２０４０）。

一方、処理３０１０で取り込んだ現実空間の映像データもビデオバッファなどのメモリに展開する（３０２０）。映像合成部４０２Ｌ、Ｒは、上記の処理２０４０で生成したＣＧ映像を、処理３０２０で展開した映像データに重畳する（４０１０）。合成された映像は、映像生成部４０３にてアナログ等のビデオ信号に変換され、ＨＭＤ１００の映像表示装置１０１に表示される（４０２０）。

上記２０１０から４０２０までの処理を映像表示装置１０１における映像更新間隔あるいはＣＧ描画２０４０における更新間隔で繰り返し行うことで、リアルタイムに情報提示を行う。このシステムによる処理結果の一例を図５に示す。

図５において、（ａ）では、ＨＭＤ１００に搭載された映像入力装置１０２より入力した現実空間の映像（簡易試作物３００の実映像）が示されている。（ｂ）では、現実空間の簡易試作物３００の位置に、ＣＧデータに基づくＣＧ画像を重畳した画像、すなわちＨＭＤ１００に搭載された映像表示装置１０１に表示される映像が示されている。

なお、第１実施形態では、位置・姿勢を計測する手段として磁気を使った装置を例に説明したが、本発明はこれに限定されるものではなく、光学的な位置・姿勢計測装置など他の手段で実現できることはいうまでもない。

＜第２実施形態＞
第１実施形態においては、磁気を利用した位置・姿勢計測を例に説明した。しかしながら、磁気を利用した位置・姿勢計測においては、環境により計測精度が不安定になる場合がある。たとえば磁気トランスミッタの近傍に金属物体が存在する場合には磁場が乱れ、磁気センサの出力する値が不安定になる。また、磁気トランスミッタと磁気センサの距離が遠くなるほど、計測精度が悪化するなどの問題がある。このような計測精度の問題は、磁気利用のセンサに限らず、種々の方式の位置・姿勢計測装置においても発生する。例えば、光学的に位置・姿勢を計測する手段が存在するが、この場合には光を発光させる装置と、光を受光する装置との間に遮蔽物などが存在すると計測が不安定になり、誤差が生じるなどの問題がある。

そこで、第２実施形態の複合現実感システムでは、情報処理装置４００内に取り込んでいる現実空間の映像データを用いて位置・姿勢を補正し、その計測精度を向上する。例えば、図６に示すように、簡易試作物３００に画像認識用のマーカを添付し、これを特徴点として用いる。マーカとしては、位置・姿勢補正のアルゴリズムにより、形状マーカ３０１あるいは、色マーカ３０２など種々のものが考えられる。

ここで、特徴点を用いた位置・姿勢の補正方法について説明する。ここでは、一般的な補正方法として、映像入力部（カメラ）の外部パラメータを特徴点１点から補正する方法について説明する。なお、ここで特徴点とは、人工的に特定の色や形の情報をもったシール状のものなどを現実空間中の簡易試作物に貼り付けたマーカを用いても良いし、簡易試作物の形状の特徴的な部分を特徴点としても良い。

図７は映像入力装置（カメラ）の外部パラメータ（位置・姿勢をあらわすパラメータ）の一般的な補正方法を説明する模式図である。図７において、点Ａは映像入力装置（カメラ）及び簡易試作装置３００の位置・姿勢に基づいて予測される特徴点の位置、点Ｂはこの特徴点の実際の位置、点Ｃは映像入力装置（カメラ）視点の位置を表す。なおここでは、点Ａ、点Ｂが示す位置はカメラ座標系における位置であって、点Ｃは映像入力装置（カメラ）座標系の原点である。また、点Ｐは撮像面上における点Ａの位置、点Ｑは撮像面上における点Ｂの位置を示す。ここで、図７に示すように、点Ｐ、Ｑの座標を各々（ｘ_p，ｙ_p）、（ｘ_q，ｙ_q）、撮像面の幅、高さを各々ｗ、ｈ、カメラの焦点距離（撮像面から映像入力装置までの距離）をｄとし、ｖ₁を点Ｃから点Ｑへのベクトル、ｖ₂を点Ｃから点Ｐへのベクトル、θをｖ₁とｖ₂のなす角度とする。

まず、特徴点１点を用いて姿勢をθだけ点Ｂ方向から点Ａ方向に変化させる方法（映像入力装置の回転による補正方法）について説明する。

上記の設定から、ｖ₁、ｖ₂を求めると、各々の成分は以下の（１）式のようになる。

次に、各々のベクトルを、以下の（２）式により大きさ１のベクトルに正規化する。なお、|ｖ|は、ベクトルｖの大きさをあらわす。

ここで、映像入力装置（カメラ）を回転させる場合、その回転軸はベクトルｖ₁、ｖ₂がなす平面と直行し、カメラ視点位置（点Ｃ）を通る直線となる。この回転軸の方向ベクトルは、（３）式に示すように、ベクトルｖ₁、ｖ₂の外積により求めることができる（実際には正規化したもの（ｖ₁’、ｖ₂’）を用いる）。

ここで、ｖ_xは回転軸の方向ベクトルであって、その成分を（ｌ,ｍ,ｎ）とする。また、回転角θはベクトルｖ₁、ｖ₂がなす角度なので、以下の（４）式のように求めることができる。

よって、映像入力装置の回転による補正に用いる補正行列ΔＭｃは、以下の（５）式のように計算される。

この補正行例を映像入力装置の位置・姿勢を示す行列にかけることで、映像入力装置の位置・姿勢が補正される。つまり、点Ｐが点Ｑの位置に表示され、撮像面上におけるランドマークの位置姿勢パラメータから予測される位置と実際の位置とが一致する。なお、上述の説明では、映像入力装置（カメラ）の回転を使った補正方法について説明したが、映像入力装置の平行移動により誤差を補正する方法なども使用可能である。また、複数の特徴点を使った補正方法でも同様の効果が得られるが、説明は省略する。

次に、第２実施形態のシステムにおける情報処理装置４００の構成図と処理の流れについて、図８及び図９を参照して説明する。図８に示すように、第２実施形態では、映像キャプチャ部４０１Ｌ、Ｒによって得られた画像データからマーカを検出するためのマーカ検出部４１０が設けられている。そして、マーカ検出部４００によるマーカの検出結果、すなわち図７における点Ｑの座標値が位置・姿勢算出部４０５に送られる。位置・姿勢算出部４０５では、この点Ｑの座標値を用いて、図７を参照して説明したように位置・姿勢を補正する。その他の構成は第１実施形態（図３）と同じである。

第２実施形態による処理の流れを図９を使って説明する。なお、第１実施形態（図４）と同じ処理には同じ参照番号を付してある。

処理１１１０において３Ｄソリッドデータより光造形などのラピッド・タイピング装置で作成した簡易試作物３００に対して、マーカを添付する（１１２０）。さらに、マーカを添付した位置情報を記録する（１１３０）。なお、マーカの位置情報は、別途計測装置を用いて計測した３次元情報を用いればよい。また、特徴点を用いる場合は、当該特徴点の位置をＣＡＤデータから取得することが可能である。更に、マーカの添付位置を指示するようなマークを簡易試作物上に形成するようにＣＡＤデータを生成すれば、ＣＡＤデータからマーカの位置情報を取得することも可能である。

一方、複合現実感システムの処理では、処理３０１０において現実空間の映像データを情報処理装置４００内に取り込んだ後、マーカ検出部４１０にて、現実空間の映像データ中より簡易試作物３００に添付されたマーカの位置を抽出する（３０１１）。あらかじめ処理１１３０で記録したマーカ位置情報と、処理３０１１で映像データ中より抽出されたマーカ位置とを用いて、位置・姿勢計測装置２０５の計測結果に基づいて処理２０３０で算出したＨＭＤ１００と簡易試作物３００との相対的な位置・姿勢関係を補正する（２０３１）。そして、処理２０４０では、補正後のデータを用いてＣＧの描画を行う。

＜第３実施形態＞
上記第１、第２実施形態において、映像合成部４０２では、現実空間の映像データに、仮想空間の映像（ＣＧ映像）を重畳（上書き）することで合成映像を生成している。この場合には、本来ＣＧ映像より手前にあるべきはずのものも、ＣＧ映像で上書きされてしまうため、ＣＧ映像と現実物体との奥行き感に矛盾が生じる場合がある。これを、図１０を参照して詳しく説明する。

図１０（ａ）は映像入力装置１０２より入力された現実空間の映像データの一例であり、簡易試作物を観察者の手で保持している映像である。手の一部（親指あたり）が簡易試作物の手前に存在している。この映像に、簡易試作物に対応するＣＧ映像を重畳すると、図１０（ｂ）のような合成映像となる。すなわち簡易試作物よりも手前にあるはずの手の一部が、ＣＧ映像により隠れてしまい、奥行き感に矛盾が発生し、観察者にとって違和感のある映像となる。

そこで、第３実施形態の複合現実感システムでは、情報処理装置４００内に取り込んでいる現実空間の映像データを用いて、画像処理により上記のような奥行き感の矛盾を解消する。すなわち、映像入力装置１０２から得られた映像データ（図１０（ａ））より画像処理を用いて手の領域のみを抽出する。抽出された手の領域からマスク画像（図１０（ｃ））を生成し、このマスク画像で指定された手領域以外の領域に関してＣＧ映像を生成し、現実空間の映像に重畳する。このようにすることで手の領域が簡易試作物よりも手前に表示されることになり、奥行き感の違和感が解消される。

以上のような第３実施形態のシステムの構成と処理の流れを、図１１及び図１２を用いて説明する。図１１に示すように、第３実施形態では、第１実施形態（図３）の構成に手領域抽出部４２０と手色情報登録データ４２１が加えられている。手領域抽出部４２０は、映像キャプチャ部４０１Ｌ、Ｒによって得られた画像データから手色情報登録データ４２１に登録された色の領域を手領域として抽出する。ＣＧレンダリング部４０７は、手領域抽出部４２０で抽出された手領域部分に対してＣＧ画像の描画を禁止する。その他は、第１実施形態（図３）と同じである。

図１２は第３実施形態による処理の流れを説明する図である。第１実施形態（図４）の処理に、処理５０１０と５０２０が追加されている。

処理３０１０において情報処理装置４００の映像キャプチャ部４０１より現実空間の映像データが取り込まれると、手領域抽出部４２０は、各画素の色情報を、手色情報登録データ４２１にあらかじめ登録してある手領域の色情報と比較する。そして、手領域の色情報に一致した場合、その画素の色は人間の肌の色であると判断され、当該画素は手領域であると判断される（５０１０）。すべての画素について手の領域であるかどうかの判断を行い、手の領域と判断された画素のみを抽出して、ビデオバッファなどのメモリに手領域のデータのみを記録することにより、マスク画像が生成される（５０２０）。ＣＧレンダリング部４０７では、処理５０２０で生成したマスク画像でマスクされた領域のＣＧ映像を生成し（２０４０）、映像合成部４０３において、現実空間の映像データに、２０４０で生成したＣＧ映像を重畳する（４０１１）。

このように合成映像を生成することで、本来ＣＧデータよりも手前にあるべき現実空間の映像を、ＣＧデータよりも手前に表示することが可能となり、奥行き感における違和感が解消される。

＜第４実施形態＞
第１〜第３実施形態では、３ＤＣＡＤデータに基づいて生成されるＣＧの明るさや色調は、３ＤＣＡＤデータが含む光源情報等に基づいて決定されている。しかしながら、ＣＡＤデータの光源情報は必ずしも現実空間に適したものではない。たとえば、現実空間が暗い場合には、ＣＧの明るさも暗めに落とさないと、ＣＧが現実空間中に浮き上がってしまい、自然な合成映像とはならない。そこで、第４実施形態では、現実空間の映像にＣＧを重畳する場合に、情報処理装置４００内に取り込んだ現実空間の映像データに基づいてＣＧ描画のための各種パラメータを設定する。こうすることにより、ＣＧの明るさ、色調などを、現実空間の環境に合わせ、違和感の少ない合成映像を生成可能とする。以下、第４実施形態における構成と処理の流れを、図１３、図１４を参照して説明する。

図１３に示すように、第４実施形態では、第１実施形態（図３）の構成にＣＧパラメータ抽出部４３０が加えられている。また、図１４に示すように、第４実施形態の処理では、第１実施形態の処理にＣＧパラメータ設定処理３０１２が加えられている。ＣＧパラメータ抽出部４３０は、映像キャプチャ部４０１Ｌ、Ｒを通して入力された現実空間の映像データより、現実空間の環境を把握し、ＣＧを描画する際の明るさ、色調などのパラメータを設定する（３０１２）。そして、ＣＧレンダリング部４０７では、ＣＧパラメータ抽出部４３０より取得されたパラメータと、３ＤＣＧデータとに基づいてＣＧを描画し（２０４０）、映像合成部４０２において現実空間の映像データに重畳する（４２０）。

ＣＧを描画する際の明るさ、色調などのパラメータの設定とは、具体的には、ＣＧデータの属性の値の変更である。例えば、ＣＧデータをレンダリングする場合に、その物体にどこから、どのような照明があたっているかを設定する必要がある（仮想空間のライトのパラメータの設定）。このとき、ＣＧ物体の材質、ＣＧ物体に照射する光源の位置、強さ、色などのパラメータを設定することで、ＣＧを描画する際の明るさ、色調などを調整することができる。また、ＭＲの場合には、入力された現実空間の明るさに合わせて、ＣＧの明るさを調整する必要がある。たとえば、現実空間が暗めであれば、ＣＧ物体も暗めの設定をすることになる。このバランスが悪いと、ＣＧ物体だけが際立って表示されたり、逆の場合はＣＧが沈んでしまったりする。本実施形態では、現実空間映像をビデオ映像として取り込んでいるので、たとえば取り込んだ映像の明るさや色調の平均を求めて（あるいは、ある定められた領域の明るさや色調でもよい）、その値にあわせて上述のライティングパラメータを調整することで、ＣＧを描画する際の明るさ、色調等を調整する。

このように、第４実施形態によれば、ＣＧレンダリング時のパラメータを現実空間のデータより抽出することが可能であり、現実空間の環境に合った合成映像の生成が可能となる。

＜第５実施形態＞
映像入力装置１０２より入力される現実空間の映像は、撮像系プリズム１０４を通して入力されるため、光学的な歪を含む可能性がある。たとえば、図１５において、（ａ）は実際の現実空間中に置かれた簡易試作物３００である。この簡易試作物３００を、（ｂ）に示すような歪み量を有した撮像系プリズム１０４を通すと、図１５の（ｃ）のように歪んだ物体として映像入力装置より入力される。この映像にＣＧを重畳すると、図１５（ｄ）のように現実空間中の簡易試作物とＣＧ映像が重ならず、違和感の大きい合成映像となってしまう。

第５実施形態による複合現実感システムでは、情報処理装置４００内に取り込んだ現実空間の映像データの歪みを画像処理で取り除き、より違和感の少ない合成映像を提供可能とする。第５実施形態による情報処理装置４００の構成と処理の流れについて図１６、図１７を参照して説明する。

図１６に示すように、第５実施形態では、第１実施形態（図３）の構成に現実空間映像歪補正部４４０と歪量データ４４１が加えられている。また、図１７に示すように、第５実施形態の処理では、第１実施形態の処理（図４）に歪補正処理３０１３が加えられている。

現実空間映像歪補正部４４０は現実空間の映像データの歪みを補正するものであり、あらかじめ計測して保持された映像入力系における歪量データ４４１を用いて、映像キャプチャ部４０１Ｌ、Ｒより入力した映像データを補正する（３０１３）。これにより、現実空間中の簡易試作物と、ＣＧが正確に重なるので、観察者は自然な合成映像を観察することができる。すなわち、現実空間を映像データとしてシステムに取り込み、現実空間の映像を、仮想空間の映像（ＣＧ）を合成するのに適した映像に変換処理するので、観察者にとってより自然な複合現実感映像が生成できる。

なお、上記で説明した各実施形態は独立に実現可能なものであるし、あるいは適宜組み合わせて実現することも可能でる。

以上説明したように、上記各実施形態の複合現実感システムでは、３次元ＣＡＤのデータよりラピッド・プロトタイピング装置などで作成した簡易試作物（簡易モックアップ）に、同じ３次元ＣＡＤのデータを変換して作成した３Ｄ−ＣＧデータを、複合現実感システムを使って位置・姿勢方向を一致させて重ね合わせ、表示することができる。このため、視覚的な評価と触覚的な評価を同時に実現し、より完成品に近い状態での評価が可能となる。さらに、現実空間を映像データとしてシステムに取り込むので、現実空間の映像を、仮想空間の映像を合成するのに適した映像に変換処理することが可能であり、観察者にとって違和感の少ない映像を生成できる。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

第１実施形態による複合現実感ステムの概略構成を示す図である。頭部装着型映像入出力装置（ＨＭＤ）の構成を示す図である。第１実施形態による情報処理装置の構成を示すブロック図である。第１実施形態の情報処理装置による処理の流れを示す図である。第１実施形態による処理結果を説明する図である。第２実施形態における、簡易試作物へ添付されるマーカの例を示す図である。特徴点による位置・姿勢計測の補正を説明する図である。第２実施形態による情報処理装置の構成を示すブロック図である。第２実施形態の情報処理装置による処理の流れを示す図である。手領域の抽出によるＣＧ画像の補正方法を説明する図である。第３実施形態による情報処理装置の構成を示すブロック図である。第３実施形態の情報処理装置による処理の流れを示す図である。第４実施形態による情報処理装置の構成を示すブロック図である。第４実施形態の情報処理装置による処理の流れを示す図である。映像入力系の歪みの影響を説明する図である。第５実施形態による情報処理装置の構成を示すブロック図である。第５実施形態の情報処理装置による処理の流れを示す図である。

Claims

任意視点における現実空間の映像情報に仮想空間の映像情報を重畳し、観察者に提示する画像表示装置による画像表示方法であって、
撮像手段が、現実空間の映像情報を撮像装置により取り込む撮像工程と、
計測手段が、前記撮像装置と、マーカの添付位置を指示するマークを有する３次元ＣＡＤデータとしてのソリッドデータに基づいて作成された模型との位置及び姿勢を計測し、前記撮像工程によって得られる映像中の該模型の位置及び姿勢を示す位置／姿勢情報を取得する計測工程と、
変換手段が、前記ソリッドデータを３次元コンピュータグラフィック画像用のデータに変化する変換工程と、
合成手段が、前記位置／姿勢情報に基づいて、前記撮像工程で得られた映像中の前記模型に重なるように前記変換工程で得られた３次元コンピュータグラフィック画像用のデータを描画して、該映像と該３次元コンピュータグラフィック画像を合成する合成工程と、
特徴点抽出手段が、前記撮像工程で得られた映像より、前記模型上のマーカを抽出する特徴点抽出工程とを備え、
前記計測工程では、前記撮像工程で得られた映像における前記模型と前記撮像装置の相対的な位置／姿勢情報を、前記特徴点抽出工程で抽出された前記マーカの映像上の位置と前記模型上のマークに対応する前記３次元ＣＡＤデータが有する前記マーカの添付位置の情報とに基づいて補正することを特徴とする画像表示方法。
領域抽出手段が、前記撮像工程によって得られた映像より、所定の色情報を含む領域を抽出する領域抽出工程を更に備え、
前記合成工程は、前記領域抽出工程で抽出された領域への前記３次元コンピュータグラフィック画像の描画を禁止することを特徴とする請求項１に記載の画像表示方法。
パラメータ生成手段が、前記撮像工程によって得られた映像に基づいて３次元コンピュータグラフィック画像のための描画パラメータを生成するパラメータ生成工程を更に備え、
前記合成工程は、前記生成工程で生成された描画パラメータを用いて前記３次元コンピュータグラフィック画像を描画することを特徴とする請求項１に記載の画像表示方法。
映像補正手段が、あらかじめ保持された、前記撮像装置の歪み量に基づいて、前記撮像工程で取得された現実空間の映像情報を補正する映像補正工程を更に備えることを特徴とする請求項１に記載の画像表示方法。
任意視点における現実空間の映像情報に仮想空間の映像情報を重畳し、観察者に提示する画像表示装置であって、
現実空間の映像情報を取り込む撮像手段と、
前記撮像手段と、マーカの添付位置を指示するマークを有する３次元ＣＡＤデータとしてのソリッドデータに基づいて作成された模型との位置及び姿勢を計測し、前記撮像手段によって得られる映像中の該模型の位置及び姿勢を示す位置／姿勢情報を取得する計測手段と、
前記ソリッドデータを３次元コンピュータグラフィック画像用のデータに変化する変換手段と、
前記位置／姿勢情報に基づいて、前記撮像手段によって得られた映像中の前記模型に重なるように前記変換手段で得られた３次元コンピュータグラフィック画像用のデータを描画することにより、該映像と該３次元コンピュータグラフィック画像を合成する合成手段と、
前記撮像手段により得られた映像より、前記模型上のマーカを抽出する特徴点抽出手段とを備え、
前記計測手段は、前記撮像手段で得られた映像における前記模型と前記撮像手段の相対的な位置／姿勢情報を、前記特徴点抽出手段により抽出された前記マーカの映像上の位置と前記模型上のマークに対応する前記３次元ＣＡＤデータが有する前記マーカの添付位置の情報とに基づいて補正することを特徴とする画像表示装置。