JP4217661B2 - 画像処理方法、画像処理装置 - Google Patents

Description

本発明は、現実空間の画像上に仮想物体の画像を重畳する為の技術に関するものである。

従来より、現実世界の映像と、三次元モデリングされたＣＧによる映像を重畳して表示し、あたかも現実の世界中にＣＧで描かれた物体（仮想物体）が存在しているかのように見せることができるような複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）提示装置が存在する。これは、現実の映像を撮影するための現実映像撮影手段（たとえばビデオカメラ）と、現実の映像を撮影している位置から見たようにＣＧ映像を作り出すＣＧ映像生成手段と、両者の映像を合成して表示することのできる映像表示手段（たとえばＨＭＤ（ヘッドマウントディスプレイ）またはモニタ）からなる装置である。

ここでは、現実映像撮影手段の視線の位置姿勢が変わった場合であってもＣＧと現実映像との位置関係を正しく表示するために、現実映像撮影手段(ビデオカメラ)の視線位置・視線方向を検出するための、視線位置姿勢検出手段(たとえば位置姿勢センサ)を備えている。ＣＧ映像生成手段は、三次元モデリングされたＣＧを、現実空間と同じスケールの仮想空間に置き、視線位置姿勢検出手段によって検出された視線位置、視線方向から観察されたものとしてＣＧをレンダリングするものである。

このようにして生成されたＣＧ映像と現実の映像とを重畳すると、結果として、現実映像撮影手段がどの視線位置・視線方向から観察した場合でも、現実空間の中に正しくＣＧで生成された映像が置かれているような映像を表示ことができる。ＣＧの種類や配置の変更、アニメーションなどは、一般的なＣＧと同様に、自由に行える。ＣＧの位置を指定するためにもうひとつ位置姿勢センサを備えて位置姿勢センサの値どおりの場所にＣＧを描画することも可能である。そのような構成で位置姿勢センサを手に持ち、センサの位置姿勢でＣＧを観察することが従来より行われている。

現実空間の映像を撮影する現実映像撮影手段は、たとえばビデオカメラであり、カメラの視線方向にある映像を撮影し、メモリ中にキャプチャする手段である。

現実空間の映像とＣＧとを合成して表示する映像表示装置としては、たとえばHMD(ヘッドマウントディスプレイ)が用いられる。通常のモニタでなくHMDを用いて、さらに上記ビデオカメラをHMDの視線方向に装着することで、観察者が向いている方向の映像をHMDに映し出すことができ、かつ、その方向を向いたときのＣＧの描画も行えるため、観察者の没入感を高めることができる。

位置姿勢検出手段としては磁気方式による位置姿勢センサなどが用いられ、これを上記ビデオカメラ（またはビデオカメラが取り付けられているHMD）に取り付ることによって、ビデオカメラの視線の位置姿勢の値を検出する。磁気方式の位置姿勢センサとは、磁気発生装置(発信機)と磁気センサ(受信機)との間の相対位置・姿勢を検出するものであり、米国ポヒマス(Polhemus)社の製品FASTRAKなどがあげられる。これは特定の領域内で、センサの３次元位置(X,Y,Z)と姿勢(Roll, Pitch, Yaw)をリアルタイムに検出する装置である。

上記の構成により、観察者はHMDを通じて、現実映像とＣＧ映像が重畳された世界を観察することができるようになる。観察者が周囲を見回すと、HMDに備え付けられた現実映像撮影装置(ビデオカメラ)が現実の映像を撮影し、HMDに備え付けられた視線位置姿勢検出手段(位置姿勢センサ)がビデオカメラの位置視線方向を検出し、これに応じてＣＧ映像生成手段がその視線位置・姿勢から見たＣＧ映像を生成(レンダリング)し、これを現実映像に重畳して表示する。

従来の一般的な複合現実感提示方法は、現実映像の画像の上にＣＧ画像を重畳するだけであり、現実に存在する物体とＣＧ物体の奥行き関係は考慮されていない。そのため、観察者がＣＧ物体の手前に手をかざしても、自分の手は見えずに、手の奥にあるＣＧが観察されてしまうといった問題がある。図２はその状態を説明する図である。

図２は、ＨＭＤ２０１を装着した観察者がＣＧオブジェクト２０２に対して手２０３を差し伸べている状態を示す図である。

このときＨＭＤ２０１を介して観察者に提示されるのは２０４に示す如くＭＲ画像になる。ＭＲ画像２０４には説明のため本来見えるべき指先の部分２０５を破線で示してある。ＣＧオブジェクトと手の奥行き関係からすれば、指先２０５はＣＧオブジェクト２０２の手前に描画されるべきであるが、ＣＧオブジェクトの画像は現実映像の上に重畳されるだけであるため、指先部分の画像よりも手前に表示されてしまう。

この問題を解決するために、現実物体とＣＧ物体の重なる領域を検出し、その領域はＣＧをマスキングして現実物体が見えるように表示することも従来から行われている（例えば特許文献１を参照）。これらの手法では、現実オブジェクト検出手段とＣＧマスキング手段を備えている。

現実オブジェクト検出手段としては、例えば、図２に示した例のような手とＣＧオブジェクトの間の重なり合いを正しく表示するためには、現実映像中の手の表示エリアが検出できれば良いので、現実映像の各画素について色が肌色に近いかどうかを判定して、手が撮影されているエリアを検出するような、色領域検出手段を備えればよい。

このような色領域検出手段による画像は、例えば図２の２０６に示す如くマスク画像のようなものになる。ＣＧマスキング手段としては、色領域検出手段によって肌色(手)が撮影されているとされた画像領域をＣＧのステンシルバッファにセットするか、デプスバッファ(Zバッファ)の最小値にセットすることなどによって、該当部分にＣＧが描画されないようにすることができ、２０７に示す如くマスク済ＭＲ画像のような画像を得ることができる。

ここで例にあげた方法では、現実映像に肌色が写っている場所はその奥行きにかかわらずＣＧが描画されなくなるという欠点があるが、ＣＧオブジェクトの位置が常に手よりも奥にあると仮定できる状況においては十分に有効であり、手法も簡便であるため、従来から用いられている。

ここで説明したマスキングを行うシステムにおいては、図６の２０８に示すような肌色の指示棒を観察者が手に持つことにより、ＣＧを指し示すことができる。図６は、ＨＭＤ２０１を装着した観察者がＣＧオブジェクト２０２に対して指示棒２０８を差し伸べている状態を示す図である。

マスキングを行わない複合現実感提示システムにおいてはＣＧオブジェクトを現実の指示棒で指し示そうとしても指示棒の映像はＣＧに上書きされてしまっていたが、肌色の領域をマスキングするシステムであれば、手に限らず、肌色の指示棒もマスキング対象となるため、図６の２０９に示すような画像を得ることができる。
特開２００３-２９６７５９号公報

従来のシステムでは、ＣＧマスキング処理を行う場合、１つの色に対して処理を行っていた。また、すべてのＣＧに対してマスキング処理を行っていた。

しかしながら、システムによっては、必ずしもすべてのＣＧに対してハンドマスキングを行うことが好適ではなかった。たとえば、手に位置センサを持ってその位置にＣＧオブジェクトを表示しようとした場合、ＣＧオブジェクトと位置センサの大きさは違うのに、手は位置センサを持っているので、手によってＣＧオブジェクトの内部の位置までマスクされることがあった。このような場合などでは肌色による手のマスキングを無効にすることが好ましかった。

また、肌色によるマスキングを無効にした場合に、肌色の指示棒が使えなくなると言った問題があった。

本発明は以上の問題に鑑みてなされたものであり、現実空間画像中の複数の色範囲に対して、仮想物体の画像の重畳の可否を設定する為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。

すなわち、現実空間の画像上に仮想物体の画像を重畳する画像処理方法であって、
Ｒ、Ｇ、Ｂのそれぞれについて色範囲を示す色範囲情報を調整するための画面を表示し、当該画面において調整操作が行われた対象の色範囲情報を当該調整操作に応じて変更することで、Ｒについての色範囲情報、Ｇについての色範囲情報、Ｂについての色範囲情報を設定する第１の設定工程と、
前記第１の設定工程でＲについて設定された色範囲情報が示す色範囲内の色をＲ成分として有し、且つ前記第１の設定工程でＧについて設定された色範囲情報が示す色範囲内の色をＧ成分として有し、且つ前記第１の設定工程でＢについて設定された色範囲情報が示す色範囲内の色をＢ成分として有する前記現実空間の画像中の領域に対して前記仮想物体の画像の重畳を禁止するか否かを示すフラグ情報を設定する為の操作部を前記画面上に表示し、前記画面において当該操作部に対する操作結果に応じて前記フラグ情報を設定する第２の設定工程と、
前記第１の設定工程による設定処理及び前記第２の設定工程による設定処理を確定させるための指示が前記画面上で行われる毎に、前記第１の設定工程で設定された色範囲情報と、前記第２の設定工程で設定されたフラグ情報と、をセットにしてメモリに格納する格納制御工程と、
前記メモリに格納されているそれぞれのセット中のフラグ情報を参照して、重畳を禁止することを示すフラグ情報を含むセットを特定する特定工程と、
前記特定工程で特定したセット中のＲについて設定された色範囲情報、Ｇについて設定された色範囲情報、Ｂについて設定された色範囲情報を参照し、Ｒについて設定された色範囲情報が示す色範囲内の色をＲ成分として有し、且つＧについて設定された色範囲情報が示す色範囲内の色をＧ成分として有し、且つＢについて設定された色範囲情報が示す色範囲内の色をＢ成分として有する前記現実空間の画像中の領域には前記仮想物体の画像を重畳させずに、前記現実空間の画像上に前記仮想物体の画像を重畳した画像を生成する生成工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。

すなわち、現実空間の画像上に仮想物体の画像を重畳する画像処理装置であって、
Ｒ、Ｇ、Ｂのそれぞれについて色範囲を示す色範囲情報を調整するための画面を表示し、当該画面において調整操作が行われた対象の色範囲情報を当該調整操作に応じて変更することで、Ｒについての色範囲情報、Ｇについての色範囲情報、Ｂについての色範囲情報を設定する第１の設定手段と、
前記第１の設定手段でＲについて設定された色範囲情報が示す色範囲内の色をＲ成分として有し、且つ前記第１の設定工程でＧについて設定された色範囲情報が示す色範囲内の色をＧ成分として有し、且つ前記第１の設定工程でＢについて設定された色範囲情報が示す色範囲内の色をＢ成分として有する前記現実空間の画像中の領域に対して前記仮想物体の画像の重畳を禁止するか否かを示すフラグ情報を設定する為の操作部を前記画面上に表示し、前記画面において当該操作部に対する操作結果に応じて前記フラグ情報を設定する第２の設定手段と、
前記第１の設定手段による設定処理及び前記第２の設定手段による設定処理を確定させるための指示が前記画面上で行われる毎に、前記第１の設定手段で設定された色範囲情報と、前記第２の設定手段で設定されたフラグ情報と、をセットにしてメモリに格納する格納制御手段と、
前記メモリに格納されているそれぞれのセット中のフラグ情報を参照して、重畳を禁止することを示すフラグ情報を含むセットを特定する特定手段と、
前記特定手段で特定したセット中のＲについて設定された色範囲情報、Ｇについて設定された色範囲情報、Ｂについて設定された色範囲情報を参照し、Ｒについて設定された色範囲情報が示す色範囲内の色をＲ成分として有し、且つＧについて設定された色範囲情報が示す色範囲内の色をＧ成分として有し、且つＢについて設定された色範囲情報が示す色範囲内の色をＢ成分として有する前記現実空間の画像中の領域には前記仮想物体の画像を重畳させずに、前記現実空間の画像上に前記仮想物体の画像を重畳した画像を生成する生成手段と
を備えることを特徴とする。

本発明の構成により、現実空間画像中の複数の色範囲に対して、仮想物体の画像の重畳の可否を設定することができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
図１は、本実施形態に係る複合現実感提示システムの基本構成を示す図である。

本システムは大まかには、コンピュータ１００、ＨＭＤ（ヘッドマウントディスプレイ）１０４，ビデオカメラ１０５、位置姿勢センサ１０８、１０９、センサコントローラ１０３により構成されている。以下、これら各部について説明する。

先ずＨＭＤ１０４について説明する。

ＨＭＤ１０４は周知の通り、ＭＲ空間を体感する観察者の頭部に装着するためのものであり、ＨＭＤ１０４に備わっている不図示の表示部が観察者の眼前に位置するように装着される。

ＨＭＤ１０４には、観察者がＨＭＤ１０４を頭部に装着した場合に、観察者の視線方向の映像を撮像可能なようにビデオカメラ１０５が固着されている。よってビデオカメラ１０５は、ＨＭＤ１０４の位置姿勢に応じて見える現実空間の映像を撮像することができる。

またＨＭＤ１０４には位置姿勢センサ１０８が固着されている。位置姿勢センサ１０８は磁気センサや超音波センサなどにより構成されており、自身の位置姿勢を計測し、その計測結果を信号としてセンサコントローラ１０３に出力する。本実施形態では、位置姿勢センサ１０８は世界座標系（現実空間中の１点を原点とし、この原点で互いに直交する３軸をそれぞれｘ軸、ｙ軸、ｚ軸とする空間）における自身の位置姿勢を計測するものとして説明する。位置姿勢センサ１０８により計測された結果は信号としてセンサコントローラ１０３に出力され、センサコントローラ１０３は、受信した信号の強度に応じた数値をコンピュータ１００に出力する。

位置姿勢センサ１０９は、ＭＲ空間を体感する観察者（その他の者でも良い）が手に持ってＭＲ空間における仮想物体の位置姿勢を変更するためのものであり、センサとしては位置姿勢センサ１０８と同様のものである。すなわち、位置姿勢センサ１０９自身の世界座標系における位置姿勢を計測し、その計測結果を信号としてセンサコントローラ１０３に出力する。センサコントローラ１０３は同様に、受信した信号の強度に応じて、その計測結果を数値データとしてコンピュータ１００に出力する。

次に、コンピュータ１００について説明する。

コンピュータ１００は一般にはＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）などにより構成されている。また、専用のハードウェアにより構成されても良い。コンピュータ１００はＣＰＵ１０１、メモリ１０６，１０７、操作部１５０、表示部１６０により構成されており、これら各部はバス１０２により互いに接続されている。

ＣＰＵ１０１はメモリ１０６に格納されている各種のプログラムや、メモリ１０７に格納されている各種のデータを用いて後述する各処理を実行するとともに、コンピュータ１００全体の制御を行う。また、後述するセンサコントローラ１０３とのデータ通信をも制御する。

メモリ１０６には、ＣＰＵ１０１に後述する各種の処理を行わせるための各種のプログラム（現実映像撮影部１１０、ＣＧ映像生成部１１１、位置姿勢検出部１１２、色領域検出部１１３、ＣＧマスキング部１１４、マスキング対象色指定部１１５、映像表示部１１６）が格納されている。これら各種のプログラムについては後述する。また不図示ではあるが、メモリ１０６には、ＣＰＵ１０１がコンピュータ１００全体の制御を行うために必要な各種のプログラムが格納されている。

メモリ１０７には、ＣＰＵ１０１が後述の各処理を実行する際に必要とする各種のワークエリアや、ＣＰＵ１０１が後述の各処理を実行する際に用いる各種のデータを格納しているエリアなどを備える。また不図示ではあるが、メモリ１０７には、ＣＰＵ１０１がコンピュータ１００全体の制御を行うために必要な各種のデータが格納されている。

なお、本実施形態ではメモリ１０６とメモリ１０７とは別個のメモリとしているが、これに限定するものではなく、これらのメモリを同一メモリ上に設けるようにしても良い。

操作部１５０はキーボードやマウスなどにより構成されており、各種の指示をＣＰＵ１０１に対して入力することができる。

表示部１６０は、ＣＲＴや液晶画面などにより構成されており、各種の情報を画像や文字などでもって表示することができる。

キャプチャカード１１９は、ビデオカメラ１０５により撮像された現実空間の画像を受け、これを信号としてメモリ１０７に出力するためのインターフェースとして機能するものである。

なお、コンピュータ１００の構成はこれに限定するものではなく、メモリ１０６，１０７に記憶されている各種のプログラムやデータを保存するためのハードディスクドライブ装置や、コンピュータ１００で処理した結果を、ネットワークを介して外部に出力するためのネットワークＩ／Ｆ部などを更に備えるようにしても良い。

図４は、マスキング対象色指定部１１５が参照するデータテーブルの構成例を示す図である。

同図に示すデータテーブルは、マスキング対象色指定部１１５がマスク対象となる色のデータを管理するために参照するものであり、より詳しくは、ビデオカメラ１０５により撮像された現実空間の画像において、画素値（Ｒ、Ｇ、Ｂそれぞれの値）が所定の範囲内にある画素群をマスキングするか否かを管理するために参照する為のものである。

例えばインデックスｉが１で規定されるＲ、Ｇ、Ｂそれぞれの画素値の範囲は、Ｒが［２２２，２５０］、Ｇが［１２８，１３６］、Ｂが［１２８，１３６］である。そしてこのようなＲ、Ｇ、Ｂの範囲に対して「ＯＮ」であるフラグ値が関連付けられているので、これは、「Ｒが［２２２，２５０］、Ｇが［１２８，１３６］、Ｂが［１２８，１３６］を満たす画素はマスキング対象とする、すなわち、この画素には仮想物体の画像は重畳不可とする」ことを意味する。

一方、インデックスｉが２で規定されるＲ、Ｇ、Ｂそれぞれの画素値の範囲は、Ｒが［５，１０］、Ｇが［５，１０］、Ｂが［２００，２５５］である。そしてこのようなＲ、Ｇ、Ｂの範囲に対して「ＯＦＦ」であるフラグ値が関連付けられているので、これは、「Ｒが［５，１０］、Ｇが［５，１０］、Ｂが［２００，２５５］を満たす画素はマスキング対象とはしない、すなわち、この画素には仮想物体の画像を重畳可とする」ことを意味する。

このようにして、データテーブルは、Ｒ、Ｇ、Ｂそれぞれの画素値が所定の範囲内にある画素をマスキング対象とするかいなかを管理するように構成されており、マスキング対象色指定部１１５は、このような構成を備えるデータテーブルを参照してマスキング対象を管理することができる。

なお、各インデックスに対応するフラグ値は動的に変更することが可能である。

図４は、ＣＰＵ１０１がメモリ１０６に格納されている各プログラムを実行することでなされる、ＭＲ画像を生成して観察者に提示する処理のフローチャートである。

先ずステップＳ３００では、上記インデックスｉの値を１に初期化する。次にステップＳ３０１では、上記インデックスｉの取りうる最大数（マスキング対象色数）Ｎをコンピュータ１００の操作者が操作部１５０を用いて入力する。

また図４に示すデータテーブルは予めメモリ１０７内の所定のエリアに記憶されているものとする。

一方、ビデオカメラ１０５は、ＨＭＤ１０４の位置姿勢に応じて見える現実空間の動画像を撮像しており、コンピュータ１００にはこの動画像を構成する各フレームの画像（現実空間画像）が順次入力される。従ってステップＳ３０２では、現実映像撮像部１１０のプログラムを実行することで、ビデオカメラ１０５からコンピュータ１００に入力された現実空間画像をキャプチャして現実画像メモリ１２０に格納する処理を行う。

次に、ビデオカメラ１０５の世界座標系における位置姿勢を得る目的のためステップＳ３０３では、位置姿勢検出部１１２のプログラムを実行し、先ず、位置姿勢センサ１０８により計測され、センサコントローラ１０３により数値データに変換した結果を視線位置姿勢メモリ１２１に格納する処理を行う。そして、ビデオカメラ１０５と位置姿勢センサ１０８との位置姿勢関係を用いて周知の変換処理により、位置姿勢センサ１０８により得られた結果から、ビデオカメラ１０５の世界座標系における位置姿勢（以下、視点の位置姿勢と呼称する場合がある）を得る。なお、ビデオカメラ１０５と位置姿勢センサ１０８との位置姿勢関係は予め測定されており、データとしてメモリ１０７中の所定のエリアに格納されているものとする。

以上の処理によりビデオカメラ１０５の世界座標系における位置姿勢が得られたので、得た結果のデータを視線位置姿勢メモリ１２１に格納する。

次にステップＳ３０４では、位置姿勢センサ１０９により計測され、センサコントローラ１０３により数値データに変換した結果をＣＧ位置姿勢メモリ１２２に格納する。ＣＧ位置姿勢メモリ１２２に格納されたのは上述の通り、位置姿勢センサ１０９自身の世界座標系における位置姿勢を示すデータである。

次にステップＳ３０５では、現在のインデックスｉがステップＳ３０１で入力した変数Ｎよりも大きいか否かを判断する。インデックスｉがＮ以下、すなわち、全てのインデックスｉに対するフラグ値を参照していない場合には処理をステップＳ３０６に進め、図４に示すデータテーブルを参照して、現在のインデックスｉに対応するフラグ値がＯＮであるか否かを判断する。

現在のインデックスｉに対応するフラグ値がＯＮである場合には、処理をステップＳ３０７に進め、色領域検出部１１３のプログラムを実行し、現実画像メモリ１２０に格納されている現実空間画像において、画素値が現在のインデックスｉに対応するＲ、Ｇ、Ｂの範囲内にある画素群を検出し、マスキング画像メモリ１２５に格納する。

例えば現在のインデックスｉが１の場合に、図４のデータテーブルを参照すると、Ｒが［２２２，２５０］、Ｇが［１２８，１３６］、Ｂが［１２８，１３６］であるので、現実空間画像において、Ｒが［２２２，２５０］、Ｇが［１２８，１３６］、Ｂが［１２８，１３６］である画素群を検出し、その画素値をマスキング画像メモリ１２５に格納する。

次にステップＳ３０８では、ＣＧマスキング部１１４のプログラムを実行することにより、マスキング処理を行う。具体的には、従来からなされているように、ステップＳ３０７で検出された画像領域に対して、ステンシルバッファやＺバッファを用いることによって、以降の処理で、この領域に仮想物体の画像が描画されないようにする。

次にステップＳ３０９ではインデックスｉを１つインクリメントし、処理をステップＳ３０５に戻し、インクリメント後のインデックスｉがＮよりも大きいか否かを判断する。 そして、インデックスｉがＮよりも大きい、すなわち、全てのマスキング対象色に対してマスキング処理を行ったと判断した場合には処理をステップＳ３１０に進め、メモリ１０７に保持されている仮想物体のＣＧモデルデータ１２３、ステップＳ３０３で視線位置姿勢メモリ１２１に格納されたデータ、及びステップＳ３０４でＣＧ位置姿勢メモリ１２１に格納されたデータを参照して、ＣＧ映像生成部１１１のプログラムを実行することにより、位置姿勢センサ１０９の位置姿勢と同じ位置姿勢に仮想物体を配置し、これをビデオカメラ１０５の位置姿勢から見た場合に見える仮想物体の画像を画像メモリ１２４上に生成（レンダリング）する。その際、ステップＳ３０８でマスキング箇所となった画像領域（現実空間画像と重畳した場合に、ステップＳ３０７で検出した画像領域と重なる領域）には何も描画しない。

また、位置姿勢センサ１０９の位置姿勢に関係なく、所定の位置姿勢に配置されるべき仮想物体についても、同様の処理を行う。

そしてステップＳ３１１では映像表示部１１６のプログラムを実行することにより、現実画像メモリ１２０に格納されている現実空間画像上に、画像メモリ１２４上にレンダリングされた画像を重畳させてＨＭＤ１０４や表示部１６０に出力する。

そして以上の処理をビデオカメラ１０５から入力される各フレームについて行うことで、観察者にビデオカメラ１０５から見えるＭＲ空間の画像を提示することができる。

以上の説明により、本実施形態によって、現実空間画像中の複数の色範囲に対して、仮想物体の画像の重畳の可否を設定することができる。

なお、本実施形態では、Ｒ、Ｇ、Ｂそれぞれの画素値が所定の範囲内にある画素をマスキング対象とするかいなかを管理する方法として図４に示すようなデータテーブルを用いていたが、これに限定するものではなく、同じ目的を達成可能であれば、テーブルの構成はこれに限定するものではない。

［第２の実施形態］
第１の実施形態では、位置姿勢センサ１０８（１０９）は自身の世界座標系における位置姿勢を計測するものとして説明したが、これに限定するものではなく、例えば位置姿勢センサ１０８（１０９）が所定の座標系における位置姿勢を計測する場合、コンピュータ１００側でこの所定の座標系と世界座標系との位置姿勢関係を示すデータを保持しておけば、このデータを用いて位置姿勢センサ１０８（１０９）で計測した結果を周知の計算方法により世界座標系における位置姿勢に変換することができるので、位置姿勢センサ１０８（１０９）が何れの座標系における位置姿勢を計測してもコンピュータ１００側では位置姿勢センサ１０８（１０９）の世界座標系を得ることができる。従って必ずしも位置姿勢センサ１０８（１０９）は世界座標系における位置姿勢を計測するものと限定することはない。

［第３の実施形態］
第１の実施形態ではそれぞれの色範囲に対応するフラグ値は固定して説明したが、第１の実施形態でも述べたように、これを動的に変更するようにしても良い。また、色範囲を動的に変更するようにしても良い。

また、第１の実施形態では、色範囲として、Ｒ、Ｇ、Ｂの上限値、下限値を設定したが、これに限定するものではなく、明度、彩度等、他のパラメータでもって、色範囲を設定するようにしても良い。

［第４の実施形態］
図５は、現実空間の画像において、仮想物体の画像を重畳させない領域の色範囲を設定するためのＧＵＩの表示例を示す図である。

同図において、５００，５０１はそれぞれ、Ｒの下限値（Ｒｍｉｎ）、上限値（Ｒｍａｘ）を設定するためのスライダで、例えばコンピュータ１００の操作者は操作部１５０に含まれているマウスを用いてこれらスライダを左右に移動させることで、Ｒの上限値、下限値を設定することができる。同様に５０２，５０３はそれぞれＧの下限値（Ｇｍｉｎ）、上限値（Ｇｍａｘ）を設定するためのスライダで、５０４，５０５はそれぞれＢの下限値（Ｂｍｉｎ）、上限値（Ｂｍａｘ）を設定するためのスライダである。その操作方法については全て同じである。

５１０，５１１はそれぞれ、スライダ５００乃至５０５でもって設定した色範囲内の色を有する現実空間画像の領域上への仮想物体の画像の重畳の可否（図４のフラグに相当）を設定するためのチェックボタンで、５１０は「否」（ＯＮ）、５１１は可（ＯＦＦ）を設定するためのものである。このチェックボタンについては、例えばコンピュータ１００の操作者が操作部１５０に含まれているマウスを用いて何れかのチェックボタンをクリックすることにより、何れかのチェックボタンがアクティブになり（同図ではチェックボタン５１０がアクティブになっている）、これによりアクティブになっているチェックボタンが示す方のフラグ値（重畳の可否）が設定される。

５０７は、これまでに設定したＲ、Ｇ、Ｂの色範囲を表示するための領域であり、領域５０７に表示すべき情報がいっぱいになると、スライダ５０８を操作して領域５０７内に表示されている情報を上下にスクロールさせるようにしても良い。スライダ５０８の操作方法についてはスライダ５００乃至５０５と同じである。

また、領域５０７内に表示されているそれぞれの色範囲について、チェックボタン５１０，５１１でもって設定した重畳の可否情報については、色範囲を示す文字列と同じ行に「重畳可」、「重畳否」の何れかの文字列を表示するようにしても良いし、色範囲を示す文字列の色を「重畳可」、「重畳否」に応じて変更するようにしても良い。

５０９は色範囲、重畳可否情報の１セットを設定する毎に押下すべきボタンで、このボタン５０９を押下することで、スライダ５００乃至５０５、チェックボタン５１０，５１１でもって設定した１セットの情報（色範囲と重畳可否情報）をメモリに記憶させると共に、領域５０７に設定した情報が表示される。ボタン５０９の押下は、例えばコンピュータ１００の操作者が操作部１５０に含まれているマウスを用いて押下するようにしても良い。

なお、同図のＧＵＩに係るプログラムやデータはメモリ１０６やメモリ１０７に記憶されており、ＣＰＵの処理対象となる。

［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係る複合現実感提示システムの基本構成を示す図である。 ＨＭＤ２０１を装着した観察者２００がＣＧオブジェクト２０２に対して手２０３を差し伸べている状態例を示す図である。 ＣＰＵ１０１がメモリ１０６に格納されている各プログラムを実行することでなされる、ＭＲ画像を生成して観察者に提示する処理のフローチャートである。 マスキング対象色指定部１１５が参照するデータテーブルの構成例を示す図である。 現実空間の画像において、仮想物体の画像を重畳させない領域の色範囲を設定するためのＧＵＩの表示例を示す図である。 ＨＭＤ２０１を装着した観察者がＣＧオブジェクト２０２に対して指示棒２０８を差し伸べている状態を示す図である。

Claims (5)

1. 現実空間の画像上に仮想物体の画像を重畳する画像処理方法であって、
   Ｒ、Ｇ、Ｂのそれぞれについて色範囲を示す色範囲情報を調整するための画面を表示し、当該画面において調整操作が行われた対象の色範囲情報を当該調整操作に応じて変更することで、Ｒについての色範囲情報、Ｇについての色範囲情報、Ｂについての色範囲情報を設定する第１の設定工程と、
   前記第１の設定工程でＲについて設定された色範囲情報が示す色範囲内の色をＲ成分として有し、且つ前記第１の設定工程でＧについて設定された色範囲情報が示す色範囲内の色をＧ成分として有し、且つ前記第１の設定工程でＢについて設定された色範囲情報が示す色範囲内の色をＢ成分として有する前記現実空間の画像中の領域に対して前記仮想物体の画像の重畳を禁止するか否かを示すフラグ情報を設定する為の操作部を前記画面上に表示し、前記画面において当該操作部に対する操作結果に応じて前記フラグ情報を設定する第２の設定工程と、
   前記第１の設定工程による設定処理及び前記第２の設定工程による設定処理を確定させるための指示が前記画面上で行われる毎に、前記第１の設定工程で設定された色範囲情報と、前記第２の設定工程で設定されたフラグ情報と、をセットにしてメモリに格納する格納制御工程と、
   前記メモリに格納されているそれぞれのセット中のフラグ情報を参照して、重畳を禁止することを示すフラグ情報を含むセットを特定する特定工程と、
   前記特定工程で特定したセット中のＲについて設定された色範囲情報、Ｇについて設定された色範囲情報、Ｂについて設定された色範囲情報を参照し、Ｒについて設定された色範囲情報が示す色範囲内の色をＲ成分として有し、且つＧについて設定された色範囲情報が示す色範囲内の色をＧ成分として有し、且つＢについて設定された色範囲情報が示す色範囲内の色をＢ成分として有する前記現実空間の画像中の領域には前記仮想物体の画像を重畳させずに、前記現実空間の画像上に前記仮想物体の画像を重畳した画像を生成する生成工程と
   を備えることを特徴とする画像処理方法。
2. 更に、前記セット中の色範囲情報、フラグ情報、を動的に変更する手段を備えることを特徴とする請求項１に記載の画像処理方法。
3. 現実空間の画像上に仮想物体の画像を重畳する画像処理装置であって、
   Ｒ、Ｇ、Ｂのそれぞれについて色範囲を示す色範囲情報を調整するための画面を表示し、当該画面において調整操作が行われた対象の色範囲情報を当該調整操作に応じて変更することで、Ｒについての色範囲情報、Ｇについての色範囲情報、Ｂについての色範囲情報を設定する第１の設定手段と、
   前記第１の設定手段でＲについて設定された色範囲情報が示す色範囲内の色をＲ成分として有し、且つ前記第１の設定工程でＧについて設定された色範囲情報が示す色範囲内の色をＧ成分として有し、且つ前記第１の設定工程でＢについて設定された色範囲情報が示す色範囲内の色をＢ成分として有する前記現実空間の画像中の領域に対して前記仮想物体の画像の重畳を禁止するか否かを示すフラグ情報を設定する為の操作部を前記画面上に表示し、前記画面において当該操作部に対する操作結果に応じて前記フラグ情報を設定する第２の設定手段と、
   前記第１の設定手段による設定処理及び前記第２の設定手段による設定処理を確定させるための指示が前記画面上で行われる毎に、前記第１の設定手段で設定された色範囲情報と、前記第２の設定手段で設定されたフラグ情報と、をセットにしてメモリに格納する格納制御手段と、
   前記メモリに格納されているそれぞれのセット中のフラグ情報を参照して、重畳を禁止することを示すフラグ情報を含むセットを特定する特定手段と、
   前記特定手段で特定したセット中のＲについて設定された色範囲情報、Ｇについて設定された色範囲情報、Ｂについて設定された色範囲情報を参照し、Ｒについて設定された色範囲情報が示す色範囲内の色をＲ成分として有し、且つＧについて設定された色範囲情報が示す色範囲内の色をＧ成分として有し、且つＢについて設定された色範囲情報が示す色範囲内の色をＢ成分として有する前記現実空間の画像中の領域には前記仮想物体の画像を重畳させずに、前記現実空間の画像上に前記仮想物体の画像を重畳した画像を生成する生成手段と
   を備えることを特徴とする画像処理装置。
4. コンピュータに請求項１又は２に記載の画像処理方法を実行させる為のプログラム。
5. 請求項４に記載のプログラムを格納した、コンピュータ読みとり可能な記憶媒体。

Images