JP4834606B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

本発明は、画像処理方法及び画像処理装置に関し、特に、仮想映像を実写画像に合成して表示する画像処理方法及び画像処理装置に関する。

映像制作の分野では、クロマキーの手法を用いて、ビデオカメラで撮像したライブ画像の中から特定の領域を切り出し、コンピュータグラフィックスなどによる画像（以下、ＣＧ画像）と合成することが用いられている。

また、現実世界と仮想世界とを違和感なく自然に結合する複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の分野でも、クロマキーの手法が用いられている。ＭＲの分野において、実写画像から被写体領域のみを抽出して表示するために、被写体領域を抽出するために用いるパラメータ情報の一つであるＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）などの生成を、実写画像中から抽出する技術が提案されている。

ＭＲ装置は、カメラなどの撮像装置によって撮影した現実世界の画像に対し、コンピュータグラフィックスで描画した仮想空間の画像を合成する。そして、合成した合成画像をヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などの表示装置に表示する（以下、ＭＲ表示と記す）ことで、複合現実感をユーザーに提示している。

現実空間の実写画像と、仮想物体のＣＧ画像を重畳表示する際に、例えば、実写画像領域中に含まれる体験者の手の領域には、ＣＧ画像を重畳せずに合成画像が生成される、被写体領域抽出処理がある。これは、ＨＭＤを装着した体験者の手を被写体として抽出した場合、仮想物体に手が隠されず、現実空間の感覚により近い複合現実感の提示を可能とするものである。

従来から行われている被写体領域抽出を行い、体験者に複合現実感を提示する処理の概略を説明する。

被写体領域抽出を行うには、あらかじめ手の色情報をＬＵＴなどのパラメータ情報として設定する。ＣＧ画像を重畳表示しない色情報の登録方法としては、次のような方法がある。即ち、被写体をカメラで観測した画像を取得して各画素の値をＣｂＣｒ平面での分布として記述した上で、色空間の各軸の座標範囲を指定する方法や、色空間を各軸について標本化しその各点について被写体であるか否かの値を登録する方法、いわゆるＬＵＴを用いる方法などである。

次に、ＨＭＤを装着した体験者が、被写体領域抽出を行ったＭＲ画像を体験する処理の概略を説明する。

体験者に装着されたＨＭＤの撮像装置は、ＨＭＤの体験者の前方の実写画像を撮像し、実写画像が生成される。この実写画像中には、ＣＧ画像を合成する前の背景となる画像、体験者自身の手の画像が含まれた画像とからなっている。

実写画像が取得されると、重畳表示するためのＣＧ画像を生成する。このＣＧ画像は、体験者の手の領域、すなわち被写体領域を除いたＣＧ画像である。この手の領域を除いたＣＧ画像を実写画像に重ねることで、被写体領域を除いたＣＧ画像が重畳表示された合成画像を作成することができる。

従来は、ＬＵＴや、実写画像中の輝度値の範囲指定、一定面積以下の画素をノイズとしてＣＧ画像を描画しないノイズリダクション処理などを組み合わせて被写体領域抽出処理を伴った合成画像作成を行い、体験者に、現実により近い複合現実感を提供していた。

また、この被写体領域を抽出した合成画像作成のためのパラメータ情報を設定する方法として、輝度の範囲や、ノイズリダクションの画素数の設定値の指定の他に次の方法がある。即ち、マウスのドラッグで実写画像中の領域を指定し、指定領域内の画素の色をＣＧ画像を重畳表示しない領域を指定する色情報としてＬＵＴに登録する方法が必要である。このＬＵＴの登録の操作方法の一例としては、ＣｂＣｒの色空間上で色をじかに指定する方法などがある。

しかし、専門知識や色の扱いに不慣れな一般的なユーザーの操作としては、操作内容や操作用の色空間の表示を理解することが、難しかった。そのため、被写体領域抽出の手のように具体的にＣＧ画像を重畳表示しない対象物を実写画像中の色を指定することで複合現実感提示装置に指示するような、一般的な体験者にもよりなじみやすい操作方法が提案されていた。

しかし、この実写画像中の画像領域選択操作によるＬＵＴの登録は、一定の操作性が向上したものの、次のような課題が残っていた。

実写画像に重畳しないＣＧ画像の領域や被写体領域を決定するパラメータ調整の適正値は、合成画像に対する設定値の効果を見ながら体験者が、主観的な感覚で判断するものである。そのため、ＬＵＴに対する色情報の登録、削除を繰り返して、適正な値に近似させていく操作となる。

従来は、画像からの色情報抽出の操作は容易だが、操作の進行につれ、調整内容は微妙な調整となり、操作の進行状況に応じた適切な画像表示が必要となる。実写画像、合成画像、操作対象となる画像には、それぞれ連携した画像表示方法がなく、微妙な調整操作のために、体験者は各操作や画像表示をいちいち切り替える手間を必要としていた。

また、ＬＵＴの色情報登録、削除は、微妙な調整操作となるが、他のパラメータ情報の設定を併用した合成画像の形成を目的とする場合には、他の設定の複合的な効果も適用された画像をより簡潔に合成画像に反映させながら行えることが望ましい。しかしながら、合成画像中における現在の設定値の効果によりＣＧ画像のマスク領域に応じて、画像表示が変更されるような技術はなかった。
特開２００５−２２８１４０号公報

上述のような技術の制限により、被写体領域抽出処理のパラメータ情報として実写画像から色情報を抽出する場合のように、合成画像の効果を画像表示で確認しながら適正な値に近似させていく操作用ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）においては以下のような課題がある。

操作の進行状況に応じて、適切に連携した画像表示方法がなく、微妙な調整操作のために、体験者は実写画像、合成画像、操作対象となる画像の表示を交互に切り替えて見ながら操作を継続するような冗長な手間を必要としていた。

また、合成画像中のパラメータ情報の各設定の複合的な効果を合成画像表示から読み取りながら調整操作を行う、本来の作業の煩雑さに加えて、調整の進行状況に応じて、ＣＧ画像の透明度を体験者が手動で適切な透明度に変更する冗長な手間が必要となっていた。

本発明は、画像に含まれる被写体を抽出するためのパラメータ情報を簡単な操作で扱うことができるようにすることを目的とする。

また、本発明は、上述のパラメータ情報を登録する際に、適切な画面表示を行うこと目的とする。

また、本発明は、実写画像とコンピュータグラフィックス画像の合成画像を表示する場合に、合成画像を表示するパラメータに応じて、ＣＧ画像の透明度を動的に変更して表示することにより、パラメータ情報の調整中の体験者の操作が容易かつ、画像中の領域の判別を容易にすることを目的とする。

上記目的を達成するために、本発明の画像処理方法は、実写画像と、前記実写画像の所定の領域を除く領域に仮想画像を合成して表示する画像処理方法であって、撮像手段により撮像した実写画像を取得する画像の取得工程と、前記実写画像から前記所定の領域を抽出手段により抽出する抽出工程と、前記実写画像の大きさに対する前記所定の領域の大きさの割合に応じて、前記仮想画像の透明度を設定手段により設定する透明度の設定工程と、前記設定された透明度に基づいた仮想画像を画像の生成手段により生成する生成工程と、前記生成した仮想画像の前記所定の領域を除く仮想画像を、前記実写画像に合成手段により合成する工程と、前記合成された画像を表示手段に表示する表示工程とを有する。

また、本発明の画像処理装置は、実写画像と、前記実写画像の所定の領域を除く領域に仮想画像を合成して表示する画像処理装置であって、撮像手段により撮像した実写画像を取得する画像の取得手段と、前記実写画像から前記所定の領域を抽出する抽出手段と、前記実写画像の大きさに対する前記所定の領域の大きさの割合に応じて、前記仮想画像の透明度を設定する透明度の設定手段と、前記設定された透明度に基づいた仮想画像を生成する画像の生成工程と、前記生成した仮想画像の前記所定の領域を除く仮想画像を、前記実写画像に合成する合成手段と、前記合成された画像を表示する表示手段とを有する。

本発明は、実写画像とＣＧ画像との合成画像を表示する場合に、合成画像を表示するパラメータに応じて、ＣＧ画像の透明度を変更して表示することにより、パラメータ情報を調整中のユーザーの操作を容易にすることができる。

以下、図面を参照して、本発明の一実施の形態を詳細に説明する。

図１は、本実施の形態に係る画像処理システムの構成を示すブロック図である。

図１において、画像処理装置１は、情報処理装置１０、ＨＭＤ（頭部搭載型表示装置）３０、位置姿勢計測部５０から成る。また、情報処理装置１０は、演算処理部１００、表示部２００、操作入力部４００から成り、位置姿勢計測部５０は、センサー制御部５００とセンサー６００から成る。

演算処理部１００は、パーソナルコンピュータなどにより構成され、ＣＰＵ１０１、ＲＯＭ及びＲＡＭ等から成るメモリ部１０２、画像生成装置１０３、システムバス１０４、ディスク装置１０５、入力装置１０６、画像読取装置１０７により構成される。

ＣＰＵ１０１は、メモリ部１０２に格納された後述の機能を達成するための制御プログラム等に基づき、装置全体を制御する。ＣＰＵ１０１は、システムバス１０４により各部に接続され、メモリ部１０２、画像生成装置１０３、ディスク装置１０５、入力装置１０６、画像読取装置１０７と相互に通信可能である。

メモリ部１０２は、主記憶装置として機能し、システムバス１０４を介して、制御プログラムのプログラムコードやプログラムの制御情報、ＣＧ画像データや計測位置データなどを一時的に保持する。

画像生成装置１０３は、ＣＧカードなどの機器によって実現される。一般的に、画像生成装置１０３は図示しないＣＧメモリを有している。ＣＰＵ１０１上で実行されるプログラムによって生成された画像情報は、システムバス１０４を介して画像生成装置１０３のＣＧメモリに書き込まれる。画像生成装置１０３は、ＣＧメモリに書き込まれた画像情報を表示部３０１に応じた画像信号に変換し、表示部に３０１に送出する。ＣＧメモリは必ずしも画像生成装置１０３が有する必要はなく、メモリ部１０２上にＣＧメモリの機能を実現してもよい。

システムバス１０４には、演算処理部１００を構成する各機器が接続され、上記機器はシステムバス１０４を介して相互に通信する。

ディスク装置１０５は、ハードディスク等の補助記憶装置によって実現される。ディスク装置１０５は、制御プログラムのプログラムコードやプログラムの制御情報、仮想世界のＣＧオブジェクトデータ、ＨＭＤの位置データ、被写体領域抽出処理のパラメータ情報や、設定値のデータを保持する。さらに、画像読取装置１０７から取得した実写画像データ、システムを制御するためのパラメータ等も保持する。

入力装置１０６は、各種インターフェース機器によって実現される。例えば、演算処理部１００の外部に接続された機器からの信号をデータとして入力し、システムバス１０４を介して、メモリ部１０２にデータを書き込むなどの機能を実現する。また、操作入力部４００を用いたユーザーの指示や、外部からの入力を受け付ける。

画像読取装置１０７は、キャプチャカードなどのように、ビデオ画像などの画像信号を入力し、システムバス１０４を介して、メモリ部１０２またはＣＧメモリに画像データを書き込む。または、本実施の形態で用いる画像データとして、ディスク装置１０５に記憶する。

表示部２００は、例えば、ブラウン管、液晶ディスプレイなどの表示装置であり、本実施の形態の画像処理システムのユーザに対し、システム全体の動作状況や、操作用のＵＩ、ＨＭＤの位置情報などを表示する。

ＨＭＤ３０は、複合現実感を体験するために、本装置のユーザが装着する頭部装着型の表示装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）である。ＨＭＤ３０は、表示部３０１、撮像装置３０２で計測され、位置姿勢を計測するための計測対象３０３が搭載されている。本構成では、ＨＭＤが一台である実施の形態で説明するが、複数のＨＭＤを具備する実施の形態であっても、同様に適用することができる。

表示部３０１は、例えば、複数のＬＣＤ及び光学系で構成され、ユーザの左右の眼前にそれぞれ位置するように配置されている。表示部３０１には、画像生成装置１０３から送出される画像を表示し、ユーザに複合現実感を提示するために用いられる。

撮像装置３０２は、ＨＭＤ３０のユーザの視点位置から見られる現実世界の画像を撮像するために用いられ、撮像した画像は、画像信号として画像読取装置１０７に送られる。

計測対象３０３は、センサ６００がＨＭＤ３０の位置を認識するために必要な計測対象であり、ＨＭＤ３０上に設けられる。

操作入力部４００は、例えば、キーボード、マウスなどの機器で構成され、ユーザが本装置の操作、指示を行う。これらは、システムの起動、終了や、本システムの制御、設定変更など、主に、複合現実感を体験中の仮想物体の操作以外の操作、指示で用いられる。

センサ６００は、ＨＭＤ３０のユーザの位置姿勢を計測する。センサ制御部５００はセンサ６００を制御し、計測対象３０３、および、センサ６００により計測データを取得する。計測対象３０２、センサ制御部５００、及び、センサ６００により、位置姿勢計測部５０を構成することになる。

センサ制御部５００は、計測データに基づき、予め設定された基準位置に対する計測対象３０３の位置姿勢の情報を算出し、計測値として入力装置１０６に送信する。

以上のような構成により、被写体領域の抽出処理を伴う複合現実感をユーザに提示し、かつ、本実施の形態における画像表示を実施することができる。

次に、複合現実感の提示における被写体領域の抽出に用いるパラメータ情報設定を目的として操作する例として、表示部２００の画像表示と操作入力部４００の操作とが関連する例を示す。なお、センサ６００の有無や、計測対象がＨＭＤ３０ではなく撮像装置３０３であっても適用することは可能である。

具体的には、領域抽出用のパラメータ情報を設定するために、操作手順に応じてＣＧ画像の透明度を変化させながら、合成画像の表示を行う処理について説明する。

図３は、本実施の形態における動作処理の流れを示すフローチャートである。

図３は、図１で示したようなシステム構成において、実写画像を撮像し、システムのユーザが被写体領域抽出を行う際に、表示部２００に合成画像を表示する処理について示している。

この合成画像の表示の例として、図２にＵＩ（ユーザインターフェース）を示すが、ＵＩのデザインは特に限定しない。また、本実施の形態では操作入力部４００の操作は、パソコンのマウス操作を例に記載するが、同様の操作ができれば、マウスでなくてもキーボードやゲームパッドのような別の操作機器であってもよい。

図３において、装置全体の初期化処理が終了している状態であるとする。

ユーザーが操作入力部４００を用いて実写画像の取得を指示すると、Ｓ３０１において、撮像装置３０３が実写画像を撮影し、画像取込装置１０７が実写画像を取得する。取得された実写画像は、メモリ部１０２、または、ディスク装置１０５に保持される。

Ｓ３０１における実写画像の取得は、システムの目的に応じて決定すればよく、必ずしもＨＭＤ３０に内蔵された撮像装置３０３でなくてもよく、一般的なカメラのような撮影装置でもかまわない。また、実写画像を複数取得して任意に使い分けてもよい。

次に、Ｓ３０２において、被写体領域抽出のためのパラメータ情報を設定する。このパラメータ情報は、例えば、図２のようなＵＩから設定することができるが、システムがデフォルトの値を保持していたり、すでに設定済みの状態であれば、記憶されていた設定値をそのまま、使用するだけで本ステップを省略してもかまわない。尚、本実施の形態において、所定の領域として被写体であるユーザの手を示しているが、他の部位、例えば、頭部や、特定の色で指定される外観であってもよい。

ここで、図２について、説明する。図２は、パラメータ情報を設定するために、表示部２００に表示されるパラメータ設定画面２００１を示している。

図２において、２００２は実写画像の取得を指示するためのボタンであり、このボタン２００２をマウスなどを用いてユーザが指示する。ボタン２００２が指示されることにより、ＨＭＤ３０に内蔵された左右それぞれの撮像装置３０３から実写画像が取得され、その縮小画像が領域２００４に表示される（Ｓ３０１参照）。

領域２００４に表示された実写画像のどちらか一方（本実施形態では、左画像）が、合成画像表示領域２００３に表示される。尚、合成画像表示領域２００３には、カラー領域２００５で指定された色の仮想画像が重畳されて表示される。この仮想画像は、メモリ部１０２に実写画像と同じ大きさを有する領域であるステンシルバッファに格納されることになる。尚、後述するが、仮想画像の透明度は、処理に従って、可変された状態で表示されることになり、最初は透明度が高い状態で表示されている。また、スライドバー２００６を移動することにより、仮想画像の透明度を、ユーザが任意に設定することができる。

図３に戻って、Ｓ３０３において、被写体領域抽出のデフォルトの（２回目以降の処理では設定されている）パラメータ情報を参照し、ステンシルバッファにおいてＣＧ画像の表示領域と非表示領域（マスク領域）を設定する。例えば、ＬＵＴや、画像の輝度の範囲、一定サイズ以下のコンピュータグラフィックスの領域を消去するなど、合成画像を作成するＣＧ画像領域を決定する様々なパラメータが適用できる。

ＣＧ画像の領域をステンシルバッファで設定すると、Ｓ３０４において、ステンシルバッファに作成されたＣＧ画像のマスク領域のサイズの、実写画像のサイズに対する割合を算出する。尚、実写画像のサイズに対するマスク領域のサイズの割合でもよい。

次にＳ３０５において、実写画像サイズに対するＣＧ画像のマスク領域のサイズの割合に応じて、ＣＧ画像の透明度を設定する。ＣＧ画像の透明度を決めるパラメータとしては、色のα値を０〜１．０の間で設定する方法が一般的である。Ｓ３０５では、被写体領域抽出用のＬＵＴにより作成されたステンシルバッファのマスク領域のサイズが、実写画像のサイズに近い大きさの場合は、完全に透明ではないが透明度の高い値（１．０に近い値）を設定する。また、ＣＧ画像のマスク領域のサイズの割合が小さい場合には、透明度の低い値（０に近い値）を設定する。

このように、ＣＧ画像の透明度は、目的とする合成画像の表示におけるマスク画像を除くＣＧ画像のサイズにより変更されるものである。このため、初回の表示では、ＣＧ画像の領域は大きいため、ＣＧ画像の透明度は高く設定される。

このように、ＣＧ画像の透明度の設定について説明したが、ＣＧ画像の設定では、透明度の設定時には、色の情報も同時に設定されることが一般的である。例えば、ＲＧＢＡの値を調整してＣＧ画像の色を決定するような画像データの場合は、α値だけでなくＣＧ画像の色も同時に設定される。本実施の形態では、ＣＧ画像の色は任意の色でよく、制限されない。ただし、このステップで実写画像の色との識別を容易にする色や、より操作目的に適した色に変更してもよい。また、実写画像に重畳するＣＧ画像サイズの割合に応じて透明度が設定される際に、その透明度と操作目的に応じて、ＣＧ画像の色を変更するように透明度の決定と組み合わせて色を変更する方法も実施することができる。

また、半透明の画像の生成方法としては、半透明のテクスチャを用意するなど、様々な方法があるが、前述の方法以外であっても、実写画像に対するＣＧ画像のサイズに応じて透明度を設定することができれば半透明のＣＧ画像の生成、表示方法は任意の方法で本発明を実施することができる。

次にＳ３０６においては、設定されたステンシルと透明度や色情報から半透明のＣＧ画像を生成する。ここで、生成される半透明のＣＧ画像は、設定されたパラメータ情報に基づき、抽出された被写体領域（本実施の形態では、ユーザの手）が除かれたＣＧ画像である。

次にＳ３０７において、画像生成装置１０３のフレームバッファに、Ｓ３０１で取得した実写画像とＳ３０６で生成されたＣＧ画像を描画することにより合成画像を生成する。そして、Ｓ３０８において、表示部２００に合成画像が表示される。表示画像の例としては、図２の合成画像表示領域２００３に示すように表示される。

Ｓ３０９において、さらに設定値を変更する場合には、Ｓ３０３〜Ｓ３０８の処理を繰り返す。この際、被写体抽出のためには、実写画像中の被写体の領域が正しく抽出されるパラメータ値に、設定値が近づくにつれ実写画像サイズに対するＣＧ画像のマスク領域が大きくなる。

一般に、実写画像の全領域の中で、被写体の領域のみ、例えば、実写画像中の手の色情報の領域のみが抽出されると、手の領域内にＣＧ画像が重畳されない表示となる。しかしながら、パラメータの設定値が適切でない場合は、合成画像上の被写体の領域がＣＧ画像に隠される。

実写画像中の被写体（手の肌色）の領域のうち、未抽出の領域は、合成画像中の手の領域内にＣＧ画像が重畳表示される。この未抽出の色情報を抽出し、ＬＵＴに登録するには、ユーザは、実写画像中における被写体の領域上の中の未抽出の領域にあたる色情報をＬＵＴに追加登録する。

この被写体の未抽出の領域を指定するには、合成画像表示領域に表示されちる合成画像中のＣＧ画像が重畳表示されている領域を選択すると、容易に操作追加登録が可能となる。

この領域指定の操作は、図４示す領域４００１のように、被写体画像にＣＧ画像を重畳表示した画像上でマウス等を操作することにより指定する。ＣＧ画像の透明度が高い方が、ＣＧ画像に隠された被写体の残りの領域の指定を容易に操作できる。たとえば、実写画像のほとんどがＣＧ画像に隠されており、マスク領域のサイズが小さい場合は図４に示すように透明度が高い表示となる。

一方、操作が進み、被写体の領域の抽出とパラメータ情報の再設定が進むと、ＣＧ画像に隠れた被写体が抽出さていない領域は非常に小さくなり、被写体以外の物を表示する領域とのエッジ付近となることから、より小さな領域を操作することになる。

この場合は、コンピュータグラフィックス画像は透明度が低く表示され、被写体の領域内で、図５のように抽出しきれていない領域が明確に表示される。図５の領域５００１のように、被写体である手の画像領域の残りの色情報を抽出してマスク画像領域に反映させるための色情報を抽出する領域を、マウス等での指定することが容易になる。

また、誤って、被写体の領域よりも大きくマスクされてしまった場合には、ＬＵＴから登録した色情報を抜き出す場合もある。この場合は、被写体以外の背景画像中の色情報を追加時と同様の操作で指定して、被写体のマスク領域作成には不要な色情報をＬＵＴから抜き出すことができる。この場合も、マスク領域サイズは大きくなり、実写画像サイズに近づいていることから、透明度の低い表示となり、被写体以外の背景において、ＣＧ画像と実写画像とが明確に区別できるようになる。

パラメータの再設定を繰り返し、適切な被写体領域が抽出できるパラメータの調整が終了する場合には、Ｓ３１０においてＵＩを閉じるなどして画像表示を終了する。

終了前に、この画像表示方法を実施したＵＩの仕様により、設定値を別ファイルに保存してもよいし、システム内に保持したまま、例えば、複合現実感提示装置におけるＭＲ画像表示において、設定値だけを利用するようにしてもよい。

また、本実施の形態は、ＣＧ画像の透明度を変更する例を示したが、ＣＧ画像の透明度の代わりにＣＧ画像をメッシュ処理を施して表示し、メッシュの粗さや、ＣＧ画像をフラッシュすることで、透明度と同様の方法で変更するようにしても実施することができる。

メッシュ処理の場合にはＳ３０５における透明度の算出方法と同様にマスク画像領域の割合が小さい場合には、メッシュを粗くし、マスク画像領域が大きい場合にはメッシュを細かくすることで、透明度の場合と同等の効果を挙げることができる。

画像をフラッシュする場合には、Ｓ３０５における透明度の設定と同様にマスク画像領域の割合が小さい場合には、点滅の間隔を長くし、マスク画像領域が大きい場合には点滅の間隔を短く設定し、Ｓ３０８における合成画像表示工程において、設定した点滅間隔を用いて合成画像を表示することにより、透明度の場合と同等の効果を挙げることができる。

［その他の実施例］
なお、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ可読の記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）がコンピュータ可読の記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、コンピュータ可読の記憶媒体から読出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶したコンピュータ可読の記憶媒体は本発明を構成することになる。

プログラムコードを供給するためのコンピュータ可読の記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

実施の形態に係る画像処理システムの構成を示すブロック図である。 実施の形態におけるユーザインタフェースを一例を示す図である。 実施形態に係る画像処理システムの処理動作を示すフローチャートである。 実施の形態におけるユーザインタフェースを一例を示す図である。 実施の形態におけるユーザインタフェースを一例を示す図である。

Claims (12)

1. 実写画像と、前記実写画像の所定の領域を除く領域に仮想画像を合成して表示する画像処理方法であって、
   撮像手段により撮像した実写画像を取得する画像の取得工程と、
   前記実写画像から前記所定の領域を抽出手段により抽出する抽出工程と、
   前記実写画像の大きさに対する前記所定の領域の大きさの割合に応じて、前記仮想画像の透明度を設定手段により設定する透明度の設定工程と、
   前記設定された透明度に基づいた仮想画像を画像の生成手段により生成する生成工程と、
   前記生成した仮想画像の前記所定の領域を除く仮想画像を、前記実写画像に合成手段により合成する工程と、
   前記合成された画像を表示手段に表示する表示工程とを有することを特徴とする画像処理方法。
2. 前記実写画像から前記所定の領域を抽出するためのパラメータ情報を情報の生成手段により生成する工程を更に有し、
   前記抽出工程は、前記パラメータ情報を用いて、前記実写画像から前記所定の領域を抽出することを特徴とする請求項１に記載の画像処理方法。
3. 前記設定工程は、
   前記実写画像の大きさに対する前記所定の領域の大きさの割合が高い場合は、前記透明度を低く設定し、前記割合が低い場合は、前記透明度を高く設定することを特徴とする請求項１又は２の何れか１項に記載の画像処理方法。
4. 前記表示手段に表示された合成画像に領域を、領域の設定手段により設定する領域の設定工程を更に有し、
   前記情報を生成する工程は、前記領域の設定工程で設定された領域に基づいて、前記パラメータ情報を生成することを特徴とする請求項１乃至３の何れか１項に記載の画像処理方法。
5. 前記合成される仮想画像は、前記透明度に基づいて、メッシュ処理を施された仮想画像であることを特徴とする請求項１乃至４の何れか１項に記載された画像処理方法。
6. 実写画像と、前記実写画像の所定の領域を除く領域に仮想画像を合成して表示する画像処理装置であって、
   撮像手段により撮像した実写画像を取得する画像の取得手段と、
   前記実写画像から前記所定の領域を抽出する抽出手段と、
   前記実写画像の大きさに対する前記所定の領域の大きさの割合に応じて、前記仮想画像の透明度を設定する透明度の設定手段と、
   前記設定された透明度に基づいた仮想画像を生成する画像の生成工程と、
   前記生成した仮想画像の前記所定の領域を除く仮想画像を、前記実写画像に合成する合成手段と、
   前記合成された画像を表示する表示手段とを有することを特徴とする画像処理装置。
7. 前記実写画像から前記所定の領域を抽出するためのパラメータ情報を生成する情報の生成手段を更に有し、
   前記抽出手段は、前記パラメータ情報を用いて、前記実写画像から前記所定の領域を抽出することを特徴とする請求項６に記載の画像処理装置。
8. 前記設定手段は、
   前記実写画像の大きさに対する前記所定の領域の大きさの割合が高い場合は、前記透明度を低く設定し、前記割合が低い場合は、前記透明度を高く設定することを特徴とする請求項６又は７の何れか１項に記載の画像処理装置。
9. 前記表示手段に表示された合成画像に領域を設定する領域の設定手段を更に有し、
   前記情報を生成する手段は、前記領域の設定手段で設定された領域に基づいて、前記パラメータ情報を生成することを特徴とする請求項６乃至８の何れか１項に記載の画像処理装置。
10. 前記合成される仮想画像は、前記透明度に基づいて、メッシュ処理を施された仮想画像であることを特徴とする請求項６乃至９の何れか１項に記載された画像処理装置。
11. 請求項１乃至５の何れか１項に記載の画像処理方法を、コンピュータにより実現するためのプログラム。
12. 請求項１１に記載のプログラムを記憶したコンピュータ可読の記憶媒体。

Images