JP4323910B2

JP4323910B2 - 画像合成装置及び方法

Info

Publication number: JP4323910B2
Application number: JP2003341624A
Authority: JP
Inventors: 要冨手; 登志一大島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-09-30
Filing date: 2003-09-30
Publication date: 2009-09-02
Anticipated expiration: 2023-09-30
Also published as: JP2005107967A

Description

本発明は、画像合成装置に係り、特に実写の風景を背景にコンピュータグラフィックスを前景に合成して表示する画像合成装置及び方法に関する。

実写風景を背景として、その上にコンピュータグラフィックス（以下、ＣＧと記述）を重畳して提示し、体験者に対して、あたかもその場に仮想の物体が存在するかのような体験を行わせる複合現実感の技術がある（例えば、特許文献１を参照）。この技術を用いて臨場感豊かな体験を実現するには、背景となる実写風景の上にただ単純にＣＧを重畳して表示するだけではなく、体験者が実際にＣＧの物体に触れるなどのインタラクションが重要になってくる。このインタラクションを実現するめには、ＣＧ画像よりも更に前景となる被写体（体験者の手など）を表示することが必要である。なぜなら、ＣＧで描画される仮想物体よりも前景となるはずの体験者の手などがＣＧによって隠されてしまうと、仮想物体との距離感や現実感が破綻し、臨場感を損ねてしまうからである。

このような問題を解決するために、出願人は特願２００２−０９５５３５において、最前景とすべき被写体の画像をＣＧ画像によって隠さないようにする技術を提案した。この技術は、予め手作業でＣＧ画像より手前に表示すべき被写体の色情報をシステムに登録しておき、その登録された色情報を持つ画素領域にはＣＧ画像の描画を禁止する。この技術により、前景となる被写体をＣＧ画像より手前に表示し、臨場感の高い複合現実感体験を行うことが可能となる。
特願平１１−０８８９１３

しかしながら、上記提案では、被写体の色情報の登録を手作業で行うため、その登録作業には知識と慣れが必要であり、誰でも簡単に登録できるというわけではない。また、色の情報のみで被写体領域を決定しているため、被写体領域の誤認によるノイズが生じてしまうなど、改善の余地がある。

すなわち、手作業で被写体の色情報の登録を行うのではなく、体験者やシステムのオペレータにとって比較的、簡単な操作やキャリブレーションを行うことによって誰でも被写体の色情報をシステムに登録できるようにするという要望がある。

また、簡単なキャリブレーションで被写体の色情報を登録できたとしても、色情報のみで被写体領域を決定した場合、背景に被写体の色と似た色が存在すると、その領域が被写体であると誤認識され、ＣＧの描画が禁止され、背景画像が出現してしまう。また逆に、照明条件の変化などによって被写体の色情報が変化した場合は、被写体内部であっても被写体ではないと誤認識され、被写体上にＣＧが描画されてしまう。以上のように誤認識に起因して出現する、ＣＧ画像中の背景画像や、被写体中のＣＧ画像といったノイズを低減することも望まれている。

本発明は上記課題に鑑みてなされたものであり、簡易な操作でＣＧ画像の前景とすべき被写体の色情報を登録可能とすることを目的とする。
また、本発明の他の目的は、提示画像中に出現するノイズを除去することにある。

上記の目的を達成するための本発明による画像合成方法は、
現実空間の撮影画像にコンピュータによる生成画像を重畳して表示する画像合成方法であって、決定手段が、被写体を含む第１撮影画像と、該被写体を含まない第２撮影画像のそれぞれの色情報に基づいて、前記生成画像よりも前景とすべき被写体画像の色情報を決定する決定工程と、保持手段が、前記被写体画像の色情報を保持する保持工程と、
抽出手段が、前記保持手段に保持された色情報に基づいて前記撮影画像より前記被写体画像の領域である被写体領域を抽出する抽出工程と、分類手段が、前記保持された色情報に基づいて前記撮影画像より前記被写体領域を抽出することにより、該撮影画像を被写体領域とそれ以外の背景領域の２種類の領域へ分類する分類工程と、第１判定手段が、前記被写体領域のうち前記背景領域となるべきノイズか否かを面積に基づいて判定する第１判定工程と、第２判定手段が、前記背景領域のうち前記被写体領域となるべきノイズか否かを面積に基づいて判定する第２判定工程と、第１変更手段が、前記第１判定工程で前記背景領域となるべきノイズと判定された被写体領域を前記背景領域へ変更する第１変更工程と、第２変更手段が、前記第２判定工程で前記被写体領域となるべきノイズと判定された背景領域を前記被写体領域へ変更する第２変更工程と、描画手段が、前記撮影画像上の前記生成画像よりも背景とすべき前記背景領域及び前記被写体領域の２つの領域を除く領域に該生成画像を描画する描画工程とを有する。

また、上記の目的を達成するための本発明による画像合成装置は、
現実空間の撮影画像にコンピュータによる生成画像を重畳して表示する画像合成装置であって、被写体を含む第１撮影画像と、該被写体を含まない第２撮影画像のそれぞれの色情報に基づいて、前記生成画像よりも前景とすべき被写体画像の色情報を決定する決定手段と、前記被写体画像の色情報を保持する保持手段と、前記保持手段に保持された色情報に基づいて前記撮影画像より前記被写体画像の領域である被写体領域を抽出する抽出手段と、前記保持された色情報に基づいて前記撮影画像より前記被写体領域を抽出することにより、該撮影画像を被写体領域とそれ以外の背景領域の２種類の領域へ分類する分類手段と、前記被写体領域の夫々が前記背景領域となるべきノイズか否かを面積に基づいて判定する第１判定手段と、前記背景領域の夫々が前記被写体領域となるべきノイズか否かを面積に基づいて判定する第２判定手段と、前記第１判定手段により前記背景領域となるべきノイズと判定された被写体領域を前記背景領域へ変更する第１変更手段と、前記第２判定手段により前記被写体領域となるべきノイズと判定された背景領域を前記被写体領域へ変更する第２変更手段と、前記撮影画像上の前記生成画像よりも背景とすべき前記背景領域及び前記被写体領域の２つの領域を除く領域に該生成画像を描画する描画手段とを備える。

以上の構成によれば、被写体画像の色情報が自動的に取得されるので、簡易な操作でＣＧ画像の前景とすべき被写体の色情報を登録することができる。
また、上記の構成によれば、提示画像中に出現するノイズを除去できる。

以下、添付の図面を参照して本発明の実施形態を説明する。

図１は、本実施形態による映像合成装置の構成を示す図である。図１において、小型のビデオカメラ１０１は現実空間を撮影する。ビデオカメラ１０１は、図２に示すように頭部搭載型画像表示装置（Head Mount Display、以下ＨＭＤという）１０９の、ユーザの目に近い部分に、ユーザの視界方向と一致する向きに固定されている。画像入力部１０２は、ビデオカメラ１０１より撮影された画像（映像）を入力する。ビデオカメラ１０１で撮影された画像の信号は、画像入力部１０２によって処理され、ディジタル画像データとして後述する被写体領域抽出部１０３と画像合成部１０８に供給され、画像生成部１０６で生成されたＣＧと合成されてユーザのＨＭＤ１０９に表示される。

被写体領域抽出部１０３は被写体色情報登録部１１０に登録された色の部分を、入力した映像より抽出し、その抽出結果を被写体領域として画像合成部１０８へ送る。すなわち、被写体領域抽出部１０３は、画像入力部１０２から供給された画像データの各画素の色情報を被写体色情報登録部１１０に登録してある被写体の色情報と比較し、これと一致する場合には当該画素は被写体の領域であると判断する。各画素がこのような被写体領域に含まれるか否かの判断の結果は、例えば被写体領域に含まれるならば１、そうでないならば０のような値を各画素に割り当てることにより、画像データの形態で画像合成部１０８に供給される。

一方、カメラ位置姿勢計測部１０５は、カメラ位置姿勢センサ１０４からの信号に基づいてビデオカメラ１０１の位置姿勢を検出し、これを画像生成部１０６へ送る。カメラ位置姿勢センサ１０４は、例えば磁気センサで構成され、図２に示すようにＨＭＤ１０９に装着されている。カメラ位置姿勢計測部１０５は、カメラ位置姿勢センサ１０４からの出力信号を入力し、カメラの位置と姿勢を推定する。なお、カメラ位置姿勢センサ１０４は、磁気センサの他に、光学式センサ、超音波式センサ、機械式センサなど、用途に合わせて好適な手段を任意に選択してよい。

画像生成部１０６では、カメラ位置姿勢計測部１０５から供給されるカメラの３次元的な位置と姿勢の情報を用いて、ビデオカメラ１０１で撮影された画像に合わせたＣＧ画像が生成される。ＣＧ画像の生成においては、仮想空間データベース１０７に含まれるＣＧモデルの幾何情報、色やテクスチャなどの属性情報、および照明情報が用いられる。３次元ＣＧ画像の生成は既知の技術であるので説明を省略する。生成されたＣＧ画像は画像合成部１０８へ送られる。

画像合成部１０８では、画像入力部１０２より入力される映像に画像生成部１０６で生成したＣＧ画像を重畳する。このとき、被写体領域抽出部１０３より送られて来た被写体領域（値が１の領域）においては、ＣＧ画像の描画を禁止し、ビデオカメラ１０１からの映像がそのまま表示されるようにする。こうして画像合成部１０８で生成された画像情報は、ＨＭＤ１０９に送られ、表示される。なお、以上のような図１の構成において、ビデオカメラ１０１、カメラ位置姿勢センサ１０４はＨＭＤ１０９に装着され、他の構成は一般的なコンピュータにより実現することができる。

以上の構成及び動作について図２及び図３を参照してより具体的に説明する。図２は実施形態による映像合成装置の利用形態を説明する図である。また、図３は実施形態による映像合成装置の画像合成を説明する図である。

図２に示すように、本実施形態においてユーザ２０１は、実写映像とＣＧを合成して表示するための表示装置であるＨＭＤ１０９を頭部２０３に装着し、椅子２０２に座っている。ユーザは着座する以外の任意の姿勢を取っていても良い。また、ＨＭＤ１０９にはビデオカメラ１０１やカメラ位置姿勢センサ１０４が搭載されている。なお、実施形態において、前景とすべき現実の被写体はユーザ２０１の手２０４であるとし、背景とすべき現実の対象物はそれ以外の現実物体（壁や鉢植え等）２０５である。

ＨＭＤ１０９に表示される画像は、図３の（ａ）のような現実の実写風景を背景に、図３の（ｂ）のようなＣＧ画像（仮想自動車内部画像２０６）を重畳する。このとき、ＣＧ画像の前景として被写体（体験者の手２０４）がＣＧ画像上に表示されるようにする。これにより、図３の（ｃ）に示すような目的とする合成画像を生成する。このように、体験者に臨場感の高い複合現実感体験させるためには、前景となる被写体領域にはＣＧを描画しないことが重要である。

図４は被写体領域抽出部１０３による被写体領域の抽出を説明する図である。図４の（ａ）は、ビデオカメラ１０１より得られる実写画像の例である。実写画像３０１において、ユーザ２０１自身の手がビデオカメラ１０１の視野内に入っており、背景とすべき現実の風景と共に前景とすべき被写体である手２０４が観測されている。被写体とすべき手２０４の色情報は予め被写体色情報登録部１１０に登録されている（登録の手順の詳細は後述）。被写体領域抽出部１０３は、実写画像３０１の各画素について、その色情報を被写体の色情報と比較し、被写体領域に含まれるならば１、それ以外では０とした画像を生成する。図４の（ｂ）に示される被写体領域画像４０２はこのようにして実写画像３０１を解析して生成した画像であり、白で示した領域が手の領域、すなわちＣＧ画像の前景とすべき被写体領域を示す。こうして生成された被写体領域にＣＧを合成しないことで、実写画像とＣＧを合成し、なおかつ前景となる体験者の手を表示した合成画像を得ることができる。

図５は被写体色情報登録部１１０の詳細を説明する図である。まず、被写体色情報を抽出するために、背景のみをビデオカメラ１０１で撮像する。撮像した画像は、画像入力部１０２でデジタル化され、色変換部５０１で所定の色空間へ変換される。その後、背景色情報登録部５０２へ送られ、そこで登録される。すなわち、背景のみの画像情報が背景色情報として背景色情報登録部５０２に格納される。次に、背景色情報の登録において撮影された背景と被写体とが同時に写るようにしてビデオカメラ１０１で撮像する。撮像した画像は、画像入力部１０２及び色変換部５０１を経て所定の色空間へ変換され、被写体色情報抽出部５０３へ入力される。被写体色情報抽出部５０３では、背景色情報登録部５０２に登録された背景色情報と、被写体を含む画像情報とを比較し、背景色情報に含まれていない色情報を抽出する。被写体色情報抽出部５０３で抽出された色情報は、被写体色情報として被写体色情報部５０４で登録される。

なお、被写体領域抽出部１０３および被写体色情報登録部１１０で用いられる所定の色空間とは多次元色空間であり、色情報はこの多次元色空間における座標値として記述することができる。一般によく知られている多次元色空間（表色系）としては、RGB、YIQ、YCbCr、YUV、HSV、Lu*v*、La*b*など様々なものが挙げられる（日本規格協会、ＪＩＳ色彩ハンドブックを参照）。

対象とする被写体の色彩特性に合わせて適当な色空間を用いてよいが、照明条件の相違による被写体の色彩特性の変化を相殺するために、情報と色み情報とに分離する形式の表色系を用い、被写体色情報として色み情報だけ（つまり輝度情報以外の情報）を用いることが望ましい。このような表色系の代表的なものとしてはYIQやYCbCrが一般的である。以下、本実施形態では、YCbCr表色系を用いるとする。

図６は本実施形態のシステム全体の流れを説明するフローチャ−トである。なお、図６の処理の開始に先立って、上述した被写体色情報登録部１１０により、ＣＧ画像よりも前景とすべき被写体領域を抽出するための被写体色情報を登録しておく。なお、被写体色情報登録部１１０による被写体色情報の登録方法の詳細については、図７〜図９により後述する。また、本実施形態ではシステムを実時間で動作させるために、被写体色情報の登録作業をシステムの起動前に予め行っている。しかしながら、システムパフォーマンスに余力がある場合は、リアルタイムに被写体色情報を更新することも可能である。

被写体色情報登録後、ステップＳ１でシステムが起動される。ステップＳ２及びＳ３は被写体領域抽出部１０３の処理である。まずステップＳ２では、ビデオカメラ１０１で撮像した画像内の各画素のＲＧＢ信号を所定の色空間（被写体色情報登録部１１０で登録された被写体色を表す色空間）へ変換する。ステップＳ３では、変換された各画素が被写体色情報登録部１１０に登録された被写体色と一致するかを調べる。登録されている被写体色と一致する場合には値の１を、一致するものがない場合は値の０を当該画素に割当て、２値のマスク画像（被写体領域画像）を生成する。

ステップＳ４では、画像生成部１０６が、カメラ位置姿勢計測部１０５から入力されたカメラの位置姿勢及び仮想空間データベース１０７の描画情報に基づいて、当該位置姿勢から観察されるＣＧ画像を生成する。そして、画像合成部１０８では、ステップＳ３で得られたマスク画像（被写体領域画像）でこのＣＧ画像をマスク処理する。すなわち、ステップＳ４では、マスク画像によりマスクされたコンピュータ映像が生成される。ステップＳ５では、ステップＳ４で生成されたマスク処理済みのＣＧ画像とビデオカメラ１０１より得られる実写画像を合成し、ＨＭＤ１０９に表示する。

その後、ステップＳ６でシステムを終了するかどうかがチェックされ、システムを終了させない場合にはステップＳ２に戻り、上述の処理を繰り返す。終了指示があれば、ステップＳ６より本処理を終了する。

次に、図１、図５で説明した被写体色情報登録部１１０による被写体色情報登録方法について、図７〜図９を参照して説明する。

まず、被写体の色情報を登録するために、背景色情報登録部５０２へ背景色情報を登録する必要がある。図７は背景色情報の登録を説明するフローチャートである。図７のステップＳ１１で、システム起動後、ステップＳ１２で、ビデオカメラ１０１より画像入力部１０２を介して背景画像を取得する。なお、ステップＳ１２における背景画像取得の際は、背景画像に被写体の色情報がなるべく含まれないようにすることが重要である。

次に、ステップＳ１２で取得した画像をステップＳ１３で色変換部５０１によりYCbCr表色系へ変換する。そして、ステップＳ１４でYCbCr空間へ写像（プロット）する。ステップＳ１２からステップＳ１４までを数回繰り返し（ステップＳ１５）、YCbCr空間へ背景色を登録する。なお、繰り返す回数は任意である。そして、所定回数の繰り返しを終えると、ステップＳ１５からステップＳ１６へ進み、ステップＳ１４における写像の結果を背景色情報として登録する。

以上のようにして背景色情報を所定の色空間で登録したならば、続いて被写体色情報の登録を行なう。図８は被写体色情報の登録を説明するフローチャートである。

ステップＳ２１でシステム起動後、ステップＳ２２でビデオカメラ１０１より「背景＋被写体」の画像を取得する。ステップＳ２３で、ステップＳ２２で取得した画像を色変換部５０１によりYCbCr表色系へ変換し、ステップＳ２４でYCbCr空間へ写像する。図７と同様にステップＳ２２からステップＳ２４までを数回繰り返し（ステップＳ２５）、YCbCr空間へ「背景＋被写体」画像の色を登録する。繰り返す回数は任意であるが、被写体の角度を変え、被写体への照明の辺り具合が変化するようにして撮像することが好ましい。

所定回数の繰り返しを終えると、ステップＳ２５からステップＳ２６へ進み、背景＋被写体の色情報とステップＳ１６で登録した背景色情報とを比較する。そして、背景色情報以外の色情報を被写体の色情報、すなわち被写体色情報とする。但しステップＳ２６で得られる被写体色情報は部分的に被写体の色情報が欠落しているため、これを補完する必要がある。そこで、ステップＳ２７において、被写体色情報の欠落を補完する凸閉方処理を行う。

図９は凸閉方処理を説明する図である。凸閉方処理では、まず図９の（ａ）に示されるように、YCbCr空間を輝度値Ｙの値でスライスする。このスライスにより得られるCbCr平面上には、スライスしたときの輝度値Ｙでの被写体色情報が点群として写像されている。そして、図９の（ｂ）に示されるように、CbCr平面上の点群の外側を線で結び、点群の全てを内包する閉領域を決定する。そして、図９の（ｃ）に示されるように、図９の（ｂ）で決定された閉領域の内側の全てが被写体色情報であるとして被写体色情報の補完を行う。なお、前述のように、照明条件の相違等による色彩変化の影響を排除するために、被写体色情報として色み情報（輝度情報以外の情報）のみを用いるようにするためには、全Ｙ値に渡る写像の結果をCbCr平面上に投影し、得られた点群を用いればよい。但し、背景に黒が多い場合などはＹ値の０（黒）に近い部分が不要になるので、Ｙ値で足切り（閾値処理）を行なって、それら不要な部分を排除するようにしてもよい。

次に、被写体領域抽出部１０３での処理を図１０のフローチャートにより説明する。画像入力部１０２から供給される画像データの各画素について図１０に示す処理を行い、被写体の領域を抽出する。まず、ステップＳ３１で、画像座標（i,j）のＲＧＢ値（r(i,j)，g(i,j)，b(i,j)）をYCbCr空間の座標値に変換する色空間変換関数（color_conversion）へ代入、演算することにより、画像座標（i,j）のＲＧＢ値のYCbCr空間での座標値（Y,cb,cr）を得る。そして、ステップＳ３２においてYCbCr空間での座標値（Y,cb,cr）を入力として、被写体色情報登録部１１０に登録されている被写体色情報を参照し、当該色空間の点が被写体色情報の領域に属するか否かを判定する。すなわち、被写体領域判定関数mask_funcは、入力された座標値（Y,cb,cr）が被写体色情報の領域に属する場合には１を、そうでない場合には０を返す。この処理を、全画像座標について実行することにより（ステップＳ３３）、被写体色情報に属するならば１、属さないならば０というように２値で表わされた被写体領域画像が生成される。

なお、被写体領域画像は、０から１までの連続値による確率分布で表現してもよい。例えば、CbCr平面上で背景色と被写体色が重なりあう部分を確立分布で表現する。一例としては、サンプル画像から背景色と被写体色を抽出し、CbCr平面にプロットした後、CbCr平面のある座標ｘにプロットされた背景色の画素数をＢＰx、被写体色の画素数をＴＰxとし、
ＴＰx／（ＢＰx＋ＴＰx）
を計算することにより、確率分布を求めることが挙げられる。但し、この式は、被写体を含むサンプル画像と含まないサンプル画像の枚数が等しい場合に適用できるものであり、両者の枚数が等しくない場合は、サンプル画像の枚数で重みを付ける必要がある。また、ＣＧ描画においては、確率分布の値に従い透過率を設定してアルファブレンドを行う。透過率を設定することにより、被写体領域であるけれども陰影の影響で背景色に近くなってしまった領域は半透明で表示することができる。これにより、被写体と背景の境界線をぼかすことができ、見た目をよくすることができる。

画像合成部１０８では、画像入力部１０１から供給される実写画像（図３（ａ））と、画像生成部１０６から供給されるＣＧ画像（図３（ｂ））とを、被写体領域抽出部１１０から供給される被写体領域画像（図４（ｂ））を用いて、目的とする合成画像（図３（ｃ））を生成する。被写体色情報登録部１１０に登録された色情報には被写体の色情報に類似した背景に存在する被写体以外の色も含まれているため、被写体領域画像４０２には被写体以外の領域が存在する。

さて、被写体領域以外の背景に被写体色情報に含まれる色の部分が存在すると、被写体領域外であるにもかかわらずＣＧ画像が描画されず、その部分がノイズとなる可能性がある。あるいは、被写体領域内の撮影画像に被写体色情報に含まれない色が存在すれば、被写体領域中にＣＧ画像が描画されてしまい、やはりノイズとなる。本実施形態では、このようなノイズを除去し、提示画像の画質を向上する。

図１１は被写体領域画像におけるノイズ除去を説明する図である。被写体領域画像１１１０には、被写体領域の外側と内側にノイズが生じている。外側のノイズは背景に存在する被写体領域と誤認識した領域であり、内側のノイズは被写体領域であるにも関わらず背景であると誤認識した領域である。Ｓ１０１において、まず外側のノイズを除去（被写体領域外の白部分を黒部分に修正する）して、画像１１１１を得る。例えば、画像内の連結した領域の面積を算出する際によく用いられるラベリングの手法を用いて、被写体領域画像の全領域の面積を算出し、算出した領域の面積が一定以下である場合はノイズであると見なしてその領域を除去する。なお、この例では面積に対して閾値を設定してノイズの判定を行っているが、被写体の数が予め決まっている場合などは、面積の大きい順に被写体領域であると判定し、他の被写体領域は削除するようにしてもよい。

次に、Ｓ１０２ではＳ１０１で得られた被写体領域画像１１１１に対して０と１を反転する処理を施す。この処理により、背景領域と被写体領域が反転し、画像１１１２が得られる。Ｓ１０３では、Ｓ１０２で得られた被写体領域画像に対し、再度ラベリングを行ない、被写体領域を算出する。その結果、被写体領域は最も大きな面積を持つ領域（背景）と、それ以外の領域（被写体領域内に存在するノイズ）に分類される。最も大きな面積を持つ領域（背景）以外は全てノイズであると見なせるので、これを除去することにより、被写体領域内側のノイズ除去が行なわれる。ステップＳ１０４では、ステップＳ１０３得られた被写体領域画像１１１３の反転処理を行い、背景領域と被写体領域を元に戻す。以上の処理を行うことにより被写体領域内外のノイズが除去された被写体領域画像１１１４を得ることができる。

なお、上記実施形態では、一般的なラベリングのアルゴリズムを採用し、被写体領域以外のノイズを除去したが、ラベリング以外のメジアンフィルタや、縮小・膨張処理といったアルゴリズムや、被写体領域の候補に対して凸閉方処理などを行って、ノイズ除去を行ってもよい。ノイズ除去の方法は用途によって好適な手段を任意に選択すればよい。たとえば、（１）背景と被写体の境界線が気になる場合は、被写体領域に対して凸閉方処理を行い、（２）ラベリング処理よりもノイズ除去の精度は劣るが細かいノイズを高速に除去したい場合は、被写体領域に対して縮小・膨張処理を行うようにすることが挙げられる。

次に、画像合成部１０８での画像合成処理を図１２によって説明する。ステップＳ４１では、画像入力部１０２より入力される実写画像を画像表示のための画像メモリであるフレームバッファに転送する。ステップＳ４２では、被写体領域抽出部１０３で生成された被写体領域画像をマスク処理のための画像メモリであるステンシルバッファに転送する。ステップＳ４３では、画像生成部１０６によりＣＧ画像を生成して、各座標（i,j）の画素についてステンシルバッファの値Stencil(i,j)を参照し、Stencil(i,j)＝１、すなわち実写画像中の画素real（i,j）が被写体領域に含まれる場合には、対応するフレームバッファの画素buffer(i,j)を更新せず、Stencil(i,j)＝０、すなわち実写画像中の画素real（i,j）が被写体領域に含まれていないときのみ、buffer(i,j)の値をＣＧ画像の画素値cgi（i,j）によって置き換える。

その結果、被写体領域では常に実写画像の画素値がフレームバッファに描き込まれ、被写体領域でない領域では、ＣＧが重畳されている部分に関してはＣＧ画像の画素値がフレームバッファに描き込まれる。また、被写体領域でなくかつＣＧが重畳されない領域は実写画像がフレームバッファに描き込まれる。

なお、本実施形態では、前景に描画する被写体として手を用いたが、他の物体でも構わない。

以上説明したように,上記実施形態によれば、ＣＧの背景画像となるべき背景と、ＣＧの前景となるべき被写体とを同時に撮影した撮影画像から、被写体の領域を被写体色情報に基づいて抽出するにおいて、被写体色情報を容易に登録することができる。また、抽出結果についてノイズ除去を行うことにより、質の高い画像を提示できる。

なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

第一実施形態の処理の流れを示すブロック図である。第一実施形態を示すブロック図である。合成画像に必要な素材画像を説明する図である。被写体領域の抽出を説明する図である。被写体色情報登録部の詳細を示す図である。第一実施形態の処理の流れを示すフローチャートである。背景色情報登録の処理の流れを示すフローチャートである。被写体色情報登録の処理の流れを示すフローチャートである。凸閉方処理を説明する図である。被写体領域抽出処理を説明するフローチャートである。ノイズ除去を説明する図である。画像合成処理の流れを説明するフローチャートである。

Claims

現実空間の撮影画像にコンピュータによる生成画像を重畳して表示する画像合成方法であって、
決定手段が、被写体を含む第１撮影画像と、該被写体を含まない第２撮影画像のそれぞれの色情報に基づいて、前記生成画像よりも前景とすべき被写体画像の色情報を決定する決定工程と、
保持手段が、前記被写体画像の色情報を保持する保持工程と、
抽出手段が、前記保持手段に保持された色情報に基づいて前記撮影画像より前記被写体画像の領域である被写体領域を抽出する抽出工程と、
分類手段が、前記保持された色情報に基づいて前記撮影画像より前記被写体領域を抽出することにより、該撮影画像を被写体領域と、該被写体領域以外であって前記撮影画像上の前記生成画像よりも背景とすべき背景領域との、２種類の領域へ分類する分類工程と、
第１判定手段が、前記被写体領域の夫々が前記背景領域となるべきノイズか否かを、該被写体領域の面積に基づいて判定する第１判定工程と、
第２判定手段が、前記背景領域の夫々が前記被写体領域となるべきノイズか否かを、該背景領域の面積に基づいて判定する第２判定工程と、
第１変更手段が、前記第１判定工程で前記背景領域となるべきノイズと判定された被写体領域を前記背景領域へ変更する第１変更工程と、
第２変更手段が、前記第２判定工程で前記被写体領域となるべきノイズと判定された背景領域を前記被写体領域へ変更する第２変更工程と、
描画手段が、前記被写体領域を除く領域に前記生成画像を描画する描画工程と
を有することを特徴とする画像合成方法。
前記第１判定工程と前記第２判定工程のうち少なくとも一方では、判定される領域の夫々の面積が所定値よりも小さい領域をノイズと判定することを特徴とする請求項１に記載の画像合成方法。
前記第１判定工程と前記第２判定工程のうち少なくとも一方では、判定される領域の夫々を面積順に並べ、大きい方から所定番目以下の領域をノイズと判定することを特徴とする請求項１又は２に記載の画像合成方法。
前記第１判定工程では、被写体領域の夫々を面積順に並べ、大きい方から予め決定した被写体の個数未満の順位の領域をノイズと判定することを特徴とする請求項３に記載の画像合成方法。
前記第２判定工程では、背景領域のうち、最も大きい領域以外の領域をノイズと判定することを特徴とする請求項１乃至４のいずれか１項に記載の画像合成方法。
前記被写体画像の色情報が、輝度と色みから構成された色空間における色みのみを用いて表現されることを特徴とする請求項１乃至５に記載の画像合成方法。
前記決定工程では、
前記第１撮影画像に存在し、且つ前記第２撮影画像に存在しない色を抽出し、
所定の色空間において、前記抽出した色の全体が含まれるように範囲を決定し、
前記決定された範囲内の色を前記被写体画像の色情報とすることを特徴とする請求項１乃至６のいずれか１項に記載の画像合成方法。
前記決定工程では、所定の色空間において、抽出した色を輝度に応じて区分し、区分毎に色合いを包括する範囲に被写体画像の色情報を修正することを特徴とする請求項７に記載の画像合成方法。
背景色情報決定手段が、前記被写体を含まない第２撮影画像の色情報に基づいて、前記生成画像よりも背景とすべき背景画像の色情報を決定する背景色情報決定工程と、
前記保持工程では、前記背景画像の色情報を保持することを特徴とする請求項１乃至８のいずれか１項に記載の画像合成方法。
排除手段が、前記被写体画像の色情報から、前記背景画像の色情報に基づく所定の輝度範囲を排除する排除工程とを有することを特徴とする請求項９記載の画像合成方法。
確率分布算出手段が、前記被写体画像の色情報と前記背景画像の色情報が重なる色情報における夫々の画像の画素数に基づいて、被写体領域画像の確率分布を算出する確率分布算出工程とを有し、
前記描画工程では、前記確率分布に基づいて、半透明に前記生成画像を描画することを特徴とする請求項９又は１０に記載の画像合成方法。
前記第１撮影画像と前記第２撮影画像のうち少なくとも一方が複数あり、
前記確率分布算出工程では、前記画素数の総和を画像の枚数で割った値に基づいて算出することを特徴とする請求項１１記載の画像合成方法。
請求項１乃至１２のいずれか１項に記載の画像合成方法をコンピュータに実行させるための制御プログラム。
請求項１乃至１２のいずれか１項に記載の画像合成方法をコンピュータに実行させるための制御プログラムを格納した記録媒体。
現実空間の撮影画像にコンピュータによる生成画像を重畳して表示する画像合成装置であって、
被写体を含む第１撮影画像と、該被写体を含まない第２撮影画像のそれぞれの色情報に基づいて、前記生成画像よりも前景とすべき被写体画像の色情報を決定する決定手段と、
前記被写体画像の色情報を保持する保持手段と、
前記保持手段に保持された色情報に基づいて前記撮影画像より前記被写体画像の領域である被写体領域を抽出する抽出手段と、
前記保持された色情報に基づいて前記撮影画像より前記被写体領域を抽出することにより、該撮影画像を被写体領域と、該被写体領域以外であって前記撮影画像上の前記生成画像よりも背景とすべき背景領域との、２種類の領域へ分類する分類手段と、
前記被写体領域の夫々が前記背景領域となるべきノイズか否かを、該被写体領域の面積に基づいて判定する第１判定手段と、
前記背景領域の夫々が前記被写体領域となるべきノイズか否かを、該背景領域の面積に基づいて判定する第２判定手段と、
前記第１判定手段により前記背景領域となるべきノイズと判定された被写体領域を前記背景領域へ変更する第１変更手段と、
前記第２判定手段により前記被写体領域となるべきノイズと判定された背景領域を前記被写体領域へ変更する第２変更手段と、
前記被写体領域を除く領域に前記生成画像を描画する描画手段とを備えることを特徴とする画像合成装置。