JP4007160B2 - 画像処理方法及びその装置、並びに画像処理プログラムとこの画像処理プログラムを記録した記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像情報から被写体部分を切り出し、且つ被写体の表面の透明度を求め、且つ別の２次元の画像上に被写体を合成する画像処理方法及びその処理装置に関するものである。
【０００２】
【従来の技術】
撮影した被写体の画像を、全く別の背景画像上に合成する処理は、映画やテレビ等、また、被写体をあらゆる方向から撮影することにより３次元画像を得る場合等によく使われている。この処理では、撮影した被写体画像から背景の画像を除去するセグメント処理が必要である。
【０００３】
一般的なセグメンテーション手法の一つに、クロマキー手法がある。これは、背景をある決められた単色にして撮影して、背景と同色の部分を切り取る手法である。しかしながら、このクロマキー手法では、撮影環境等により背景に色むらが生じたり、また、被写体に背景色に近い色が使われている場合、うまく切り出せない問題がある。
【０００４】
また、被写体を置かない状態で、あらかじめ背景を撮影しておき、その画像と被写体が写っている画像とを比較して、抜き出す手法もある。この抜き出す手法では、背景が単色でなくても抜き出しが行えるメリットがあるが、クロマキー手法と同様、被写体の影等が背景に写った場合や、背景と同様な部分が物体にある場合には、うまく抜き出すことができない。
【０００５】
また、特開２００１−１４８０２１号公報（特許文献１）の手法では、背景を変えた複数の画像を用いることにより、上記セグメンテーション手法の問題を解決している。しかしながら、この手法でも、被写体の表面反射が強く背景が写り込む場合や、被写体が半透明で背景が透けて見える場合は、被写体に欠けが生じ、図３、図５に示すように背景画像と合成した場合、被写体に不自然な欠けが生じるという問題が生じる。
【０００６】
また、特開２００１−１４３０８５号公報（特許文献２）では、白黒のストラップの背景を用いて、被写体表面の透明度を求める手法が提案されているが、この手法は被写体表面の透明度が均一である場合に限られている。
【０００７】
【特許文献１】
特開２００１−１４８０２１号公報
【特許文献２】
特開２００１−１４３０８５号公報
【特許文献３】
米国特許第６３７７２６９号公報
【発明が解決しようとする課題】
上述のように、従来のセグメンテーション手法では、被写体が半透明であったり、表面反射の強い物体では、被写体の切り出し画像に不自然に欠けが生じ、正確に、背景と被写体を切り分けることができず、その画像を、他の画像上に合成する場合、醜い画像となるという問題があった。
【０００８】
本発明は、上記条件でも正確に被写体部分を抽出し、他の画像等と合成した場合に、半透明性や反射性を再現し、自然な画像を得る画像処理方法とその装置を提供することを課題とする。
【０００９】
【課題を解決するための手段】
本発明の上記の課題を解決するために、本発明は、被写体の画像を別の画像に合成するために画像処理装置が実行する画像処理方法であって、被写体Ｏが写り背景の色彩と輝度の一方又は両方が違う少なくとも２枚の画像Ｐ１とＰ２を入力するステップと、前記画像Ｐ１とＰ２から、画素毎に透明度値を有する被写体Ｏの透明度画像ＰＴを求める透明度計算ステップと、前記画像Ｐ１とＰ２から、被写体Ｏの色彩画像ＰＣを求める色彩計算ステップと、ある２次元の画像ＰＺと前記透明度画像ＰＴと色彩画像ＰＣとから、その画像ＰＺに被写体Ｏを合成する合成ステップとを有し、前記透明度計算ステップでは、画像Ｐ１上のある一点の画素値をＰ１（ｘ，ｙ）、画像Ｐ２上の一点の画素値をＰ２（ｘ，ｙ）とし、画像Ｐ１上で被写体が写っていない部分のある画素の画素値をＰＰＢ１、画像Ｐ２上でのその画素に対応する画素の画素値をＰＰＢ２とし、ＰＰＢ１−ＰＰＢ２を最大画素変化ＰＰＭＡＸとし、不透明を１、透明を０として透明度を０〜１の実数とした場合、ある一点の透明度ＡＰ（ｘ，ｙ）を１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））／ＰＰＭＡＸ｜として与え、画像Ｐ１，Ｐ２上の全ての画素の透明度を求めることを特徴とする画像処理方法として構成される。
【００１１】
また、上記の画像処理方法において、透明度計算ステップでは、最大画素変化ＰＰＭＡＸに、画像Ｐ１，Ｐ２の全ての画素で、Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ）が最大となる値を用いることができる。
【００１２】
また、上記の画像処理方法において、透明度計算ステップでは、最大画素変化ＰＰＭＡＸを、画像Ｐ１，Ｐ２の同一ライン毎に計算するようにしてもよい。
【００１３】
また、上記の画像処理方法において、透明度計算ステップでは、画像Ｐ１，Ｐ２の１ラインの端の画素値をＰＥ１，ＰＥ２としたとき、最大画素変化ＰＰＭＡＸをＰＥ１−ＰＥ２として計算することもできる。
【００１４】
また、本発明の画像処理方法は、被写体の画像を別の画像に合成するために画像処理装置が実行する画像処理方法であって、被写体Ｏが写り背景の色彩と輝度の一方又は両方が違う少なくとも２枚の画像Ｐ１とＰ２を入力するステップと、前記画像Ｐ１とＰ２から、画素毎に透明度値を有する被写体Ｏの透明度画像ＰＴを求める透明度計算ステップと、前記画像Ｐ１とＰ２から、被写体Ｏの色彩画像ＰＣを求める色彩計算ステップと、ある２次元の画像ＰＺと前記透明度画像ＰＴと色彩画像ＰＣとから、その画像ＰＺに被写体Ｏを合成する合成ステップとを有し、前記透明度計算ステップでは、画像Ｐ１上のある一点の画素値をＰ１（ｘ，ｙ）、画像Ｐ２上の一点の画素値をＰ２（ｘ，ｙ）とし、被写体が写っていない背景を画像Ｐ１，Ｐ２の背景と同様に変えた２枚の画像ＰＢ１、ＰＢ２を用い、不透明を１、透明を０として透明度を０〜１の実数とした場合、透明度ＡＰ（ｘ，ｙ）を１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））／（ＰＢ１（ｘ，ｙ）−ＰＢ２（ｘ，ｙ））｜として与え、画像Ｐ１，Ｐ２上の全ての画素の透明度を求めることを特徴とする画像処理方法として構成することもできる。
【００１６】
また、上記の画像処理方法において、色彩計算ステップでは、２枚の画像のうち１枚を選び、その画素の色彩を色彩画像ＰＣとしてもよい。
【００１７】
また、上記の画像処理方法において、色彩計算ステップでは、２枚の画像のそれぞれの画素の色彩の平均値をその画素の色彩として色彩画像ＰＣを求めることもできる。
【００１８】
また、上記の画像処理方法において、色彩計算ステップでは、２枚の画像から１枚の画像を選び、その画素から、透明度計算ステップで求めた透明度を元に背景の色彩の影響を除去した色彩画像ＰＣを求めるようにしてもよい。
【００２２】
また、上記の画像処理方法において、合成ステップでは、透明度画像ＰＴ上のある一点の画素（０≦ｘ＜ｗ，０≦ｙ＜ｈ）の画素値をＰＴ（ｘ，ｙ）、色彩情報ＰＣ上の一点の画素値をＰＣ（ｘ，ｙ）、画像ＰＺ上の一点の画素値をＰＺ（ｘ，ｙ）とし、合成画像ＰＳ上の一点の画素値ＰＳ（ｘ，ｙ）を、ＰＳ（ｘ，ｙ）＝ＰＣ（ｘ，ｙ）×ＰＴ（ｘ，ｙ）＋ＰＺ（ｘ，ｙ）×（１−ＰＴ（ｘ，ｙ））で与え、合成画像ＰＳ上の全ての画素値を求めることができる。
【００２３】
また、本発明は、被写体の画像を別の画像に合成するために画像処理装置が実行する画像処理方法であって、２以上の整数をｎとし、被写体Ｏが写り背景の色彩と輝度の一方又は両方が違うｎ枚の画像Ｐ１〜Ｐｎを入力するステップと、前記画像Ｐ１〜Ｐｎから、画素毎に透明度値を有する被写体Ｏの透明度画像ＰＴを求める透明度計算ステップと、前記画像Ｐ１〜Ｐｎから、被写体Ｏの色彩画像ＰＣを求める色彩計算ステップと、ある２次元の画像ＰＺと前記透明度画像ＰＴと色彩画像ＰＣとから、その画像ＰＺに被写体Ｏを合成する合成ステップとを有し、合成ステップでは、透明度画像ＰＴ上のある一点の画素（０≦ｘ<ｗ，０≦ｙ<ｈ）の画素値をＰＴ（ｘ，ｙ）、色彩情報ＰＣ上の一点の画素値をＰＣ（ｘ，ｙ）、画像ＰＺ上の一点の画素値をＰＺ（ｘ，ｙ）とし、合成画像ＰＳ上の一点の画素値ＰＳ（ｘ，ｙ）を、ある定数Ｋを与え、
【００２４】
【数２】

ｋ＝Ｋ×ＰＴ（ｘ，ｙ）で与え、合成画像ＰＳ上の全ての画素値を求めてもよい。
【００２５】
また、上記の画像処理方法において、合成ステップでは、画像ＰＺと色彩情報ＰＣとを合成するときに、ＰＺを透明度画像ＰＴの値に応じてぼかし量が変わるフィルタＦを通してから合成画像ＰＳを求めるようにしてもよく、フィルタＦに、行列の大きさを透明度画像ＰＺの値により変化させた移動平均フィルタまたはメディアンフィルタを用いることができる。
【００２７】
また、本発明は被写体の画像を別の画像に合成する画像処理装置であって、被写体Ｏが写り背景の色彩と輝度の一方又は両方が違う少なくとも２枚の画像Ｐ１とＰ２を入力し、画素毎に透明度値を有する被写体Ｏの透明度画像ＰＴを求める透明度計算処理部と、前記画像Ｐ１とＰ２から、被写体Ｏの色彩画像ＰＣを求める色彩計算処理部と、ある２次元の画像ＰＺと前記透明度画像ＰＴと色彩画像ＰＣから、その画像ＰＺに被写体Ｏを合成する合成処理部とを備え、前記透明度計算部は、画像Ｐ１上のある一点の画素値をＰ１（ｘ，ｙ）、画像Ｐ２上の一点の画素値をＰ２（ｘ，ｙ）とし、画像Ｐ１上で被写体が写っていない部分のある画素の画素値をＰＰＢ１、画像Ｐ２上でのその画素に対応する画素の画素値をＰＰＢ２とし、ＰＰＢ１−ＰＰＢ２を最大画素変化ＰＰＭＡＸとし、不透明を１、透明を０として透明度を０〜１の実数とした場合、ある一点の透明度ＡＰ（ｘ，ｙ）を１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））／ＰＰＭＡＸ｜として与え、画像Ｐ１，Ｐ２上の全ての画素の透明度を求めることを特徴とする。
また、本発明は、被写体の画像を別の画像に合成する画像処理装置であって、被写体Ｏが写り背景の色彩と輝度の一方又は両方が違う少なくとも２枚の画像Ｐ１とＰ２を入力し、画素毎に透明度値を有する被写体Ｏの透明度画像ＰＴを求める透明度計算処理部と、前記画像Ｐ１とＰ２から、被写体Ｏの色彩画像ＰＣを求める色彩計算処理部と、ある２次元の画像ＰＺと前記透明度画像ＰＴと色彩画像ＰＣから、その画像ＰＺに被写体Ｏを合成する合成処理部とを備え、前記透明度計算部は、画像Ｐ１上のある一点の画素値をＰ１（ｘ，ｙ）、画像Ｐ２上の一点の画素値をＰ２（ｘ，ｙ）とし、被写体が写っていない背景を画像Ｐ１，Ｐ２の背景と同様に変えた２枚の画像ＰＢ１、ＰＢ２を用い、不透明を１、透明を０として透明度を０〜１の実数とした場合、透明度ＡＰ（ｘ，ｙ）を１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））／（ＰＢ１（ｘ，ｙ）−ＰＢ２（ｘ，ｙ））｜として与え、画像Ｐ１，Ｐ２上の全ての画素の透明度を求めることを特徴とする画像処理装置として構成することもできる。
また、本発明は、被写体の画像を別の画像に合成する画像処理装置であって、２以上の整数をｎとし、被写体Ｏが写り背景の色彩と輝度の一方又は両方が違うｎ枚の画像Ｐ１〜Ｐｎを入力し、画素毎に透明度値を有する被写体Ｏの透明度画像ＰＴを求める透明度計算処理部と、前記画像Ｐ１〜Ｐｎから、被写体Ｏの色彩画像ＰＣを求める色彩計算処理部と、ある２次元の画像ＰＺと前記透明度画像ＰＴと色彩画像ＰＣから、その画像ＰＺに被写体Ｏを合成する合成処理部とを備え、前記合成部は、画像ＰＺと色彩情報ＰＣとを合成するときに、ＰＺを透明度画像ＰＴの値に応じてぼかし量が変わるフィルタＦを通してから合成画像ＰＳを求めることを特徴とする画像処理装置として構成することもできる。
【００３０】
また、本発明により、上記の画像処理方法の実施に適したプログラムを記録した記録媒体、及びプログラムを提供できる。
【００３１】
本発明では、２以上の整数をｎとし、被写体Ｏが写り背景の色彩と輝度の一方又は両方が違うｎ枚の画像Ｐ１〜Ｐｎを入力とし、画像Ｐ１〜Ｐｎの色彩と輝度の一方又は両方の変化により、被写体Ｏの各ピクセルの透明度情報Ｔと色彩情報Ｃを求める。被写体Ｏの表面反射の強い部分は、反射量に応じて透明度の大きさで表される。このようにして求めた透明度は滑らかに変化するため、この透明度を利用して別の２次元画像上ＰＺに、被写体Ｏを描画することにより、被写体Ｏと画像ＰＺとの境界が自然である画像が得られる。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００３３】
図１に、本発明の一実施形態例である画像処理装置の構成を示す。本発明の画像処理装置Ｂは、透明度計算処理部ＡＴと、色彩計算処理部ＡＣと、必要によりノイズフィルタＡＮと、切断処理部ＡＲと、合成処理部ＡＳとで構成される。
【００３４】
透明度計算処理部ＡＴには、背景の色彩と輝度の一方又は両方を変えて被写体Ｏを撮影した２枚の画像Ｐ１，Ｐ２が入力される。透明度計算処理部ＡＴは、この２枚の画像Ｐ１，Ｐ２を入力として、透明度画像ＰＴを求める。必要な場合は、透明度画像処理部ＡＴで求めた透明度画像ＰＴにノイズフィルタＡＮをかけ、ノイズ除去を行う。また、色彩計算処理部ＡＣは、画像Ｐ１，Ｐ２を入力として、色彩画像ＰＣを出力する。透明度画像ＰＴ及び色彩画像ＰＣは、切断処理部ＡＲにより、被写体Ｏを包含する部分以外の不要部分をカットし画像サイズを小さくすることができる。合成処理部ＡＳは、切り出した透明度画像ＰＴ、切り出した色彩画像ＰＣと、別途撮影した背景画像ＰＺを入力として、背景画像ＰＺ上に被写体Ｏを挿入した合成画像ＰＳを生成する。
【００３５】
図２に、上記画像処理装置によって実現される画像処理方法の実施形態例の処理フローを示す。
【００３６】
まず、ステップ１において、後述する撮影システムＳＰにより背景の色彩と輝度の一方又は両方を変えて被写体Ｏを撮影する。次に、ステップ２において、被写体Ｏを撮影した２枚の画像Ｐ１，Ｐ２を透明度計算処理部ＡＴに入力する。次に、ステップ３において、透明度計算処理部ＡＴは、この２枚の画像Ｐ１，Ｐ２を入力として、後述する透明度計算を全ての画素について行い、透明を０、不透明を１とし、各画素を透明度を０から１の実数で表した透明度画像ＰＴを求める。次に、ステップ４において、必要な場合は、透明度画像処理部ＡＴで求めた透明度画像ＰＴにノイズフィルタＡＮをかけ、ノイズ除去を行う。次に、ステップ５において、色彩計算処理部ＡＣにより、画像Ｐ１，Ｐ２を入力として、各画素について色彩計算を行い、色彩画像ＰＣを生成する。次に、ステップ６において、透明度画像ＰＴ及び色彩画像ＰＣについて、切断処理部ＡＲにより、被写体Ｏを包含する部分以外の不要部分をカットし画像サイズを小さくする。最後に、ステップ７において、合成処理部ＡＳにより、切り出した透明度画像ＰＴ、切り出した色彩画像ＰＣと、別途撮影した背景画像ＰＺを入力として、背景画像ＰＺ上に被写体Ｏを挿入した合成画像ＰＳを生成する。上記において、ステップ３，４とステップ５とは、並行して行うことができる処理であり、いずれが先であっても構わない。
【００３７】
透明度計算処理部ＡＴで求めた透明度画像ＰＴは、従来、用いられていた２値化されたマスクデータと違い、ピクセル毎の透明度が精緻に分類、数値化されているため、ピクセル間の変化が滑らかであり、背景が写りこんだ鏡面部分は、透明と不透明の間の値をとるので、図４、図６のように、得られた合成画像ＡＳでは、被写体Ｏに鏡面反射部分があっても欠けることなく、被写体Ｏと背景画像ＰＺとが滑らかに合成されていることがわかる。また、図７、図８のように、透明又は半透明な被写体Ｏを、自然な透明感や半透明感を持たせて背景画像ＰＺと合成することができる。なお、図８は、図７に対応する実際に得られた画像である。図７等は実際の画像をわかりやすくするために描いた画像である。
【００３８】
以下、図１の各処理部の機能、あるいは図２の各処理のステップについて説明する。
【００３９】
図９に、本発明で用いる撮影画像Ｐ１，Ｐ２を得る撮影システムＳＰの構成図を示す。本撮影システムＳＰは、スイッチＳの電気信号の値により色彩と輝度の一方又は両方が変わる背景表示装置ＢとテーブルＴＢと、被写体Ｏ及び背景表示装置Ｂ、テーブルＴＢを撮影する撮影装置Ｃからなり、被写体ＯをテーブルＴＢ上にのせ、スイッチＳの電気信号の値を２通りに変えて、撮影装置Ｃにより背景の違う撮影画像Ｐ１，Ｐ２を得る。撮影装置Ｃは、被写体をあらゆる方向から撮影できるように移動可能である。
【００４０】
上記背景表示装置Ｂには、ＥＬパネル、液晶パネル、液晶シャッタ、投影型スクリーン、プラズマディスプレイ、ＣＲＴ等を用いることができる。また、上記テーブルＴＢは、背景が透過する透明な物質で構成するのが好適である。
【００４１】
画像Ｐ１，Ｐ２の横のピクセル数をＷ、縦のピクセル数をＨとすると、上記透明度計算処理部ＡＴでの透明度計算方法の一例では、Ｐ１及びＰ２の画像上の一点の画素値をＰ１（ｘ，ｙ）、Ｐ２（ｘ，ｙ）、（０≦ｘ＜Ｗ，０≦ｙ＜Ｈ）とし、画像上全画素でＰ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ）の値の絶対値が最大となるときの値、ＰＰＭＡＸを求める。なお、画素値として、例えばRGB値、輝度値を用いることができる。なお、透明度計算を行う場合においては、画像Ｐ１，Ｐ２間での変化が大きく現れる種類の画素値を用いることが望ましい。
【００４２】
透明を０、不透明を１とし、透明度を０から１の実数で表すとき、透明度計算処理部ＡＴで生成する透明度画像ＰＴ上の１点ＰＴ（ｘ，ｙ）の値は、
１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））／ＰＰＭＡＸ｜
として計算する。透明度計算処理部ＡＴは、画像上の全ての画素について上記式で計算を行い、透明度画像ＰＴを求める。最大画素変化ＰＰＭＡＸとしては、例えば、画像Ｐ１上で被写体が写っていない部分の画素値をＰＰＢ１、画像Ｐ２上で被写体が写っていない部分の画素値をＰＰＢ２として、ＰＰＢ１−ＰＰＢ２で計算することができる。あるいは、最大画素変化ＰＰＭＡＸに、画像Ｐ１，Ｐ２の全ての画素で、Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ）が最大となる値を用いることもできる。
【００４３】
図９で示した撮影システムの背景表示装置Ｂは曲面となっており、被写体を３次元画像として表示することもできるように、真横、斜め上方、真上など、被写体をあらゆる方向から撮影できるようになっている。このために、撮影した画像の背景の輝度等が上方と下方で変わる場合には、全画素中の差の最大値ＰＰＭＡＸを用いる手法では、正確に透明度を求めることができない。そこで、画像上の両端には、被写体が写っていないので、その画素が完全に透明であることを利用して、横方向のライン毎に透明度を求めることにより、この問題を解決することができる。例えば、ライン毎に最大画素変化ＰＰＭＡＸを求めて計算を行うことができる。また、左端の画素には被写体が写っておらず、背景のみである場合には、
ＰＴ（ｘ，ｙ）＝１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））／（Ｐ１（０，ｙ）−Ｐ２（０，ｙ））｜
として、画像上の全ての画素について計算を行うことにより求められる。すなわち、画像Ｐ１，Ｐ２の１ラインの端の画素値をＰＥ１，ＰＥ２としたとき、最大画素変化ＰＰＭＡＸをＰＥ１−ＰＥ２として計算することができる。
【００４４】
また、背景のみの画像を用いることにより、さらに正確に透明度を計算することができる。この手法では、被写体が写り背景が異なる画像Ｐ１，Ｐ２と、それら画像と背景が同様で被写体が写っていない画像ＰＢ１、ＰＢ２を用いる。画像上の一点Ｐ（ｘ，ｙ）の透明度は、
ＰＴ（ｘ，ｙ）＝１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））／（ＰＢ１（ｘ，ｙ）−ＰＢ２（ｘ，ｙ））｜
で求める。
【００４５】
これら求めた透明度画像ＰＴには、撮影環境等の影響でノイズを含む場合があり、合成画像が醜くなる場合がある。このような場合には、透明度画像ＰＴ全体にメディアンフィルタ等のノイズフィルタＡＮを通すことにより、このノイズを除去することができる。この生成画像をＰＴＡとする。
【００４６】
次に、色彩計算処理部ＡＣであるが、単純には画像Ｐ１またはＰ２のいずれかをそのまま出力として用いることができる。また、二つの画像の色彩の平均色を用いることにより、周囲光の影響を平均化することができる。また、透明度計算処理部ＡＴの結果を用いて、透けて写った背景の色彩を取り除くことにより、被写体本来の色彩を抽出することができる。
【００４７】
すなわち、２枚の画像から１枚の画像を選び、その画素から、透明度計算処理部ＡＴで求めた透明度を元に背景の色彩の影響を除去した色彩画像ＰＣを求めることができる。これは、以下のような式を用いて求めることができる。
【００４８】
ＰＰＢ１−ＰＰＢ２をＰＰＭＡＸとする場合には、
【００４９】
【数３】

を用いる。また、ＰＢ１（ｘ，ｙ）−ＰＢ２（ｘ，ｙ）をＰＰＭＡＸとする場合には、
【００５０】
【数４】

を用いる。
【００５１】
さて、被写体を鮮明で高品質な画像で背景画像上に描画するためには、被写体を撮影するときの照明条件が重要である。被写体に投影する照明が強くなると色彩画像は鮮明になるが、強い照明が背景に当たると背景を変化させてもその変化が捕らえにくくなり、正確な透明度画像の抽出の妨げとなる。そこで、被写体に照明を当てずに背景を変えた画像を撮影して透明度画像を抽出し、次に被写体に照明を当てて撮影した画像を色彩画像とすることにより、より鮮明で高品質な合成画像を得ることができる。
【００５２】
また、被写体Ｏを撮影するときに複数の照明下で撮影しておき、背景画像を撮影した時の照明条件と近い条件で撮影した被写体Ｏの画像を用いて合成画像を生成することによって、背景にマッチした合成画像を生成することができる。
【００５３】
切断処理部ＡＲは、ノイズフィルタＡＮを用いない場合には透明度画像ＰＴを用い、ノイズフィルタＡＮを通した場合には透明度画像ＰＴＡを用いて、ある閾値ＴＨ（０＜ＴＨ＜１）を与え、透明度が閾値ＴＨを超えるピクセルを包括する長方形を求め、透明度画像ＰＴ又はＰＴＡ、及び色彩画像ＰＣをその大きさで切り出すことにより、画像サイズを小さくした透明度画像ＰＴＳ、及び色彩画像ＰＣＳを生成する。これにより、被写体の画像情報のサイズを小さくすることができる。
【００５４】
また、合成処理部ＡＳあるいは合成を行うステップ７では、透明度画像ＰＴＳと、色彩画像ＰＣＳと、被写体撮影時の背景とは別の背景画像ＰＺとを入力として、背景画像ＰＺ上に被写体Ｏを重ね書きした合成画像ＰＳを得る。この合成は、透明度の比率でブレンディンクを行う一般的な式である、
ＰＳ（ｘ，ｙ）＝ＰＴ（ｘ，ｙ）×ＰＣ（ｘ，ｙ）＋（１−ＰＴ（ｘ，ｙ））×ＰＺ（ｘ，ｙ）
の式を用いることにより、計算することができる。なお、数式（数３、数４）を用いてＰＣを求めた場合には、以下の式を用いる
【００５５】
【数５】

ただし、この合成手法では、背景に直線等の色彩が急峻に変化する模様がある場合、それが合成した被写体Ｏ上に透けて見える問題がある。例えば、図４に示した例では、背景画像にある白い直線が合成した電話機の表面に透けて見える場合がある。この量が少なければ、目立たないが、図１０のように、直線で書かれた背景に被写体であるポットを合成した例では、ポットの底の部分が透けているように見え、非現実の画像となっている。この問題は、被写体Ｏの部分の背景画像をぼかしてから合成することにより、解決することができる。被写体Ｏの部分は、透明度ＰＴの値が小さいので、透明度が少なくなると背景の画像のぼかし量を大きくして、合成を行う。この合成を行う具体的な計算式を下記に示す。
【００５６】
【数６】

ｋ＝Ｋ×ＰＴ（ｘ，ｙ）
ここで、Ｋは定数である。この計算式を用いて合成した例を、図１１に示す。この画像では、ポットの部分の背景の直線がぼかして表示されるため、ポットが透けているようには見えない。なお、数式（数３、数４）を用いてＰＣを求めた場合には、以下の式を用いる
【００５７】
【数７】

また、図１２の例に示すように、上記の手法で透明な物体の背景をぼかすことにより、背景が透明な物体を通して屈折しているように見え、より現実的な画像を得ることができる。
【００５８】
なお、上記の合成手法では、画像ＰＺと色彩情報ＰＣとを合成するときに、ＰＺを透明度画像ＰＴの値に応じてぼかし量が変わるフィルタＦを通してから合成画像ＰＳを求めることも好適である。このフィルタＦには、行列の大きさを透明度画像ＰＺの値により変化させた移動平均フィルタまたはメディアンフィルタを用いることができる。
【００５９】
さらに、上記実施形態例では、背景の変化を２種類で説明しているが、３以上の複数の背景が違う画像を用いることにより、より一層精度良く、透明度や色彩情報を得ることができる。その計算手法であるが、例えば、複数の背景画像から２つの画像を選び、上記処理部により透明度及び色彩情報を求め、その２組の画像の選択を全ての組み合わせにおいて計算し、その平均を用いることにより処理することができる。また、最小２乗法等を用いて、計算することもできる。
【００６０】
また、上記の実施形態の説明では、２次元の画像上に被写体を合成する例について説明したが、多数の方向から撮影した画像を用いることにより、被写体を３次元画像として表示することも可能である。
【００６１】
なお、図１で示した画像処理装置における各処理部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムを、例えば図１３に示すコンピュータを用いて実行して本発明を実現することができることができる。図１３に示すコンピュータは、ＣＰＵ１、メモリー２、ハードディスク３、入力装置４、出力装置５、ＣＤ−ＲＯＭドライブ６を有する。
【００６２】
あるいは、図２を用いて説明した処理のステップ２〜７及びそのステップの詳細をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができる。また、そのプログラムは、そのコンピュータが読み取りできる記録媒体、例えば、ＦＤ（フロッピー（登録商標）ディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ−ＲＯＭ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、そのプログラムは、インターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００６３】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【００６４】
【発明の効果】
以上述べたように、本発明を用いることにより、被写体が透明又は半透明であったり、表面反射の強い物体では、被写体の切り出し画像に不自然に欠けが生じたりすることがなく、正確に、背景と被写体を切り分けることができ、他の画像等と合成した場合に、透明性又は半透明性や反射性を再現し、自然な画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の一実施形態例を示す構成図である。
【図２】本発明の一実施形態例による画像処理方法を説明するための処理フロー図である。
【図３】従来の手法で、被写体と背景画像を合成した例を示した図である。
【図４】本発明の実施形態例を用いて被写体と背景画像を合成した例を示す図である。
【図５】従来の手法で、被写体と背景画像を合成した例の実際の画像を示す図である。
【図６】本発明の実施形態例を用いて被写体と背景画像を合成した例の実際の画像を示す図である。
【図７】本発明の実施形態例を用いて半透明な被写体と背景画像を合成した例を示す図である。
【図８】本発明の実施形態例を用いて半透明な被写体と背景画像を合成した例の実際の画像を示す図である。
【図９】本発明の撮影システムの実施形態例を示す図である。
【図１０】本発明の実施形態例で背景をぼかさずに被写体と合成した例を示した図である。
【図１１】本発明の実施形態例で背景をぼかして被写体と合成した例を示した図である。
【図１２】本発明の実施形態例で背景をぼかして被写体と合成した他の例を示した図である。
【図１３】本発明の画像処理装置として使用できるコンピュータの構成を示す図である。
【符号の説明】
Ｐ１，Ｐ２…撮影画像
ＡＴ…透明度計算処理部
ＡＣ…色彩計算処理部
ＰＴ…透明度画像
ＰＣ…色彩画像
ＡＮ…ノイズフィルタ
ＡＲ…切断処理部
ＰＴＳ…切断処理後の透明度画像
ＰＣＳ…切断処理後の色彩画像
ＰＺ…背景画像
ＡＳ…合成処理部
ＰＳ…合成画像
Ａ…画像処理装置
Ｂ…背景表示装置
Ｃ…撮影装置
Ｏ…被写体
Ｓ…スイッチ
ＴＢ…テーブル
１ ＣＰＵ
２ メモリ
３ ハードディスク
４ 入力装置
５ 出力装置
６ ＣＤ−ＲＯＭドライブ

Claims (17)

1. 被写体の画像を別の画像に合成するために画像処理装置が実行する画像処理方法であって、
   被写体Ｏが写り背景の色彩と輝度の一方又は両方が違う少なくとも２枚の画像Ｐ１とＰ２を入力するステップと、
   前記画像Ｐ１とＰ２から、画素毎に透明度値を有する被写体Ｏの透明度画像ＰＴを求める透明度計算ステップと、
   前記画像Ｐ１とＰ２から、被写体Ｏの色彩画像ＰＣを求める色彩計算ステップと、
   ある２次元の画像ＰＺと前記透明度画像ＰＴと色彩画像ＰＣとから、その画像ＰＺに被写体Ｏを合成する合成ステップとを有し、
   前記透明度計算ステップでは、
   画像Ｐ１上のある一点の画素値をＰ１（ｘ，ｙ）、画像Ｐ２上の一点の画素値をＰ２（ｘ，ｙ）とし、画像Ｐ１上で被写体が写っていない部分のある画素の画素値をＰＰＢ１、画像Ｐ２上でのその画素に対応する画素の画素値をＰＰＢ２とし、ＰＰＢ１−ＰＰＢ２を最大画素変化ＰＰＭＡＸとし、不透明を１、透明を０として透明度を０〜１の実数とした場合、ある一点の透明度ＡＰ（ｘ，ｙ）を１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））／ＰＰＭＡＸ｜として与え、画像Ｐ１，Ｐ２上の全ての画素の透明度を求めることを特徴とする画像処理方法。
2. 請求項１記載の画像処理方法において、
   前記透明度計算ステップでは、
   最大画素変化ＰＰＭＡＸに、画像Ｐ１，Ｐ２の全ての画素で、Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ）が最大となる値を用いることを特徴とする画像処理方法。
3. 請求項１記載の画像処理方法において、
   前記透明度計算ステップでは、
   最大画素変化ＰＰＭＡＸを、画像Ｐ１，Ｐ２の同一ライン毎に計算することを特徴とする画像処理方法。
4. 請求項３記載の画像処理方法において、
   前記透明度計算ステップでは、
   画像Ｐ１，Ｐ２の１ラインの端の画素値をＰＥ１，ＰＥ２としたとき、最大画素変化ＰＰＭＡＸをＰＥ１−ＰＥ２として計算することを特徴とする画像処理方法。
5. 被写体の画像を別の画像に合成するために画像処理装置が実行する画像処理方法であって、
   被写体Ｏが写り背景の色彩と輝度の一方又は両方が違う少なくとも２枚の画像Ｐ１とＰ２を入力するステップと、
   前記画像Ｐ１とＰ２から、画素毎に透明度値を有する被写体Ｏの透明度画像ＰＴを求める透明度計算ステップと、
   前記画像Ｐ１とＰ２から、被写体Ｏの色彩画像ＰＣを求める色彩計算ステップと、
   ある２次元の画像ＰＺと前記透明度画像ＰＴと色彩画像ＰＣとから、その画像ＰＺに被写体Ｏを合成する合成ステップとを有し、
   前記透明度計算ステップでは、
   画像Ｐ１上のある一点の画素値をＰ１（ｘ，ｙ）、画像Ｐ２上の一点の画素値をＰ２（ｘ，ｙ）とし、被写体が写っていない背景を画像Ｐ１，Ｐ２の背景と同様に変えた２枚の画像ＰＢ１、ＰＢ２を用い、不透明を１、透明を０として透明度を０〜１の実数とした場合、透明度ＡＰ（ｘ，ｙ）を１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））／（ＰＢ１（ｘ，ｙ）−ＰＢ２（ｘ，ｙ））｜として与え、画像Ｐ１，Ｐ２上の全ての画素の透明度を求めることを特徴とする画像処理方法。
6. 請求項１ないし５のうちいずれか１項に記載の画像処理方法において、
   前記色彩計算ステップでは、
   ２枚の画像のうち１枚を選び、その画素の色彩を色彩画像ＰＣとすることを特徴とする画像処理方法。
7. 請求項１ないし５のうちいずれか１項に記載の画像処理方法において、
   前記色彩計算ステップでは、
   ２枚の画像のそれぞれの画素の色彩の平均値をその画素の色彩として色彩画像ＰＣを求めることを特徴とする画像処理方法。
8. 請求項１ないし５のうちいずれか１項に記載の画像処理方法において、
   前記色彩計算ステップでは、
   ２枚の画像から１枚の画像を選び、その画素から、透明度計算ステップで求めた透明度を元に背景の色彩の影響を除去した色彩画像ＰＣを求めることを特徴とする画像処理方法。
9. 請求項１ないし８のうちいずれか１項に記載の画像処理方法において、
   前記合成ステップでは、
   透明度画像ＰＴ上のある一点の画素（０≦ｘ<ｗ，０≦ｙ<ｈ）の画素値をＰＴ（ｘ，ｙ）、色彩情報ＰＣ上の一点の画素値をＰＣ（ｘ，ｙ）、画像ＰＺ上の一点の画素値をＰＺ（ｘ，ｙ）とし、合成画像ＰＳ上の一点の画素値ＰＳ（ｘ，ｙ）を、ＰＳ（ｘ，ｙ）＝ＰＣ（ｘ，ｙ）×ＰＴ（ｘ，ｙ）＋ＰＺ（ｘ，ｙ）×（１−ＰＴ（ｘ，ｙ））で与え、合成画像ＰＳ上の全ての画素値を求めることを特徴とする画像処理方法。
10. 被写体の画像を別の画像に合成するために画像処理装置が実行する画像処理方法であって、
    ２以上の整数をｎとし、被写体Ｏが写り背景の色彩と輝度の一方又は両方が違うｎ枚の画像Ｐ１〜Ｐｎを入力するステップと、
    前記画像Ｐ１〜Ｐｎから、画素毎に透明度値を有する被写体Ｏの透明度画像ＰＴを求める透明度計算ステップと、
    前記画像Ｐ１〜Ｐｎから、被写体Ｏの色彩画像ＰＣを求める色彩計算ステップと、
    ある２次元の画像ＰＺと前記透明度画像ＰＴと色彩画像ＰＣとから、その画像ＰＺに被写体Ｏを合成する合成ステップとを有し、
    前記合成ステップでは、
    透明度画像ＰＴ上のある一点の画素（０≦ｘ<ｗ，０≦ｙ<ｈ）の画素値をＰＴ（ｘ，ｙ）、色彩情報ＰＣ上の一点の画素値をＰＣ（ｘ，ｙ）、画像ＰＺ上の一点の画素値をＰＺ（ｘ，ｙ）とし、合成画像ＰＳ上の一点の画素値ＰＳ（ｘ，ｙ）を、ある定数Ｋを与え、
    

    

    ｋ＝Ｋ×ＰＴ（ｘ，ｙ）で与え、合成画像ＰＳ上の全ての画素値を求めることを特徴とする画像処理方法。
11. 被写体の画像を別の画像に合成するために画像処理装置が実行する画像処理方法であって、
    ２以上の整数をｎとし、被写体Ｏが写り背景の色彩と輝度の一方又は両方が違うｎ枚の画像Ｐ１〜Ｐｎを入力するステップと、
    前記画像Ｐ１〜Ｐｎから、画素毎に透明度値を有する被写体Ｏの透明度画像ＰＴを求める透明度計算ステップと、
    前記画像Ｐ１〜Ｐｎから、被写体Ｏの色彩画像ＰＣを求める色彩計算ステップと、
    ある２次元の画像ＰＺと前記透明度画像ＰＴと色彩画像ＰＣとから、その画像ＰＺに被写体Ｏを合成する合成ステップとを有し、
    前記合成ステップでは、
    画像ＰＺと色彩情報ＰＣとを合成するときに、ＰＺを透明度画像ＰＴの値に応じてぼかし量が変わるフィルタＦを通してから合成画像ＰＳを求めることを特徴とする画像処理方法。
12. 請求項１１に記載の画像処理方法において、
    前記フィルタＦに、行列の大きさを透明度画像ＰＺの値により変化させた移動平均フィルタまたはメディアンフィルタを用いたことを特徴とする画像処理方法。
13. 被写体の画像を別の画像に合成する画像処理装置であって、
    被写体Ｏが写り背景の色彩と輝度の一方又は両方が違う少なくとも２枚の画像Ｐ１とＰ２を入力し、画素毎に透明度値を有する被写体Ｏの透明度画像ＰＴを求める透明度計算処理部と、
    前記画像Ｐ１とＰ２から、被写体Ｏの色彩画像ＰＣを求める色彩計算処理部と、
    ある２次元の画像ＰＺと前記透明度画像ＰＴと色彩画像ＰＣから、その画像ＰＺに被写体Ｏを合成する合成処理部とを備え、
    前記透明度計算部は、
    画像Ｐ１上のある一点の画素値をＰ１（ｘ，ｙ）、画像Ｐ２上の一点の画素値をＰ２（ｘ，ｙ）とし、画像Ｐ１上で被写体が写っていない部分のある画素の画素値をＰＰＢ１、画像Ｐ２上でのその画素に対応する画素の画素値をＰＰＢ２とし、ＰＰＢ１−ＰＰＢ２を最大画素変化ＰＰＭＡＸとし、不透明を１、透明を０として透明度を０〜１の実数とした場合、ある一点の透明度ＡＰ（ｘ，ｙ）を１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））／ＰＰＭＡＸ｜として与え、画像Ｐ１，Ｐ２上の全ての画素の透明度を求めることを特徴とする画像処理装置。
14. 被写体の画像を別の画像に合成する画像処理装置であって、
    被写体Ｏが写り背景の色彩と輝度の一方又は両方が違う少なくとも２枚の画像Ｐ１とＰ２を入力し、画素毎に透明度値を有する被写体Ｏの透明度画像ＰＴを求める透明度計算処理部と、
    前記画像Ｐ１とＰ２から、被写体Ｏの色彩画像ＰＣを求める色彩計算処理部と、
    ある２次元の画像ＰＺと前記透明度画像ＰＴと色彩画像ＰＣから、その画像ＰＺに被写体Ｏを合成する合成処理部とを備え、
    前記透明度計算部は、
    画像Ｐ１上のある一点の画素値をＰ１（ｘ，ｙ）、画像Ｐ２上の一点の画素値をＰ２（ｘ，ｙ）とし、被写体が写っていない背景を画像Ｐ１，Ｐ２の背景と同様に変えた２枚の画像ＰＢ１、ＰＢ２を用い、不透明を１、透明を０として透明度を０〜１の実数とした場合、透明度ＡＰ（ｘ，ｙ）を１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））／（ＰＢ１（ｘ，ｙ）−ＰＢ２（ｘ，ｙ））｜として与え、画像Ｐ１，Ｐ２上の全ての画素の透明度を求 めることを特徴とする画像処理装置。
15. 被写体の画像を別の画像に合成する画像処理装置であって、
    ２以上の整数をｎとし、被写体Ｏが写り背景の色彩と輝度の一方又は両方が違うｎ枚の画像Ｐ１〜Ｐｎを入力し、画素毎に透明度値を有する被写体Ｏの透明度画像ＰＴを求める透明度計算処理部と、
    前記画像Ｐ１〜Ｐｎから、被写体Ｏの色彩画像ＰＣを求める色彩計算処理部と、
    ある２次元の画像ＰＺと前記透明度画像ＰＴと色彩画像ＰＣから、その画像ＰＺに被写体Ｏを合成する合成処理部とを備え、
    前記合成部は、
    画像ＰＺと色彩情報ＰＣとを合成するときに、ＰＺを透明度画像ＰＴの値に応じてぼかし量が変わるフィルタＦを通してから合成画像ＰＳを求めることを特徴とする画像処理装置。
16. 請求項１ないし１２のうちいずれか１項記載の画像処理方法における各ステップを、コンピュータに実行させるためのプログラム。
17. 請求項１ないし１２のうちいずれか１項記載の画像処理方法における各ステップを、コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images