JP4631198B2 - 画像処理装置および画像処理方法、記録媒体、並びにプログラム - Google Patents
画像処理装置および画像処理方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4631198B2 JP4631198B2 JP2001115636A JP2001115636A JP4631198B2 JP 4631198 B2 JP4631198 B2 JP 4631198B2 JP 2001115636 A JP2001115636 A JP 2001115636A JP 2001115636 A JP2001115636 A JP 2001115636A JP 4631198 B2 JP4631198 B2 JP 4631198B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- value
- threshold
- pixel
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、記録媒体、並びにプログラムに関し、特に、背景領域と被写体領域とからなる画像から被写体領域のみを抽出する場合に用いて好適な、画像処理装置および画像処理方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
撮像された画像データにおいて、例えば、背景から被写体を抽出する場合など、画像の領域を分割する領域分割法として、従来、主に３つの方法が提案されている。
【０００３】
第１の方法は、画像データの画素値のみを利用するものであり、代表的なものとして、例えば、画素値の類似度を定義して、領域統合を繰り返す方法や、特徴空間におけるクラスタリングなどがある。
【０００４】
第２の方法は、画素値と他の付加情報を併用することによって、被写体領域を背景領域から分離して抽出するものであり、例えば、抽出すべき被写体領域の大まかな境界線を予め与え、その境界線近傍のみを画像処理することにより、正確に被写体領域を抽出するような方法である。この方法を動画像に適用する場合には、第１フレームにおいて抽出した領域を、動き検出やフレーム間差分、あるいは、Snakes（動的輪郭モデル）を用いて領域の変化を追跡したり、第１フレームと最終フレームにおいて、被写体領域を予め抽出しておき、その間の画像に対しては、これら２つのフレームにおいて抽出された被写体領域を基に補間を行う方法などが提案されている。
【０００５】
第２の方法において、例えば、抽出すべき被写体領域の大まかな境界線などの入力といった手動操作の介入を避ける方法としては、例えば、被写体を含まない背景のみの画像を予め撮像しておき、被写体を含む画像を、背景のみの画像と比較して、その差分を演算することにより被写体を抽出する背景差分法がある。
【０００６】
また、撮像時に被写体以外の背景領域を一定の色のスクリーンで覆い、この色情報を用いて対象物を抽出するクロマキーという手法は、例えば、映像制作などに現在最も頻繁に用いられている手法である。
【０００７】
第３の方法は、特殊な撮像装置を用いて距離情報などを算出し、それに基づいて被写体を抽出する方法であり、例えば、視点の異なる複数のカメラによって得られた画像間の視差情報を用いるものが多く提案されている。また、複数のカメラを用いずに、一台のカメラの撮像面位置を変化させ、その再に画像上に生じるほけの変化を利用して距離を算出する方法も提案されている。
【０００８】
【発明が解決しようとする課題】
被写体を背景から切り取り抽出するために、以上説明したような、様々な方法が用いられている。
【０００９】
しかしながら、第１の方法は、物理的に一様な局所領域（例えば、ある一定の色情報を有する領域や、境界線など）を抽出するための手段としては優れているのであるが、意味のある被写体を１つの領域として抽出するためには、充分な方法ではない。
【００１０】
また、第３の方法として説明した視差情報を用いる方法では、複数のカメラが必要となる（もしくは、ひとつのカメラで複数の画像を撮像する必要があるため、撮像に時間がかかる）上に、画像間の対応を演算するための演算量が非常に多い。また、ぼけ情報を用いる場合、撮像装置における実現可能な被写界深度が問題となる。近年の撮像装置、特に民生用途の撮像装置は、小型化される傾向である。そのため、被写界深度が深くなる場合が多く、撮像面位置の変化によるほけの差が検出し難い場合が殆どである。
【００１１】
第２の方法において、手動操作に依存する方法を取る場合、柔軟なインターフェースが求められるため、アプリケーションが限定される。また、時間的に領域を追跡している方法を採用する場合、動き検出などのエラーが蓄積されていく可能性が大きく、長時間のシーケンスを処理するのには向かない。更に、動き検出やSnakesは、演算量が多いため、リアルタイムに画像を処理するアプリケーションに導入するのは非常に困難である。
【００１２】
これらに対して、背景差分法は、演算が比較的簡単であるとともに、背景領域が変化しない限り、差分値が大きい画素は、非常に高い確率で被写体領域に属することが期待できる上に、時間的なエラーの蓄積の恐れもない。
【００１３】
しかしながら、背景差分法においては、背景画像と被写体を含む対象画像の撮像は、異なる時刻になされるため、例えば、照明光などが変更してしまう場合がある。
【００１４】
また、背景画像撮像時と対象画像撮像時では、画像内のレベルの分布が異なる場合があるので、撮像に用いるカメラの制御を自動にしている場合、照明光などの変動の影響により、同じものを撮像しているにもかかわらず、撮像された画素の画素値が異なる可能性がある。
【００１５】
本発明はこのような状況に鑑みてなされたものであり、被写体領域の抽出を行う前に、照明光や撮像パラメータなどの変動を補正するためのものである。
【００１６】
【課題を解決するための手段】
本発明の画像処理装置は、背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、被写体領域を抽出する画像処理装置であって、対象画像から被写体領域を抽出する際に用いる抽出用閾値を算出するための閾値算出用画像を生成する閾値算出用画像生成手段と、背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を生成する平均値画像生成手段と、対象画像と平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、対象画像と平均値画像との、設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件を満たす平均値画像上の設定領域の画素値の合計を、第１の合計値として算出する第１の合計値算出手段と、条件を満たす対象画像上の設定領域の画素値の合計を、第２の合計値として算出する第２の合計値算出手段と、第２の合計値が第１の合計値以上であるか否かに応じて、閾値算出用画像又は対象画像の一方を補正するための補正係数を算出する補正係数算出手段と、補正係数を用いて、閾値算出用画像又は対象画像の一方を補正する補正手段とを備える。
【００１７】
補正係数算出手段には、第２の合計値が第１の合計値以上である場合、第２の合計値を第１の合計値で除算して得られる除算結果を、閾値算出用画像を補正するための補正係数として算出させ、第２の合計値が第１の合計値以上ではない場合、第１の合計値を第２の合計値で除算して得られる除算結果を、対象画像を補正するための補正係数として算出させるようにすることができる。
【００１８】
補正手段により、閾値算出用画像又は対象画像の一方が補正された後、閾値算出用画像に基づいて、対象画像の各画素が背景領域に対応するものであるか、又は被写体領域に対応するものであるかを判断して被写体領域を抽出するための抽出用閾値を算出する閾値算出手段と、対象画像の各画素の画素値と抽出用閾値とを用いて、被写体領域を抽出する抽出手段とをさらに設けるようにすることができる。
【００１９】
閾値算出用画像生成手段には、閾値算出用画像として、複数の背景画像それぞれの、対応する各画素の画素値の最大値を画素値とする最大値画像、及び複数の背景画像それぞれの、対応する各画素の画素値の最小値を画素値とする最小値画像を生成させるようにすることができる。
【００２０】
設定領域とは、対象画像に含まれる背景領域のうちのいずれかの領域であるようにすることができる。
【００２１】
補正手段には、閾値算出用画像又は対象画像のうち、補正対象とされた画像が色情報を含んでいる場合、補正対象とされた画像を色情報の成分毎に補正させるようにすることができる。
【００２２】
本発明の画像処理方法は、背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、被写体領域を抽出する画像処理装置の画像処理方法であって、画像処理装置による、対象画像から被写体領域を抽出する際に用いる抽出用閾値を算出するための閾値算出用画像を生成する閾値算出用画像生成ステップと、背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を生成する平均値画像生成ステップと、対象画像と平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、対象画像と平均値画像との、設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件を満たす平均値画像上の設定領域の画素値の合計を、第１の合計値として算出する第１の合計値算出ステップと、条件を満たす対象画像上の設定領域の画素値の合計を、第２の合計値として算出する第２の合計値算出ステップと、第２の合計値が第１の合計値以上であるか否かに応じて、閾値算出用画像又は対象画像の一方を補正するための補正係数を算出する補正係数算出ステップと、補正係数を用いて、閾値算出用画像又は対象画像の一方を補正する補正ステップとを含む。
【００２３】
本発明の記録媒体に記録されているプログラムは、背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、被写体領域を抽出する処理をコンピュータに実行させるためのプログラムであって、対象画像から被写体領域を抽出する際に用いる抽出用閾値を算出するための閾値算出用画像を生成する閾値算出用画像生成ステップと、背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を生成する平均値画像生成ステップと、対象画像と平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、対象画像と平均値画像との、設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件を満たす平均値画像上の設定領域の画素値の合計を、第１の合計値として算出する第１の合計値算出ステップと、条件を満たす対象画像上の設定領域の画素値の合計を、第２の合計値として算出する第２の合計値算出ステップと、第２の合計値が第１の合計値以上であるか否かに応じて、閾値算出用画像又は対象画像の一方を補正するための補正係数を算出する補正係数算出ステップと、補正係数を用いて、閾値算出用画像又は対象画像の一方を補正する補正ステップとを含む処理をコンピュータに実行させる。
【００２４】
本発明のプログラムは、背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、被写体領域を抽出する処理をコンピュータに実行させるためのプログラムであって、対象画像から被写体領域を抽出する際に用いる抽出用閾値を算出するための閾値算出用画像を生成する閾値算出用画像生成ステップと、背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を生成する平均値画像生成ステップと、対象画像と平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、対象画像と平均値画像との、設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件を満たす平均値画像上の設定領域の画素値の合計を、第１の合計値として算出する第１の合計値算出ステップと、条件を満たす対象画像上の設定領域の画素値の合計を、第２の合計値として算出する第２の合計値算出ステップと、第２の合計値が第１の合計値以上であるか否かに応じて、閾値算出用画像又は対象画像の一方を補正するための補正係数を算出する補正係数算出ステップと、補正係数を用いて、閾値算出用画像又は対象画像の一方を補正する補正ステップとを含む処理をコンピュータに実行させる。
【００２５】
本発明の画像処理装置および画像処理方法、並びにプログラムにおいては、対象画像から被写体領域を抽出する際に用いる抽出用閾値を算出するための閾値算出用画像が生成され、背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像が生成され、対象画像と平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、対象画像と平均値画像との、設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件を満たす平均値画像上の設定領域の画素値の合計が、第１の合計値として算出され、条件を満たす対象画像上の設定領域の画素値の合計が、第２の合計値として算出され、第２の合計値が第１の合計値以上であるか否かに応じて、閾値算出用画像又は対象画像の一方を補正するための補正係数が算出され、補正係数を用いて、閾値算出用画像又は対象画像の一方が補正される。
【００２６】
【発明の実施の形態】
以下、図を参照して、本発明の実施の形態について説明する。
【００２７】
まず、本発明の第１の実施の形態について説明する。図１は、本発明を適応した画像処理装置１の構成を示すブロック図である。
【００２８】
画像処理装置１は、動作モードとして、背景情報抽出モードと被写体抽出モードの２つのモードを有しており、ユーザは、図示しない操作部を操作することによって、背景情報抽出モードと被写体抽出モードを切り替えることができる。背景情報抽出モードでは、背景のみからなる画像を入力して背景領域に関する情報を抽出する処理が実行される。一方、被写体抽出モードでは、背景情報抽出モードにおいて抽出された背景情報を基に、被写体と背景から構成された画像から被写体領域のみを抽出する処理が実行される。
【００２９】
撮像部１１は、例えばCCD（Charge Coupled Devices）カメラなどから構成されている。撮像部１１は、制御部１３の制御に従って画像を撮像し、画素値Ｉ（ｉ，ｊ）からなる画像データを被写体領域検出部１２に出力する。ここで、画素値Ｉ（ｉ，ｊ）は、撮像された画像データの二次元座標（ｉ，ｊ）上の画素値を表す。
【００３０】
被写体領域検出部１２は、スイッチ２１、背景情報抽出部２２、メモリ２３、画像補正部２４、および背景差分算出部２５で構成され、制御部１３の処理に従って、撮像部１１から入力された画像信号を処理し、被写体領域を検出する処理を実行する。
【００３１】
スイッチ２１は、制御部１３から入力される信号を基に、背景情報抽出モードの場合、背景のみで構成される背景画像の画像信号を背景情報抽出部２２に供給し、被写体抽出モードの場合、背景および被写体で構成される入力画像データを画像補正部２４に供給する。
【００３２】
制御部１３は、画像処理装置１の動作を制御するものであり、例えば、図示しない操作部から入力された信号を基に背景情報抽出モードか被写体抽出モードかを判断し、撮像部１１で撮像された画像データを被写体領域検出部１２の適する部分に供給するようにスイッチ２１を切り替えさせる。また、制御部１３にはドライブ１４も接続されている。ドライブ１４には、必要に応じて磁気ディスク３１、光ディスク３２、光磁気ディスク３３、および半導体メモリ３４が装着され、データの授受を行うようになされている。
【００３３】
背景情報抽出部２２の更に詳細な構成を示すブロック図を図２に示す。
【００３４】
背景抽出モードにおいて、スイッチ２１を介して入力された少なくとも２枚の背景画像データは、最大値画像生成部４１、最小値画像生成部４２、および平均値画像生成部４３に供給される。最大値画像生成部４１は、入力された複数の画像の座標（ｉ，ｊ）毎の画素の最大値を、式（１）により算出し、それぞれの座標における最大の画素値Ｍａｘ（ｉ，ｊ）からなる最大値画像を背景情報として生成し、メモリ２３に出力して保存させる。
【数１】
・・・（１）
【００３５】
ここで、Ｉｋ（ｉ，ｊ）は、ｋ番目の画像の、座標（ｉ，ｊ）における画素値を示す。また、ＭＡＸ（・）は、括弧内に示される複数の数値の最大値を算出する演算を示す。
【００３６】
最小値画像生成部４２は、入力された複数の画像の座標（ｉ，ｊ）毎の画素の最小値を、式（２）により算出し、それぞれの座標における最小の画素値Ｍｉｎ（ｉ，ｊ）からなる最小値画像を背景情報として生成し、メモリ２３に出力して保存させる。平均値画像生成部４３は、入力された複数の画像の座標（ｉ，ｊ）毎の画素の平均値を、式（３）により算出し、それぞれの座標における平均の画素値Ａｖｅ（ｉ，ｊ）からなる平均値画像を背景情報として生成し、メモリ２３に出力して保存させる。
【数２】
・・・（２）
【数３】
・・・（３）
【００３７】
ここで、ＭＩＮ（・）は、括弧内に示される複数の数値の最小値を算出する演算を示す。また、Ｎは、背景情報抽出部２２に供給された画像の枚数を示す。
【００３８】
メモリ２３は、背景情報抽出部２２が抽出した背景情報の入力を受け、背景情報を保存するとともに、保存している背景情報を、画像補正部２４に供給する。
【００３９】
図３は、画像補正部２４の更に詳細な構成を示すブロック図である。
【００４０】
背景情報抽出モードにおいて入力された背景画像と、被写体抽出モードにおいて入力された被写体を含む画像データとで、画像内のレベルの分布が異なる場合がある。例えば、撮像に用いるカメラの制御を自動にしている場合、照明光などの変動の影響により、同じものを撮像しているにもかかわらず、撮像された画素の画素値が異なる可能性がある。画像補正部２４において、このような変動成分の補正が実行される。
【００４１】
補正係数算出部５１は、スイッチ２１を介して入力された入力画像の画素値Ｉ（ｉ，ｊ）および背景情報抽出部２２より入力された平均値画像の画素値Ａｖｅ（ｉ，ｊ）を基に、入力画像と平均値画像に共通して存在する背景領域のうちの所定の領域における画素値の平均値を求める。
【００４２】
入力画像に含まれる背景領域の所定の領域Ｂにおける画素値の平均は、次の式（４）で求められる。
【数４】
・・・（４）
【００４３】
また、平均値画像に含まれる背景領域の所定の領域Ｂにおける画素値の平均は、次の式（５）で求められる。
【数５】
・・・（５）
【００４４】
ここで、式（４）および式（５）中のdifは、入力された画素値Ｉ（ｉ，ｊ）と、平均値画像の画素値Ａｖｅ（ｉ，ｊ）との差の絶対値であり、次の式（２１）で示される。
【数６】
・・・（６）
【００４５】
また、式（４）および式（５）のＢは、被写体領域以外の部分を示すが、実際には、この領域を事前に知ることはできないため、例えば、図４に示される画像の４すみなどのように、被写体が入り込みにくいと思われる領域が予め設定される。
【００４６】
式（４）および式（５）のＴは、予め定められた閾値であり、式（６）で示される入力された画素値Ｉ（ｉ，ｊ）と、平均値画像の画素値Ａｖｅ（ｉ，ｊ）との差の絶対値がこの閾値を越える場合には、領域Ｂに含まれる座標（ｉ，ｊ）には被写体が撮像されているものとみなされ、補正係数の算出から除外されるようになされている。
【００４７】
また、ＬｍｉｎおよびＬｍａｘは予め設定された定数であり、入力された画素値Ｉ（ｉ，ｊ）と、平均値画像の画素値Ａｖｅ（ｉ，ｊ）とが、いずれもＬｍｉｎ以上Ｌｍａｘ以下である場合にのみ、その値が補正係数の算出に用いられる。これは、画素の値が非常に大きい場合は、飽和している可能性が高く、逆に非常に小さい場合は、ノイズの影響を強く受けてしまうため、いずれも補正係数の算出に用いるのが好ましくないからである。
【００４８】
補正係数算出部５１は、次の式（７）に示されるように、算出された入力画像の画素値の平均値ｓｕｍｆｇと平均値画像の画素値の平均値ｓｕｍｂｇとの大小関係に基づいて補正係数ｐを算出する。
【数７】
・・・（７）
【００４９】
すなわち、補正係数ｐは、領域Ｂにおいて、平均値画像の画素値Ａｖｅ（ｉ，ｊ）のレベルの方が高い場合には、入力画像の画素値Ｉ（ｉ，ｊ）を増幅させるための係数として算出され、入力画像の画素値Ｉ（ｉ，ｊ）のレベルの方が高い場合には、平均値画像の画素値Ａｖｅ（ｉ，ｊ）を増幅させるための係数として算出される。
【００５０】
補正係数算出部５１は、式（７）によって算出された補正係数ｐ、および、入力画像の画素値の平均値ｓｕｍｆｇと平均値画像の画素値の平均値ｓｕｍｂｇとのいずれの値が大きいかを示すフラグｆの値を補正部５３に出力する。
【００５１】
メモリ５２は、入力画像の画素値Ｉ（ｉ，ｊ）を保存し、補正係数算出部５１による補正係数ｐの算出処理の間、入力画像の画素値Ｉ（ｉ，ｊ）を保存する。
【００５２】
補正部５３は、補正係数算出部５１から、補正係数ｐおよびフラグｆの値の入力を受け、メモリ５２から入力画像の画素値Ｉ（ｉ，ｊ）を読み込み、メモリ２３から最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）を読み込む。
【００５３】
補正部５３は、入力されたフラグｆの値を参照し、入力画像の画素値の平均値ｓｕｍｆｇと平均値画像の画素値の平均値ｓｕｍｂｇとのいずれの値が大きいかを判断する。そして、平均値画像の画素値の平均値ｓｕｍｂｇが、入力画像の画素値の平均値ｓｕｍｆｇより大きいと判断された場合、補正部５３は、式（８）乃至式（１０）に従って、入力画像の画素値Ｉ（ｉ，ｊ）の補正値Ｉ’（ｉ，ｊ）、最大値画像の画素値Ｍａｘ（ｉ，ｊ）の補正値Ｍａｘ’（ｉ，ｊ）、および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）の補正値Ｍｉｎ’（ｉ，ｊ）を算出する。
【００５４】
Ｉ’（ｉ，ｊ）＝Ｉ（ｉ，ｊ）×ｐ・・・（８）
Ｍａｘ’（ｉ，ｊ）＝Ｍａｘ（ｉ，ｊ）・・・（９）
Ｍｉｎ’（ｉ，ｊ）＝Ｍｉｎ（ｉ，ｊ）・・・（１０）
【００５５】
すなわち、平均値画像の画素値の平均値ｓｕｍｂｇのほうが、入力画像の画素値の平均値ｓｕｍｆｇより大きい場合、入力画像の画素値Ｉ（ｉ，ｊ）が補正係数ｐによって補正される。
【００５６】
そして、入力画像の画素値の平均値ｓｕｍｆｇのほうが、平均値画像の画素値の平均値ｓｕｍｂｇより大きいと判断された場合、補正部５３は、式（１１）乃至式（１３）に従って、入力画像の画素値Ｉ（ｉ，ｊ）の補正後の画素値Ｉ’（ｉ，ｊ）、最大値画像の画素値Ｍａｘ（ｉ，ｊ）の補正後の画素値Ｍａｘ’（ｉ，ｊ）、および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）の補正後の画素値Ｍｉｎ’（ｉ，ｊ）を算出する。
【００５７】
Ｉ’（ｉ，ｊ）＝Ｉ（ｉ，ｊ）・・・（１１）
Ｍａｘ’（ｉ，ｊ）＝Ｍａｘ（ｉ，ｊ）×ｐ・・・（１２）
Ｍｉｎ’（ｉ，ｊ）＝Ｍｉｎ（ｉ，ｊ）×ｐ・・・（１３）
【００５８】
すなわち、入力画像の画素値の平均値ｓｕｍｆｇのほうが、平均値画像の画素値の平均値ｓｕｍｂｇより大きい場合、背景画像に対応する最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）が補正係数ｐによって補正される。
【００５９】
補正部５３は、式（８）乃至式（１０）、もしくは式（１１）乃至式（１３）を用いて算出した補正後の画素値Ｉ’（ｉ，ｊ）、補正後の画素値Ｍａｘ’（ｉ，ｊ）、および補正後の画素値Ｍｉｎ’（ｉ，ｊ）を、背景差分算出部２５に出力する。
【００６０】
図５は背景差分算出部２５の更に詳細な構成を示すブロック図である。
【００６１】
閾値算出部６１は、画像補正部２４から、補正後の最大値画像の画素値Ｍａｘ’（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ’（ｉ，ｊ）の入力を受け、背景領域か被写体かを判断するための、画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎを算出する。
【００６２】
画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎの算出方法は、いかなる方法であってもかまわないが、この例においては、式（１４）および式（１５）を用いて画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎを算出し、算出結果を２値化処理部６２に出力する。
Ｔｍａｘ＝Ｍａｘ’（ｉ，ｊ）×ａ・・・（１４）
Ｔｍｉｎ＝Ｍｉｎ’（ｉ，ｊ）×ｂ・・・（１５）
【００６３】
式（１４）の係数ａおよび式（１５）の係数ｂは、それぞれ予め設定された係数であり、例えば、照明光の変動などによる画素値のゆらぎを吸収するために、通常、ａ＞１．０、ｂ＜１．０で、実験などにより、もしくは、経験的に求められる。
【００６４】
２値化処理部６２は、閾値算出部６１により算出された閾値の入力を受け、図示しない内部のメモリに保存する。２値化処理部６２は、画素値Ｉ’（ｉ，ｊ）の入力を受け、内部のメモリに保存している閾値を用いて、次の式（１６）に基づいて、２値化された画素値Ｏ（ｉ，ｊ）からなる２値画像を生成し、出力する。
【数８】
・・・（１６）
【００６５】
すなわち、２値化処理部６２は、入力された画素値Ｉ’（ｉ，ｊ）のうち、閾値の範囲内の画素値に対応する画素には背景候補であることを示す値として０、閾値の範囲外の画素値に対応する画素は被写体候補であることを示す値として１を設定した２値画像の画素値Ｏ（ｉ，ｊ）を生成して出力する。
【００６６】
図５を用いて説明した背景差分算出部２５においては、閾値算出部６１において、式（１４）および式（１５）を用いて、最大値画像の補正後の画素値Ｍａｘ’（ｉ，ｊ）および最小値画像の補正後の画素値Ｍｉｎ’（ｉ，ｊ）に所定の係数を積算することにより、例えば、照明光の変動などによる画素値のゆらぎを吸収するようになされているが、閾値算出部６１を省略し、最大値画像の補正後の画素値Ｍａｘ’（ｉ，ｊ）および最小値画像の補正後の画素値Ｍｉｎ’（ｉ，ｊ）を直接２値化処理部６２に入力することにより、ゆらぎは吸収することができないが、その代わりに演算量を削減するようにしても良い。
【００６７】
図６は、入力画像と平均値画像の画像補正処理の具体例について説明するための図である。図６において、横軸は、画像上の座標位置を示し、縦軸は画像上の対応する画素の画素値を示し、実線が入力画像の画素値Ｉ（ｉ，ｊ）を、破線は平均値画像の画素値Ａｖｅ（ｉ，ｊ）を示す。この図では、領域Ｃが背景領域であり、領域Ａが被写体領域である。
【００６８】
例えば、図６に示されるように、入力画像が平均値画像よりレベルが高い場合、ｓｕｍｆｇ＞ｓｕｍｂｇであるので、補正係数算出部５１において、式（７）に基づいて、ｓｕｍｆｇ／ｓｕｍｂｇが補正値ｐとして出力される。そして、補正部５３において、式（１１）乃至式（１３）に基づいて補正が行われる。すなわち、平均値画像に対して、補正が行われ、入力画像に合わせてレベルが引き上げられる。
【００６９】
それに対して、補正部５３は、入力された補正値ｐを用いて、入力画像の画素値Ｉ（ｉ，ｊ）に１／ｐを積算して補正することにより、平均値画像に合わせてレベルを引き下げるようにしても良い。
【００７０】
補正値１／ｐを用いて補正を実行する場合、補正部５３は、入力画像が平均値画像よりレベルが高い場合、入力画像の画素値Ｉ（ｉ，ｊ）に１／ｐを積算し、平均値画像が入力画像よりレベルが高い場合、最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）に１／ｐを積算して、算出した補正後の画素値Ｉ’（ｉ，ｊ）、補正後の画素値Ｍａｘ’（ｉ，ｊ）、および補正後の画素値Ｍｉｎ’（ｉ，ｊ）を、背景差分算出部２５に出力する。
【００７１】
しかしながら、例えば図７に示されるように、入力画像の画素値Ｉ（ｉ，ｊ）が飽和レベルに相当する非常に大きな値を有し、クリッピングレベルを超えているものがあるような場合、その画素値は、クリッピングにより変更されてしまっているので、入力画像の画素値の減衰による補正を行った（すなわち、入力画像の画素値Ｉ（ｉ，ｊ）に１／ｐを積算した）場合、クリッピングされている部分で、レベルが異なってしまい、背景領域であっても、被写体領域であると誤判定されてしまう恐れがある。
【００７２】
従って、そのような場合は、図８に示されるように、入力画像に合わせて平均値画像を増幅する（すなわち、最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）に対して補正係数ｐを積算する）補正を行い、必要に応じて、クリッピングレベルを変更（飽和レベルに合わせて適切に設定）するようにすればよい。
【００７３】
ここでは、入力画像が平均値画像よりレベルが高い場合について説明したが、平均値画像の方が入力画像よりレベルが高い場合についても同様であることは言うまでもない。
【００７４】
第１の実施の形態においては、背景情報抽出モードにおいて、背景情報抽出部２２で算出された平均値画像の画素値Ａｖｅ（ｉ，ｊ）、最大値画像の画素値Ｍａｘ（ｉ，ｊ）、および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）をメモリ２３に保存し、被写体抽出モードにおいて、背景差分算出部２５で、式（１４）および式（１５）を用いて画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎを算出するものとして説明したが、背景情報抽出部２２において、式（１４）および式（１５）の演算を実行し、画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎをメモリ２３に予め保存して、その値を、必要に応じて画像補正部２４で補正するようにすることにより、被写体抽出モードにおける演算量を減少するようにしても良い。
【００７５】
なお、第１の実施の形態においては、背景情報抽出モードにおいて、平均値画像、最大値画像、および最小値画像を生成し、被写体抽出モードにおいて、式（１６）に示される、背景領域であるか被写体領域であるかを示す２値画像を生成するものとして説明したが、例えば、図１と異なる構成の画像処理装置において、同様の処理がなされる場合についても、本発明は適応可能である。
【００７６】
また、背景情報抽出モードにおいては、背景画像を複数枚撮像して、背景情報を抽出するものとして説明したが、背景画像を１枚だけ撮像して、その背景画像の画素値ＢＧ（ｉ，ｊ）をメモリ２３に保存することにより、背景情報抽出モードの処理を簡略化し、画像補正部２４において、平均値画像の画素値Ａｖｅ（ｉ，ｊ）に代わって、背景画像の画素値ＢＧ（ｉ，ｊ）を用いて補正係数を算出し、入力画像の画素値Ｉ（ｉ，ｊ）もしくは背景画像の画素値ＢＧ（ｉ，ｊ）のいずれかを補正するようにしても良い。
【００７７】
この場合、背景差分算出部２５においては、画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎは算出されない。背景差分算出部２５は、所定の閾値Ｔ’を用いて、次の式（１７）に示される演算により、２値画像Ｏ（ｉ，ｊ）が算出される。
【数９】
・・・（１７）
ここで、式（１７）のＢＧ’（ｉ，ｊ）は、背景画像の画素値ＢＧ（ｉ，ｊ）に対する画像補正部２４の出力値である。
【００７８】
更に、背景差分処理の異なる例としては、例えば、式（１）によって求められる最大値画像の画素値Ｍａｘ（ｉ，ｊ）および式（２）によって求められる最小値画像の画素値Ｍｉｎ（ｉ，ｊ）の代わりに、背景情報抽出部２２において、次の式（１８）に示される偏差画像Ｓｄｖ（ｉ，ｊ）を求め、それ以降の処理に利用する方法がある。
【数１０】
・・・（１８）
【００７９】
その場合、背景抽出モードでは、背景情報抽出部２２において、式（３）の平均値画像Ａｖｅ（ｉ，ｊ）と、式（１８）の偏差画像の画素値Ｓｄｖ（ｉ，ｊ）が生成され、メモリ２３に出力されて記録される。
【００８０】
なお、演算量を減少させるために、例えば、式（１８）において、平方根を省略し、分散値がメモリ２３に記録されるようにしても良い。
【００８１】
そして、被写体抽出モードでは、画像補正部２４において、上述したように、入力画像の画素値Ｉ（ｉ，ｊ）と、平均値画像の画素値Ａｖｅ（ｉ，ｊ）を基に、補正係数ｐが算出されるとともに、その補正係数を用いて、入力画像の画素値Ｉ（ｉ，ｊ）、もしくは、平均値画像の画素値Ａｖｅ（ｉ，ｊ）および偏差画像の画素値Ｓｄｖ（ｉ，ｊ）が補正され、入力画像の補正後の画素値Ｉ’（ｉ，ｊ）、平均値画像の補正後の画素値Ａｖｅ’（ｉ，ｊ）および偏差画像の補正後の画素値Ｓｄｖ’（ｉ，ｊ）が生成されて背景差分算出部２５に出力される。
【００８２】
背景差分算出部２５の閾値算出部６１においては、次の式（１９）および式（２０）によって、背景領域として判断される画素値の上限値Ｔｍａｘおよび下限値Ｔｍｉｎが算出される。
【数１１】
・・・（１９）
【数１２】
・・・（２０）
ここで、式（１９）の係数ｃ、および式（２０）の係数ｄは、例えば、照明光の変動などによる画素値のゆらぎを吸収するために、予め設定された係数である。
【００８３】
また、式（４）および式（５）を用いて説明した入力画像の画素値の平均値ｓｕｍｆｇおよび平均値画像の画素値の平均値ｓｕｍｂｇの算出処理に用いることができる画素値には、様々な制約があるため、領域Ｂにおいて、補正係数の算出のために充分な画素を得ることができなかった場合には、アプリケーションに適した方法で、様々な例外処理を行うようにすることができる。
【００８４】
例えば、最初に設定された領域Ｂ（例えば、図４に示される領域Ｂ）の近傍から、順次、条件を満たす画素を検索し、補正係数の算出のために充分な画素を得ることができるまで検索処理を実行して、検索された画素を用いて補正係数の算出を行うようにしても良い。また、ユーザに対して、補正係数の算出のために充分な画素を得ることができなかったことを通知するメッセージを出力し、背景領域として適する領域を、ユーザに手動で入力させるようにしても良いし、補正係数の算出のために充分な画素を得ることができなかった場合は、補正を行わずに次の処理を実行させるようにしてもよい。
【００８５】
次に、本発明の第２の実施の形態として、図１の撮像部１１から出力される入力画像の画素値Ｉ（ｉ，ｊ）が、色情報を含んでいる場合の処理について説明する。
【００８６】
撮像部１１から入力される画像データの画素Ｉ（ｉ，ｊ）には、例えば、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）などの、色を表す複数の成分が含まれている。
【００８７】
以下、色情報に関する処理以外は、基本的に第１の実施の形態と同様の処理が実行されるので、対応する部分の説明は適宜省略する。
【００８８】
入力画像データの輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）は、背景情報抽出モードにおいては、スイッチ２１を介して背景情報抽出部２２に、被写体抽出モードにおいては、画像補正部２４に供給される。
【００８９】
背景抽出モードにおいて、図２を用いて説明した背景情報抽出部２２の最大値画像生成部４１、最小値画像生成部４２、および平均値画像生成部４３は、スイッチ２１を介して背景画像の入力を受ける。最大値画像生成部４１、最小値画像生成部４２、および平均値画像生成部４３は、式（１）乃至式（３）と同様の演算により、それぞれの画像データの輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の成分毎に、画素値の最大値からなる最大値画像、画素値の最小値からなる最小値画像、および画素値の平均値からなる平均値画像をそれぞれ生成する。
【００９０】
ここで生成される最大値画像の画素値をそれぞれＭａｘＹ（ｉ，ｊ）、ＭａｘＵ（ｉ，ｊ）およびＭａｘＶ（ｉ，ｊ）とし、最小値画像の画素値をそれぞれＭｉｎＹ（ｉ，ｊ）、ＭｉｎＵ（ｉ，ｊ）およびＭｉｎＶ（ｉ，ｊ）とし、平均値画像の画素値をそれぞれＡｖｅＹ（ｉ，ｊ）、ＡｖｅＵ（ｉ，ｊ）およびＡｖｅＶ（ｉ，ｊ）とする。背景情報抽出部２２は、生成したそれぞれの画像をメモリ２３に出力して保存させる。
【００９１】
画像補正部２４の補正係数算出部５１においては、入力画像データの画素値Ｉ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））と平均値画像の画素値Ａｖｅ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））から、それぞれの成分毎に、補正係数を算出させる。
【００９２】
すなわち、補正係数算出部５１は、式（４）および式（５）の演算を、成分毎に実行し、領域Ｂにおける入力画像の画素値の平均値ｓｕｍｆｇおよび平均値画像の画素値の平均値ｓｕｍｂｇを、画素の成分毎に算出する。
【００９３】
ただし、色情報を含んでいる場合の差ｄｉｆは、入力画像の画素値Ｉ（ｉ，ｊ）と平均値画像の画素値Ａｖｅ（ｉ，ｊ）とをそれぞれ３次元ベクトルとみなした場合の距離に対応するので、次の式（２１）で求められる。
【数１３】
・・・（２１）
【００９４】
式（２１）を用いて説明した差ｄｉｆの値が、予め設定された閾値Ｔを越える場合には、領域Ｂに含まれる座標（ｉ，ｊ）には被写体が撮像されているものとみなされ、補正係数の算出から除外されるようになされている。
【００９５】
また、ＬｍｉｎおよびＬｍａｘは、それぞれ３つの色成分から構成される、予め設定された定数であり、入力された画素値Ｉ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））と、平均値画像の画素値Ａｖｅ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））とが、いずれもＬｍｉｎ以上Ｌｍａｘ以下である場合、すなわち、次の式（２２）乃至式（２４）がすべて成立する場合にのみ、その値が補正係数の算出に用いられる。これは、画素の値が非常に大きい場合は、飽和している可能性が高く、逆に非常に小さい場合は、ノイズの影響を強く受けてしまうため、いずれも補正係数の算出に用いるのが好ましくないからである。
【数１４】
・・・（２２）
【数１５】
・・・（２３）
【数１６】
・・・（２４）
【００９６】
そして、成分毎の補正係数ｐＹ，ｐＵおよびｐＶは、式（７）と同様の演算により算出され、入力画像と平均値画像のいずれのレベルが高いかを示すフラグｆＹ，ｆＵおよびｆＶとともに、補正部５３に出力される。
【００９７】
画像補正部２４の補正部５３は、補正係数算出部５１から出力された成分毎の補正係数ｐＹ，ｐＵおよびｐＶ、並びにフラグｆＹ，ｆＵおよびｆＶの入力を受け、メモリ２３から、最大値画像の画素値ＭａｘＹ（ｉ，ｊ）、ＭａｘＵ（ｉ，ｊ）およびＭａｘＶ（ｉ，ｊ）、最小値画像の画素値ＭｉｎＹ（ｉ，ｊ）、ＭｉｎＵ（ｉ，ｊ）およびＭｉｎＶ（ｉ，ｊ）、並びに、平均値画像の画素値ＡｖｅＹ（ｉ，ｊ）、ＡｖｅＵ（ｉ，ｊ）およびＡｖｅＶ（ｉ，ｊ）を読み込む。
【００９８】
そして、補正部５３は、入力されたフラグｆＹ，ｆＵおよびｆＶの値を参照し、入力画像の画素値の平均値ｓｕｍｆｇと平均値画像の画素値の平均値ｓｕｍｂｇとのいずれの値が大きいかを判断する。そして、平均値画像の画素値の平均値ｓｕｍｂｇが、入力画像の画素値の平均値ｓｕｍｆｇより大きいと判断された場合、補正部５３は、式（８）乃至式（１０）と同様の演算により、色成分毎の補正値を算出し、背景差分算出部２５に出力する。
【００９９】
そして、入力画像の画素値の平均値ｓｕｍｆｇのほうが、平均値画像の画素値の平均値ｓｕｍｂｇより大きいと判断された場合、補正部５３は、式（１１）乃至式（１３）と同様の演算により、色成分毎の補正値を算出し、背景差分算出部２５に出力する。
【０１００】
背景差分算出部２５の閾値算出部６１においては、画像補正部２４から入力される成分毎の補正値を用いて、式（１４）および式（１５）による演算を色成分毎に行い、画素値の上限の閾値Ｙｍａｘ、閾値Ｕｍａｘおよび閾値Ｖｍａｘ、並びに、画素値の下限の閾値Ｙｍｉｎ、閾値Ｕｍｉｎおよび閾値Ｖｍｉｎを算出し、算出結果を２値化処理部６２に出力する。ここで、式（１４）および式（１５）の係数ａおよび係数ｂは、色成分毎に異なる係数を用いるようにしても良い。
【０１０１】
２値化処理部６２においては、閾値算出部６１から供給された、画素値の上限の閾値Ｙｍａｘ、閾値Ｕｍａｘおよび閾値Ｖｍａｘ、並びに、画素値の下限の閾値Ｙｍｉｎ、閾値Ｕｍｉｎおよび閾値Ｖｍｉｎに基づいて、次の式（２５）の演算によって得られる画素値Ｏ（ｉ，ｊ）からなる２値画像を生成する。
【数１７】
・・・（２５）
【０１０２】
すなわち、全ての色成分Ｙ’（ｉ，ｊ），Ｕ’（ｉ，ｊ）およびＶ’（ｉ，ｊ）が対応する上限値および下限値の間にある場合にのみ、対応する画素は背景領域であるとみなされて、画素値０が与えられ、それ以外の場合は、対応する画素は被写体領域であるとみなされて画素値１が与えられる。
【０１０３】
第２の実施の形態においては、被写体領域の抽出処理およびそれに必要な補正処理に入力されたカラー画像の色情報が効果的に利用されるので、より正確な被写体領域の抽出が可能となる。
【０１０４】
なお、第２の実施の形態においては、背景情報抽出モードにおいて、背景情報抽出部２２で色成分毎に算出された平均値画像の画素値Ａｖｅ（ｉ，ｊ）、最大値画像の画素値Ｍａｘ（ｉ，ｊ）、および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）をメモリ２３に保存し、被写体抽出モードにおいて、背景差分算出部２５で、式（１４）および式（１５）を用いて画素値の上限の閾値Ｙｍａｘ、閾値Ｕｍａｘおよび閾値Ｖｍａｘ、並びに、画素値の下限の閾値Ｙｍｉｎ、閾値Ｕｍｉｎおよび閾値Ｖｍｉｎを算出するものとして説明したが、背景情報抽出部２２において、式（１４）および式（１５）の演算を実行し、画素値の上限の閾値Ｙｍａｘ、閾値Ｕｍａｘおよび閾値Ｖｍａｘ、並びに、画素値の下限の閾値Ｙｍｉｎ、閾値Ｕｍｉｎおよび閾値Ｖｍｉｎをメモリ２３に予め保存するようにすることにより、被写体抽出モードにおける演算量を減少するようにしても良い。
【０１０５】
また、第２の実施の形態においても、図１と異なる構成の画像処理装置において、同様の処理がなされる場合についても、本発明は適応可能である。
【０１０６】
更に、第２の実施の形態においても、複数の背景画像を基に背景情報を抽出するのではなく、背景画像を１枚だけ撮像して、その背景画像の色成分を含んだ画素値ＢＧ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））をメモリ２３に保存することにより、背景情報抽出モードの処理を簡略化し、画像補正部２４において、平均値画像の画素値Ａｖｅ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））に代わって、背景画像の画素値ＢＧ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））を用いて補正係数を算出し、入力画像の画素値Ｉ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））もしくは背景画像の画素値ＢＧ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））のいずれかを補正し、背景差分算出部２５においては式（１７）と同様の演算により、２値画像Ｏ（ｉ，ｊ）を算出するようにしてもよい。
【０１０７】
また、式（１）によって求められる最大値画像の画素値Ｍａｘ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））および式（２）によって求められる最小値画像の画素値Ｍｉｎ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））の代わりに、背景情報抽出部２２において、式（１８）の演算を色成分毎に行うことにより、偏差画像Ｓｄｖ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））を求め、それ以降の処理に利用するようにしても良い。
【０１０８】
また、第１の実施の形態と同様に、第２の実施の形態においても、入力画像の画素値の平均値ｓｕｍｆｇおよび平均値画像の画素値の平均値ｓｕｍｂｇの算出処理に用いることができる画素値には、様々な制約があるため、領域Ｂにおいて、補正係数の算出のために充分な画素を得ることができなかった場合には、アプリケーションに適した方法で、様々な例外処理を行うようにすることができることは言うまでもない。
【０１０９】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１１０】
この記録媒体は、図１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３１（フロッピーディスクを含む）、光ディスク３２（CD ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk)を含む)、光磁気ディスク３３（ＭＤ(Mini-Disk)を含む）、もしくは半導体メモリ３４などよりなるパッケージメディアなどにより構成される。
【０１１１】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１２】
【発明の効果】
本発明の画像処理装置および画像処理方法、並びにプログラムによれば、被写体領域の抽出を行う前に、照明光や撮像パラメータなどの変動を精度よく補正することができる。
【図面の簡単な説明】
【図１】本発明を適応した画像処理装置の構成を示すブロック図である。
【図２】図１の背景情報抽出部の更に詳細な構成を示すブロック図である。
【図３】図１の画像補正部の更に詳細な構成を示すブロック図である。
【図４】補正係数算出のための領域設定について説明するための図である。
【図５】図１の背景差分算出部の更に詳細な構成を示すブロック図である。
【図６】画像補正について説明するための図である。
【図７】画像補正について説明するための図である。
【図８】画像補正について説明するための図である。
【符号の説明】
１ 画像処理装置， １１ 撮像部， １２ 被写体領域検出部， １３ 制御部， ２１ スイッチ， ２２ 背景情報抽出部， ２３ メモリ， ２４ 画像補正部， ２５ 背景差分算出部， ４１ 最大値画像生成部， ４２ 最小値画像生成部， ４３ 平均値画像生成部， ５１ 補正係数算出部， ５２メモリ， ５３ 補正部， ６１ 閾値算出部， ６２ ２値化処理部
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、記録媒体、並びにプログラムに関し、特に、背景領域と被写体領域とからなる画像から被写体領域のみを抽出する場合に用いて好適な、画像処理装置および画像処理方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
撮像された画像データにおいて、例えば、背景から被写体を抽出する場合など、画像の領域を分割する領域分割法として、従来、主に３つの方法が提案されている。
【０００３】
第１の方法は、画像データの画素値のみを利用するものであり、代表的なものとして、例えば、画素値の類似度を定義して、領域統合を繰り返す方法や、特徴空間におけるクラスタリングなどがある。
【０００４】
第２の方法は、画素値と他の付加情報を併用することによって、被写体領域を背景領域から分離して抽出するものであり、例えば、抽出すべき被写体領域の大まかな境界線を予め与え、その境界線近傍のみを画像処理することにより、正確に被写体領域を抽出するような方法である。この方法を動画像に適用する場合には、第１フレームにおいて抽出した領域を、動き検出やフレーム間差分、あるいは、Snakes（動的輪郭モデル）を用いて領域の変化を追跡したり、第１フレームと最終フレームにおいて、被写体領域を予め抽出しておき、その間の画像に対しては、これら２つのフレームにおいて抽出された被写体領域を基に補間を行う方法などが提案されている。
【０００５】
第２の方法において、例えば、抽出すべき被写体領域の大まかな境界線などの入力といった手動操作の介入を避ける方法としては、例えば、被写体を含まない背景のみの画像を予め撮像しておき、被写体を含む画像を、背景のみの画像と比較して、その差分を演算することにより被写体を抽出する背景差分法がある。
【０００６】
また、撮像時に被写体以外の背景領域を一定の色のスクリーンで覆い、この色情報を用いて対象物を抽出するクロマキーという手法は、例えば、映像制作などに現在最も頻繁に用いられている手法である。
【０００７】
第３の方法は、特殊な撮像装置を用いて距離情報などを算出し、それに基づいて被写体を抽出する方法であり、例えば、視点の異なる複数のカメラによって得られた画像間の視差情報を用いるものが多く提案されている。また、複数のカメラを用いずに、一台のカメラの撮像面位置を変化させ、その再に画像上に生じるほけの変化を利用して距離を算出する方法も提案されている。
【０００８】
【発明が解決しようとする課題】
被写体を背景から切り取り抽出するために、以上説明したような、様々な方法が用いられている。
【０００９】
しかしながら、第１の方法は、物理的に一様な局所領域（例えば、ある一定の色情報を有する領域や、境界線など）を抽出するための手段としては優れているのであるが、意味のある被写体を１つの領域として抽出するためには、充分な方法ではない。
【００１０】
また、第３の方法として説明した視差情報を用いる方法では、複数のカメラが必要となる（もしくは、ひとつのカメラで複数の画像を撮像する必要があるため、撮像に時間がかかる）上に、画像間の対応を演算するための演算量が非常に多い。また、ぼけ情報を用いる場合、撮像装置における実現可能な被写界深度が問題となる。近年の撮像装置、特に民生用途の撮像装置は、小型化される傾向である。そのため、被写界深度が深くなる場合が多く、撮像面位置の変化によるほけの差が検出し難い場合が殆どである。
【００１１】
第２の方法において、手動操作に依存する方法を取る場合、柔軟なインターフェースが求められるため、アプリケーションが限定される。また、時間的に領域を追跡している方法を採用する場合、動き検出などのエラーが蓄積されていく可能性が大きく、長時間のシーケンスを処理するのには向かない。更に、動き検出やSnakesは、演算量が多いため、リアルタイムに画像を処理するアプリケーションに導入するのは非常に困難である。
【００１２】
これらに対して、背景差分法は、演算が比較的簡単であるとともに、背景領域が変化しない限り、差分値が大きい画素は、非常に高い確率で被写体領域に属することが期待できる上に、時間的なエラーの蓄積の恐れもない。
【００１３】
しかしながら、背景差分法においては、背景画像と被写体を含む対象画像の撮像は、異なる時刻になされるため、例えば、照明光などが変更してしまう場合がある。
【００１４】
また、背景画像撮像時と対象画像撮像時では、画像内のレベルの分布が異なる場合があるので、撮像に用いるカメラの制御を自動にしている場合、照明光などの変動の影響により、同じものを撮像しているにもかかわらず、撮像された画素の画素値が異なる可能性がある。
【００１５】
本発明はこのような状況に鑑みてなされたものであり、被写体領域の抽出を行う前に、照明光や撮像パラメータなどの変動を補正するためのものである。
【００１６】
【課題を解決するための手段】
本発明の画像処理装置は、背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、被写体領域を抽出する画像処理装置であって、対象画像から被写体領域を抽出する際に用いる抽出用閾値を算出するための閾値算出用画像を生成する閾値算出用画像生成手段と、背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を生成する平均値画像生成手段と、対象画像と平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、対象画像と平均値画像との、設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件を満たす平均値画像上の設定領域の画素値の合計を、第１の合計値として算出する第１の合計値算出手段と、条件を満たす対象画像上の設定領域の画素値の合計を、第２の合計値として算出する第２の合計値算出手段と、第２の合計値が第１の合計値以上であるか否かに応じて、閾値算出用画像又は対象画像の一方を補正するための補正係数を算出する補正係数算出手段と、補正係数を用いて、閾値算出用画像又は対象画像の一方を補正する補正手段とを備える。
【００１７】
補正係数算出手段には、第２の合計値が第１の合計値以上である場合、第２の合計値を第１の合計値で除算して得られる除算結果を、閾値算出用画像を補正するための補正係数として算出させ、第２の合計値が第１の合計値以上ではない場合、第１の合計値を第２の合計値で除算して得られる除算結果を、対象画像を補正するための補正係数として算出させるようにすることができる。
【００１８】
補正手段により、閾値算出用画像又は対象画像の一方が補正された後、閾値算出用画像に基づいて、対象画像の各画素が背景領域に対応するものであるか、又は被写体領域に対応するものであるかを判断して被写体領域を抽出するための抽出用閾値を算出する閾値算出手段と、対象画像の各画素の画素値と抽出用閾値とを用いて、被写体領域を抽出する抽出手段とをさらに設けるようにすることができる。
【００１９】
閾値算出用画像生成手段には、閾値算出用画像として、複数の背景画像それぞれの、対応する各画素の画素値の最大値を画素値とする最大値画像、及び複数の背景画像それぞれの、対応する各画素の画素値の最小値を画素値とする最小値画像を生成させるようにすることができる。
【００２０】
設定領域とは、対象画像に含まれる背景領域のうちのいずれかの領域であるようにすることができる。
【００２１】
補正手段には、閾値算出用画像又は対象画像のうち、補正対象とされた画像が色情報を含んでいる場合、補正対象とされた画像を色情報の成分毎に補正させるようにすることができる。
【００２２】
本発明の画像処理方法は、背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、被写体領域を抽出する画像処理装置の画像処理方法であって、画像処理装置による、対象画像から被写体領域を抽出する際に用いる抽出用閾値を算出するための閾値算出用画像を生成する閾値算出用画像生成ステップと、背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を生成する平均値画像生成ステップと、対象画像と平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、対象画像と平均値画像との、設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件を満たす平均値画像上の設定領域の画素値の合計を、第１の合計値として算出する第１の合計値算出ステップと、条件を満たす対象画像上の設定領域の画素値の合計を、第２の合計値として算出する第２の合計値算出ステップと、第２の合計値が第１の合計値以上であるか否かに応じて、閾値算出用画像又は対象画像の一方を補正するための補正係数を算出する補正係数算出ステップと、補正係数を用いて、閾値算出用画像又は対象画像の一方を補正する補正ステップとを含む。
【００２３】
本発明の記録媒体に記録されているプログラムは、背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、被写体領域を抽出する処理をコンピュータに実行させるためのプログラムであって、対象画像から被写体領域を抽出する際に用いる抽出用閾値を算出するための閾値算出用画像を生成する閾値算出用画像生成ステップと、背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を生成する平均値画像生成ステップと、対象画像と平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、対象画像と平均値画像との、設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件を満たす平均値画像上の設定領域の画素値の合計を、第１の合計値として算出する第１の合計値算出ステップと、条件を満たす対象画像上の設定領域の画素値の合計を、第２の合計値として算出する第２の合計値算出ステップと、第２の合計値が第１の合計値以上であるか否かに応じて、閾値算出用画像又は対象画像の一方を補正するための補正係数を算出する補正係数算出ステップと、補正係数を用いて、閾値算出用画像又は対象画像の一方を補正する補正ステップとを含む処理をコンピュータに実行させる。
【００２４】
本発明のプログラムは、背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、被写体領域を抽出する処理をコンピュータに実行させるためのプログラムであって、対象画像から被写体領域を抽出する際に用いる抽出用閾値を算出するための閾値算出用画像を生成する閾値算出用画像生成ステップと、背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を生成する平均値画像生成ステップと、対象画像と平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、対象画像と平均値画像との、設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件を満たす平均値画像上の設定領域の画素値の合計を、第１の合計値として算出する第１の合計値算出ステップと、条件を満たす対象画像上の設定領域の画素値の合計を、第２の合計値として算出する第２の合計値算出ステップと、第２の合計値が第１の合計値以上であるか否かに応じて、閾値算出用画像又は対象画像の一方を補正するための補正係数を算出する補正係数算出ステップと、補正係数を用いて、閾値算出用画像又は対象画像の一方を補正する補正ステップとを含む処理をコンピュータに実行させる。
【００２５】
本発明の画像処理装置および画像処理方法、並びにプログラムにおいては、対象画像から被写体領域を抽出する際に用いる抽出用閾値を算出するための閾値算出用画像が生成され、背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像が生成され、対象画像と平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、対象画像と平均値画像との、設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件を満たす平均値画像上の設定領域の画素値の合計が、第１の合計値として算出され、条件を満たす対象画像上の設定領域の画素値の合計が、第２の合計値として算出され、第２の合計値が第１の合計値以上であるか否かに応じて、閾値算出用画像又は対象画像の一方を補正するための補正係数が算出され、補正係数を用いて、閾値算出用画像又は対象画像の一方が補正される。
【００２６】
【発明の実施の形態】
以下、図を参照して、本発明の実施の形態について説明する。
【００２７】
まず、本発明の第１の実施の形態について説明する。図１は、本発明を適応した画像処理装置１の構成を示すブロック図である。
【００２８】
画像処理装置１は、動作モードとして、背景情報抽出モードと被写体抽出モードの２つのモードを有しており、ユーザは、図示しない操作部を操作することによって、背景情報抽出モードと被写体抽出モードを切り替えることができる。背景情報抽出モードでは、背景のみからなる画像を入力して背景領域に関する情報を抽出する処理が実行される。一方、被写体抽出モードでは、背景情報抽出モードにおいて抽出された背景情報を基に、被写体と背景から構成された画像から被写体領域のみを抽出する処理が実行される。
【００２９】
撮像部１１は、例えばCCD（Charge Coupled Devices）カメラなどから構成されている。撮像部１１は、制御部１３の制御に従って画像を撮像し、画素値Ｉ（ｉ，ｊ）からなる画像データを被写体領域検出部１２に出力する。ここで、画素値Ｉ（ｉ，ｊ）は、撮像された画像データの二次元座標（ｉ，ｊ）上の画素値を表す。
【００３０】
被写体領域検出部１２は、スイッチ２１、背景情報抽出部２２、メモリ２３、画像補正部２４、および背景差分算出部２５で構成され、制御部１３の処理に従って、撮像部１１から入力された画像信号を処理し、被写体領域を検出する処理を実行する。
【００３１】
スイッチ２１は、制御部１３から入力される信号を基に、背景情報抽出モードの場合、背景のみで構成される背景画像の画像信号を背景情報抽出部２２に供給し、被写体抽出モードの場合、背景および被写体で構成される入力画像データを画像補正部２４に供給する。
【００３２】
制御部１３は、画像処理装置１の動作を制御するものであり、例えば、図示しない操作部から入力された信号を基に背景情報抽出モードか被写体抽出モードかを判断し、撮像部１１で撮像された画像データを被写体領域検出部１２の適する部分に供給するようにスイッチ２１を切り替えさせる。また、制御部１３にはドライブ１４も接続されている。ドライブ１４には、必要に応じて磁気ディスク３１、光ディスク３２、光磁気ディスク３３、および半導体メモリ３４が装着され、データの授受を行うようになされている。
【００３３】
背景情報抽出部２２の更に詳細な構成を示すブロック図を図２に示す。
【００３４】
背景抽出モードにおいて、スイッチ２１を介して入力された少なくとも２枚の背景画像データは、最大値画像生成部４１、最小値画像生成部４２、および平均値画像生成部４３に供給される。最大値画像生成部４１は、入力された複数の画像の座標（ｉ，ｊ）毎の画素の最大値を、式（１）により算出し、それぞれの座標における最大の画素値Ｍａｘ（ｉ，ｊ）からなる最大値画像を背景情報として生成し、メモリ２３に出力して保存させる。
【数１】
【００３５】
ここで、Ｉｋ（ｉ，ｊ）は、ｋ番目の画像の、座標（ｉ，ｊ）における画素値を示す。また、ＭＡＸ（・）は、括弧内に示される複数の数値の最大値を算出する演算を示す。
【００３６】
最小値画像生成部４２は、入力された複数の画像の座標（ｉ，ｊ）毎の画素の最小値を、式（２）により算出し、それぞれの座標における最小の画素値Ｍｉｎ（ｉ，ｊ）からなる最小値画像を背景情報として生成し、メモリ２３に出力して保存させる。平均値画像生成部４３は、入力された複数の画像の座標（ｉ，ｊ）毎の画素の平均値を、式（３）により算出し、それぞれの座標における平均の画素値Ａｖｅ（ｉ，ｊ）からなる平均値画像を背景情報として生成し、メモリ２３に出力して保存させる。
【数２】
【数３】
【００３７】
ここで、ＭＩＮ（・）は、括弧内に示される複数の数値の最小値を算出する演算を示す。また、Ｎは、背景情報抽出部２２に供給された画像の枚数を示す。
【００３８】
メモリ２３は、背景情報抽出部２２が抽出した背景情報の入力を受け、背景情報を保存するとともに、保存している背景情報を、画像補正部２４に供給する。
【００３９】
図３は、画像補正部２４の更に詳細な構成を示すブロック図である。
【００４０】
背景情報抽出モードにおいて入力された背景画像と、被写体抽出モードにおいて入力された被写体を含む画像データとで、画像内のレベルの分布が異なる場合がある。例えば、撮像に用いるカメラの制御を自動にしている場合、照明光などの変動の影響により、同じものを撮像しているにもかかわらず、撮像された画素の画素値が異なる可能性がある。画像補正部２４において、このような変動成分の補正が実行される。
【００４１】
補正係数算出部５１は、スイッチ２１を介して入力された入力画像の画素値Ｉ（ｉ，ｊ）および背景情報抽出部２２より入力された平均値画像の画素値Ａｖｅ（ｉ，ｊ）を基に、入力画像と平均値画像に共通して存在する背景領域のうちの所定の領域における画素値の平均値を求める。
【００４２】
入力画像に含まれる背景領域の所定の領域Ｂにおける画素値の平均は、次の式（４）で求められる。
【数４】
【００４３】
また、平均値画像に含まれる背景領域の所定の領域Ｂにおける画素値の平均は、次の式（５）で求められる。
【数５】
【００４４】
ここで、式（４）および式（５）中のdifは、入力された画素値Ｉ（ｉ，ｊ）と、平均値画像の画素値Ａｖｅ（ｉ，ｊ）との差の絶対値であり、次の式（２１）で示される。
【数６】
【００４５】
また、式（４）および式（５）のＢは、被写体領域以外の部分を示すが、実際には、この領域を事前に知ることはできないため、例えば、図４に示される画像の４すみなどのように、被写体が入り込みにくいと思われる領域が予め設定される。
【００４６】
式（４）および式（５）のＴは、予め定められた閾値であり、式（６）で示される入力された画素値Ｉ（ｉ，ｊ）と、平均値画像の画素値Ａｖｅ（ｉ，ｊ）との差の絶対値がこの閾値を越える場合には、領域Ｂに含まれる座標（ｉ，ｊ）には被写体が撮像されているものとみなされ、補正係数の算出から除外されるようになされている。
【００４７】
また、ＬｍｉｎおよびＬｍａｘは予め設定された定数であり、入力された画素値Ｉ（ｉ，ｊ）と、平均値画像の画素値Ａｖｅ（ｉ，ｊ）とが、いずれもＬｍｉｎ以上Ｌｍａｘ以下である場合にのみ、その値が補正係数の算出に用いられる。これは、画素の値が非常に大きい場合は、飽和している可能性が高く、逆に非常に小さい場合は、ノイズの影響を強く受けてしまうため、いずれも補正係数の算出に用いるのが好ましくないからである。
【００４８】
補正係数算出部５１は、次の式（７）に示されるように、算出された入力画像の画素値の平均値ｓｕｍｆｇと平均値画像の画素値の平均値ｓｕｍｂｇとの大小関係に基づいて補正係数ｐを算出する。
【数７】
【００４９】
すなわち、補正係数ｐは、領域Ｂにおいて、平均値画像の画素値Ａｖｅ（ｉ，ｊ）のレベルの方が高い場合には、入力画像の画素値Ｉ（ｉ，ｊ）を増幅させるための係数として算出され、入力画像の画素値Ｉ（ｉ，ｊ）のレベルの方が高い場合には、平均値画像の画素値Ａｖｅ（ｉ，ｊ）を増幅させるための係数として算出される。
【００５０】
補正係数算出部５１は、式（７）によって算出された補正係数ｐ、および、入力画像の画素値の平均値ｓｕｍｆｇと平均値画像の画素値の平均値ｓｕｍｂｇとのいずれの値が大きいかを示すフラグｆの値を補正部５３に出力する。
【００５１】
メモリ５２は、入力画像の画素値Ｉ（ｉ，ｊ）を保存し、補正係数算出部５１による補正係数ｐの算出処理の間、入力画像の画素値Ｉ（ｉ，ｊ）を保存する。
【００５２】
補正部５３は、補正係数算出部５１から、補正係数ｐおよびフラグｆの値の入力を受け、メモリ５２から入力画像の画素値Ｉ（ｉ，ｊ）を読み込み、メモリ２３から最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）を読み込む。
【００５３】
補正部５３は、入力されたフラグｆの値を参照し、入力画像の画素値の平均値ｓｕｍｆｇと平均値画像の画素値の平均値ｓｕｍｂｇとのいずれの値が大きいかを判断する。そして、平均値画像の画素値の平均値ｓｕｍｂｇが、入力画像の画素値の平均値ｓｕｍｆｇより大きいと判断された場合、補正部５３は、式（８）乃至式（１０）に従って、入力画像の画素値Ｉ（ｉ，ｊ）の補正値Ｉ’（ｉ，ｊ）、最大値画像の画素値Ｍａｘ（ｉ，ｊ）の補正値Ｍａｘ’（ｉ，ｊ）、および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）の補正値Ｍｉｎ’（ｉ，ｊ）を算出する。
【００５４】
Ｉ’（ｉ，ｊ）＝Ｉ（ｉ，ｊ）×ｐ・・・（８）
Ｍａｘ’（ｉ，ｊ）＝Ｍａｘ（ｉ，ｊ）・・・（９）
Ｍｉｎ’（ｉ，ｊ）＝Ｍｉｎ（ｉ，ｊ）・・・（１０）
【００５５】
すなわち、平均値画像の画素値の平均値ｓｕｍｂｇのほうが、入力画像の画素値の平均値ｓｕｍｆｇより大きい場合、入力画像の画素値Ｉ（ｉ，ｊ）が補正係数ｐによって補正される。
【００５６】
そして、入力画像の画素値の平均値ｓｕｍｆｇのほうが、平均値画像の画素値の平均値ｓｕｍｂｇより大きいと判断された場合、補正部５３は、式（１１）乃至式（１３）に従って、入力画像の画素値Ｉ（ｉ，ｊ）の補正後の画素値Ｉ’（ｉ，ｊ）、最大値画像の画素値Ｍａｘ（ｉ，ｊ）の補正後の画素値Ｍａｘ’（ｉ，ｊ）、および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）の補正後の画素値Ｍｉｎ’（ｉ，ｊ）を算出する。
【００５７】
Ｉ’（ｉ，ｊ）＝Ｉ（ｉ，ｊ）・・・（１１）
Ｍａｘ’（ｉ，ｊ）＝Ｍａｘ（ｉ，ｊ）×ｐ・・・（１２）
Ｍｉｎ’（ｉ，ｊ）＝Ｍｉｎ（ｉ，ｊ）×ｐ・・・（１３）
【００５８】
すなわち、入力画像の画素値の平均値ｓｕｍｆｇのほうが、平均値画像の画素値の平均値ｓｕｍｂｇより大きい場合、背景画像に対応する最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）が補正係数ｐによって補正される。
【００５９】
補正部５３は、式（８）乃至式（１０）、もしくは式（１１）乃至式（１３）を用いて算出した補正後の画素値Ｉ’（ｉ，ｊ）、補正後の画素値Ｍａｘ’（ｉ，ｊ）、および補正後の画素値Ｍｉｎ’（ｉ，ｊ）を、背景差分算出部２５に出力する。
【００６０】
図５は背景差分算出部２５の更に詳細な構成を示すブロック図である。
【００６１】
閾値算出部６１は、画像補正部２４から、補正後の最大値画像の画素値Ｍａｘ’（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ’（ｉ，ｊ）の入力を受け、背景領域か被写体かを判断するための、画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎを算出する。
【００６２】
画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎの算出方法は、いかなる方法であってもかまわないが、この例においては、式（１４）および式（１５）を用いて画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎを算出し、算出結果を２値化処理部６２に出力する。
Ｔｍａｘ＝Ｍａｘ’（ｉ，ｊ）×ａ・・・（１４）
Ｔｍｉｎ＝Ｍｉｎ’（ｉ，ｊ）×ｂ・・・（１５）
【００６３】
式（１４）の係数ａおよび式（１５）の係数ｂは、それぞれ予め設定された係数であり、例えば、照明光の変動などによる画素値のゆらぎを吸収するために、通常、ａ＞１．０、ｂ＜１．０で、実験などにより、もしくは、経験的に求められる。
【００６４】
２値化処理部６２は、閾値算出部６１により算出された閾値の入力を受け、図示しない内部のメモリに保存する。２値化処理部６２は、画素値Ｉ’（ｉ，ｊ）の入力を受け、内部のメモリに保存している閾値を用いて、次の式（１６）に基づいて、２値化された画素値Ｏ（ｉ，ｊ）からなる２値画像を生成し、出力する。
【数８】
【００６５】
すなわち、２値化処理部６２は、入力された画素値Ｉ’（ｉ，ｊ）のうち、閾値の範囲内の画素値に対応する画素には背景候補であることを示す値として０、閾値の範囲外の画素値に対応する画素は被写体候補であることを示す値として１を設定した２値画像の画素値Ｏ（ｉ，ｊ）を生成して出力する。
【００６６】
図５を用いて説明した背景差分算出部２５においては、閾値算出部６１において、式（１４）および式（１５）を用いて、最大値画像の補正後の画素値Ｍａｘ’（ｉ，ｊ）および最小値画像の補正後の画素値Ｍｉｎ’（ｉ，ｊ）に所定の係数を積算することにより、例えば、照明光の変動などによる画素値のゆらぎを吸収するようになされているが、閾値算出部６１を省略し、最大値画像の補正後の画素値Ｍａｘ’（ｉ，ｊ）および最小値画像の補正後の画素値Ｍｉｎ’（ｉ，ｊ）を直接２値化処理部６２に入力することにより、ゆらぎは吸収することができないが、その代わりに演算量を削減するようにしても良い。
【００６７】
図６は、入力画像と平均値画像の画像補正処理の具体例について説明するための図である。図６において、横軸は、画像上の座標位置を示し、縦軸は画像上の対応する画素の画素値を示し、実線が入力画像の画素値Ｉ（ｉ，ｊ）を、破線は平均値画像の画素値Ａｖｅ（ｉ，ｊ）を示す。この図では、領域Ｃが背景領域であり、領域Ａが被写体領域である。
【００６８】
例えば、図６に示されるように、入力画像が平均値画像よりレベルが高い場合、ｓｕｍｆｇ＞ｓｕｍｂｇであるので、補正係数算出部５１において、式（７）に基づいて、ｓｕｍｆｇ／ｓｕｍｂｇが補正値ｐとして出力される。そして、補正部５３において、式（１１）乃至式（１３）に基づいて補正が行われる。すなわち、平均値画像に対して、補正が行われ、入力画像に合わせてレベルが引き上げられる。
【００６９】
それに対して、補正部５３は、入力された補正値ｐを用いて、入力画像の画素値Ｉ（ｉ，ｊ）に１／ｐを積算して補正することにより、平均値画像に合わせてレベルを引き下げるようにしても良い。
【００７０】
補正値１／ｐを用いて補正を実行する場合、補正部５３は、入力画像が平均値画像よりレベルが高い場合、入力画像の画素値Ｉ（ｉ，ｊ）に１／ｐを積算し、平均値画像が入力画像よりレベルが高い場合、最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）に１／ｐを積算して、算出した補正後の画素値Ｉ’（ｉ，ｊ）、補正後の画素値Ｍａｘ’（ｉ，ｊ）、および補正後の画素値Ｍｉｎ’（ｉ，ｊ）を、背景差分算出部２５に出力する。
【００７１】
しかしながら、例えば図７に示されるように、入力画像の画素値Ｉ（ｉ，ｊ）が飽和レベルに相当する非常に大きな値を有し、クリッピングレベルを超えているものがあるような場合、その画素値は、クリッピングにより変更されてしまっているので、入力画像の画素値の減衰による補正を行った（すなわち、入力画像の画素値Ｉ（ｉ，ｊ）に１／ｐを積算した）場合、クリッピングされている部分で、レベルが異なってしまい、背景領域であっても、被写体領域であると誤判定されてしまう恐れがある。
【００７２】
従って、そのような場合は、図８に示されるように、入力画像に合わせて平均値画像を増幅する（すなわち、最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）に対して補正係数ｐを積算する）補正を行い、必要に応じて、クリッピングレベルを変更（飽和レベルに合わせて適切に設定）するようにすればよい。
【００７３】
ここでは、入力画像が平均値画像よりレベルが高い場合について説明したが、平均値画像の方が入力画像よりレベルが高い場合についても同様であることは言うまでもない。
【００７４】
第１の実施の形態においては、背景情報抽出モードにおいて、背景情報抽出部２２で算出された平均値画像の画素値Ａｖｅ（ｉ，ｊ）、最大値画像の画素値Ｍａｘ（ｉ，ｊ）、および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）をメモリ２３に保存し、被写体抽出モードにおいて、背景差分算出部２５で、式（１４）および式（１５）を用いて画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎを算出するものとして説明したが、背景情報抽出部２２において、式（１４）および式（１５）の演算を実行し、画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎをメモリ２３に予め保存して、その値を、必要に応じて画像補正部２４で補正するようにすることにより、被写体抽出モードにおける演算量を減少するようにしても良い。
【００７５】
なお、第１の実施の形態においては、背景情報抽出モードにおいて、平均値画像、最大値画像、および最小値画像を生成し、被写体抽出モードにおいて、式（１６）に示される、背景領域であるか被写体領域であるかを示す２値画像を生成するものとして説明したが、例えば、図１と異なる構成の画像処理装置において、同様の処理がなされる場合についても、本発明は適応可能である。
【００７６】
また、背景情報抽出モードにおいては、背景画像を複数枚撮像して、背景情報を抽出するものとして説明したが、背景画像を１枚だけ撮像して、その背景画像の画素値ＢＧ（ｉ，ｊ）をメモリ２３に保存することにより、背景情報抽出モードの処理を簡略化し、画像補正部２４において、平均値画像の画素値Ａｖｅ（ｉ，ｊ）に代わって、背景画像の画素値ＢＧ（ｉ，ｊ）を用いて補正係数を算出し、入力画像の画素値Ｉ（ｉ，ｊ）もしくは背景画像の画素値ＢＧ（ｉ，ｊ）のいずれかを補正するようにしても良い。
【００７７】
この場合、背景差分算出部２５においては、画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎは算出されない。背景差分算出部２５は、所定の閾値Ｔ’を用いて、次の式（１７）に示される演算により、２値画像Ｏ（ｉ，ｊ）が算出される。
【数９】
ここで、式（１７）のＢＧ’（ｉ，ｊ）は、背景画像の画素値ＢＧ（ｉ，ｊ）に対する画像補正部２４の出力値である。
【００７８】
更に、背景差分処理の異なる例としては、例えば、式（１）によって求められる最大値画像の画素値Ｍａｘ（ｉ，ｊ）および式（２）によって求められる最小値画像の画素値Ｍｉｎ（ｉ，ｊ）の代わりに、背景情報抽出部２２において、次の式（１８）に示される偏差画像Ｓｄｖ（ｉ，ｊ）を求め、それ以降の処理に利用する方法がある。
【数１０】
【００７９】
その場合、背景抽出モードでは、背景情報抽出部２２において、式（３）の平均値画像Ａｖｅ（ｉ，ｊ）と、式（１８）の偏差画像の画素値Ｓｄｖ（ｉ，ｊ）が生成され、メモリ２３に出力されて記録される。
【００８０】
なお、演算量を減少させるために、例えば、式（１８）において、平方根を省略し、分散値がメモリ２３に記録されるようにしても良い。
【００８１】
そして、被写体抽出モードでは、画像補正部２４において、上述したように、入力画像の画素値Ｉ（ｉ，ｊ）と、平均値画像の画素値Ａｖｅ（ｉ，ｊ）を基に、補正係数ｐが算出されるとともに、その補正係数を用いて、入力画像の画素値Ｉ（ｉ，ｊ）、もしくは、平均値画像の画素値Ａｖｅ（ｉ，ｊ）および偏差画像の画素値Ｓｄｖ（ｉ，ｊ）が補正され、入力画像の補正後の画素値Ｉ’（ｉ，ｊ）、平均値画像の補正後の画素値Ａｖｅ’（ｉ，ｊ）および偏差画像の補正後の画素値Ｓｄｖ’（ｉ，ｊ）が生成されて背景差分算出部２５に出力される。
【００８２】
背景差分算出部２５の閾値算出部６１においては、次の式（１９）および式（２０）によって、背景領域として判断される画素値の上限値Ｔｍａｘおよび下限値Ｔｍｉｎが算出される。
【数１１】
【数１２】
ここで、式（１９）の係数ｃ、および式（２０）の係数ｄは、例えば、照明光の変動などによる画素値のゆらぎを吸収するために、予め設定された係数である。
【００８３】
また、式（４）および式（５）を用いて説明した入力画像の画素値の平均値ｓｕｍｆｇおよび平均値画像の画素値の平均値ｓｕｍｂｇの算出処理に用いることができる画素値には、様々な制約があるため、領域Ｂにおいて、補正係数の算出のために充分な画素を得ることができなかった場合には、アプリケーションに適した方法で、様々な例外処理を行うようにすることができる。
【００８４】
例えば、最初に設定された領域Ｂ（例えば、図４に示される領域Ｂ）の近傍から、順次、条件を満たす画素を検索し、補正係数の算出のために充分な画素を得ることができるまで検索処理を実行して、検索された画素を用いて補正係数の算出を行うようにしても良い。また、ユーザに対して、補正係数の算出のために充分な画素を得ることができなかったことを通知するメッセージを出力し、背景領域として適する領域を、ユーザに手動で入力させるようにしても良いし、補正係数の算出のために充分な画素を得ることができなかった場合は、補正を行わずに次の処理を実行させるようにしてもよい。
【００８５】
次に、本発明の第２の実施の形態として、図１の撮像部１１から出力される入力画像の画素値Ｉ（ｉ，ｊ）が、色情報を含んでいる場合の処理について説明する。
【００８６】
撮像部１１から入力される画像データの画素Ｉ（ｉ，ｊ）には、例えば、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）などの、色を表す複数の成分が含まれている。
【００８７】
以下、色情報に関する処理以外は、基本的に第１の実施の形態と同様の処理が実行されるので、対応する部分の説明は適宜省略する。
【００８８】
入力画像データの輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）は、背景情報抽出モードにおいては、スイッチ２１を介して背景情報抽出部２２に、被写体抽出モードにおいては、画像補正部２４に供給される。
【００８９】
背景抽出モードにおいて、図２を用いて説明した背景情報抽出部２２の最大値画像生成部４１、最小値画像生成部４２、および平均値画像生成部４３は、スイッチ２１を介して背景画像の入力を受ける。最大値画像生成部４１、最小値画像生成部４２、および平均値画像生成部４３は、式（１）乃至式（３）と同様の演算により、それぞれの画像データの輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の成分毎に、画素値の最大値からなる最大値画像、画素値の最小値からなる最小値画像、および画素値の平均値からなる平均値画像をそれぞれ生成する。
【００９０】
ここで生成される最大値画像の画素値をそれぞれＭａｘＹ（ｉ，ｊ）、ＭａｘＵ（ｉ，ｊ）およびＭａｘＶ（ｉ，ｊ）とし、最小値画像の画素値をそれぞれＭｉｎＹ（ｉ，ｊ）、ＭｉｎＵ（ｉ，ｊ）およびＭｉｎＶ（ｉ，ｊ）とし、平均値画像の画素値をそれぞれＡｖｅＹ（ｉ，ｊ）、ＡｖｅＵ（ｉ，ｊ）およびＡｖｅＶ（ｉ，ｊ）とする。背景情報抽出部２２は、生成したそれぞれの画像をメモリ２３に出力して保存させる。
【００９１】
画像補正部２４の補正係数算出部５１においては、入力画像データの画素値Ｉ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））と平均値画像の画素値Ａｖｅ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））から、それぞれの成分毎に、補正係数を算出させる。
【００９２】
すなわち、補正係数算出部５１は、式（４）および式（５）の演算を、成分毎に実行し、領域Ｂにおける入力画像の画素値の平均値ｓｕｍｆｇおよび平均値画像の画素値の平均値ｓｕｍｂｇを、画素の成分毎に算出する。
【００９３】
ただし、色情報を含んでいる場合の差ｄｉｆは、入力画像の画素値Ｉ（ｉ，ｊ）と平均値画像の画素値Ａｖｅ（ｉ，ｊ）とをそれぞれ３次元ベクトルとみなした場合の距離に対応するので、次の式（２１）で求められる。
【数１３】
【００９４】
式（２１）を用いて説明した差ｄｉｆの値が、予め設定された閾値Ｔを越える場合には、領域Ｂに含まれる座標（ｉ，ｊ）には被写体が撮像されているものとみなされ、補正係数の算出から除外されるようになされている。
【００９５】
また、ＬｍｉｎおよびＬｍａｘは、それぞれ３つの色成分から構成される、予め設定された定数であり、入力された画素値Ｉ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））と、平均値画像の画素値Ａｖｅ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））とが、いずれもＬｍｉｎ以上Ｌｍａｘ以下である場合、すなわち、次の式（２２）乃至式（２４）がすべて成立する場合にのみ、その値が補正係数の算出に用いられる。これは、画素の値が非常に大きい場合は、飽和している可能性が高く、逆に非常に小さい場合は、ノイズの影響を強く受けてしまうため、いずれも補正係数の算出に用いるのが好ましくないからである。
【数１４】
【数１５】
【数１６】
【００９６】
そして、成分毎の補正係数ｐＹ，ｐＵおよびｐＶは、式（７）と同様の演算により算出され、入力画像と平均値画像のいずれのレベルが高いかを示すフラグｆＹ，ｆＵおよびｆＶとともに、補正部５３に出力される。
【００９７】
画像補正部２４の補正部５３は、補正係数算出部５１から出力された成分毎の補正係数ｐＹ，ｐＵおよびｐＶ、並びにフラグｆＹ，ｆＵおよびｆＶの入力を受け、メモリ２３から、最大値画像の画素値ＭａｘＹ（ｉ，ｊ）、ＭａｘＵ（ｉ，ｊ）およびＭａｘＶ（ｉ，ｊ）、最小値画像の画素値ＭｉｎＹ（ｉ，ｊ）、ＭｉｎＵ（ｉ，ｊ）およびＭｉｎＶ（ｉ，ｊ）、並びに、平均値画像の画素値ＡｖｅＹ（ｉ，ｊ）、ＡｖｅＵ（ｉ，ｊ）およびＡｖｅＶ（ｉ，ｊ）を読み込む。
【００９８】
そして、補正部５３は、入力されたフラグｆＹ，ｆＵおよびｆＶの値を参照し、入力画像の画素値の平均値ｓｕｍｆｇと平均値画像の画素値の平均値ｓｕｍｂｇとのいずれの値が大きいかを判断する。そして、平均値画像の画素値の平均値ｓｕｍｂｇが、入力画像の画素値の平均値ｓｕｍｆｇより大きいと判断された場合、補正部５３は、式（８）乃至式（１０）と同様の演算により、色成分毎の補正値を算出し、背景差分算出部２５に出力する。
【００９９】
そして、入力画像の画素値の平均値ｓｕｍｆｇのほうが、平均値画像の画素値の平均値ｓｕｍｂｇより大きいと判断された場合、補正部５３は、式（１１）乃至式（１３）と同様の演算により、色成分毎の補正値を算出し、背景差分算出部２５に出力する。
【０１００】
背景差分算出部２５の閾値算出部６１においては、画像補正部２４から入力される成分毎の補正値を用いて、式（１４）および式（１５）による演算を色成分毎に行い、画素値の上限の閾値Ｙｍａｘ、閾値Ｕｍａｘおよび閾値Ｖｍａｘ、並びに、画素値の下限の閾値Ｙｍｉｎ、閾値Ｕｍｉｎおよび閾値Ｖｍｉｎを算出し、算出結果を２値化処理部６２に出力する。ここで、式（１４）および式（１５）の係数ａおよび係数ｂは、色成分毎に異なる係数を用いるようにしても良い。
【０１０１】
２値化処理部６２においては、閾値算出部６１から供給された、画素値の上限の閾値Ｙｍａｘ、閾値Ｕｍａｘおよび閾値Ｖｍａｘ、並びに、画素値の下限の閾値Ｙｍｉｎ、閾値Ｕｍｉｎおよび閾値Ｖｍｉｎに基づいて、次の式（２５）の演算によって得られる画素値Ｏ（ｉ，ｊ）からなる２値画像を生成する。
【数１７】
【０１０２】
すなわち、全ての色成分Ｙ’（ｉ，ｊ），Ｕ’（ｉ，ｊ）およびＶ’（ｉ，ｊ）が対応する上限値および下限値の間にある場合にのみ、対応する画素は背景領域であるとみなされて、画素値０が与えられ、それ以外の場合は、対応する画素は被写体領域であるとみなされて画素値１が与えられる。
【０１０３】
第２の実施の形態においては、被写体領域の抽出処理およびそれに必要な補正処理に入力されたカラー画像の色情報が効果的に利用されるので、より正確な被写体領域の抽出が可能となる。
【０１０４】
なお、第２の実施の形態においては、背景情報抽出モードにおいて、背景情報抽出部２２で色成分毎に算出された平均値画像の画素値Ａｖｅ（ｉ，ｊ）、最大値画像の画素値Ｍａｘ（ｉ，ｊ）、および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）をメモリ２３に保存し、被写体抽出モードにおいて、背景差分算出部２５で、式（１４）および式（１５）を用いて画素値の上限の閾値Ｙｍａｘ、閾値Ｕｍａｘおよび閾値Ｖｍａｘ、並びに、画素値の下限の閾値Ｙｍｉｎ、閾値Ｕｍｉｎおよび閾値Ｖｍｉｎを算出するものとして説明したが、背景情報抽出部２２において、式（１４）および式（１５）の演算を実行し、画素値の上限の閾値Ｙｍａｘ、閾値Ｕｍａｘおよび閾値Ｖｍａｘ、並びに、画素値の下限の閾値Ｙｍｉｎ、閾値Ｕｍｉｎおよび閾値Ｖｍｉｎをメモリ２３に予め保存するようにすることにより、被写体抽出モードにおける演算量を減少するようにしても良い。
【０１０５】
また、第２の実施の形態においても、図１と異なる構成の画像処理装置において、同様の処理がなされる場合についても、本発明は適応可能である。
【０１０６】
更に、第２の実施の形態においても、複数の背景画像を基に背景情報を抽出するのではなく、背景画像を１枚だけ撮像して、その背景画像の色成分を含んだ画素値ＢＧ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））をメモリ２３に保存することにより、背景情報抽出モードの処理を簡略化し、画像補正部２４において、平均値画像の画素値Ａｖｅ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））に代わって、背景画像の画素値ＢＧ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））を用いて補正係数を算出し、入力画像の画素値Ｉ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））もしくは背景画像の画素値ＢＧ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））のいずれかを補正し、背景差分算出部２５においては式（１７）と同様の演算により、２値画像Ｏ（ｉ，ｊ）を算出するようにしてもよい。
【０１０７】
また、式（１）によって求められる最大値画像の画素値Ｍａｘ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））および式（２）によって求められる最小値画像の画素値Ｍｉｎ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））の代わりに、背景情報抽出部２２において、式（１８）の演算を色成分毎に行うことにより、偏差画像Ｓｄｖ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ）、Ｖ（ｉ，ｊ））を求め、それ以降の処理に利用するようにしても良い。
【０１０８】
また、第１の実施の形態と同様に、第２の実施の形態においても、入力画像の画素値の平均値ｓｕｍｆｇおよび平均値画像の画素値の平均値ｓｕｍｂｇの算出処理に用いることができる画素値には、様々な制約があるため、領域Ｂにおいて、補正係数の算出のために充分な画素を得ることができなかった場合には、アプリケーションに適した方法で、様々な例外処理を行うようにすることができることは言うまでもない。
【０１０９】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１１０】
この記録媒体は、図１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３１（フロッピーディスクを含む）、光ディスク３２（CD ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk)を含む)、光磁気ディスク３３（ＭＤ(Mini-Disk)を含む）、もしくは半導体メモリ３４などよりなるパッケージメディアなどにより構成される。
【０１１１】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１２】
【発明の効果】
本発明の画像処理装置および画像処理方法、並びにプログラムによれば、被写体領域の抽出を行う前に、照明光や撮像パラメータなどの変動を精度よく補正することができる。
【図面の簡単な説明】
【図１】本発明を適応した画像処理装置の構成を示すブロック図である。
【図２】図１の背景情報抽出部の更に詳細な構成を示すブロック図である。
【図３】図１の画像補正部の更に詳細な構成を示すブロック図である。
【図４】補正係数算出のための領域設定について説明するための図である。
【図５】図１の背景差分算出部の更に詳細な構成を示すブロック図である。
【図６】画像補正について説明するための図である。
【図７】画像補正について説明するための図である。
【図８】画像補正について説明するための図である。
【符号の説明】
１ 画像処理装置， １１ 撮像部， １２ 被写体領域検出部， １３ 制御部， ２１ スイッチ， ２２ 背景情報抽出部， ２３ メモリ， ２４ 画像補正部， ２５ 背景差分算出部， ４１ 最大値画像生成部， ４２ 最小値画像生成部， ４３ 平均値画像生成部， ５１ 補正係数算出部， ５２メモリ， ５３ 補正部， ６１ 閾値算出部， ６２ ２値化処理部
Claims (9)
- 背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、前記被写体領域を抽出する画像処理装置において、
前記対象画像から前記被写体領域を抽出する際に用いる抽出用閾値を算出するための閾値算出用画像を生成する閾値算出用画像生成手段と、
前記背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を生成する平均値画像生成手段と、
前記対象画像と前記平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、
前記対象画像と前記平均値画像との、前記設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件
を満たす前記平均値画像上の前記設定領域の画素値の合計を、第１の合計値として算出する第１の合計値算出手段と、
前記条件を満たす前記対象画像上の前記設定領域の画素値の合計を、第２の合計値として算出する第２の合計値算出手段と、
前記第２の合計値が前記第１の合計値以上であるか否かに応じて、前記閾値算出用画像又は前記対象画像の一方を補正するための補正係数を算出する補正係数算出手段と、
前記補正係数を用いて、前記閾値算出用画像又は前記対象画像の一方を補正する補正手段と
を備える画像処理装置。 - 前記補正係数算出手段は、
前記第２の合計値が前記第１の合計値以上である場合、前記第２の合計値を前記第１の合計値で除算して得られる除算結果を、前記閾値算出用画像を補正するための前記補正係数として算出し、
前記第２の合計値が前記第１の合計値以上ではない場合、前記第１の合計値を前記第２の合計値で除算して得られる除算結果を、前記対象画像を補正するための前記補正係数として算出する
請求項１に記載の画像処理装置。 - 前記補正手段により、前記閾値算出用画像又は前記対象画像の一方が補正された後、前記閾値算出用画像に基づいて、前記対象画像の各画素が前記背景領域に対応するものであるか、又は前記被写体領域に対応するものであるかを判断して前記被写体領域を抽出するための前記抽出用閾値を算出する閾値算出手段と、
前記対象画像の各画素の画素値と前記抽出用閾値とを用いて、前記被写体領域を抽出する抽出手段と
を更に備える請求項２に記載の画像処理装置。 - 前記閾値算出用画像生成手段は、前記閾値算出用画像として、
前記複数の背景画像それぞれの、対応する各画素の画素値の最大値を画素値とする最大値画像、及び前記複数の背景画像それぞれの、対応する各画素の画素値の最小値を画素値とする最小値画像を生成する
請求項１に記載の画像処理装置。 - 前記設定領域とは、前記対象画像に含まれる前記背景領域のうちのいずれかの領域である
請求項１に記載の画像処理装置。 - 前記補正手段は、前記閾値算出用画像又は前記対象画像のうち、補正対象とされた画像が色情報を含んでいる場合、補正対象とされた前記画像を前記色情報の成分毎に補正する
請求項１に記載の画像処理装置。 - 背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、前記被写体領域を抽出する画像処理装置の画像処理方法において、
前記画像処理装置による、
前記対象画像から前記被写体領域を抽出する際に用いる抽出用閾値を算出するための閾値算出用画像を生成する閾値算出用画像生成ステップと、
前記背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を生成する平均値画像生成ステップと、
前記対象画像と前記平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、
前記対象画像と前記平均値画像との、前記設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件
を満たす前記平均値画像上の前記設定領域の画素値の合計を、第１の合計値として算出する第１の合計値算出ステップと、
前記条件を満たす前記対象画像上の前記設定領域の画素値の合計を、第２の合計値として算出する第２の合計値算出ステップと、
前記第２の合計値が前記第１の合計値以上であるか否かに応じて、前記閾値算出用画像又は前記対象画像の一方を補正するための補正係数を算出する補正係数算出ステップと、
前記補正係数を用いて、前記閾値算出用画像又は前記対象画像の一方を補正する補正ステップと
を含む画像処理方法。 - 背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、前記被写体領域を抽出する処理をコンピュータに実行させるためのプログラムであって、
前記対象画像から前記被写体領域を抽出する際に用いる抽出用閾値を算出するための閾値算出用画像を生成する閾値算出用画像生成ステップと、
前記背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を生成する平均値画像生成ステップと、
前記対象画像と前記平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、
前記対象画像と前記平均値画像との、前記設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件
を満たす前記平均値画像上の前記設定領域の画素値の合計を、第１の合計値として算出する第１の合計値算出ステップと、
前記条件を満たす前記対象画像上の前記設定領域の画素値の合計を、第２の合計値として算出する第２の合計値算出ステップと、
前記第２の合計値が前記第１の合計値以上であるか否かに応じて、前記閾値算出用画像又は前記対象画像の一方を補正するための補正係数を算出する補正係数算出ステップと、
前記補正係数を用いて、前記閾値算出用画像又は前記対象画像の一方を補正する補正ステップと
を含む処理をコンピュータに実行させるためのプログラムが記録されている記録媒体。 - 背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、前記被写体領域を抽出する処理をコンピュータに実行させるためのプログラムであって、
前記対象画像から前記被写体領域を抽出する際に用いる抽出用閾値を算出するための閾値算出用画像を生成する閾値算出用画像生成ステップと、
前記背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を生成する平均値画像生成ステップと、
前記対象画像と前記平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、
前記対象画像と前記平均値画像との、前記設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件
を満たす前記平均値画像上の前記設定領域の画素値の合計を、第１の合計値として算出する第１の合計値算出ステップと、
前記条件を満たす前記対象画像上の前記設定領域の画素値の合計を、第２の合計値として算出する第２の合計値算出ステップと、
前記第２の合計値が前記第１の合計値以上であるか否かに応じて、前記閾値算出用画像又は前記対象画像の一方を補正するための補正係数を算出する補正係数算出ステップと、
前記補正係数を用いて、前記閾値算出用画像又は前記対象画像の一方を補正する補正ステップと
を含む処理をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001115636A JP4631198B2 (ja) | 2001-04-13 | 2001-04-13 | 画像処理装置および画像処理方法、記録媒体、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001115636A JP4631198B2 (ja) | 2001-04-13 | 2001-04-13 | 画像処理装置および画像処理方法、記録媒体、並びにプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002312786A JP2002312786A (ja) | 2002-10-25 |
| JP2002312786A5 JP2002312786A5 (ja) | 2008-04-10 |
| JP4631198B2 true JP4631198B2 (ja) | 2011-02-16 |
Family
ID=18966503
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001115636A Expired - Fee Related JP4631198B2 (ja) | 2001-04-13 | 2001-04-13 | 画像処理装置および画像処理方法、記録媒体、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4631198B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002310939A (ja) * | 2001-04-18 | 2002-10-23 | Nec Corp | 気泡検査装置 |
| JP4697923B2 (ja) * | 2004-04-16 | 2011-06-08 | 財団法人電力中央研究所 | 水中または水面における移動体の計数システムおよび計数方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000036032A (ja) * | 1998-07-17 | 2000-02-02 | Fujitsu Ltd | 前景画像抽出方法、画像処理装置、自動トリミング装置、記録媒体及び肖像写真装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04278785A (ja) * | 1991-03-07 | 1992-10-05 | Nippon Telegr & Teleph Corp <Ntt> | 背景除去方法及びその実施装置 |
| JP3143245B2 (ja) * | 1992-12-22 | 2001-03-07 | 富士写真フイルム株式会社 | 撮像装置およびその測光方法およびその合焦制御方法ならびに撮像方法 |
| JPH09231362A (ja) * | 1996-02-27 | 1997-09-05 | Fuji Electric Co Ltd | 外観検査装置及びその方法 |
| JP3397101B2 (ja) * | 1997-10-29 | 2003-04-14 | 株式会社日立製作所 | 欠陥検査方法および装置 |
-
2001
- 2001-04-13 JP JP2001115636A patent/JP4631198B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000036032A (ja) * | 1998-07-17 | 2000-02-02 | Fujitsu Ltd | 前景画像抽出方法、画像処理装置、自動トリミング装置、記録媒体及び肖像写真装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002312786A (ja) | 2002-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8089515B2 (en) | Method and device for controlling auto focusing of a video camera by tracking a region-of-interest | |
| US8508605B2 (en) | Method and apparatus for image stabilization | |
| JP3461626B2 (ja) | 特定画像領域抽出方法及び特定画像領域抽出装置 | |
| US9674441B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US8478002B2 (en) | Method for analyzing object motion in multi frames | |
| US20200258196A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN104809710B (zh) | 图像去噪方法以及使用该方法的装置 | |
| KR20110124222A (ko) | 전경-배경 제약 조건 전파를 기초로 하는 비디오 매팅 | |
| KR101524548B1 (ko) | 영상 정합 장치 및 방법 | |
| JP2001229390A (ja) | ピクセル化されたイメージをセグメント化する方法および装置 | |
| WO2009026857A1 (en) | Video image motion processing method introducing global feature classification and implementation device thereof | |
| KR20090062049A (ko) | 영상 데이터 압축 전처리 방법 및 이를 이용한 영상 데이터압축 방법과, 영상 데이터 압축 시스템 | |
| US20100208140A1 (en) | Image processing apparatus, image processing method and storage medium storing image processing program | |
| JP5173549B2 (ja) | 画像処理装置及び撮像装置 | |
| CN102292724B (zh) | 匹配加权信息提取装置 | |
| CN112883940A (zh) | 静默活体检测方法、装置、计算机设备及存储介质 | |
| JP4631198B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びにプログラム | |
| JPH10320566A (ja) | 画像処理装置、画像処理方法及びその方法を記憶した記憶媒体 | |
| JP4631199B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びにプログラム | |
| JP2010050651A (ja) | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 | |
| JP4622141B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びにプログラム | |
| JP4622140B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びにプログラム | |
| JP3480408B2 (ja) | 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 | |
| JPH1117984A (ja) | 画像処理装置 | |
| CN117561540A (zh) | 使用帧序列执行计算机视觉任务的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080225 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080225 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100803 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100927 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101019 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101101 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |