JP4622140B2 - 画像処理装置および画像処理方法、記録媒体、並びにプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、記録媒体、並びにプログラムに関し、特に、背景領域と被写体領域とからなる画像から被写体領域のみを抽出する場合に用いて好適な、画像処理装置および画像処理方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
例えば、背景と被写体からなる画像データから被写体を抽出する場合など、画像の領域を分割する領域分割法として、従来、主に３つの方法が提案されている。
【０００３】
第１の方法は、画像データの画素値のみを利用するものであり、代表的なものとして、例えば、画素値の類似度を定義して、領域統合を繰り返す方法や、特徴空間におけるクラスタリングなどがある。
【０００４】
第２の方法は、画素値と他の付加情報を併用することによって、被写体領域を背景領域から分離して抽出するものであり、例えば、抽出すべき被写体領域の大まかな境界線を予め与え、その境界線近傍のみを画像処理することにより、正確に被写体領域を抽出するような方法である。この方法を動画像に適用する場合には、第１フレームにおいて抽出した領域に対して、動き検出やフレーム間差分、あるいは、Snakes（動的輪郭モデル）を用いることにより領域の変化を追跡したり、第１フレームと最終フレームにおいて、被写体領域を予め抽出しておき、その間の画像に対しては、これら２つのフレームにおいて抽出された被写体領域を基に補間を行う方法などが提案されている。
【０００５】
第２の方法において、抽出すべき被写体領域の大まかな境界線の入力などの手動操作の介入を避ける方法としては、例えば、被写体を含まない背景のみの画像を予め撮像しておき、被写体を含む画像を、背景のみの画像と比較して、その差分を演算することにより被写体を抽出する背景差分法がある。
【０００６】
また、撮像時に被写体以外の背景領域を一定の色のスクリーンで覆い、この色情報を用いて対象物を抽出するクロマキーという手法は、例えば、映像制作などに現在最も頻繁に用いられている手法である。
【０００７】
第３の方法は、特殊な撮像装置を用いて距離情報などを算出し、それに基づいて被写体を抽出する方法であり、例えば、視点の異なる複数のカメラによって得られた画像間の視差情報を用いる方法が多く提案されている。また、複数のカメラを用いずに、一台のカメラの撮像面位置を変化させ、そのときに画像上に生じるぼけの変化を利用して距離を算出する方法も提案されている。
【０００８】
【発明が解決しようとする課題】
被写体を背景から切り取り抽出するために、以上説明したような、様々な方法が用いられている。
【０００９】
しかしながら、第１の方法は、物理的に一様な局所領域（例えば、ある一定の色情報を有する領域や、境界線など）を抽出するための手段としては優れているが、意味のある被写体を１つの領域として抽出するためには、充分な方法ではない。
【００１０】
また、第３の方法として説明した視差情報を用いる方法では、複数のカメラが必要となる（もしくは、ひとつのカメラで複数の画像を撮像する必要があるため、撮像に時間がかかる）上に、画像間の対応を演算するための演算量が非常に多い。また、ぼけ情報を用いる場合、撮像装置における実現可能な被写界深度が問題となる。近年の撮像装置、特に民生用途の撮像装置は、小型化される傾向にある。そのため、被写界深度が深くなる場合が多く、撮像面位置の変化によるぼけの差が検出し難い場合が殆どである。
【００１１】
第２の方法において、手動操作に依存する方法を取る場合、柔軟なインターフェースが求められるため、アプリケーションとして実現するのが非常に困難である。また、時間的に領域を追跡している方法を採用する場合、動き検出などのエラーが蓄積されていく可能性が大きく、長時間のシーケンスを処理するのには向かない。更に、動き検出やSnakesは、演算量が多いため、リアルタイムに画像を処理するアプリケーションが限定される。
【００１２】
これらに対して、背景差分法は、演算が比較的簡単であるとともに、背景領域が変化しない限り、差分値が大きい画素は、非常に高い確率で被写体領域として抽出されることが期待できる上に、時間的なエラーの蓄積の恐れもない。
【００１３】
しかしながら、背景差分法においても、差分値が小さい場合（例えば、被写体が背景に近い色の部分を有する場合など）は、必ずしも正しい領域分割ができていると保証することはできず、このような場合は、被写体領域が背景領域として誤判定されやすい。差分値を統計的に処理することにより、被写体の抽出精度を向上させるような試みもなされているが、従来の方法では、必ずしも満足できる領域分割が実現できているとはいえない。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、背景差分法の簡便さを利用しつつ、簡単な装置を用いて、簡単な演算によって、正確に被写体領域を抽出することができるようにするものである。
【００１５】
【課題を解決するための手段】
本発明の画像処理装置は、撮像された画像データの入力を受ける入力手段と、入力手段により入力された背景領域のみからなる背景画像と、入力手段により入力された背景領域および被写体領域からなる第１の対象画像との差分を算出する画像差分算出手段と、画像差分算出手段により算出された背景画像と第１の対象画像との差分を基に、第１の対象画像から、被写体領域の候補領域を分割する分割手段と、第１の対象画像の各画素が、被写体領域に含まれている確率を算出する確率算出手段と、確率算出手段により算出された確率を基に、分割手段により分割された被写体領域の候補領域を補正する第１の補正手段と、確率算出手段により算出された確率、および入力手段により異なる時刻に入力された第２の対象画像との相関から、第１の補正手段により補正された被写体領域の候補領域を更に補正する第２の補正手段とを備える。
【００１６】
確率算出手段には、ベイズ推定を用いて、第１の対象画像の各画素が、被写体領域に含まれている確率を算出させるようにすることができる。
【００１７】
確率算出手段には、座標毎に設定された重み付け係数に基づいて、第１の対象画像の各画素が、被写体領域に含まれている確率を算出させるようにすることができる。
【００１８】
第２の補正手段には、第１の補正手段により補正された結果、被写体領域の候補領域ではないと判定された領域についてのみ、確率算出手段により算出された確率、および第２の対象画像との相関を基に補正を行わせるようにすることができる。
【００１９】
第２の補正手段には、確率算出手段により算出された確率、および第２の対象画像との相関を基に、第１の対象画像の各画素に対して、背景領域である確率を示す第１の確率と被写体領域である確率を示す第２の確率を算出させ、第１の確率が第２の確率より小さい場合、対応する画素を被写体領域に含まれる画素であると判断させるようにすることができる。
【００２０】
第１の確率は、第１の対象画像の対応する座標の画素の画素値と背景画像の対応する座標の画素の画素値との差が小さいほど大きな値を取るものとすることができる。
【００２１】
第２の確率は、第１の対象画像の対応する座標の画素の画素値と第２の対象画像の対応する座標の画素の画素値との差が小さく、かつ、第２の対象画像の対応する座標の画素が被写体領域である確率が高いほど大きな値を取るものとすることができる。
【００２２】
第２の対象画像は、入力手段により第１の対象画像より１フレーム前に入力された画像であるものとすることができる。
【００２３】
入力手段により入力される画像データが色情報を含む場合、画像差分算出手段には、背景画像と第１の対象画像との差分を色情報の成分毎に算出させるようにすることができる。
【００２４】
入力手段により入力される画像データが色情報を含む場合、第２の補正手段には、第１の確率および第２の確率を、色情報の成分毎に算出させるようにすることができる。
【００２５】
本発明の画像処理方法は、撮像された画像データを処理する画像処理装置の画像処理方法であって、画像処理装置による、撮像された画像データの入力を制御する入力制御ステップと、入力制御ステップの処理により入力が制御された背景領域のみからなる背景画像と、入力制御ステップの処理により入力が制御された背景領域および被写体領域からなる第１の対象画像との差分を算出する画像差分算出ステップと、画像差分算出ステップの処理により算出された背景画像と第１の対象画像との差分を基に、第１の対象画像から、被写体領域の候補領域を分割する分割ステップと、第１の対象画像の各画素が、被写体領域に含まれている確率を算出する確率算出ステップと、確率算出ステップの処理により算出された確率を基に、分割ステップの処理により分割された被写体領域の候補領域を補正する第１の補正ステップと、確率算出ステップの処理により算出された確率、および入力制御ステップの処理により異なる時刻に入力が制御された第２の対象画像との相関から、第１の補正ステップの処理により補正された被写体領域の候補領域を更に補正する第２の補正ステップとを含む。
【００２６】
本発明の記録媒体に記録されているプログラムは、撮像された画像データの入力を制御する入力制御ステップと、入力制御ステップの処理により入力が制御された背景領域のみからなる背景画像と、入力制御ステップの処理により入力が制御された背景領域および被写体領域からなる第１の対象画像との差分を算出する画像差分算出ステップと、画像差分算出ステップの処理により算出された背景画像と第１の対象画像との差分を基に、第１の対象画像から、被写体領域の候補領域を分割する分割ステップと、第１の対象画像の各画素が、被写体領域に含まれている確率を算出する確率算出ステップと、確率算出ステップの処理により算出された確率を基に、分割ステップの処理により分割された被写体領域の候補領域を補正する第１の補正ステップと、確率算出ステップの処理により算出された確率、および入力制御ステップの処理により異なる時刻に入力が制御された第２の対象画像との相関から、第１の補正ステップの処理により補正された被写体領域の候補領域を更に補正する第２の補正ステップとを含む処理をコンピュータに実行させるためのプログラムである。
【００２７】
本発明のプログラムは、撮像された画像データの入力を制御する入力制御ステップと、入力制御ステップの処理により入力が制御された背景領域のみからなる背景画像と、入力制御ステップの処理により入力が制御された背景領域および被写体領域からなる第１の対象画像との差分を算出する画像差分算出ステップと、画像差分算出ステップの処理により算出された背景画像と第１の対象画像との差分を基に、第１の対象画像から、被写体領域の候補領域を分割する分割ステップと、第１の対象画像の各画素が、被写体領域に含まれている確率を算出する確率算出ステップと、確率算出ステップの処理により算出された確率を基に、分割ステップの処理により分割された被写体領域の候補領域を補正する第１の補正ステップと、確率算出ステップの処理により算出された確率、および入力制御ステップの処理により異なる時刻に入力が制御された第２の対象画像との相関から、第１の補正ステップの処理により補正された被写体領域の候補領域を更に補正する第２の補正ステップとを含む処理をコンピュータに実行させる。
【００２８】
本発明の画像処理装置および画像処理方法、並びにプログラムにおいては、撮像された画像データが入力され、入力された背景領域のみからなる背景画像と、入力された背景領域および被写体領域からなる第１の対象画像との差分が算出され、算出された背景画像と第１の対象画像との差分を基に、第１の対象画像から、被写体領域の候補領域が分割され、第１の対象画像の各画素が被写体領域に含まれている確率が算出され、算出された確率を基に、分割された被写体領域の候補領域が補正され、算出された確率、および異なる時刻に入力された第２の対象画像との相関から、補正された被写体領域の候補領域が更に補正される。
【００２９】
【発明の実施の形態】
以下、図を参照して、本発明の実施の形態について説明する。
【００３０】
まず、本発明の第１の実施の形態について説明する。図１は、本発明を適応した画像処理装置１の構成を示すブロック図である。
【００３１】
画像処理装置１は、動作モードとして、背景情報抽出モードと被写体抽出モードとの、２つのモードを有しており、ユーザは、図示しない操作部を操作することによって、背景情報抽出モードと被写体抽出モードを切り替えることができる。背景情報抽出モードでは、背景のみからなる画像の入力を受けて背景領域に関する情報を抽出する処理が実行される。一方、被写体抽出モードでは、背景情報抽出モードにおいて抽出された背景情報を基に、被写体と背景から構成された画像から被写体領域のみを抽出する処理が実行される。
【００３２】
撮像部１１は、例えばCCD（Charge Coupled Devices）カメラなどから構成されている。撮像部１１は、制御部１３の制御に従って画像を撮像し、画素値Ｉ（ｉ，ｊ）からなる画像データを被写体領域検出部１２に出力する。ここで、画素値Ｉ（ｉ，ｊ）は、撮像された画像データの二次元座標（ｉ，ｊ）上の画素値を表す。
【００３３】
被写体領域検出部１２は、スイッチ２１、背景情報抽出部２２、メモリ２３、被写体候補検出部２４、および被写体判定部２５で構成され、制御部１３の処理に従って、撮像部１１から入力された画像データを処理し、被写体領域を検出する処理を実行する。
【００３４】
スイッチ２１は、制御部１３から入力される信号を基に、背景情報抽出モードの場合、背景のみで構成される背景画像の画像データを背景情報抽出部２２に供給し、被写体抽出モードの場合、被写体を含む画像データを被写体候補検出部２４および被写体判定部２５に供給する。
【００３５】
制御部１３は、画像処理装置１の動作を制御するものであり、例えば、図示しない操作部から入力された信号を基に背景情報抽出モードか被写体抽出モードかを判断し、撮像部１１で撮像された画像データを被写体領域検出部１２の適する部分に供給するようにスイッチ２１を切り替えさせる。また、制御部１３にはドライブ１４も接続されている。ドライブ１４には、必要に応じて磁気ディスク３１、光ディスク３２、光磁気ディスク３３、および半導体メモリ３４が装着され、データの授受を行うようになされている。
【００３６】
背景情報抽出部２２の更に詳細な構成を示すブロック図を図２に示す。
【００３７】
背景抽出モードにおいて、スイッチ２１を介して入力された背景画像データは、最大値画像生成部４１、最小値画像生成部４２、および平均値画像生成部４３に供給される。最大値画像生成部４１は、入力された複数の画像の座標（ｉ，ｊ）毎の画素の最大値を、式（１）により算出し、それぞれの座標における最大の画素値Ｍａｘ（ｉ，ｊ）からなる最大値画像を背景情報として生成し、メモリ２３に出力して保存させる。
【数１】

・・・（１）
【００３８】
ここで、Ｉｋ（ｉ，ｊ）は、ｋ番目の画像の、座標（ｉ，ｊ）における画素値を示す。また、ＭＡＸ（・）は、括弧内に示される複数の数値の最大値を算出する演算を示す。
【００３９】
最小値画像生成部４２は、入力された複数の画像の座標（ｉ，ｊ）毎の画素の最小値を、式（２）により算出し、それぞれの座標における最小の画素値Ｍｉｎ（ｉ，ｊ）からなる最小値画像を背景情報として生成し、メモリ２３に出力して保存させる。平均値画像生成部４３は、入力された複数の画像の座標（ｉ，ｊ）毎の画素の平均値を、式（３）により算出し、それぞれの座標における平均の画素値Ａｖｅ（ｉ，ｊ）からなる平均値画像を背景情報として生成し、メモリ２３に出力して保存させる。
【数２】

・・・（２）
【数３】

・・・（３）
【００４０】
ここで、ＭＩＮ（・）は、括弧内に示される複数の数値の最小値を算出する演算を示す。また、Ｎは、背景情報抽出部２２に供給された画像の枚数を示す。
【００４１】
メモリ２３は、背景情報抽出部２２が抽出した背景情報の入力を受け、背景情報を保存するとともに、保存している背景情報を、被写体候補検出部２４および被写体判定部２５に供給する。
【００４２】
被写体候補検出部２４の更に詳細な構成を示すブロック図を図３に示す。
【００４３】
被写体候補検出部２４の２値化処理部５２は、スイッチ２１を介して入力画像データの画素値Ｉ（ｉ，ｊ）の供給を受ける。閾値算出部５１は、メモリ２３に記録されている背景情報から必要な情報（ここでは、最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ））を読み込み、背景領域か被写体かを判断するための、画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎを算出する。
【００４４】
背景領域か被写体かを判断するための、画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎの算出方法は、いかなる方法であってもかまわないが、この例においては、式（４）および式（５）を用いて画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎを算出し、算出結果を２値化処理部５２に出力する。
【数４】

・・・（４）
【数５】

・・・（５）
【００４５】
式（４）の係数ａおよび式（５）の係数ｂは、それぞれ予め設定された係数であり、例えば、照明光の変動などによる画素値のゆらぎを吸収するために、通常、ａ＞１．０、ｂ＜１．０で、実験などにより、もしくは、経験的に求められる。
【００４６】
２値化処理部５２は、閾値算出部５１により算出された閾値の入力を受け、図示しない内部のメモリに保存する。２値化処理部５２は、スイッチ２１を介して画素値Ｉ（ｉ，ｊ）の入力を受け、内部のメモリに保存している閾値を用いて、次の式（６）に基づいて、２値化された画素値Ｂ（ｉ，ｊ）からなる２値画像を生成し、被写体判定部２５に出力する。
【数６】

・・・（６）
【００４７】
すなわち、２値化処理部５２は、入力された画素値Ｉ（ｉ，ｊ）のうち、閾値の範囲内の画素値に対応する画素には背景候補であることを示す値として０、閾値の範囲外の画素値に対応する画素は被写体候補であることを示す値として１を設定した２値画像の画素値Ｂ（ｉ，ｊ）を生成する。
【００４８】
図３においては、閾値算出部５１において、式（４）および式（５）を用いて最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）に所定の係数を積算することにより、例えば、照明光の変動などによる画素値のゆらぎを吸収するようになされているが、閾値算出部５１を省略し、最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）を直接２値化処理部５２に入力することにより、ゆらぎは吸収することができないが、その代わりに演算量を削減するようにしても良い。
【００４９】
被写体判定部２５には、被写体抽出モードにおいて、スイッチ２１から画素値Ｉ（ｉ，ｊ）が入力され、被写体候補検出部２４から２値画像の画素値Ｂ（ｉ，ｊ）が入力されるとともに、メモリ２３から最大値画像の画素値Ｍａｘ（ｉ，ｊ）、最小値画像の画素値Ｍｉｎ（ｉ，ｊ）、および平均値画像の画素値Ａｖｅ（ｉ，ｊ）が読み込まれる。被写体判定部２５の更に詳細な構成を示すブロック図を図４に示す。
【００５０】
背景条件確率検出部６１は、メモリ２３から背景情報（ここでは、最大値画像の画素値Ｍａｘ（ｉ，ｊ）、最小値画像の画素値Ｍｉｎ（ｉ，ｊ）、および平均値画像の画素値Ａｖｅ（ｉ，ｊ））を読み込み、式（７）を用いて、ガウス分布により、背景であるという条件の基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｂｇ）を算出し、ベイズ推定演算部６６に出力する。
【数７】

・・・（７）
【００５１】
ここで、確率Ｐ（Ａ｜Ｂ）とは、事象Ｂであるという条件の基で、事象Ａが発生する確率のことである。
【００５２】
式（７）の係数ｓは、ガウス分布の標準偏差であり、この例においては、最大値画像の画素値Ｍａｘ（ｉ，ｊ）、最小値画像の画素値Ｍｉｎ（ｉ，ｊ）、および平均値画像の画素値Ａｖｅ（ｉ，ｊ）を用いて、次の式（８）によって算出される。
【数８】

・・・（８）
【００５３】
すなわち、式（７）は、背景情報抽出モードにおいて、背景として出現した画素値に近い画素値であるほど、背景領域である確率が高いことを示している。
【００５４】
ヒストグラム生成部６２は、入力画像データの画素値Ｉ（ｉ，ｊ）および２値画像の画素値Ｂ（ｉ，ｊ）の入力を受け、２値画像の画素値Ｂ（ｉ，ｊ）が１である座標（すなわち、被写体候補検出部２４において被写体候補とみなされた画素の座標）に対応する画素値Ｉ（ｉ，ｊ）に対応するヒストグラムＨ（Ｉ（ｉ，ｊ））を生成し、被写体条件確率検出部６３に出力する。
【００５５】
被写体条件確率検出部６３は、入力画像データの画素値Ｉ（ｉ，ｊ）、およびヒストグラムＨ（Ｉ（ｉ，ｊ））の入力を受け、被写体であるという条件の基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｏｂｊ）を式（９）によって算出する。
Ｐ（Ｉ（ｉ，ｊ）｜ｏｂｊ）＝Ｈ（Ｉ（ｉ，ｊ））／obj_count・・・（９）
【００５６】
ここで、obj_countは、被写体候補の画素の総数（すなわち、２値画像の画素値Ｂ（ｉ，ｊ）のうち、画素値が１である画素の総数）である。
【００５７】
被写体候補検出部２４において、背景差分法により得られた被写体候補（すなわち、被写体候補と背景候補で異なる値を持つ画素値Ｂ（ｉ，ｊ）からなる２値画像）が得られる。この被写体候補は、背景情報抽出モードにおいて抽出された画素値の情報との差が小さい画素は必ずしも背景領域に属するとはいえないが、その差が大きい画素に関してはかなり高い確率で被写体領域に属するといえるという性質を利用して抽出される。式（９）における確率Ｐ（Ｉ（ｉ，ｊ）｜ｏｂｊ）の定義は、この性質に基づいたものであり、被写体候補検出部２４において検出された被写体候補に対応する画素のうち出現頻度が高い画素値（すなわち、ヒストグラムで高い数値を得ている画素値）ほど、被写体領域に出現する確率が高いことを示している。
【００５８】
多値マスク生成部６４は、入力された２値画像の画素値Ｂ（ｉ，ｊ）に対して、例えば、式（１０）で示されるような平滑化処理を施し、平滑化された画素値Ｍ（ｉ，ｊ）からなる帯域の狭い多値画像を生成し、被写体／背景確率検出部６５に出力する。
Ｍ（ｉ，ｊ）＝ＬＰＦ（Ｂ（ｉ，ｊ）×Ｃ）・・・（１０）
【００５９】
ここで、式（１０）において、画素値Ｂ（ｉ，ｊ）に乗算されている係数Ｃは、予め設定された定数であり、後述する被写体／背景確率検出部６５が実行する計算における、確率の値の精度を定めるものである。また、ＬＰＦとしては、例えば、平均値フィルタなどを用いることができる。
【００６０】
被写体／背景確率検出部６５は、多値マスク生成部６４から入力された多値画像の画素値Ｍ（ｉ，ｊ）を基に、次の式（１１）で示される被写体である確率Ｐ（ｏｂｊ）および式（１２）で示される背景である確率Ｐ（ｂｇ）を算出し、ベイズ推定演算部６６に出力する。
Ｐ（ｏｂｊ）＝Ｍ（ｉ，ｊ）／Ｃ・・・（１１）
Ｐ（ｂｇ）＝１．０−Ｐ（ｏｂｊ）・・・（１２）
【００６１】
ここで、式（１１）の係数Ｃは、式（１０）の係数Ｃと同一の値である。多値マスク生成部６４で生成された多値画像の画素値Ｍ（ｉ，ｊ）は、被写体候補検出部２４において被写体候補とされた画素（画素値１に設定された画素）に空間的に近いほど大きな画素値（１に近い画素値）となる。すなわち、式（１１）および式（１２）は、背景差分法によって抽出された被写体候補の空間的な分布によって被写体である確率、および背景である確率を定義するものであり、被写体候補の画素に近いほど被写体である確率が高いといえる。
【００６２】
ベイズ推定演算部６６は、入力された情報を基に、ベイズの定理に従って、画素値Ｉ（ｉ，ｊ）が被写体領域に属する確率Ｐ（ｏｂｊ｜Ｉ（ｉ，ｊ））を演算する。
【００６３】
２つの事象ＡおよびＢがあるとき、事象Ａであるという条件の基で、事象Ｂが発生する確率は、次の式（１３）で表わされる。これをベイズの定理という。
【数９】

・・・（１３）
【００６４】
すなわち、ベイズ推定演算部６６は、背景条件確率検出部６１から入力された、背景であるという条件の基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｂｇ）、被写体条件確率検出部６３から入力された被写体であるという条件の基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｏｂｊ）、並びに、被写体／背景確率検出部６５から入力された被写体である確率Ｐ（ｏｂｊ）および背景である確率Ｐ（ｂｇ）を用いて、次の式（１４）により、画素値Ｉ（ｉ，ｊ）が被写体領域に属する確率Ｐ（ｏｂｊ｜Ｉ（ｉ，ｊ））を演算する。
【数１０】

・・・（１４）
【００６５】
そして、ベイズ推定演算部６６は、式（１４）によって求められた画素値Ｉ（ｉ，ｊ）が被写体領域に属する確率Ｐ（ｏｂｊ｜Ｉ（ｉ，ｊ））が、予め設定された閾値Ｔより大きい場合には、対応する画素（ｉ，ｊ）は被写体領域であると判定し、閾値Ｔより小さい場合には、背景領域と判定し、次の式（１５）に従って、２値化された画素値Ｏ´（ｉ，ｊ）からなる２値画像を生成し、論理和演算部６７に出力する。
【数１１】

・・・（１５）
【００６６】
論理和演算部６７は、被写体候補検出部２４において背景の候補とされた画素についてのみベイズ推定による補正を反映させるため、被写体候補検出部２４から入力された２値画像の画素値Ｂ（ｉ，ｊ）と、ベイズ推定演算部６６から入力された２値画像の画素値Ｏ´（ｉ，ｊ）の座標毎の論理和を演算し、その結果得られた画素値Ｏ（ｉ，ｊ）からなる２値画像を出力する。
【００６７】
また、被写体候補検出部２４から入力された２値画像の画素値Ｂ（ｉ，ｊ）と、ベイズ推定演算部６６から入力された２値画像の画素値Ｏ´（ｉ，ｊ）の論理を逆（すなわち、背景であると判断された場合は１、被写体であると判断された場合は０）とし、論理和演算部６７に代わって、入力された２値画像の座標毎の論理積を演算する論理積演算部を備えるようにしても良い。
【００６８】
図１を用いて説明した画像処理装置１においては、メモリ２３に最大値画像の画素値Ｍａｘ（ｉ，ｊ）、最小値画像の画素値Ｍｉｎ（ｉ，ｊ）、および平均値画像の画素値Ａｖｅ（ｉ，ｊ）を保存させ、被写体候補検出部２４の閾値算出部５１に最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）を読み込ませ、背景領域か被写体かを判断するための画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎを、式（４）および式（５）を用いて算出させるようにしているが、背景情報抽出モード時に、背景情報抽出部２２に、式（４）および式（５）の演算を予め実行させ、メモリ２３に、画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎを保存させるようにしても良い。その場合、閾値算出部５１を省略することができ、被写体抽出モードにおける演算時間を削減することが可能となる。
【００６９】
また、式（８）を用いて説明した標準偏差ｓも、背景情報抽出モード時に、背景情報抽出部２２により予め演算させるようにし、メモリ２３に保存させるようにしても良い。
【００７０】
また、被写体判定部２５において、背景であるという条件の基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｂｇ）を、式（８）によって算出される標準偏差ｓのガウス分布で近似しているが、標準偏差の算出に他の式を用いたり、あるいは、背景画像の性質に応じた他の分布関数を用いても良いことは言うまでもない。
【００７１】
また、被写体である確率Ｐ（ｏｂｊ）は、式（１１）以外にも、例えば、次の式（１６）に示されるような非線形関数を用いて求める（被写体領域、もしくは背景領域に重み付けを施す）ようにしても良い。
【数１２】

・・・（１６）
ここで、ｇは重み付けを行うのに適当な、予め定められた定数である。
【００７２】
次に、本発明の第２の実施の形態について説明する。図５は、本発明を適応した画像処理装置７１の構成を示すブロック図である。なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００７３】
すなわち、図５の画像処理装置７１は、被写体領域検出部１２に代わって、被写体領域検出部８１が設けられている以外は、図１の画像処理装置１と基本的に同様の構成を有しており、被写体領域検出部８１は、背景情報抽出部２２に代わって、背景情報抽出部９１が設けられている以外は、図１の被写体領域検出部１２と基本的に同様の構成を有している。
【００７４】
図６は、背景情報抽出部９１の更に詳細な構成を示すブロック図である。
【００７５】
平均値画像生成部４３は、図２を用いて説明したので、ここではその説明を省略する。
【００７６】
偏差画像生成部１０１は、入力された複数の画像データの画素値Ｉ（ｉ，ｊ）から、それぞれの座標毎に、次の式（１７）を用いて標準偏差を算出し、その値を画素値Ｓｄｖ１（ｉ，ｊ）とする偏差画像を背景情報として生成し、メモリ２３に出力する。
【数１３】

・・・（１７）
【００７７】
また、偏差画像生成部１０１における演算量の削減のために、式（１７）の演算において、平方根を省略し、分散値をメモリ２３に保存するようにしても良い。
【００７８】
被写体候補検出部２４は、メモリ２３から、背景情報（ここでは、平均値画像の画素値Ａｖｅ（ｉ，ｊ）および偏差画像の画素値Ｓｄｖ１（ｉ，ｊ））を読み出す。閾値算出部５１は、式（１８）および式（１９）を用いて、画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎを算出し、算出結果を２値化処理部５２に出力する。２値化処理部５２は、第１の実施の形態と同様にして、２値画像の画素値Ｂ（ｉ，ｊ）を算出して出力する。
【数１４】

・・・（１８）
【数１５】

・・・（１９）
ここで、係数ｃおよび係数ｃ’は、予め設定された定数である。
【００７９】
そして、被写体判定部２５の背景条件確率検出部６１において、上述した式（７）を用いて背景であるという条件の基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｂｇ）が算出されるが、この場合、ガウス分布の標準偏差ｓには、式（８）を用いずに、メモリ２３に保存されている偏差画像の画素値Ｓｄｖ１（ｉ，ｊ）の各画素値を用いることができる。
【００８０】
また、照明光や撮像部１１の撮像パラメータの変動などを考慮して、例えば、偏差画像の画素値Ｓｄｖ１（ｉ，ｊ）の各画素値に、予め設定された係数を積算しておき、積算結果をガウス分布の標準偏差として用いるようにしても良い。
【００８１】
そして、第１の実施の形態と同様にして、被写体判定部２５において背景であると判定された場合は０、被写体であると判定された場合は１の画素値を有する２値画像の画素値Ｏ（ｉ，ｊ）が生成され、出力される。
【００８２】
第２の実施の形態によれば、メモリ２３において保存される情報が、平均値画像の画素値Ａｖｅ（ｉ，ｊ）および偏差画像の画素値Ｓｄｖ１（ｉ，ｊ）の２種類であるので、メモリ２３の容量を削減することが可能である。
【００８３】
次に、本発明の第３の実施の形態について説明する。図７は、本発明を適応した画像処理装置１１１の構成を示すブロック図である。なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００８４】
すなわち、図７の画像処理装置１１１は、被写体領域検出部１２に代わって、被写体領域検出部１２１が設けられている以外は、基本的に、図１を用いて説明した画像処理装置１と基本的に同様の構成を有し、被写体領域検出部１２１は、補正係数算出部１３１、メモリ１３２、および画素値補正部１３３が新たに設けられている以外は、図１を用いて説明した被写体領域検出部１２と基本的に同様の構成を有している。
【００８５】
被写体抽出モードにおいて、撮像部１１において撮像された画像データは、被写体候補検出部２４および被写体判定部２５に入力される前に、補正係数算出部１３１、メモリ１３２、および画素値補正部１３３において、照明光や撮像部１１の撮像パラメータの変動成分の補正が実行される。撮像部１１において撮像された画像データの画素値Ｉ（ｉ，ｊ）は、スイッチ２１を介して、補正係数算出部１３１およびメモリ１３２に出力される。
【００８６】
補正係数算出部１３１は、入力された画素値Ｉ（ｉ，ｊ）とメモリ２３から読み出した平均値画像の画素値Ａｖｅ（ｉ，ｊ）から、式（２０）を用いて補正係数ｐを算出し、画素値補正部１３３に出力する。
【数１６】

・・・（２０）
ここで、式（２０）中のdifは、入力された画素値Ｉ（ｉ，ｊ）と、平均値画像の画素値Ａｖｅ（ｉ，ｊ）との差の絶対値であり、次の式（２１）で示される。
【数１７】

・・・（２１）
【００８７】
また、式（２０）のＬは、被写体領域以外の部分を示すが、実際には、この領域を事前に知ることはできないため、例えば、図８に示される画像の４すみなどのように、被写体が入り込みにくいと思われる領域が予め設定される。
【００８８】
式（２０）のＴは、閾値であり、式（２１）で示される入力された画素値Ｉ（ｉ，ｊ）と、平均値画像の画素値Ａｖｅ（ｉ，ｊ）との差の絶対値がこの閾値を越える場合には、領域Ｌに含まれる座標（ｉ，ｊ）には被写体が撮像されているものとみなされ、補正係数の算出から除外されるようになされている。
【００８９】
また、ＶｍｉｎおよびＶｍａｘは予め設定された定数であり、入力された画素値Ｉ（ｉ，ｊ）と、平均値画像の画素値Ａｖｅ（ｉ，ｊ）とが、いずれもＶｍｉｎ以上Ｖｍａｘ以下である場合にのみ、その値が補正係数の算出に用いられる。
これは、画素の値が非常に大きい場合は、飽和している可能性が高く、逆に非常に小さい場合は、ノイズの影響を強く受けてしまうため、いずれも補正係数の算出に用いるのが好ましくないからである。
【００９０】
メモリ１３２は、スイッチ２１を介して入力された画素値Ｉ（ｉ，ｊ）を、補正係数算出部１３１の補正係数算出処理の実行時間に合わせて一時保存する。
【００９１】
画素値補正部１３３は、補正係数算出部１３１が算出した補正係数ｐの入力を受け、メモリ１３２から入力画像データの画素値Ｉ（ｉ，ｊ）を読み出し、次の式（２２）により、各画素値の補正を実行する。
Ｉ’（ｉ，ｊ）＝Ｉ（ｉ，ｊ）／ｐ・・・（２２）
【００９２】
補正後の画素値Ｉ’（ｉ，ｊ）からなる補正画像は、被写体候補検出部２４および被写体判定部２５に供給され、図１を用いて説明した場合と同様にして、被写体領域が検出され、画素値Ｏ（ｉ，ｊ）からなる２値画像が出力される。
【００９３】
図７を用いて説明した画像処理装置１１１においては、例えば、式（２０）を用いて説明した補正係数ｐの算出式において、分母と分子を入れ替えた算出式を用いて補正係数ｐを算出し、画素値補正部１３３において、メモリ１３２から読み出した入力画像データの画素値Ｉ（ｉ，ｊ）に、補正係数を積算するようにしても良い。
【００９４】
また、図７の画像処理装置１１１においては、第１の実施の形態と同様に、背景情報抽出部２２を用いて背景情報を抽出し、その背景情報を用いて被写体領域を検出しているものとして説明しているが、背景情報抽出部２２に代わって、背景情報抽出部９１を設けるようにし、第２の実施の形態と同様に、背景情報９１を用いて背景情報を抽出し、その背景情報を用いて被写体領域を検出するようにしても良い。
【００９５】
次に、本発明の第４の実施の形態について説明する。図９は、本発明を適応した画像処理装置１４１の構成を示すブロック図である。画像処理装置１４１は、特に、動画像から被写体領域を抽出する場合に適している。なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００９６】
すなわち、図９の画像処理装置１４１は、被写体領域検出部１２に代わって、被写体領域検出部１５１が設けられている以外は、基本的に、図１を用いて説明した画像処理装置１と基本的に同様の構成を有し、被写体領域検出部１５１は、被写体判定部２５に代わって、被写体判定部１６１が設けられている以外は、図１を用いて説明した被写体領域検出部１２と基本的に同様の構成を有している。
【００９７】
図１０は、被写体判定部１６１の更に詳細な構成を示すブロック図である。なお、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００９８】
まず、１枚目の画像データに対応する画素値Ｉ（ｉ，ｊ）および背景情報（ここでは、最大値画像の画素値Ｍａｘ（ｉ，ｊ）、最小値画像の画素値Ｍｉｎ（ｉ，ｊ）、および平均値画像の画素値Ａｖｅ（ｉ，ｊ））が被写体判定部１６１に入力される。
【００９９】
１枚目の画像データに対してのみ、被写体候補検出部２４から出力される２値画像の画素値Ｂ（ｉ，ｊ）は、論理和演算部６７およびメモリ１７２を介して、ヒストグラム生成部６２および多値マスク生成部６４に直接供給される。また、メモリ１７１に供給される入力画像データの画素値Ｉ（ｉ，ｊ）は、すぐにヒストグラム生成部６２に入力されるが、１枚目の入力画像データの画素値Ｉ（ｉ，ｊ）は、まだ、メモリ１７１に保存されたままであるものとする。
【０１００】
ヒストグラム生成部６２は、メモリ１７２を介して入力された画素値Ｂ（ｉ，ｊ）およびメモリ１７１を介して入力された画素値Ｉ（ｉ，ｊ）を用いて、図４を用いて説明した方法と同様にしてヒストグラムＨ（Ｉ（ｉ，ｊ））を生成し、メモリ１７３を介して、被写体条件確率検出部６３に出力する。
【０１０１】
背景条件確率検出部６１、被写体条件確率検出部６３、多値マスク生成部６４、被写体／背景確率検出部６５、ベイズ推定演算部６６、および論理和演算部６７は、図４を用いて説明した処理と同様の処理を実行し、１枚目の画像データに対応する画素値Ｏ（ｉ，ｊ）からなる２値画像を生成する。生成された画素値Ｏ（ｉ，ｊ）からなる２値画像は、出力されるとともに、メモリ１７２に供給される。
【０１０２】
ヒストグラム生成部６２は、メモリ１７１から、１枚目の画像データに対応する画素値Ｉ（ｉ，ｊ）を読み込むとともに、メモリ１７２から、１枚目の画像データに対応する２値画像の画素値Ｏ（ｉ，ｊ）を読み込み、２値画像の画素値Ｏ（ｉ，ｊ）が１となる座標、すなわち、１枚目の画像データにおいて被写体候補とみなされた座標の画素値に関するヒストグラムＨ（Ｉ（ｉ，ｊ））を生成し、メモリ１７３に出力する。
【０１０３】
次に、２枚目の画像データに対応する画素値Ｉ（ｉ，ｊ）が被写体判定部１６１に入力される。
【０１０４】
メモリ１７１には、２枚目の画像データに対応する画素値Ｉ（ｉ，ｊ）が入力され、保存（１枚目の画像データに対応する画素値Ｉ（ｉ，ｊ）に上書き）される。
【０１０５】
背景条件確率検出部６１は、図４を用いて説明した処理と同様の処理を実行し、２枚目の画像データに対して、背景であるという条件の基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｂｇ）を算出し、ベイズ推定演算部６６に出力する。
【０１０６】
被写体条件確率検出部６３は、２枚目の画像データに対応する画素値Ｉ（ｉ，ｊ）の入力を受けるとともに、メモリ１７３から、１枚目の画像データにおいて被写体候補とみなされた座標に対応するヒストグラムＨ（Ｉ（ｉ，ｊ））を読み込み、式（９）を用いて、被写体であるという条件の基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｏｂｊ）を算出し、ベイズ推定演算部６６に出力する。
【０１０７】
多値マスク生成部６４は、メモリ１７２から、１枚目の画像データにおいて被写体候補とみなされた座標を示す２値画像の画素値Ｏ（ｉ，ｊ）を読み込み、例えば、式（１０）で示されるような平滑化処理を施し、平滑化された画素値Ｍ（ｉ，ｊ）からなる帯域の狭い多値画像生成し、被写体／背景確率検出部６５に出力する。
【０１０８】
被写体／背景確率検出部６５は、図４を用いて説明した処理（式（１１）および式（１２）を用いて説明した演算処理）と同様の処理を実行し、対応する画素が被写体である確率Ｐ（ｏｂｊ）および背景である確率Ｐ（ｂｇ）を算出し、ベイズ推定演算部６６に出力する。
【０１０９】
ベイズ推定演算部６６、および論理和演算部６７は、図４を用いて説明した処理と同様の処理を実行し、２枚目の画像データに対応する画素値Ｏ（ｉ，ｊ）からなる２値画像を生成する。生成された画素値Ｏ（ｉ，ｊ）からなる２値画像は、出力されるとともに、メモリ１７２に供給（上書き）される。
【０１１０】
ヒストグラム生成部６２は、メモリ１７１から、２枚目の画像データに対応する画素値Ｉ（ｉ，ｊ）を読み込むとともに、メモリ１７２から、２枚目の画像データに対応する２値画像の画素値Ｏ（ｉ，ｊ）を読み込み、２値画像の画素値Ｏ（ｉ，ｊ）が１となる座標、すなわち、２枚目の画像データにおいて被写体候補とみなされた座標の画素値に関するヒストグラムＨ（Ｉ（ｉ，ｊ））を生成し、メモリ１７３に出力する。
【０１１１】
そして、３枚目以降の画像データに対応する画素値Ｉ（ｉ，ｊ）および背景情報が被写体判定部１６１に入力され、同様の処理が繰り返されることにより、複数の連続した画像データからなる動画像データにおける被写体領域を、一つ前の画像データにおいて被写体領域であると推定された領域の情報を基に、精度よく検出することができる。
【０１１２】
また、図１０においては、１枚目の画像データに関して、被写体候補検出部２４から供給される２値画像の画素値Ｂ（ｉ，ｊ）を直接メモリ１７２に入力させ、１枚目の画像データに対するベイズ推定に必要な情報を生成する場合について説明したが、例えば、１枚目の画像データを表示させないものとし、１枚目の画像データは、２枚目の画像データに対するベイズ推定に必要な情報を生成するためのみに利用するようにしても良い。
【０１１３】
なお、図１０においては、１つ前の入力画像に対するヒストグラムおよび多値マスクを利用する場合について説明したが、ヒストグラム生成部６２、もしくは多値マスク生成部６４のうちのいずれか一方に、被写体候補検出部２４から供給される２値画像の画素値Ｂ（ｉ，ｊ）を直接供給して、現在処理中の画像データに対するヒストグラム、もしくは多値マスクを生成させて、ベイズ推論に用いるようにしても良い。
【０１１４】
また、図９の画像処理装置１４１においては、第１の実施の形態と同様に、背景情報抽出部２２を用いて背景情報を抽出し、その背景情報を用いて、補正係数の算出を行わずに、被写体領域を検出しているものとして説明しているが、背景情報抽出部２２に代わって、背景情報抽出部９１を設けるようにし、第２の実施の形態と同様に、背景情報９１を用いて背景情報を抽出し、その背景情報を用いて被写体領域を検出するようにしても良いし、第３の実施の形態と同様に、図７を用いて説明した補正係数算出部１３１、メモリ１３２、および画素値補正部１３３を設け、補正係数を算出するようにしても良い。
【０１１５】
以上説明した実施の形態１乃至実施の形態４においては、画素値が単独の値である場合について説明したが、次に、第５の実施の形態として、図１の画像処理装置１でカラー画像を処理する場合について説明する。
【０１１６】
撮像部１１から入力される画像データの画素Ｉ（ｉ，ｊ）には、例えば、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）などの、色を表す複数の成分が含まれている。
【０１１７】
輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）は、背景情報抽出モードにおいては、スイッチ２１を介して背景情報抽出部２２に、被写体抽出モードにおいては、被写体候補検出部２４および被写体判定部２５に供給される。
【０１１８】
背景抽出モードにおいて、スイッチ２１を介して、図２を用いて説明した背景情報抽出部２２に入力された背景画像データは、最大値画像生成部４１、最小値画像生成部４２、および平均値画像生成部４３に供給される。最大値画像生成部４１、最小値画像生成部４２、および平均値画像生成部４３は、それぞれの画像データの輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の成分毎に、画素値の最大値からなる最大値画像、画素値の最小値からなる最小値画像、および画素値の平均値からなる平均値画像をそれぞれ生成し、メモリ２３に出力する。
【０１１９】
最大値画像生成部４１は、次の式（２３）乃至式（２５）を用いて、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の成分毎に、画素値の最大値ＭａｘＹ（ｉ，ｊ）、ＭａｘＵ（ｉ，ｊ）、およびＭａｘＶ（ｉ，ｊ）、からなる最大値画像を生成する。
【数１８】

・・・（２３）
【数１９】

・・・（２４）
【数２０】

・・・（２５）
【０１２０】
ここで、Ｙｋ（ｉ，ｊ）は、ｋ番目の画像の、座標（ｉ，ｊ）における輝度信号の値を、Ｕｋ（ｉ，ｊ）およびＶｋ（ｉ，ｊ）は、ｋ番目の画像の、座標（ｉ，ｊ）におけるそれぞれの要素の色差信号の値を示す。また、ＭＡＸ（・）は、括弧内に示される複数の数値の最大値を算出する演算を示す。
【０１２１】
最小値画像生成部４２は、次の式（２６）乃至式（２８）を用いて、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の成分毎に、画素値の最小値ＭｉｎＹ（ｉ，ｊ）、ＭｉｎＵ（ｉ，ｊ）、およびＭｉｎＶ（ｉ，ｊ）、からなる最小値画像を生成する。
【数２１】

・・・（２６）
【数２２】

・・・（２７）
【数２３】

・・・（２８）
【０１２２】
ここで、ＭＩＮ（・）は、括弧内に示される複数の数値の最小値を算出する演算を示す。
【０１２３】
平均値画像生成部４３は、次の式（２９）乃至式（３１）を用いて、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の成分毎に、画素値の平均値ＡｖｅＹ（ｉ，ｊ）、ＡｖｅＵ（ｉ，ｊ）、およびＡｖｅＶ（ｉ，ｊ）からなる平均値画像を生成する。
【数２４】

・・・（２９）
【数２５】

・・・（３０）
【数２６】

・・・（３１）
ここで、Ｎは、背景情報抽出部２２に供給された画像の枚数を示す。
【０１２４】
図３を用いて説明した被写体候補検出部２４は、被写体抽出モードにおいて、スイッチ２１を介して入力画像データの画素値Ｉ（ｉ，ｊ）を供給されるとともに、メモリ２３に記録されている背景情報から必要な情報（ここでは、最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ））を読み込む。
【０１２５】
閾値算出部５１は、背景領域か被写体かを判断するために用いられる閾値を算出する。閾値算出部５１は、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の成分毎に、式（３２）乃至式（３４）を用いて画素値の上限の閾値Ｔｍａｘを算出し、式（３５）乃至式（３７）を用いて、画素値の下限の閾値Ｔｍｉｎを算出して、２値化処理部５２に出力する。
【０１２６】
【数２７】

・・・（３２）
【数２８】

・・・（３３）
【数２９】

・・・（３４）
【数３０】

・・・（３５）
【数３１】

・・・（３６）
【数３２】

・・・（３７）
【０１２７】
ここで、ａｙ，ａｕ，ａｖ，ｂｙ，ｂｕ，およびｂｖは、それぞれ予め設定された係数であり、照明光などによる画素値のゆらぎなどを吸収するために、通常、それぞれａｙ，ａｕ，ａｖ＞１．０、ｂｙ，ｂｕ，ｂｖ＜１．０となる値が設定される。
【０１２８】
２値化処理部５２は、スイッチ２１を介して入力画像データの画素値Ｉ（ｉ，ｊ）の入力を受け、式（３２）乃至式（３７）によって表わされる閾値Ｔｍａｘおよび閾値Ｔｍｉｎを用いて、次の式（３８）により、画素値Ｂ（ｉ，ｊ）によって構成される２値画像を生成し、被写体判定部２５に出力する。
【数３３】

・・・（３８）
【０１２９】
すなわち、２値化処理部５２は、入力された画像データの画素値Ｉ（ｉ，ｊ）の輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の全ての成分が、閾値Ｔｍａｘと閾値Ｔｍｉｎとの範囲内である場合、対応する画素は背景候補であることを示す値として０を設定し、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）のうちのいずれかの成分が閾値の範囲外である場合，対応する画素は被写体候補であることを示す値として１を設定した２値画像の画素値Ｂ（ｉ，ｊ）を生成する。
【０１３０】
図４を用いて説明した被写体判定部２５の背景条件確率検出部６１は、入力画像データの画素値Ｉ（ｉ，ｊ）の入力を受けるとともに、メモリ２３から式（２３）乃至式（３１）で示される背景情報を読み出し、背景であるという条件のもとで、色成分の組み合わせであるＩ（ｉ，ｊ）＝（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ），Ｖ（ｉ，ｊ））が出現する確率であるＰ（Ｉ，（ｉ，ｊ）｜ｂｇ）を、次の式（３９）を用いて算出し、ベイズ推定演算部６６に出力する。
【数３４】

・・・（３９）
【０１３１】
ここで、Ｐ（Ｙ（ｉ，ｊ）｜ｂｇ）、Ｐ（Ｕ（ｉ，ｊ）｜ｂｇ）、およびＰ（Ｖ（ｉ，ｊ）｜ｂｇ）は、背景であるという条件のもとで、それぞれの成分が出現する確率であり、メモリ２３から式（２３）乃至式（３１）で示される背景情報を読み出し、式（７）および式（８）の画素値Ｉ（ｉ，ｊ）に代わって代入することによって、それぞれ算出することができる。
【０１３２】
ヒストグラム生成部６２は、入力画像データの画素値Ｉ（ｉ，ｊ）および２値画像の画素値Ｂ（ｉ，ｊ）の入力を受け、２値画像の画素値Ｂ（ｉ，ｊ）が１となる座標（ｉ，ｊ）、すなわち、被写体候補検出部２４が被写体候補とみなした画素の色成分に関する３次元ヒストグラムＨ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ），Ｖ（ｉ，ｊ））を生成し、被写体条件確率検出部６３に出力する。
【０１３３】
被写体条件確率検出部６３は、ヒストグラム生成部６２より入力された３次元ヒストグラムＨ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ），Ｖ（ｉ，ｊ））を用いて、被写体であるという条件のもとで、色成分の組み合わせであるＩ（ｉ，ｊ）＝（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ），Ｖ（ｉ，ｊ））が出現する確率であるＰ（Ｉ（ｉ，ｊ）｜ｏｂｊ）を、次の式（４０）を用いて算出し、ベイズ推定演算部６６に出力する。
【数３５】

・・・（４０）
ここで、obj_countは、式（９）の場合と同様に、被写体候補の画素の総数（すなわち、２値画像の画素値Ｂ（ｉ，ｊ）のうち、画素値が１である画素の総数）である。
【０１３４】
そして、多値マスク生成部６４、被写体／背景確率検出部６５、ベイズ推定演算部６６、および論理和演算部６７においては、第１の実施の形態において説明した処理と同様の処理が実行され、背景であると判断された座標には０、被写体であると判断された座標には１の値を有する２値画像Ｏ（ｉ，ｊ）が、入力されたカラー画像の色情報を効果的に利用して生成され、出力されるので、より正確な被写体領域の抽出が可能となる。
【０１３５】
ここでは、図１の画像処理装置１でカラー画像を処理する場合について説明したが、図５、図７、および図９を用いて説明した画像処理装置においても、同様にしてカラー画像を処理することができるのはもちろんである。
【０１３６】
例えば、図５を用いて説明した画像処理装置７１においてカラー画像を処理する場合、背景情報抽出部９１の偏差画像生成部１０１で、式（１５）を用いて生成される偏差画像の画素値Ｓｄｖ１（ｉ，ｊ）を、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の全ての成分についてそれぞれ生成させ、閾値算出部５１で、各色成分毎の画素値の上限の閾値Ｔｍａｘ、および画素値の下限の閾値Ｔｍｉｎを算出させるようにすればよい。このとき、上限の閾値Ｔｍａｘ、および画素値の下限の閾値Ｔｍｉｎを算出するために乗算される係数は、色成分毎に異なる定数を用いるようにしても良い。
【０１３７】
また、図７を用いて説明した画像処理装置７１においてカラー画像を処理する場合、補正係数算出部１３１で、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の全ての成分についてそれぞれの補正係数を算出させ、画素値補正部１３３で、それぞれの成分の補正係数を用いて、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の全ての成分について補正を行うようにすればよい。
【０１３８】
これ以降の実施の形態においては、入力された画像データがカラー画像であるものとして説明するが、入力された画像に色情報が含まれていない場合についても、入力される情報が複数の色成分から成立していないだけで、基本的に同様の処理を実行するので、その説明については省略する。
【０１３９】
次に、本発明の第６の実施の形態について説明する。図１１は、本発明を適応した画像処理装置１８１の構成を示すブロック図である。なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１４０】
すなわち、図１１の画像処理装置１８１は、被写体領域検出部１２に代わって、被写体領域検出部１９１が設けられている以外は、図１を用いて説明した場合と、基本的に同様の構成を有している。
【０１４１】
撮像部１１から入力される画像データの画素Ｉ（ｉ，ｊ）には、例えば、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）などの、色を表す複数の成分が含まれている。輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）は、背景情報抽出モードにおいては、スイッチ２１を介して背景情報抽出部２０１に、被写体抽出モードにおいては、背景差分算出部２０２、背景補正部２０６、およびメモリ２０５に供給される。
【０１４２】
背景情報抽出部２０１は、図２を用いて説明した平均値画像生成部４３から構成され、背景情報抽出モードにおいて、式（２９）乃至式（３１）を用いて、画素値の平均値ＡｖｅＹ（ｉ，ｊ）、ＡｖｅＵ（ｉ，ｊ）、およびＡｖｅＶ（ｉ，ｊ）からなる平均値画像を生成し、メモリ２３に出力して保存させるとともに、照明光などの変動要素を考慮して、次の式（４１）乃至式（４３）を用いて、分散画像の画素値Ｓａｖ２（ｉ，ｊ）＝（Ｓａｖ２Ｙ（ｉ，ｊ），Ｓａｖ２Ｕ（ｉ，ｊ），ＳａｖＶ（ｉ，２ｊ））を生成し、この分散画像の画素値Ｓａｖ２（ｉ，ｊ）をメモリ２３に出力して保存させる。
【数３６】

・・・（４１）
【数３７】

・・・（４２）
【数３８】

・・・（４３）
【０１４３】
背景差分算出部２０２は、被写体抽出モードにおいて、スイッチ２１を介して、入力画像データの画素値Ｉ（ｉ，ｊ）の入力を受けるとともに、メモリ２３から背景情報を読み出して、次の式（４４）に従って、平均値画像と入力画像データの画素値を比較することにより、対応する座標の画素が被写体候補であるか背景候補であるかを判断し、対応する画素が被写体候補であれば１、背景候補であれば０である画素Ｂ（ｉ，ｊ）で構成される２値画像を生成して被写体確率算出部２０３に出力する。
【数３９】

・・・（４４）
【０１４４】
また、背景差分算出部２０２は、被写体確率算出部２０３が上述したベイズ推論を用いて被写体確率を算出する場合、画素Ｂ（ｉ，ｊ）で構成される２値画像とともに、スイッチ２１を介して入力された入力画像データの画素値Ｉ（ｉ，ｊ）を被写体確率算出部２０３に出力する。
【０１４５】
ここで、式（４４）に用いられている各成分の閾値Ｔｙ，ＴｕおよびＴｖは、例えば、背景情報抽出部２０１において算出された分散画像の画素値Ｓａｖ２（ｉ，ｊ）を用いて、次の式（４５）乃至式（４７）によって算出することができる。
【数４０】

・・・（４５）
【数４１】

・・・（４６）
【数４２】

・・・（４７）
ここで、ａｙ，ａｕ，およびａｖは、予め設定された係数である。
【０１４６】
被写体確率算出部２０３は、各座標が被写体領域に含まれる確率Ｐｏｂｊ（ｉ，ｊ）を算出する。各座標が被写体領域に含まれる確率Ｐｏｂｊ（ｉ，ｊ）を求める方法は、第１の実施の形態において説明したようなベイズ推定理論を用いた方法でも良いし、他の方法であっても良い。例えば、背景差分法の性質上、背景差分算出部２０２において被写体候補とされた画素は、実際に被写体である確率が高いので、入力された２値画像の画素値Ｂ（ｉ，ｊ）が１である画素に対しては、被写体確率Ｐｏｂｊ（ｉ，ｊ）を１．０とし、それ以外の画素については、経験的、もしくは実験的に領域毎の被写体確率を設定するようにしても良い。
【０１４７】
例えば、被写体領域が画像の中央に位置する確率が高い場合、画像上の座標による被写体確率を、図１２に示されるように予め設定されるようにしてもよい。
このような場合、被写体確率算出部２０３に、座標によって被写体確率を参照するためのテーブルが予め用意され、画素の位置に応じてテーブルが参照されて、被写体確率Ｐｏｂｊ（ｉ，ｊ）が算出される。被写体確率Ｐｏｂｊ（ｉ，ｊ）は、メモリ２０４に出力されて保存される。
【０１４８】
また、被写体確率算出部２０３が、上述したベイズ推論を用いて被写体確率Ｐｏｂｊ（ｉ，ｊ）を求めるようになされている場合、被写体確率算出部２０３は、実質的に、図４の被写体判定部２５もしくは図１０の被写体判定部１６１と同様の構成を有して、同様の処理を実行する。そして、被写体確率算出部２０３は、式（１４）によるＰ（ｏｂｊ｜Ｉ（ｉ，ｊ））を被写体確率Ｐｏｂｊ（ｉ，ｊ）として出力する。
【０１４９】
また、被写体確率算出部２０３においては、必要に応じて、入力された２値画像の画素値Ｂ（ｉ，ｊ）を補正することもできる。例えば、被写体確率Ｐｏｂｊ（ｉ，ｊ）の閾値を予め設定しておき、画素値Ｂ（ｉ，ｊ）＝０である画素に対して、対応する被写体確率Ｐｏｂｊ（ｉ，ｊ）が閾値よりも大きい場合は、対応する画素を被写体とみなして、画素値Ｂ’（ｉ，ｊ）＝１とする。必要に応じて補正された画素値Ｂ’（ｉ，ｊ）は、被写体確率Ｐｏｂｊ（ｉ，ｊ）とともに、背景補正部２０６に出力される。
【０１５０】
メモリ２０４は、被写体確率算出部２０３から現在処理中の画像の被写体確率Ｐｏｂｊ（ｉ，ｊ）の入力を受け、保存するとともに、１つ前の画像の被写体確率をＰｐｒｖ（ｉ，ｊ）として、背景補正部２０６に出力する。
【０１５１】
メモリ２０５は、スイッチ２１を介して現在処理中の画像の画素値Ｉ（ｉ，ｊ）の入力を受け、保存するとともに、１つ前の画像の画素値を画素値Ｉｐｒｖ（ｉ，ｊ）として、背景補正部２０６に出力する。
【０１５２】
背景補正部２０６は、被写体確率算出部２０３から入力された２値画像の画素値Ｂ’（ｉ，ｊ）において、その値が０である画素、すなわち、背景候補とみなされている画素についてのみ補正を実行する。
【０１５３】
背景補正部２０６が、座標（ｉ，ｊ）で示される画素が背景であるか、被写体であるかを判断するためには、対応する座標の画素が、背景であると仮定した場合に適当であると考えられる画素値と、被写体であると仮定した場合に適当であると考えられる画素値とを算出し、実際に入力された画素値Ｉ（ｉ，ｊ）が、どちらに近いかを比較することによって行われる。
【０１５４】
背景候補とみなされている画素に対して、座標（ｉ，ｊ）の画素が背景であると仮定した場合に適当であると考えられる画素値Ｉ’ｂｇ＝（Ｙ’ｂｇ，Ｕ’ｂｇ，Ｖ’ｂｇ）、および被写体であると仮定した場合に適当であると考えられる画素値Ｉ’ｏｂｊ＝（Ｙ’ｏｂｊ，Ｕ’ｏｂｊ，Ｖ’ｏｂｊ）それぞれの値と、入力された画素値との三次元的な距離Ｄｂｇおよび距離Ｄｏｂｊは、次の式（４８）および式（４９）によって示される。
【数４３】

・・・（４８）
【数４４】

・・・（４９）
【０１５５】
そして、背景補正部２０６は、式（４８）を用いて算出した距離Ｄｂｇおよび距離Ｄｏｂｊを比較し、Ｄｏｂｊの方が小さい場合には、座標（ｉ，ｊ）で示される画素を被写体であると判定し、Ｄｂｇの方が小さい場合には、座標（ｉ，ｊ）で示される画素を背景であると判定する。
【０１５６】
背景の推定画素値Ｉ’ｂｇ（ｉ，ｊ）は、メモリ２３に保存されている背景画像データの平均値画像の画素値Ａｖｅ（ｉ，ｊ）を読み出して利用することができるので、式（２９）乃至式（３１）で示される、画素値の平均値ＡｖｅＹ（ｉ，ｊ）、ＡｖｅＵ（ｉ，ｊ）、およびＡｖｅＶ（ｉ，ｊ）を、上述した式（４８）に代入することにより、距離Ｄｂｇは算出可能である。
【０１５７】
しかしながら、被写体の推定画素値Ｉ’ｏｂｊ（ｉ，ｊ）は、対応する画素値が与えられていないため、背景補正部２０６は、メモリ２０４およびメモリ２０５に保存されている１つ前の入力画像の画素値Ｉｐｒｖ（ｉ，ｊ）およびその画像の各座標の被写体確率Ｐｐｒｖ（ｉ，ｊ）を利用して、被写体の推定画素値Ｉ’ｏｂｊ（ｉ，ｊ）を算出する。
【０１５８】
図１３は、背景補正部２０６の更に詳細な構成を示すブロック図である。
【０１５９】
背景距離算出部２１１は、現在処理中の画像データの画素値Ｉ（ｉ，ｊ）および平均値画像の画素値Ａｖｅ（ｉ，ｊ）の入力を受け、上述した式（４８）に、画素値の平均値ＡｖｅＹ（ｉ，ｊ）、ＡｖｅＵ（ｉ，ｊ）、およびＡｖｅＶ（ｉ，ｊ）を代入した次の式（５０）を用いて、距離Ｄｂｇを算出し、補正部２１５に出力する。
【数４５】

・・・（５０）
【０１６０】
前画像距離算出部２１２は、現在処理中の画像データの画素値Ｉ（ｉ，ｊ）およびメモリ２０５に保存されている１つ前の入力画像の画素値Ｉｐｒｖ（ｉ，ｊ）の入力を受け、上述した式（４９）に、１つ前の入力画像の画素値ＩｐｒｖＹ（ｉ，ｊ）、ＩｐｒｖＵ（ｉ，ｊ）、およびＩｐｒｖＶ（ｉ，ｊ）を代入した次の式（５１）を用いて、距離Ｄｐｒｖを求め、被写体距離算出部２１４に出力する。
【数４６】

・・・（５１）
【０１６１】
重み算出部２１３は、１つ前の画像の各座標の被写体確率Ｐｐｒｖ（ｉ，ｊ）の入力を受け、被写体距離算出部２１４において、前画像距離算出部２１２で算出された距離Ｄｐｒｖを補正し、距離Ｄｏｂｊを算出するための補正値ｗを、次の式（５２）を用いて算出し、被写体距離算出部２１４に出力する。

・・・（５２）
【０１６２】
被写体距離算出部２１４は、前画像距離算出部２１２から式（５１）に示される距離Ｄｐｒｖの入力を受けるとともに、重み算出部２１３から式（５２）に示される補正値ｗの入力を受け、次の式（５３）に示されるように、距離Ｄｐｒｖに補正値wを積算することにより補正を行い、距離Ｄｏｂｊを算出して補正部２１５に出力する。
Ｄｏｂｊ＝ｗ×Ｄｐｒｖ ・・・（５３）
【０１６３】
すなわち、被写体距離算出部２１４においては、１つ前の画像の各座標の被写体確率Ｐｐｒｖ（ｉ，ｊ）が１のとき、距離Ｄｏｂｊ＝距離Ｄｐｒｖとなり、被写体確率Ｐｐｒｖ（ｉ，ｊ）が小さくなるほど、距離Ｄｏｂｊが大きな値となるように補正される。
【０１６４】
補正部２１５は、被写体確率算出部２０３から２値画像の画素値Ｂ’（ｉ，ｊ）の入力を受けるとともに、背景距離算出部２１１から式（５０）に示される距離Ｄｂｇを、被写体距離算出部２１４から式（５３）に示される距離Ｄｏｂｊの入力を受ける。補正部２１５は、まず、初めに２値画像の画素値Ｂ’（ｉ，ｊ）を参照し、画素値Ｂ’（ｉ，ｊ）＝１である場合には、補正を行わず、対応する座標（ｉ，ｊ）の画素は被写体であると判定し、画素値Ｏ（ｉ，ｊ）＝１を出力する。
【０１６５】
それに対して、画素値Ｂ’（ｉ，ｊ）＝０である場合、補正部２１５は、距離Ｄｂｇと距離Ｄｏｂｊとを比較し、距離Ｄｏｂｊが距離Ｄｂｇよりも小さかった場合、対応する座標（ｉ，ｊ）の画素は被写体であると判定し、画素値Ｏ（ｉ，ｊ）＝１を出力し、距離Ｄｏｂｊが距離Ｄｂｇよりも大きかった場合、対応する座標（ｉ，ｊ）の画素は背景であると判定し、画素値Ｏ（ｉ，ｊ）＝０を出力する。
【０１６６】
なお、図１１を用いて説明した画像処理装置１８１においては、背景情報抽出モードにおいて、背景情報抽出部２０１が式（４１）乃至式（４３）を用いて説明した背景情報を抽出し、メモリ２３に出力して保存させるものとして説明したが、例えば、背景情報抽出部２０１に代わって、図２を用いて説明した背景情報抽出部２２を用いて背景情報を抽出し、式（２３）乃至式（３１）に示される画素値を算出させるとともに、背景差分算出部２０２に代わって、図２を用いて説明した被写体候補検出部２４を用いて、式（４４）の演算に代わって式（３２）乃至式（３８）の演算を実行することにより、画素値Ｂ（ｉ，ｊ）からなる２値画像を得るようにしても良い。
【０１６７】
また、第６の実施の形態においては、被写体確率Ｐｏｂｊ（ｉ，ｊ）を算出するための先見的知識として、図１２を用いて説明した、画面上で被写体が存在する確率が高い位置の情報を用いたが、例えば、被写体領域に出現する可能正の高い色情報など、被写体領域に関する他の情報を反映して被写体確率Ｐｏｂｊ（ｉ，ｊ）を算出するようにしても良い。
【０１６８】
次に、本発明の第７の実施の形態について説明する。第７の実施の形態は、上述した第６の実施の形態における画像処理に、図４および図１０を用いて説明した多値マスク生成部６４が実行したのと同様の平滑化処理を加えたものである。
【０１６９】
図１４は、本発明を適応した画像処理装置２２１の構成を示すブロック図である。なお、図１１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１７０】
すなわち、図１４の画像処理装置２２１は、被写体領域検出部１９１に代わって、被写体領域検出部２３１が設けられている以外は、図１１を用いて説明した場合と、基本的に同様の構成を有している。
【０１７１】
そして、被写体領域検出部２３１は、被写体確率算出部２０３に代わって被写体確率算出部２４１が設けられ、更に、メモリ２４２が新たに設けられている以外は、図１１を用いて説明した被写体領域検出部１９１と、基本的に同様の構成を有している。
【０１７２】
ここで、背景情報抽出部２０１、メモリ２３、および背景差分算出部２０２の処理は、第６の実施の形態における場合と同様であるので、その説明は省略する。
【０１７３】
被写体抽出モードの１枚目の画像データに対して、背景差分算出部２０２、被写体確率算出部２４１、背景補正部２０６、メモリ２０４、およびメモリ２０５は、第６の実施の形態における背景差分算出部２０２乃至背景補正部２０６と同様の処理を実行して、１枚目の画像データに対応する２値画像の画素値Ｏ（ｉ，ｊ）を生成して出力する。そして、メモリ２４２に、１枚目の画像データに対応する２値画像の画素値Ｏ（ｉ，ｊ）が入力されて、次の画像データの被写体領域を検出するために用いられる、一つ前の画像データに対応する２値画像の画素値Ｏｐｒｖ（ｉ，ｊ）として保存される。
【０１７４】
２枚目の画像データに対応する２値画像の画素値Ｂ（ｉ，ｊ）の入力を受けた被写体確率算出部２４１は、メモリ２４２から一つ前の画像データに対応する２値画像の画素値Ｏｐｒｖ（ｉ，ｊ）を読み込む。そして、被写体確率算出部２４１は、例えば、上述した式（１０）を用いて、２値画像の画素値Ｏｐｒｖ（ｉ，ｊ）を平滑化し、画素値Ｍ（ｉ，ｊ）からなる多値画像を生成する。例えば、２値画像の画素値Ｏｐｒｖ（ｉ，ｊ）が、図１５に示されるように平滑化された場合、画素値Ｍ（ｉ，ｊ）は、一つ前の画像データに対応する２値画像の画素値Ｏｐｒｖ（ｉ，ｊ）において、被写体領域であると判断されていた部分の中心点に近い位置ほど、１に近い数値になる（すなわち、被写体である確率が高いと判断される）。
【０１７５】
そして、被写体確率算出部２４１は、上述した式（１１）を用いて、画素値Ｍ（ｉ，ｊ）を正規化して被写体確率Ｐｏｂｊ（ｉ，ｊ）を生成し、メモリ２０４に出力する。すなわち、被写体確率Ｐｏｂｊ（ｉ，ｊ）は、一つ前の画像データに対応する２値画像の画素値Ｏｐｒｖ（ｉ，ｊ）において、被写体領域であると判断されていた部分の中心点に近い位置ほど、高い確率であるとされる。
【０１７６】
なお、第７の実施の形態においても、背景情報の抽出方法、および被写体確率Ｐｏｂｊ（ｉ，ｊ）の算出方法は、第６の実施の形態において説明したいずれの方法を用いても良いし、更に、被写体確率Ｐｏｂｊ（ｉ，ｊ）の算出に、１つ前の画像データに対応する２値画像の画素値Ｏｐｒｖ（ｉ，ｊ）において、被写体領域であると判断されていた画素に対応する入力画像の画素値のヒストグラムや背景画像のヒストグラムを生成して、これらのヒストグラムを比較することにより、ある色が被写体領域に現れる可能性を評価し、被写体確率を算出するようにしてもよい。
【０１７７】
次に、本発明の第８の実施の形態について説明する。
【０１７８】
図１６は、本発明を適応した画像処理装置２５１の構成を示すブロック図である。なお、図１１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１７９】
すなわち、図１６の画像処理装置２５１は、被写体領域検出部１９１に代わって、被写体領域検出部２６１が設けられている以外は、図１１を用いて説明した場合と、基本的に同様の構成を有している。
【０１８０】
そして、被写体領域検出部２６１は、背景補正部２０６に代わって背景補正部２７２が設けられ、更にメモリ２７１が新たに設けられている以外は、図１１の被写体領域検出部１９１と基本的に同様の構成を有するので、その説明は省略する。
【０１８１】
また、背景情報抽出部２０１、メモリ２３、背景差分算出部２０２、および被写体確率算出部２０３の処理は、第６の実施の形態における場合と同様であるので、その説明は省略する。
【０１８２】
被写体確率算出部２０３は、上述した処理により各座標が被写体領域に含まれる確率Ｐｏｂｊ（ｉ，ｊ）を算出し、メモリ２０４に出力するとともに、必要に応じて、背景差分算出部２０２から入力された２値画像の画素値Ｂ（ｉ，ｊ）を補正し、補正後の２値画像の画素値Ｂ’（ｉ，ｊ）をメモリ２７１に出力する。
【０１８３】
背景補正部２７２は、後述する補正処理において、２値画像の画素値Ｂ’（ｉ，ｊ）のうち、補正対象の座標（ｉ，ｊ）の近傍の領域の画素値を必要とする。メモリ２７１は、全画面分の２値画像の画素値Ｂ’（ｉ，ｊ）を保存し、背景補正部２７２の処理のタイミングにあわせて、補正に必要となる２値画像の画素値Ｒ（ｉ，ｊ）を出力するか、もしくは、背景補正部２７２が、メモリ２７１から、画素値Ｒ（ｉ，ｊ）を読み出す。
【０１８４】
補正対象の座標に対する近傍領域は、例えば、補正対象の座標（ｉ，ｊ）から所定の距離内の画素（すなわち、補正対象の座標（ｉ，ｊ）を中心とした所定の半径の円内の画素）であっても良いし、次の式（５４）に示されるように、予め設定された定数ｍで決められる正方形の形状の領域内の画素であっても良いし、ほかの方法で設定された領域内の画素であってもよい。
【数４８】

・・・（５４）
【０１８５】
以下、近傍領域内の座標を座標（ｉ’，ｊ’）とする。
【０１８６】
背景補正部２７２は、背景補正部２０６と同様に、メモリ２７１を介して被写体確率算出部２０３から入力された２値画像の画素値Ｂ’（ｉ，ｊ）において、その値が０である画素、すなわち、背景候補とみなされている画素についてのみ補正を実行する。
【０１８７】
また、背景補正部２７２が、座標（ｉ，ｊ）で示される画素が背景であるか、被写体であるかを判断する方法も、背景補正部２０６と同様であり、上述した式（４８）および式（４９）を用いて、対応する座標の画素が、背景であると仮定した場合に適当であると考えられる画素と、被写体であると仮定した場合に適当であると考えられる画素とを算出し、実際に入力された画素値Ｉ（ｉ，ｊ）が、どちらに近いかを比較することによって行われる。
【０１８８】
従って、この場合においても、第７の実施の形態と同様に、距離Ｄｂｇは算出可能であるが、被写体の推定画素値Ｉ’ｏｂｊ（ｉ，ｊ）に対応する画素値は与えられていない。従って、背景補正部２７２は、メモリ２７１、メモリ２０４およびメモリ２０５に保存されている対応する座標の近傍の情報を利用して、被写体の推定画素値Ｉ’ｏｂｊ（ｉ，ｊ）を算出する。
【０１８９】
図１７は、背景補正部２７２の更に詳細な構成を示すブロック図である。なお、図１３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１９０】
背景距離算出部２１１は、図１３を用いて説明した場合と同様に、現在処理中の画像データの画素値Ｉ（ｉ，ｊ）および平均値画像の画素値Ａｖｅ（ｉ，ｊ）の入力を受け、式（５０）を用いて、距離Ｄｂｇを算出し、補正部２１５に出力する。
【０１９１】
被写体距離算出部２８１は、メモリ２７１から供給される画素値Ｒ（ｉ，ｊ）、メモリ２０４から供給される、上述した近傍領域（例えば、式（５４）で示される領域）の被写体確率Ｐｏｂｊ（ｉ’，ｊ’）、およびメモリ２０５から供給される、上述した近傍領域の画素値Ｉ（ｉ’，ｊ’）を用いて、次の式（５５）乃至式（５７）より、背景の推定画素値Ｉ’ｂｇ（ｉ，ｊ）を求める。
【数４９】

・・・（５５）
【数５０】

・・・（５６）
【数５１】

・・・（５７）
【０１９２】
ここで、被写体距離算出部２８１は、必要な領域の座標に対応する被写体確率Ｐｏｂｊ（ｉ’，ｊ’）および画素値Ｉ（ｉ’，ｊ’）を、選択的にメモリ２０４およびメモリ２０５から読み出すようにしても良い。
【０１９３】
式（５５）乃至式（５７）は、座標（ｉ，ｊ）の画素の近傍領域内において、背景差分算出部２０２もしくは被写体確率算出部２０３において被写体であると判断された画素のみを選択して、選択された画素値を、対応する被写体確率で重み付けしたのち平均するものである。
【０１９４】
補正部２１５は、背景距離算出部２１１から供給された距離Ｄｂｇおよび被写体距離算出部２８１から供給された距離Ｄｏｂｊを用いて、図１３を用いて説明した場合と同様の処理により補正を実行し、生成された２値画像の画素Ｏ（ｉ，ｊ）を出力する。
【０１９５】
なお、第８の実施の形態においても、背景情報の抽出方法、および被写体確率Ｐｏｂｊ（ｉ，ｊ）の算出方法は、第６の実施の形態、もしくは第７の実施の形態において説明したいずれの方法を用いても良い。
【０１９６】
次に、本発明の第９の実施の形態について説明する。
【０１９７】
図１８は、本発明を適応した画像処理装置２９１の構成を示すブロック図である。なお、図１６における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１９８】
すなわち、図１８の画像処理装置２９１は、被写体領域検出部２６１に代わって、被写体領域検出部３０１が設けられている以外は、図１６を用いて説明した場合と、基本的に同様の構成を有している。
【０１９９】
そして、被写体領域検出部３０１は、被写体確率算出部２０３に代わって、被写体確率算出部３１１が設けられ、新たにメモリ３１２が設けられている以外は、図１６を用いて説明した場合と、基本的に同様の構成を有している。被写体確率算出部３１１およびメモリ３１２以外については、第８の実施の形態と同様の処理が実行されるので、その説明は省略する。
【０２００】
メモリ３１２には、背景差分算出部２０２で算出された２値画像の画素値Ｂ（ｉ，ｊ）が供給され、保存される。メモリ３１２は、被写体確率算出部３１１が実行する処理に合わせたタイミングで、保存している２値画像の画素値Ｂ（ｉ，ｊ）を被写体確率算出部３１１に出力するか、もしくは、被写体確率算出部３１１によって２値画像の画素値Ｂ（ｉ，ｊ）を読み出される。
【０２０１】
被写体確率算出部３１１は、メモリ３１２から必要な情報の入力を受け、もしくは、必要な情報を読み出し、次の式（５８）に示されるような非線形平滑化処理を施して、多値画像Ｍ（ｉ，ｊ）を生成する。
【数５２】

・・・（５８）
【０２０２】
ここで、Ｃ’は予め定められた定数であり、被写体である確率Ｐｏｂｊ（ｉ，ｊ）の値の精度を定めるものである。また、ｄｍｉｎは、図１９に示されるように、対応する座標の近傍においてＢ（ｉ’，ｊ’）＝１である最も近い画素（ｉ’，ｊ’）までの距離であり、次の式（５９）および式（６０）によって算出される。
【数５３】

・・・（５９）
【数５４】

・・・（６０）
ここで、係数Ｄは、ｄｍｉｎが取り得る最大の値として予め設定された値である。
【０２０３】
式（５８）によって生成された多値画像Ｍ（ｉ，ｊ）は、次の式（６１）によって正規化され、被写体確率Ｐｏｂｊ（ｉ，ｊ）としてメモリ２０４に出力される。
Ｐｏｂｊ（ｉ，ｊ）＝Ｍ（ｉ，ｊ）／Ｃ’・・・（６１）
【０２０４】
その他の処理については、第８の実施の形態を用いて説明した場合と同じであるので、その説明は省略する。
【０２０５】
なお、第９の実施の形態においては、背景情報の抽出方法、および被写体確率Ｐｏｂｊ（ｉ，ｊ）の算出方法は、第６の実施の形態乃至第８の実施の形態において説明したいずれの方法を用いても良い。
【０２０６】
以上説明した第１乃至第９の実施の形態において、背景情報抽出モードと被写体抽出モードとで実行されている処理は、それぞれ異なる組み合わせにより実行するようにしても良いことは言うまでもない。
【０２０７】
また、以上説明した全ての処理においては、背景情報抽出モードにおいて、背景画像を複数枚撮像して、背景情報を抽出するものとして説明したが、背景画像を１枚だけ撮像して、その背景画像の各座標の画素値を用いるようにすることにより、背景情報抽出モードの処理を簡略化するようにしても良い。
【０２０８】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０２０９】
この記録媒体は、図１などに示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３１（フロッピーディスクを含む）、光ディスク３２（CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk)を含む)、光磁気ディスク３３（ＭＤ(Mini-Disk)を含む）、もしくは半導体メモリ３４などよりなるパッケージメディアなどにより構成される。
【０２１０】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２１１】
【発明の効果】
本発明の画像処理装置および画像処理方法、並びにプログラムによれば、撮像された画像データの入力を受け、入力された背景領域のみからなる背景画像と、入力された背景領域および被写体領域からなる第１の対象画像との差分を算出し、算出された背景画像と第１の対象画像との差分を基に、第１の対象画像から、被写体領域の候補領域を分割し、第１の対象画像の各画素が被写体領域に含まれている確率を算出し、算出された確率を基に、分割された被写体領域の候補領域を補正し、算出された確率、および異なる時刻に入力された第２の対象画像との相関から、補正された被写体領域の候補領域を更に補正するようにしたので、背景差分法の簡便さを利用しつつ、異なる時刻に入力された画像データを用いて補正を行うことにより、簡単な装置を用いて、簡単な演算によって、正確に被写体領域を抽出することができる。
【図面の簡単な説明】
【図１】本発明を適応した画像処理装置の構成を示すブロック図である。
【図２】図１の背景情報抽出部の更に詳細な構成を示すブロック図である。
【図３】図１の被写体候補検出部の更に詳細な構成を示すブロック図である。
【図４】図１の被写体判定部の更に詳細な構成を示すブロック図である。
【図５】本発明を適応した画像処理装置の構成を示すブロック図である。
【図６】図５の背景情報抽出部の更に詳細な構成を示すブロック図である。
【図７】本発明を適応した画像処理装置の構成を示すブロック図である。
【図８】被写体領域以外の部分として選択する領域の例について説明するための図である。
【図９】本発明を適応した画像処理装置の構成を示すブロック図である。
【図１０】図９の被写体判定部の更に詳細な構成を示すブロック図である。
【図１１】本発明を適応した画像処理装置の構成を示すブロック図である。
【図１２】被写体確率の設定例について説明するためのブロック図である。
【図１３】図１１の背景補正部の更に詳細な構成を示すブロック図である。
【図１４】本発明を適応した画像処理装置の構成を示すブロック図である。
【図１５】平滑化の例について説明するための図である。
【図１６】本発明を適応した画像処理装置の構成を示すブロック図である。
【図１７】図１６の背景補正部の更に詳細な構成を示すブロック図である。
【図１８】本発明を適応した画像処理装置の構成を示すブロック図である。
【図１９】非線形平滑化処理について説明するための図である。
【図２０】２値画像と被写体確率の関係について説明するための図である。
【符号の説明】
１ 画像処理装置， １１ 撮像部， １２ 被写体領域検出部， １３ 制御部， ２１ スイッチ， ２２ 背景情報抽出部， ２３ メモリ， ２４ 被写体候補検出部， ２５ 被写体判定部， ４１ 最大値画像生成部， ４２最小値画像生成部， ４３ 平均値画像生成部， ５１ 閾値算出部， ５２２値化処理部， ６１ 背景条件確率検出部， ６２ ヒストグラム生成部，６３ 被写体条件確率検出部， ６４ 多値マスク生成部， ６５ 被写体／背景確率検出部， ６６ ベイズ推定演算部， ６７ 論理和演算部， ７１ 画像処理装置， ８１ 被写体領域検出部， ９１ 背景情報抽出部， １０１偏差画像生成部， １１１ 画像処理装置， １２１ 被写体領域検出部， １３１ 補正係数算出部， １３２ メモリ， １３３ 画素値補正部， １４１ 画像処理装置， １５１ 被写体領域検出部， １６１ 被写体判定部， １７１乃至１７３ メモリ， １８１ 画像処理装置， １９１ 被写体領域検出部， ２０１ 背景情報抽出部， ２０２ 背景差分算出部， ２０３ 被写体確率算出部， ２０４，２０５ メモリ， ２０６ 背景補正部， ２１１ 背景距離算出部， ２１２ 前画像距離算出部， ２１３ 重み算出部， ２１４ 被写体距離算出部， ２１５ 補正部， ２２１ 画像処理装置， ２３１被写体領域検出部， ２４１ 被写体確率算出部， ２４２ メモリ， ２５１ 画像処理装置， ２６１ 被写体領域検出部， ２７１ メモリ， ２７２背景補正部， ２８１ 被写体距離算出部， ２９１ 画像処理装置， ３０１ 被写体領域検出部， ３１１ 被写体確率算出部， ３１２ メモリ

Claims (13)

1. 撮像された画像データの入力を受ける入力手段と、
   前記入力手段により入力された背景領域のみからなる背景画像と、前記入力手段により入力された前記背景領域および被写体領域からなる第１の対象画像との差分を算出する画像差分算出手段と、
   前記画像差分算出手段により算出された前記背景画像と前記第１の対象画像との差分を基に、前記第１の対象画像から、前記被写体領域の候補領域を分割する分割手段と、
   前記第１の対象画像の各画素が、前記被写体領域に含まれている確率を算出する確率算出手段と、
   前記確率算出手段により算出された前記確率を基に、前記分割手段により分割された前記被写体領域の候補領域を補正する第１の補正手段と、
   前記確率算出手段により算出された前記確率、および前記入力手段により異なる時刻に入力された第２の対象画像との相関から、前記第１の補正手段により補正された前記被写体領域の候補領域を更に補正する第２の補正手段と
   を備える画像処理装置。
2. 前記確率算出手段は、ベイズ推定を用いて、前記第１の対象画像の各画素が、前記被写体領域に含まれている確率を算出する
   請求項１に記載の画像処理装置。
3. 前記確率算出手段は、座標毎に設定された重み付け係数に基づいて、前記第１の対象画像の各画素が、前記被写体領域に含まれている確率を算出する
   請求項１に記載の画像処理装置。
4. 前記第２の補正手段は、前記第１の補正手段により補正された結果、前記被写体領域の候補領域ではないと判定された領域についてのみ、前記確率算出手段により算出された前記確率、および前記第２の対象画像との相関を基に補正を行う
   請求項１に記載の画像処理装置。
5. 前記第２の補正手段は、前記確率算出手段により算出された前記確率、および前記第２の対象画像との相関を基に、前記第１の対象画像の各画素に対して、前記背景領域である確率を示す第１の確率と前記被写体領域である確率を示す第２の確率を算出し、前記第１の確率が前記第２の確率より小さい場合、対応する前記画素を前記被写体領域に含まれる画素であると判断する
   請求項１に記載の画像処理装置。
6. 前記第１の確率は、前記第１の対象画像の対応する座標の前記画素の画素値と前記背景画像の対応する座標の前記画素の画素値との差が小さいほど大きな値を取る
   請求項５に記載の画像処理装置。
7. 前記第２の確率は、前記第１の対象画像の対応する座標の前記画素の画素値と前記第２の対象画像の対応する座標の前記画素の画素値との差が小さく、かつ、前記第２の対象画像の対応する座標の前記画素が前記被写体領域である確率が高いほど大きな値を取る
   請求項５に記載の画像処理装置。
8. 前記第２の対象画像は、前記入力手段により前記第１の対象画像より１フレーム前に入力された画像である
   請求項１に記載の画像処理装置。
9. 前記入力手段により入力される前記画像データが色情報を含む場合、前記画像差分算出手段は、前記背景画像と前記第１の対象画像との差分を前記色情報の成分毎に算出する
   請求項１に記載の画像処理装置。
10. 前記入力手段により入力される前記画像データが色情報を含む場合、前記第２の補正手段は、前記第１の確率および前記第２の確率を、前記色情報の成分毎に算出する
    請求項５に記載の画像処理装置。
11. 撮像された画像データを処理する画像処理装置の画像処理方法において、
    前記画像処理装置による、
    撮像された画像データの入力を制御する入力制御ステップと、
    前記入力制御ステップの処理により入力が制御された背景領域のみからなる背景画像と、前記入力制御ステップの処理により入力が制御された前記背景領域および被写体領域からなる第１の対象画像との差分を算出する画像差分算出ステップと、
    前記画像差分算出ステップの処理により算出された前記背景画像と前記第１の対象画像との差分を基に、前記第１の対象画像から、前記被写体領域の候補領域を分割する分割ステップと、
    前記第１の対象画像の各画素が、前記被写体領域に含まれている確率を算出する確率算出ステップと、
    前記確率算出ステップの処理により算出された前記確率を基に、前記分割ステップの処理により分割された前記被写体領域の候補領域を補正する第１の補正ステップと、
    前記確率算出ステップの処理により算出された前記確率、および前記入力制御ステップの処理により異なる時刻に入力が制御された第２の対象画像との相関から、前記第１の補正ステップの処理により補正された前記被写体領域の候補領域を更に補正する第２の補正ステップと
    を含む画像処理方法。
12. 撮像された画像データの入力を制御する入力制御ステップと、
    前記入力制御ステップの処理により入力が制御された背景領域のみからなる背景画像と、前記入力制御ステップの処理により入力が制御された前記背景領域および被写体領域からなる第１の対象画像との差分を算出する画像差分算出ステップと、
    前記画像差分算出ステップの処理により算出された前記背景画像と前記第１の対象画像との差分を基に、前記第１の対象画像から、前記被写体領域の候補領域を分割する分割ステップと、
    前記第１の対象画像の各画素が、前記被写体領域に含まれている確率を算出する確率算出ステップと、
    前記確率算出ステップの処理により算出された前記確率を基に、前記分割ステップの処理により分割された前記被写体領域の候補領域を補正する第１の補正ステップと、
    前記確率算出ステップの処理により算出された前記確率、および前記入力制御ステップの処理により異なる時刻に入力が制御された第２の対象画像との相関から、前記第１の補正ステップの処理により補正された前記被写体領域の候補領域を更に補正する第２の補正ステップと
    を含む処理をコンピュータに実行させるためのプログラムを記録した記録媒体。
13. 撮像された画像データの入力を制御する入力制御ステップと、
    前記入力制御ステップの処理により入力が制御された背景領域のみからなる背景画像と、前記入力制御ステップの処理により入力が制御された前記背景領域および被写体領域からなる第１の対象画像との差分を算出する画像差分算出ステップと、
    前記画像差分算出ステップの処理により算出された前記背景画像と前記第１の対象画像との差分を基に、前記第１の対象画像から、前記被写体領域の候補領域を分割する分割ステップと、
    前記第１の対象画像の各画素が、前記被写体領域に含まれている確率を算出する確率算出ステップと、
    前記確率算出ステップの処理により算出された前記確率を基に、前記分割ステップの処理により分割された前記被写体領域の候補領域を補正する第１の補正ステップと、
    前記確率算出ステップの処理により算出された前記確率、および前記入力制御ステップの処理により異なる時刻に入力が制御された第２の対象画像との相関から、前記第１の補正ステップの処理により補正された前記被写体領域の候補領域を更に補正する第２の補正ステップと
    を含む処理をコンピュータに実行させるためのプログラム。

Images