JP4900266B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置に関し、特に時系列に撮像された撮像画像における軌跡を表示する画像処理装置、および、その画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

時系列に撮像された複数の撮像画像（以下、フレーム画像という。）から動被写体の軌跡を示す画像を生成する方法として、例えば複数フレーム画像を単純に重ね合わせて合成する方法が考えられる。この単純な方法によると、フレーム数が多くなればなるほど、合成結果に対する一枚のフレームの寄与率が低くなり、動被写体の軌跡が薄くなってしまうという問題がある。例えば、図７のような５枚のフレーム画像を想定した場合、単純に合成を行うと、合成結果に対する各画素の寄与率は２０％になり、動被写体が横切る画素位置においては、動被写体が２０％、背景が８０％という比率で合成されるため、図８（ｃ）のように動被写体の軌跡が薄くなってしまう。

これに対し、単純な合成に改良を加えた手法として、映像データから複数のフレーム画像を抽出し、輝度値に応じた重みを付けて一枚の静止画像を合成する方法が提案されている（例えば、特許文献１参照。）。この従来技術では、各フレーム画像における同一位置の画素において、輝度値の平均値からの距離が輝度値の分散以上離れている画素には大きい重みを付けて、輝度値の平均値からの距離が輝度値の分散以下に収まっている画素には小さい重みを付けて合成が行われ、その結果が出力画像の同一位置の画素として出力される。これにより、合成画像において動被写体の重みが背景の重みより大きくなり、単純な合成方法に比べて動被写体の軌跡をはっきりさせるものである。

また、動被写体を抽出してその追跡を行うことによって動被写体の軌跡の合成を行う手法が提案されている（例えば、特許文献２参照。）。この従来技術では、動被写体の追跡が失敗した場合に、追跡が成功した時刻の動被写体の特徴量や位置などから動被写体を補間することにより、動被写体の抽出および追跡の精度を高めている。

しかしながら、動被写体の重みを大きくして合成する方法によれば、単純な合成方法に比べて動被写体の軌跡をはっきりさせるという効果があるが、背景以外は等しい重みによる多重合成になるため、背景以外のフレーム画像の数が多ければ多いほど軌跡に対する一枚の寄与率が低くなり、原画像と同等にはっきりとした軌跡を作成することは困難であった。また、輝度値の分散により背景を判断する方法では、画像の状態によっては背景とそれ以外を明確に区別することが困難な場合があった。また、動被写体を追跡する従来技術によれば、動被写体を補間しながら、任意の態様により軌跡を表示させることができるが、この場合、特徴量として動被写体の存在領域、色、輝度、テクスチャ等が用いられるため、これらの変化や変形などに対応できないという問題があった。また、動被写体が多い場合には、演算等に要するコストの関係上、それら全ての動被写体を追跡することが困難になるという問題があった。

そこで、背景画像を事前に求めておいて、この背景画像の画素値と入力画像の画素値との間の相違度を生成し、この相違度に応じて入力画像の画素値を出力画像としての軌跡合成画像に反映させることにより、動被写体の軌跡静止画や軌跡動画を生成する画像処理装置が提案されている（例えば、特許文献３参照。）。
特開平１０−２９０４５０号公報（図１） 特開２００５−１２３８２４号公報（図１） 特開２００７−３２８７５５号公報（図２）

上述のように、背景画像との相違度に応じて入力画像の画素値を軌跡合成画像に反映させる従来技術によれば、背景と異なる領域ほど軌跡合成画像への寄与率が高くなり、よりはっきりとした動被写体の軌跡を得ることができる。しかしながら、この場合、背景画像を事前に計算するため、軌跡合成画像の表示を開始するまでに待ち時間が生じてしまうという問題がある。また、背景画像を生成するためには入力画像を全て必要とするため、撮像の終了点が決まるまで軌跡合成を行うことができないという問題がある。さらに、背景画像を予め生成した場合、背景の変動に対して追従することができなくなるため、ある程度長い期間の撮像において不具合を生じるおそれがある。

本発明はこのような状況に鑑みてなされたものであり、応答性および安定性の高い軌跡合成画像生成を行うことを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、時系列に並ぶ複数の入力画像の対応する画素位置のそれぞれにおいて処理対象となる入力画像を中心として複数の画素値を選択する画素選択手段と、上記画素位置における背景値を保持する背景値保持手段と、上記選択された複数の画素値に基づいて上記処理対象である入力画像の上記画素位置における背景値を推定する背景値推定手段と、上記推定された背景値に基づいて上記背景値保持手段に保持される背景値を更新して新たな背景値として上記背景値保持手段に保持させる背景更新手段と、上記処理対象である入力画像の画素値と上記更新された背景値との相違度を生成する相違度生成手段と、上記画素位置のそれぞれについて上記相違度に応じて上記処理対象である入力画像の画素値を反映させて出力画像の画素値を生成する出力画像生成手段とを具備することを特徴とする画像処理装置、その方法およびプログラムである。これにより、複数の入力画像の対応する画素位置のそれぞれにおいて背景値を更新して、その更新された背景値に基づいて出力画素を生成させるという作用をもたらす。

また、この第１の側面において、上記推定された背景値の信頼度を上記選択された複数の画素値に基づいて生成する背景信頼度生成手段をさらに具備し、上記相違度生成手段は、上記信頼度に応じて上記相違度を生成してもよい。これにより、背景値の信頼度に応じて相違度を生成させるという作用をもたらす。この場合において、上記相違度生成手段は、上記信頼度が低いほど上記相違度が大きくなるよう上記相違度を生成することができる。

また、この第１の側面において、上記背景更新手段は、上記信頼度に応じて上記背景値保持手段に保持される背景値を更新してもよい。これにより、背景値の信頼度に応じて背景値を更新させるという作用をもたらす。この場合において、上記背景更新手段は、上記信頼度が高いほど上記推定された背景値の比重が高くなるよう上記背景値保持手段に保持される背景値を更新することができる。

また、この第１の側面において、上記背景値推定手段は、上記選択された複数の画素値における最頻値を背景値として推定してもよい。これにより、画素値における最頻値により背景値を更新させるという作用をもたらす。

また、この第１の側面において、上記出力画像生成手段は、上記出力画像の画素値を保持する出力画像保持手段と、上記画素位置のそれぞれについて上記相違度に応じて合成比率を生成する合成比率生成手段と、上記画素位置のそれぞれについて上記合成比率に応じて上記処理対象である入力画像の画素値を上記出力画像保持手段に保持された上記出力画像の画素値と合成して新たな出力画像の画素値として上記出力画像保持手段に保持させる合成値算出手段とを具備してもよい。これにより、相違度と背景合成比率とに基づいて生成された合成比率により、処理対象である入力画像の画素値と出力画像の画素値とを合成させるという作用をもたらす。

また、この第１の側面において、上記画素選択手段は、上記複数の画素値を時間的に等間隔に選択してもよく、また、上記処理対象である入力画像との時間的距離が近いほど時間的に高い頻度で上記複数の画素値を選択してもよい。選択される画素値を間引くことにより、選択される時間範囲を変更することなく画素値の数を減らし、動被写体確率生成の精度の劣化を抑えるという作用をもたらす。

また、この第１の側面において、上記背景更新手段による上記背景値の更新と上記相違度生成手段による上記相違度の生成との頻度が互いに異なるようにしてもよい。これにより、相違度の生成に対する背景更新頻度を制御することで効果的にスループットを向上させるという作用をもたらす。

また、本発明の第２の側面は、時系列に並ぶ複数の入力画像の対応する画素位置のそれぞれにおいて複数の画素値を選択する画素選択手段と、上記選択された複数の画素値に基づいて上記画素位置における背景値を推定する背景値推定手段と、上記推定された背景値の信頼度を上記選択された複数の画素値に基づいて生成する背景信頼度生成手段と、処理対象である入力画像の画素値と上記推定された背景値との相違度を上記信頼度に応じて生成する相違度生成手段と、上記画素位置のそれぞれについて上記相違度に応じて上記処理対象である入力画像の画素値を反映させて出力画像の画素値を生成する出力画像生成手段とを具備することを特徴とする画像処理装置、その方法およびプログラムである。これにより、推定された背景値およびその信頼度に基づいて、出力画素を生成させるという作用をもたらす。

本発明によれば、応答性および安定性の高い軌跡合成画像の生成を実現することができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における撮像装置の一例を示す図である。この撮像装置は、大別して光学系、信号処理系、記録系、表示系、および、制御系から構成される。

光学系は、被写体の光画像を集光するレンズ１１と、光画像の光量を調整する絞り１２と、集光された光画像を光電変換して電気信号に変換する撮像素子１３とから構成される。撮像素子１３は、例えば、ＣＣＤ（Charge Coupled Devices）イメージセンサなどにより実現される。

信号処理系は、撮像素子１３からの電気信号をサンプリングするサンプリング回路２１と、サンプリング回路２１から供給されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路２２と、Ａ／Ｄ変換回路２２から入力されるデジタル信号に所定の画像処理を施す画像処理回路２３とから構成される。サンプリング回路２１は、例えば、相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）によって実現される。これにより、撮像素子１３で発生するノイズが軽減される。なお、画像処理回路２３により実行される処理の詳細については後述する。

記録系は、画像信号を記憶するメモリ３２と、画像処理回路２３によって処理された画像信号を符号化してメモリ３２に記録し、また、メモリ３２から画像信号を読み出して復号し、画像処理回路２３に供給する符号化／復号器３１とから構成される。

表示系は、画像処理回路２３によって処理された画像信号をアナログ化するＤ／Ａ変換回路４１と、アナログ化された画像信号を後段の表示部４３に適合する形式のビデオ信号にエンコードするビデオエンコーダ４２と、入力されるビデオ信号に対応する画像を表示する表示部４３とから構成される。表示部４３は、例えば、ＬＣＤ（Liquid Crystal Display）等により実現され、ファインダとしての機能も有する。

制御系は、撮像素子１３、サンプリング回路２１、Ａ／Ｄ変換回路２２、および、画像処理回路２３の動作タイミングを制御するタイミング生成器５１と、ユーザによるシャッタ操作やその他のコマンド入力を受け付けるための操作入力受付部５２と、周辺機器を接続するためのドライバ５３と、撮像装置全体を制御する制御部５４とから構成される。ドライバ５３には、磁気ディスク、光ディスク、光磁気ディスク、または、半導体メモリ等が接続される。制御部５４は、これらに記憶されている制御用プログラムをドライバ５３を介して読み出し、読み出した制御用プログラムや操作入力受付部５２から入力されるユーザからのコマンド等に基づいて制御を行う。

画像処理回路２３、符号化／復号器３１、メモリ３２、タイミング生成器５１、操作入力受付部５２、および、制御部５４は、バス５９を介して相互に接続されている。

この撮像装置において、被写体の光学画像（入射光）は、レンズ１１および絞り１２を介して撮像素子１３に入射され、撮像素子１３によって光電変換されて電気信号となる。得られた電気信号は、サンプリング回路２１によってノイズ成分が除去され、Ａ／Ｄ変換回路２２によってデジタル化された後、画像処理回路２３が内蔵する（図示しない）画像メモリに一時格納される。

なお、通常の状態では、タイミング生成器５１による信号処理系に対する制御により、画像処理回路２３の内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理回路２３の内蔵する画像メモリの画像信号は、Ｄ／Ａ変換回路４１によってアナログ信号に変換され、ビデオエンコーダ４２によってビデオ信号に変換されて対応する画像が表示部４３に表示される。

表示部４３は、撮像装置のファインダとしての役割も担っている。ユーザが操作入力受付部５２に含まれるシャッターボタンを押下した場合、制御部５４は、タイミング生成器５１に対して、シャッターボタンが押下された直後の画像信号を保持するように、すなわち、画像処理回路２３の画像メモリに画像信号が上書きされないように、信号処理系を制御する。画像処理回路２３の画像メモリに保持された画像データは、符号化／復号器３１によって符号化されてメモリ３２に記録される。以上のような撮像装置の動作によって、１枚の画像データの取込みが完了する。

図２は、本発明の実施の形態における撮像装置の画像処理回路２３の第１の実施例を示す図である。この一実施例による画像処理回路２３は、入力画像保持部１１０と、軌跡画素選択部１２０と、背景画素選択部１３０と、背景推定部１４０と、背景信頼度生成部１５０と、背景更新部２１０と、背景更新値保持部２２１と、相違度生成部１６０と、軌跡合成部１７０と、軌跡合成結果保持部１８０と、軌跡合成画像表示部１９０とを備えている。

入力画像保持部１１０は、時系列に撮像されたｎ枚（ｎは２以上の整数）の入力画像（Ｉ_１〜Ｉ_ｎ）を保持するメモリである。ｎ枚の入力画像のうち、時系列に古いものから順に処理対象画像として扱われる。この入力画像保持部１１０は有限であるため、新しく入力画像が入力されると、保持されている入力画像の中で最も古いものから順に無効化され、上書きされていく。したがって、この入力画像保持部１１０には常に一定期間に相当する入力画像が保持されることになる。

軌跡画素選択部１２０は、入力画像保持部１１０に保持された入力画像（Ｉ_１〜Ｉ_ｎ）の１枚を処理対象画像として、各画素位置の画素値を選択するものである。画素位置の選択順は、例えば左上からスキャンライン順などが考えられる。例えば、入力画像のそれぞれが座標（１，１）乃至（ｐ，ｑ）のｐ×ｑ画素（ｐおよびｑは１以上の整数）からなる場合において、時刻ｔ（ｔは２以上の整数）の入力画像を処理対象画像Ｉ_ｔとすると、軌跡画素選択部１２０は、処理対象画像Ｉ_ｔの座標（１，１）の画素位置の画素値を選択し、次に、処理対象画像Ｉ_ｔの座標（１，２）の画素位置の画素値を選択する。軌跡画素選択部１２０は、この要領で処理対象画像について全ての画素位置の画素値が選択されるまで処理を繰り返し、処理対象画像Ｉ_ｔに対してｐ×ｑ個分の画素値を選択する。この軌跡画素選択部１２０によって選択された画素値は、軌跡画素値として信号線１２９を介して相違度生成部１６０および軌跡合成部１７０に供給される。

背景画素選択部１３０は、入力画像保持部１１０に保持された入力画像（Ｉ_１〜Ｉ_ｎ）の１枚を処理対象画像として、この処理対象画像を中心として時系列順に一定の範囲の入力画像において、対応する画素位置の中からｍ個（ｍ≦ｎ；ｍは２以上の整数）の画素値を選択するものである。画素位置の選択順は、例えば左上からスキャンライン順などが考えられる。例えば、入力画像のそれぞれが座標（１，１）乃至（ｐ，ｑ）のｐ×ｑ画素（ｐおよびｑは１以上の整数）からなる場合において、時刻ｔ（ｔは２以上の整数）の入力画像を処理対象画像Ｉ_ｔとすると、背景画素選択部１３０は、まず、ｎ枚の入力画像の座標（１，１）の画素位置の画素値の中から処理対象画像Ｉ_ｔを中心とするｍ個を選択する。背景画素選択部１３０は、次に、ｎ枚の入力画像の座標（１，２）の画素位置の画素値の中から処理対象画像Ｉ_ｔを中心とするｍ個を選択する。この要領で、最終的には入力画像（Ｉ_１〜Ｉ_ｎ）に対してｍ個の画素値がｐ×ｑ組分選択されることになる。これら選択された画素値は、背景推定部１４０に供給される。

背景推定部１４０は、背景画素選択部１３０において選択されたｍ個の画素値に基づいて、処理対象画像Ｉ_ｔの各画素位置の背景値を推定するものである。ｍ個の画素値は上述のようにｐ×ｑ組分供給されるため、背景推定部１４０は、１枚の処理対象画像Ｉ_ｔに対してｐ×ｑ個の背景値を推定する。この推定された背景値Ｂｅ_ｔ（以下、背景推定値という）は、背景更新部２１０に供給される。この背景値推定の際には、後述するように、背景の時間的恒常性を利用した統計的な処理が行われる。この処理により、ｍ個の画素値をそれぞれ基準値としてサンプリングした場合に、各基準値に近い画素値の数がカウントされ、そのカウント数が最も多くなるような基準値が背景値として推定され、その推定された際のカウント数が最大カウント数ｃとなる。この最大カウント数（ｃ）およびサンプリング総数（ｍ）は、背景信頼度生成部１５０に供給される。

背景信頼度生成部１５０は、背景推定部１４０から供給された最大カウント数（ｃ）およびサンプリング総数（ｍ）に基づいて、背景推定部１４０において推定された背景推定値の信頼度Ｔ_ｔを生成するものである。具体的には、背景値の信頼度Ｔ_ｔは、次式により求めることができる。なお、この背景信頼度生成部１５０により生成された背景値の信頼度Ｔ_ｔは、処理対象画像Ｉ_ｔにおける画素位置毎に求められ、信号線２２９を介して背景更新部２１０および相違度生成部１６０に供給される。
Ｔ_ｔ＝ｃ／ｍ

背景更新部２１０は、背景推定部１４０により推定された背景値に基づいて背景更新値保持部２２１に保持される背景値（背景更新値）を更新するものである。この背景更新部２１０は、背景推定部１４０により推定された背景値Ｂｅ_ｔと背景更新値保持部２２１に保持される背景更新値Ｂｕ_ｔ−１とから、処理対象画像Ｉ_ｔにおける背景更新値Ｂｕ_ｔを生成して背景更新値保持部２２１に保持させる。このとき、背景信頼度生成部１５０から供給された背景値の信頼度Ｔ_ｔに応じて、背景値Ｂｅ_ｔと背景更新値Ｂｕ_ｔ−１との比率を変えることができる。すなわち、背景値Ｂｅ_ｔの信頼度Ｔ_ｔが高ければ背景値Ｂｅ_ｔの比率を高くし、背景値Ｂｅ_ｔの信頼度Ｔ_ｔが低ければ背景更新値Ｂｕ_ｔ−１の比率を高くする。例えば、時刻ｔの座標（ｘ，ｙ）の背景値の信頼度をＴ（ｘ，ｙ，ｔ）、時刻ｔの座標（ｘ，ｙ）の背景推定値をＢｅ（ｘ，ｙ，ｔ）、時刻ｔ−１の座標（ｘ，ｙ）の背景更新値をＢｕ（ｘ，ｙ，ｔ−１）とすると、時刻ｔの座標（ｘ，ｙ）の背景更新値Ｂｕ（ｘ，ｙ，ｔ）は次式により算出される。

但し、ｋは更新パラメータである。ｋをフィルタ係数とすれば、上式はＩＩＲ（Infinite Impulse Response）フィルタの伝達関数の式と等価である。すなわち、時刻ｔの背景更新値Ｂｕ_ｔを、時刻ｔの背景値Ｂｅ_ｔと時刻ｔ−１の背景更新値Ｂｕ_ｔ−１とを用いて、ＩＩＲフィルタにより更新していることになる。これにより、背景が変動する場合においても対応することができ、また、背景信頼度が低い場合には、前の時刻の背景更新値の重みが大きくなるように背景更新値が更新されるため、背景信頼度を考慮した背景値の更新が可能になる。なお、この背景更新部２１０により更新された背景更新値Ｂｕ_ｔは、信号線２２８を介して背景更新値保持部２２１および相違度生成部１６０に供給される。

背景更新値保持部２２１は、背景更新部２１０によって更新された背景更新値を保持するものである。この背景更新値保持部２２１により保持される背景更新値は、次の時刻（ｔ）において前回の背景更新値Ｂｕ_ｔ−１として背景更新部２１０に供給される。

相違度生成部１６０は、軌跡画素選択部１２０によって選択された処理対象画像Ｉ_ｔの各画素位置の画素値と背景更新部２１０によって更新された背景更新値Ｂｕ_ｔとの間の相違度ｄを生成するものである。例えば、処理対象画像の画素値と背景更新値との色空間上の距離に比例するように相違度を設定することができる。これにより、両者の距離が大きいほど相違度も大きくなる。

ここで、両者の距離は例えば以下のように定義される。すなわち、画素値をＲＧＢ値で表した場合、処理対象画像の画素値Ｖ１（Ｒ１、Ｇ１、Ｂ１）と背景更新値Ｖ２（Ｒ２、Ｇ２、Ｂ２）との間の距離は、ユークリッド空間における距離、各色空間における距離の総和、または、最大相違値を示す色空間における距離などにより表すことができる。なお、ここでは、ＲＧＢ色空間の例を示しているが、例えば、ＹＣｂＣｒ色空間やその他の色空間を用いるようにしても構わない。

また、背景信頼度生成部１５０から供給された信頼度Ｔ_ｔが低い場合には、相違度ｄを大きくすることも考えられる。つまり、相違度生成部１６０は、信頼度Ｔ_ｔが高い場合には処理対象画像の画素値と背景推定値との距離を利用して相違度ｄを算出するが、信頼度Ｔ_ｔが低い場合には相違度ｄを大きく設定する。もしくは、相違度生成部１６０は、信頼度Ｔ_ｔが低いほど相違度ｄが大きくなるよう相違度を生成する。相違度ｄが大きいということは、動被写体であることを意味する。相違度生成の際にこのような信頼度Ｔ_ｔに応じた処理を行うのは、背景を動体と誤判定するリスクよりも動体を背景と誤判定するリスクの方が大きいからである。例えば、動体を背景と誤判定した場合、動体は軌跡合成に反映されずに動体の軌跡が消えるが、背景を動体と誤判定した場合、軌跡合成において背景の上に背景を合成することになっても出力結果に与える影響は少ない。この相違度生成部１６０によって生成された相違度ｄは、信号線１６９を介して軌跡合成部１７０に供給される。

軌跡合成部１７０は、相違度生成部１６０によって生成された相違度ｄに基づいて合成比率を生成して、この合成比率により時刻ｔの処理対象画像Ｉ_ｔと軌跡合成結果保持部１８０に保持されている時刻ｔ−１の軌跡合成結果とを合成して、時刻ｔの軌跡合成結果を生成するものである。生成された時刻ｔの軌跡合成結果は、信号線１７９を介して軌跡合成結果保持部１８０および軌跡合成画像表示部１９０に供給される。

軌跡合成結果保持部１８０は、軌跡合成部１７０による軌跡合成結果を保持するものである。この軌跡合成結果保持部１８０に保持された軌跡合成結果は、次の時刻で信号線１８９を介して軌跡合成部１７０に供給される。すなわち、時刻ｔの入力画像を処理対象画像としている時には、時刻ｔ−１の軌跡合成結果が軌跡合成部１７０に供給されることになる。

軌跡合成画像表示部１９０は、信号線１７９を介して軌跡合成部１７０から供給された軌跡合成結果に基づいて軌跡合成画像を表示するものである。この軌跡合成画像表示部１９０は、表示部４３をそのまま用いてもよく、また、撮像装置に接続された他の表示装置により実現されてもよい。

図３は、本発明の実施の形態による背景画素選択部１３０における画素値選択の態様を示す図である。背景画素選択部１３０は、入力画像保持部１１０に保持された入力画像（Ｉ_１〜Ｉ_ｎ）のうち、時刻ｔの入力画像Ｉ_ｔを処理対象画像として、その入力画像Ｉ_ｔのｐ×ｑ画素の各画素位置について画素値の選択を行う。

入力画像Ｉ_ｔにおける１つの画素位置の画素値Ｖ_ｔについて背景値を推定するためには、入力画像Ｉ_ｔを中心とする他の入力画像における対応する画素位置の画素値が用いられる。例えば、時刻ｔ−ｉおよび時刻ｔ＋ｉの入力画像Ｉ_ｔ−ｉおよびＩ_ｔ−ｉにおける対応する画素位置の画素値Ｖ_ｔ−ｉおよびＶ_ｔ＋ｉが用いられる。

背景画素選択部１３０により選択される画素値の数は多いほど背景値推定の精度を向上させるのに有利であるが、その一方で計算コストは増大する。そこで、以下のように背景値推定の精度を考慮して画素値の選択間隔を調整することが望ましい。

図４は、本発明の実施の形態における画素値の選択間隔の例を示す図である。ここでは、入力画像（Ｉ_１〜Ｉ_ｎ）の時間方向を横軸に示している。同図（ａ）は、時刻ｔを中心とした一定の範囲内における画素値を全て選択した例である。同図（ｂ）は、時刻ｔを中心とした一定の範囲内における画素値を等間隔に間引いて選択した例である。同図（ｃ）は、時刻ｔを中心とした一定の範囲内において、時刻ｔに近いほど密に、遠いほど粗く画素値を選択した例である。すなわち、同図（ｃ）では、入力画像との時間的距離が近いほど時間的に高い頻度で画素値が選択されている。

このように、同図（ａ）と比べて、同図（ｂ）または（ｃ）のように画素値を選択することにより、選択される時間範囲を変更することなく画素値の数を減らすことができ、背景値推定の精度の劣化を抑えることができる。

図５は、本発明の実施の形態による背景推定部１４０における背景値推定の態様を示す図である。背景画素選択部１３０により選択されたｍ個の画素値の１個をサンプリングして基準値とする。この基準値を中心として画素値の高低のそれぞれに背景閾値を加味した範囲内に収まる画素値の数をカウントする。同図の例では、カウント数は７個となる。その後、ｍ個の画素値のうち他の１個を基準値として順次変えながら同様にカウントしていく。その結果、そのカウント数が最も多くなるような基準値が推定された背景値Ｂｅ_ｔとなる。すなわち、画素値の最頻値が背景値として推定される。また、背景値として推定された際のカウント数が最大カウント数ｃとなる。なお、ここでは、カウント数が最も多くなるような基準値を背景値として推定したが、その際の背景閾値の範囲内に収まる画素値の平均値を背景値として推定してもよい。

図６は、本発明の実施の形態における軌跡合成部１７０の一構成例を示す図である。この軌跡合成部１７０は、フェードアウト制御パラメータ保持部１７１と、合成比率生成部１７２と、軌跡合成値算出部１７３とを備えている。

フェードアウト制御パラメータ保持部１７１は、フェードアウト制御パラメータα_bgを保持するものである。このフェードアウト制御パラメータα_bgは、背景の合成比率を表すものであり、このフェードアウト制御パラメータα_bgを大きく設定すると短期間で背景に埋もれてフェードアウトしていくことになる。

合成比率生成部１７２は、相違度生成部１６０から信号線１６９を介して供給された相違度ｄおよびフェードアウト制御パラメータ保持部１７１に保持されたフェードアウト制御パラメータα_bgに基づいて、軌跡合成のための合成比率αを生成するものである。この合成比率αは、次式により算出される。
α＝α_bg＋ｄ・（１−α_bg）

相違度ｄが大きい場合、αも大きくなり、合成時の原画像（処理対象画像Ｉ_ｔ）の画素値の寄与率が高くなるため、原画像の画素値が軌跡として合成結果に反映され易くなる。一方、相違度ｄが小さい場合、αも小さくなり、合成結果に対して過去の軌跡画像の寄与率が高くなるため、原画像の画素値が軌跡として合成結果に反映され難くなる。

上述のように、α_bgは背景の合成比率を表すパラメータであり、背景領域であれば相違度ｄが０になるため、α＝αbgにより原画像の画素値が軌跡合成結果に反映される。つまり、原画像の画素が背景であっても過去の軌跡に原画像の画素値を合成するため、古い軌跡ほど背景に埋もれていくフェードアウトの効果を生み出すことが可能となる。このように、フェードアウト制御パラメータα_bgによって軌跡のフェードアウトの度合いを制御することが可能となる。

軌跡合成値算出部１７３は、軌跡画素選択部１２０から信号線１２９を介して供給された処理対象画像Ｉ_ｔと軌跡合成結果保持部１８０から信号線１８９を介して供給された直前の軌跡合成結果Ｓ_ｔ−１とを合成比率生成部１７２によって生成された合成比率αにより合成するものである。ここで、時刻ｔの座標（ｘ，ｙ）の入力画像をＩ（ｘ，ｙ，ｔ）、時刻ｔ−１の軌跡合成結果をＳ（ｘ，ｙ，ｔ−１）とすると、時刻ｔの軌跡合成結果Ｓ（ｘ，ｙ，ｔ）は次式により算出される。
Ｓ（ｘ，ｙ，ｔ）＝α・Ｉ（ｘ，ｙ，ｔ）＋（１−α）・Ｓ（ｘ，ｙ，ｔ−１）

上式の処理を、座標（１，１）乃至（ｐ，ｑ）の全画素位置において繰り返すことにより、時刻ｔにおける軌跡画像が合成される。なお、上述のように、相違度ｄが大きいほど合成比率αも大きくなるため、動被写体である処理対象画像Ｉ_ｔは軌跡として合成結果に反映され易くなる。

ここで、フェードアウト制御パラメータα_bgによる効果を説明するために、図７（ａ）、同図（ｂ）、同図（ｃ）、同図（ｄ）および同図（ｅ）の順番で撮像された撮像画像を入力画像として想定する。フェードアウト制御パラメータα_bgとして「０」を設定した場合、合成比率αは相違度ｄと一致する。動被写体領域では相違度ｄが「１」になり、背景領域では相違度ｄが「０」になるとすると、合成の際に背景と動被写体が混ざることがないため、最終的に得られる軌跡合成画像には図８（ａ）のように動被写体の軌跡が全て濃く表示される。

一方、フェードアウト制御パラメータα_bgとして「０．３」程度を設定した場合、合成比率αは「０．３」から「１」の間の値となる。動被写体領域では相違度ｄが「１」になり、背景領域では相違度ｄが「０」になるとすると、合成されるたびに背景が動被写体に混ざっていくため、最終的に得られる軌跡合成画像には図８（ｂ）のように動被写体の軌跡が古いものほど薄く表示される。

また、軌跡合成画像は、図８（ａ）および（ｂ）のように１枚の軌跡合成画像として表示するだけでなく、図９や図１０のように動被写体の移動する途中の状態を複数枚の軌跡合成画像として時系列に表示してもよい。この場合も、上述のフェードアウト制御パラメータα_bgを利用してフェードアウトの度合いを制御することができる。例えば、軌跡をはっきり残したい場合には、フェードアウト制御パラメータα_bgとして「０」を設定すれば、合成比率αは相違度ｄと一致する。動被写体領域では相違度ｄが「１」になり、背景領域では相違度ｄが「０」になるとすると、合成の際に背景と動被写体が混ざることがないため、途中の軌跡合成画像には図９のように動被写体の軌跡が全て濃く表示される。

一方、軌跡をフェードアウトさせたい場合には、フェードアウト制御パラメータα_bgとして「０．３」程度を設定すれば、合成比率αは「０．３」から「１」の間の値となる。動被写体領域では相違度ｄが「１」になり、背景領域では相違度ｄが「０」になるとすると、合成されるたびに背景が動被写体に混ざっていくため、途中の軌跡合成画像には図１０のように動被写体の軌跡が古いものほど薄く表示される。

図１１は、本発明の実施の形態における撮像装置の画像処理回路２３の第１の実施例の変形例を示す図である。この変形例では、背景更新値保持部２２１に代えて背景情報保持部２２０を備えている。この背景情報保持部２２０は、背景更新部２１０によって更新された背景更新値Ｂｕ_ｔおよび背景信頼度生成部１５０によって生成された背景値の信頼度Ｔ_ｔを背景情報として保持するものである。この背景情報保持部２２０を設けることにより、背景画素選択部１３０、背景推定部１４０、背景信頼度生成部１５０および背景更新部２１０による背景更新処理と、軌跡画素選択部１２０および相違度生成部１６０による動体検出処理または軌跡合成部１７０による軌跡合成処理とをタイミングをずらして実行することができるようになる。

図１２は、本発明の実施の形態における撮像装置の処理タイミング例を示す図である。背景画素選択部１３０、背景推定部１４０、背景信頼度生成部１５０および背景更新部２１０による処理を背景更新処理、軌跡画素選択部１２０および相違度生成部１６０による処理を動体検出処理、軌跡合成部１７０による処理を軌跡合成処理とすると、それぞれを逐次的に処理する場合には、同図（ａ）のようなタイミングになる。すなわち、背景更新処理が行われた後に動体検出処理が行われ、動体検出処理が行われた後に軌跡合成処理が行われる。

図１１のように背景情報保持部２２０を設けた場合、背景更新処理の結果は背景情報として背景情報保持部２２０に保持されるため、図１２（ｂ）のように動体検出処理および軌跡合成処理の終了を待つことなく次の背景更新処理を行うことができる。すなわち、背景更新処理と動体検出処理または軌跡合成処理とはオーバラップして実行することができる。

また、背景更新処理が動体検出処理および軌跡合成処理に比べて重い処理であることから、全体のスループットをさらに向上させるために、背景更新処理と動体検出処理および軌跡合成処理との頻度を１対２の割合にしたものが図１２（ｃ）である。これによれば、背景更新を１回行った結果により動体検出および軌跡合成を２回行うことができる。背景が緩やかに変動している場合は、動体検出毎に背景更新を行う必要はなく、処理の重い背景更新の頻度を下げることにより、全体のスループットを向上させることができる。

図１２（ｃ）と同じ条件で背景情報保持部２２０を設けた場合、図１２（ｄ）のように動体検出処理および軌跡合成処理の終了を待つことなく次の背景更新処理を行うことができる。すなわち、１回の背景更新処理と２回の動体検出処理または軌跡合成処理とをオーバラップして実行することができ、スループットがさらに向上する。

次に本発明の実施の形態における撮像装置の第１の実施例の動作について図面を参照して説明する。

図１３は、本発明の実施の形態における撮像装置による背景更新処理手順の一例を示す流れ図である。

まず、背景画素選択部１３０において、処理対象画像を中心として時系列順に前後の時刻の入力画像において、対応する画素位置の中からｍ個の画素値が選択される（ステップＳ９１１）。この画素値選択の際の入力画像間の関係については、図３および図４により説明したとおりである。

そして、この選択された画素値に基づいて、背景推定部１４０において背景値Ｂｅ_ｔが推定される（ステップＳ９１２）。この背景値推定のための処理については、図５により説明したとおりである。

この背景値推定の際に得られた最大カウント数（ｃ）およびサンプリング総数（ｍ）に基づいて、背景信頼度生成部１５０において背景値の信頼度Ｔ_ｔが生成される（ステップＳ９１３）。

そして、推定された背景値Ｂｅ_ｔに基づいて、背景更新値Ｂｕ_ｔ−１が背景更新部２１０によって更新される（ステップＳ９１４）。この背景値更新の際には、背景値の信頼度Ｔ_ｔが考慮され、背景値Ｂｅ_ｔの信頼度Ｔ_ｔが高ければ背景値Ｂｅ_ｔの比率が高くなり、背景値Ｂｅ_ｔの信頼度Ｔ_ｔが低ければ背景更新値Ｂｕ_ｔ−１の比率が高くなる。

処理対象画像Ｉ_ｔにおけるｐ×ｑ画素の各画素位置について上述の処理が終了すると、その処理対象画像Ｉ_ｔに関する処理は終了する（ステップＳ９１５）。これらステップＳ９１１乃至Ｓ９１４の処理は、各画素位置について独立に行うことが可能である。

時刻ｔの入力画像を処理対象画像としてステップＳ９１１乃至Ｓ９１５の処理が完了した後、引き続き時刻ｔ＋１以降の入力画像を処理対象画像としてステップＳ９１１乃至Ｓ９１５の処理を繰り返すことにより、軌跡合成画像を順次、時系列に生成していくことができる。これら処理対象画像の処理についても、各処理対象画像間において独立に行うことが可能である。

図１４は、本発明の実施の形態における撮像装置による動体検出および軌跡合成処理手順の一例を示す流れ図である。

まず、軌跡画素選択部１２０において、入力画像の１枚を処理対象画像Ｉ_ｔとして、各画素位置の画素値が選択される（ステップＳ９２１）。そして、この選択された入力画像の画素値と、背景更新処理により更新された背景値Ｂｕ_ｔとの相違度ｄが相違度生成部１６０によって生成される（ステップＳ９２３）。

このようにして生成された相違度ｄに基づいて、軌跡合成部１７０において合成比率αが生成され、この合成比率αに応じて処理対象画像Ｉ_ｔと直前の軌跡合成結果Ｓ_ｔ−１とが合成されて、その結果が出力される（ステップＳ９２４）。

処理対象画像におけるｐ×ｑ画素の各画素位置について上述の処理が終了すると、その処理対象画像に関する処理は終了する（ステップＳ９２５）。これらステップＳ９２１乃至Ｓ９２４の処理は、各画素位置について独立に行うことが可能である。

時刻ｔの入力画像を処理対象画像としてステップＳ９２１乃至Ｓ９２５の処理が完了した後、引き続き時刻ｔ＋１以降の入力画像を処理対象画像としてステップＳ９２１乃至Ｓ９２５の処理を繰り返すことにより、軌跡合成画像を順次、時系列に生成していくことができる。これら処理対象画像の処理についても、各処理対象画像間において独立に行うことが可能である。

また、図１１の変形例のように、背景情報保持部２２０を設けることにより、図１３の背景更新処理と、図１４の動体検出および軌跡合成処理とをオーバラップして実行させることができる。

このように、本発明の実施の形態によれば、時系列の入力画像から背景推定部１４０により背景値を推定し、その推定された背景値に基づいて背景更新値保持部２２１に保持される背景値を逐次更新することにより、背景が変動するような状況においても、安定した動被写体検出を行うことができる。すなわち、撮像画像の背景の状態や、動被写体の数、大きさ、変形、色などに左右されずに、精度の高い動被写体の軌跡合成画像を生成することが可能な画像処理装置を実現することができる。

また、本発明の実施の形態によれば、動被写体の誤検出の問題に対し、背景信頼度の低い領域においては動被写体と判定することで、軌跡合成結果に与える影響および計算コストの双方を抑えることができる。

また、本発明の実施の形態によれば、動体検出に対する背景更新頻度を制御することで効果的にスループットを向上させることができる。

なお、本発明の実施の形態ではデジタルスチルカメラやデジタルビデオカメラなどの撮像装置によって連続撮影された複数枚の画像を想定して説明したが、本発明はこれに限定されるものではなく、再生機器において放送網やインターネットを介して取得された映像データ等も入力画像として適用することができる。

次に本発明の実施の形態における撮像装置の第２の実施例について図面を参照して説明する。

図１５は、本発明の実施の形態における撮像装置の画像処理回路２３の第２の実施例を示す図である。この第２の実施例による撮像装置は、第１の実施例の構成において背景更新部２１０および背景更新値保持部２２１に代えて背景情報保持部２２０を設けた構成になっている。この場合、背景画素選択部１３０は、入力画像（Ｉ_１〜Ｉ_ｎ）の全体を射程範囲としてその中からｍ個の画素値を選択する。この選択された画素値に基づいて背景推定部１４０において背景値Ｂが推定され、その信頼度Ｔが背景信頼度生成部１５０において生成される。背景推定部１４０において推定された背景値Ｂおよび背景信頼度生成部１５０において生成された信頼度Ｔは、背景情報として背景情報保持部２２０に保持される。この背景情報は、第１の実施例の場合と異なり、更新されない。そして、相違度生成部１６０は、背景情報保持部２２０に保持された背景情報に基づいて入力画像の画素値と背景値Ｂとの相違度を生成する。その際、背景値Ｂの信頼度Ｔも考慮される。

図１６は、本発明の実施の形態における撮像装置による処理手順の一例を示す流れ図である。

まず、背景画素選択部１３０において、入力画像（Ｉ_１〜Ｉ_ｎ）の全体からｍ個の画素値が選択される（ステップＳ９３１）。そして、この選択された画素値に基づいて、背景推定部１４０において背景値Ｂが推定される（ステップＳ９３２）。また、この背景値推定の際に得られた最大カウント数（ｃ）およびサンプリング総数（ｍ）に基づいて、背景信頼度生成部１５０において背景値の信頼度Ｔが生成される（ステップＳ９３３）。これらステップＳ９３１乃至Ｓ９３３の処理は、各画素位置について独立に行うことが可能である。

また、軌跡画素選択部１２０において、入力画像の１枚を処理対象画像Ｉ_ｔとして、各画素位置の画素値が選択される（ステップＳ９４１）。そして、この選択された入力画像の画素値と、背景更新処理により更新された背景値Ｂとの相違度ｄが相違度生成部１６０によって生成される（ステップＳ９４３）。

このようにして生成された相違度ｄに基づいて、軌跡合成部１７０において合成比率αが生成され、この合成比率αに応じて処理対象画像Ｉ_ｔと直前の軌跡合成結果Ｓ_ｔ−１とが合成されて、その結果が出力される（ステップＳ９４４）。

処理対象画像Ｉ_ｔにおけるｐ×ｑ画素の各画素位置について上述の処理が終了すると、その処理対象画像Ｉ_ｔに関する処理は終了する（ステップＳ９４５）。これらステップＳ９４１乃至Ｓ９４４の処理は、各画素位置について独立に行うことが可能である。

時刻ｔの入力画像を処理対象画像としてステップＳ９４１乃至Ｓ９４５の処理が完了した後、引き続き時刻ｔ＋１以降の入力画像を処理対象画像としてステップＳ９４１乃至Ｓ９４５の処理を繰り返すことにより、軌跡合成画像を順次、時系列に生成していくことができる。これら処理対象画像の処理についても、各処理対象画像間において独立に行うことが可能である。

このように、この第２の実施例によれば、一度算出された背景値を以降、更新することなく利用し続けることにより、背景算出に要するコストを削減することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の実施の形態における撮像装置の一例を示す図である。 本発明の実施の形態における撮像装置の画像処理回路２３の第１の実施例を示す図である。 本発明の実施の形態による背景画素選択部１３０における画素値選択の態様を示す図である。 本発明の実施の形態における画素値の選択間隔の例を示す図である。 本発明の実施の形態による背景推定部１４０における背景値推定の態様を示す図である。 本発明の実施の形態における軌跡合成部１７０の一構成例を示す図である。 入力画像の一例を示す図である。 軌跡合成画像の一例を示す図である。 軌跡合成動画における時系列の出力例を示す図である。 軌跡合成動画における時系列の他の出力例を示す図である。 本発明の実施の形態における撮像装置の画像処理回路２３の第１の実施例の変形例を示す図である。 本発明の実施の形態における撮像装置の処理タイミング例を示す図である。 本発明の実施の形態における撮像装置による背景更新処理手順の一例を示す流れ図である。 本発明の実施の形態における撮像装置による動体検出および軌跡合成処理手順の一例を示す流れ図である。 本発明の実施の形態における撮像装置の画像処理回路２３の第２の実施例を示す図である。 本発明の実施の形態における撮像装置による処理手順の一例を示す流れ図である。

符号の説明

１１ レンズ
１３ 撮像素子
２１ サンプリング回路
２２ Ａ／Ｄ変換回路
２３ 画像処理回路
３１ 符号化／復号器
３２ メモリ
４１ Ｄ／Ａ変換回路
４２ ビデオエンコーダ
４３ 表示部
５１ タイミング生成器
５２ 操作入力受付部
５３ ドライバ
５４ 制御部
５９ バス
１１０ 入力画像保持部
１２０ 軌跡画素選択部
１３０ 背景画素選択部
１４０ 背景推定部
１５０ 背景信頼度生成部
１６０ 相違度生成部
１７０ 軌跡合成部
１７１ フェードアウト制御パラメータ保持部
１７２ 合成比率生成部
１７３ 軌跡合成値算出部
１８０ 軌跡合成結果保持部
１９０ 軌跡合成画像表示部
２１０ 背景更新部
２２０ 背景情報保持部
２２１ 背景更新値保持部

Claims (11)

1. 時系列に並ぶ複数の入力画像の対応する画素位置のそれぞれにおいて処理対象となる入力画像を中心として複数の画素値を選択する画素選択手段と、
   前記画素位置における背景値を保持する背景値保持手段と、
   前記選択された複数の画素値における最頻値を前記処理対象である入力画像の前記画素位置における背景値として推定する背景値推定手段と、
   前記選択された複数の画素値が前記背景値との間の距離において予め定められた判定閾値の範囲内に存在する確率を前記推定された背景値の信頼度として生成する背景信頼度生成手段と、
   前記信頼度が高いほど前記推定された背景値の比率が高くなるように前記推定された背景値と前記背景値保持手段に保持された背景値とを合成して新たな背景値として前記背景値保持手段に保持させることにより背景値を更新する背景更新手段と、
   前記処理対象である入力画像の画素値と前記更新された背景値との間の距離に比例するように相違度を生成する相違度生成手段と、
   前記画素位置のそれぞれについて前記相違度が大きいほど前記処理対象である入力画像の画素値の比率が高くなるように前記処理対象である入力画像の画素値と直前の出力画像の画素値とを合成して新たな出力画像の画素値を生成する出力画像生成手段と
   を具備する画像処理装置。
2. 前記相違度生成手段は、前記信頼度が低いほど前記相違度が大きくなるように前記相違度を生成する請求項１記載の画像処理装置。
3. 前記出力画像生成手段は、
   前記出力画像の画素値を保持する出力画像保持手段と、
   前記画素位置のそれぞれについて前記相違度が大きいほど合成比率が大きくなるように合成比率を生成する合成比率生成手段と、
   前記画素位置のそれぞれについて前記合成比率が大きいほど前記処理対象である入力画像の画素値の比率が高くなるように前記処理対象である入力画像の画素値と前記出力画像保持手段に保持された前記出力画像の画素値とを合成して新たな出力画像の画素値として前記出力画像保持手段に保持させる合成値算出手段とを具備する
   請求項１記載の画像処理装置。
4. 前記画素選択手段は、前記複数の画素値を時間的に等間隔に選択する請求項１記載の画像処理装置。
5. 前記画素選択手段は、前記処理対象である入力画像との時間的距離が近いほど時間的に高い頻度で前記複数の画素値を選択する請求項１記載の画像処理装置。
6. 前記背景更新手段による前記背景値の更新と前記相違度生成手段による前記相違度の生成との頻度が互いに異なる請求項１記載の画像処理装置。
7. 時系列に並ぶ複数の入力画像の対応する画素位置のそれぞれにおいて処理対象となる入力画像を中心として複数の画素値を選択する画素選択手順と、
   前記選択された複数の画素値における最頻値を前記処理対象である入力画像の前記画素位置における背景値として推定する背景値推定手順と、
   前記選択された複数の画素値が前記背景値との間の距離において予め定められた判定閾値の範囲内に存在する確率を前記推定された背景値の信頼度として生成する背景信頼度生成手順と、
   前記信頼度が高いほど前記推定された背景値の比率が高くなるように前記推定された背景値と背景値保持手段に保持された背景値とを合成して新たな背景値として前記背景値保持手段に保持させることにより背景値を更新する背景更新手順と、
   前記処理対象である入力画像の画素値と前記更新された背景値との間の距離に比例するように相違度を生成する相違度生成手順と、
   前記画素位置のそれぞれについて前記相違度が大きいほど前記処理対象である入力画像の画素値の比率が高くなるように前記処理対象である入力画像の画素値と直前の出力画像の画素値とを合成して新たな出力画像の画素値を生成する出力画像生成手順と
   を具備する画像処理方法。
8. 時系列に並ぶ複数の入力画像の対応する画素位置のそれぞれにおいて処理対象となる入力画像を中心として複数の画素値を選択する画素選択手順と、
   前記選択された複数の画素値における最頻値を前記処理対象である入力画像の前記画素位置における背景値として推定する背景値推定手順と、
   前記選択された複数の画素値が前記背景値との間の距離において予め定められた判定閾値の範囲内に存在する確率を前記推定された背景値の信頼度として生成する背景信頼度生成手順と、
   前記信頼度が高いほど前記推定された背景値の比率が高くなるように前記推定された背景値と背景値保持手段に保持された背景値とを合成して新たな背景値として前記背景値保持手段に保持させることにより背景値を更新する背景更新手順と、
   前記処理対象である入力画像の画素値と前記更新された背景値との間の距離に比例するように相違度を生成する相違度生成手順と、
   前記画素位置のそれぞれについて前記相違度が大きいほど前記処理対象である入力画像の画素値の比率が高くなるように前記処理対象である入力画像の画素値と直前の出力画像の画素値とを合成して新たな出力画像の画素値を生成する出力画像生成手順と
   をコンピュータに実行させるプログラム。
9. 時系列に並ぶ複数の入力画像の対応する画素位置のそれぞれにおいて複数の画素値を選択する画素選択手段と、
   前記選択された複数の画素値における最頻値を前記画素位置における背景値として推定する背景値推定手段と、
   前記選択された複数の画素値が前記背景値との間の距離において予め定められた判定閾値の範囲内に存在する確率を前記推定された背景値の信頼度として生成する背景信頼度生成手段と、
   前記信頼度が低いほど前記相違度が大きくなるように処理対象である入力画像の画素値と前記推定された背景値との相違度を生成する相違度生成手段と、
   前記画素位置のそれぞれについて前記相違度が大きいほど前記処理対象である入力画像の画素値の比率が高くなるように前記処理対象である入力画像の画素値と直前の出力画像の画素値とを合成して新たな出力画像の画素値を生成する出力画像生成手段と
   を具備する画像処理装置。
10. 時系列に並ぶ複数の入力画像の対応する画素位置のそれぞれにおいて複数の画素値を選択する画素選択手順と、
    前記選択された複数の画素値における最頻値を前記画素位置における背景値として推定する背景値推定手順と、
    前記選択された複数の画素値が前記背景値との間の距離において予め定められた判定閾値の範囲内に存在する確率を前記推定された背景値の信頼度として生成する背景信頼度生成手順と、
    前記信頼度が低いほど前記相違度が大きくなるように処理対象である入力画像の画素値と前記推定された背景値との相違度を生成する相違度生成手順と、
    前記画素位置のそれぞれについて前記相違度が大きいほど前記処理対象である入力画像の画素値の比率が高くなるように前記処理対象である入力画像の画素値と直前の出力画像の画素値とを合成して新たな出力画像の画素値を生成する出力画像生成手順と
    を具備する画像処理方法。
11. 時系列に並ぶ複数の入力画像の対応する画素位置のそれぞれにおいて複数の画素値を選択する画素選択手順と、
    前記選択された複数の画素値における最頻値を前記画素位置における背景値として推定する背景値推定手順と、
    前記選択された複数の画素値が前記背景値との間の距離において予め定められた判定閾値の範囲内に存在する確率を前記推定された背景値の信頼度として生成する背景信頼度生成手順と、
    前記信頼度が低いほど前記相違度が大きくなるように処理対象である入力画像の画素値と前記推定された背景値との相違度を生成する相違度生成手順と、
    前記画素位置のそれぞれについて前記相違度が大きいほど前記処理対象である入力画像の画素値の比率が高くなるように前記処理対象である入力画像の画素値と直前の出力画像の画素値とを合成して新たな出力画像の画素値を生成する出力画像生成手順と
    をコンピュータに実行させるプログラム。

Images