JP6171651B2 - 画像処理プログラム及び画像処理装置 - Google Patents

Description

本発明は、動画の中から動体を検出するための画像処理プログラム及び画像処理装置に関する。

従来より、背景画像を用いて、動画の中から動体を検出することが行われている。典型的には、この場合、動画に含まれる各フレームと背景画像との差分画像が導出され、これらの差分画像の二値化画像に現れる領域が動体を写す領域として検出される。

そして、このような背景画像の各画素に対しては、複数の背景値（背景を表す画素値）が設定されることがある。これは、例えば、背景の草木が風で揺らぎ、ある画素において草木を写す状態と空を写す状態とが繰り返される場合に、これらの両方を背景として認識できるようにするためである。また、画面内に何らかの物体が現れ、これが一定期間以上移動しない場合には、ある時点からはこの物体を検出対象となる動体として捉えるよりも、背景と捉えた方が適切となる場合もあるからである。

以上のような複数の背景値を設定するためには、複数の分布の山を合成することにより得られる混合分布モデルを利用することができる（特許文献１，２参照）。上述の草木の揺らぎの例で言うと、これらの分布の山の１つが、草木を表す画素値（第１の背景値）の確率分布を表し、別の１つが、空を表す画素値（第２の背景値）の確率分布を表すことになる。

そして、従来、このような混合分布モデルは、各画素に対し、その画素の時間軸に沿って得られる多数の画素値のデータに基づいて、統計的に作成される。ここで、特許文献１では、一定の準備時間が過ぎ、１つの画素について十分な数の画素値が得られるまでは、背景値を決定するための混合分布モデルが作成されないようになっている。一方、特許文献２では、最初の画素値が得られた初期段階では、その１点の画素値のデータのみから、分布の山が作成される。具体的には、その１点の画素値が分布の平均の初期値とされ、予め定められている初期値がその平均値を中心とする分布の範囲（分散等）とされる。また、特許文献２では、混合分布モデルの更新時において、既存の分布の山に分類できないような画素値が得られた場合にも、その１点の画素値を分類する分布の山が同様に作成される。なお、このような飛び値は、別の背景が現れたとき等に現れる。

特開２０１１−１２３７４２号公報 特開２０１３−６５１５１号公報

以上のような方法で混合分布モデルが作成される場合、初期段階では動体を検出することができないか（特許文献１の場合）、又は検出の精度が不安定になる（特許文献２の場合）。つまり、特許文献２のように、現実の多数の画素値のデータを用いることなく、最初の画素値のデータのみから初期の混合分布モデルが作成される場合には、そのようなモデルが現実を適切にモデリングしたものである可能性は低く、その後しばらくは誤検出が生じ易くなる。同様に、混合分布モデルの更新時に飛び値が現れた場合にも、その後しばらくは誤検出が生じ易くなり得る。

本発明は、初期段階及び／又は背景画像の更新時において適切な背景値を設定し、高精度に動体の検出を行うことができる画像処理プログラム及び画像処理装置を提供することを目的とする。

本発明の第１観点に係る画像処理プログラムは、動画の中から動体を検出するための画像処理プログラムであって、前記動画の背景画像を経時的に更新しながら作成するステップと、前記背景画像に基づいて、前記動画の中から前記動体を経時的に検出するステップとをコンピュータに実行させる。前記背景画像を作成するステップは、各注目画素に対し、状況に応じて１から複数の分布モデルを有する混合分布モデルを導出するステップと、前記混合分布モデルに基づいて、前記１から複数の分布モデルに対応する１から複数の背景の画素値を導出するステップとを含む。前記混合分布モデルを導出するステップは、前記動画に含まれる第１フレームにおける前記注目画素を含む局所領域内の複数の画素の画素値から、前記分布モデルを新規作成するステップと、前記動画に含まれる前記第１フレームと異なる第２フレームにおける前記注目画素の画素値から、既存の前記分布モデルを更新するステップとを含む。

ここでは、各注目画素に対し、１から複数の背景値を決定するための、１から複数の分布モデルを有する混合分布モデルが、更新されながら作成される。そして、混合分布モデルに含まれる分布モデルの作成時には、例えば、十分な数のフレームが得られていない初期段階において、注目画素の画素値だけでなく、その注目画素の周辺の画素の画素値も用いられる。別の例としては、混合分布モデルの更新時に、既存の分布モデルに分類することができない飛び値が現れた場合にも、注目画素の周辺の画素値を用いて、分布モデルを作成することが考えられる。そして、その後、別のフレームが得られると、その別のフレームにおける同じ注目画素の画素値を用いて、既存の分布モデルが更新される。すなわち、ここでは、分布モデルの新規作成時に、注目画素の画素値だけでなく、その周辺の画素の画素値が用いられる。言い換えると、１枚のフレーム内の注目画素を中心とする局所領域内で得られる画素値の分布と、注目画素における時間的な画素値の分布とが概ね等しいとの仮定の下、後者の分布が得られる前においては、これが注目画素の周辺の画素値で代用される。その結果、たとえノイズを多く含む動画であったとしても、そのようなノイズの影響（画素値のバラつき)を正しく評価することができる。従って、初期段階及び／又は背景画像の更新時において適切な背景値を設定し、高精度に動体の検出を行うことができる。

本発明の第２観点に係る画像処理プログラムは、第１観点に係る画像処理プログラムであって、前記分布モデルを新規作成するステップでは、前記混合分布モデルが存在しない場合に、前記分布モデルが新規作成される。ここでは、初期段階において適切な背景値を設定し、高精度に動体の検出を行うことができる。

本発明の第３観点に係る画像処理プログラムは、第１又は第２観点に係る画像処理プログラムであって、前記分布モデルを新規作成するステップでは、前記第１フレームにおける前記注目画素の画素値が既存の前記分布モデルのいずれにも含まれない場合に、前記分布モデルが新規作成される。ここでは、背景画像の更新時において適切な背景値を設定し、高精度に動体の検出を行うことができる。

本発明の第４観点に係る画像処理プログラムは、第１から第３観点のいずれかに係る画像処理プログラムであって、前記検出された動体の写るフレームを表示するステップをさらにコンピュータに実行させる。ここでは、動体の検索結果をユーザが目で見て確認することができる。

本発明の第５観点に係る画像処理プログラムは、第４観点に係る画像処理プログラムであって、前記表示するステップでは、前記動画に含まれる互いに近接したフレームの両方に前記動体が存在すると検出された場合に、前記両動体間のオプティカルフローの方向と、前記両動体間での重心の移動方向とが一致する場合、前記両動体の一方は、表示対象とされない。

動画内には、微小時間間隔で多数のフレームが配列されている。従って、動画の画面内を動体が移動する場合には、動画には少しずつ位置や形状の異なる動体を写すフレームが多数含まれることになる。そのため、仮に動体の検出されたフレームを全て検索結果として表示するとなると、ユーザは、同じ物体が写っている膨大な量のフレームを１枚１枚確認しなければならなくなる。一方で、動画のタイムライン上で互いに近接したフレームに写る動体間のオプティカルフローの方向と、重心の移動方向とが一致すれば、そのような動体は同じ物体であると予想される。従って、ここでは、このような一致が確認された場合には、一方の動体を表示対象としないことで、検索結果として同じ物体を写すフレームが重複して表示されることを抑制している。従って、ここでは、検索結果の冗長性が抑制され、ユーザが検索結果を確認し易くなっている。

本発明の第６観点に係る画像処理プログラムは、第４又は第５観点に係る画像処理プログラムであって、前記動体の色の設定を受け付けるステップをさらにコンピュータに実行させる。前記表示するステップでは、前記設定された色と非類似の色を有する前記動体は、表示対象とされない。

ここでは、ユーザが、検索対象の色に関する属性を設定することができる。そして、この属性値は、検索に利用され、この属性値と非類似の色の動体は、表示対象とされない。従って、検索結果として、ユーザが探していない動体を写すフレームが表示されることが抑制される。従って、検索の精度が向上し、ユーザが検索結果を確認し易くなっている。

本発明の第７観点に係る画像処理プログラムは、第４から第６観点のいずれかに係る画像処理プログラムであって、前記動体のサイズ及び／又は形状の設定を受け付けるステップをさらにコンピュータに実行させる。前記表示するステップでは、前記設定されたサイズ及び／又は形状と非類似のサイズ及び／又は形状を有する前記動体は、表示対象とされない。

ここでは、ユーザが、検索対象のサイズ及び／又は形状に関する属性を設定することができる。そして、この属性値は、検索に利用され、この属性値と非類似のサイズ及び／又は形状の動体は、表示対象とされない。従って、検索結果として、ユーザが探していない動体を写すフレームが表示されることが抑制される。従って、検索の精度が向上し、ユーザが検索結果を確認し易くなっている。

本発明の第８観点に係る画像処理プログラムは、第１から第７観点のいずれかに係る画像処理プログラムであって、前記動画において同じフレームが連続して出現するか否かを判断するステップをさらにコンピュータに実行させる。前記動画において同じフレームが連続して出現すると判断される場合、前記連続する同じフレームの一部のフレームに対しては、前記背景画像を作成するステップ及び前記動体を検出するステップが省略される。

動画には、その撮影や記録時の条件等によっては、タイムラインに沿って同じフレームが複数枚ずつ連続するような態様で記録されることがある。例えば、記録装置のフレームレートが、撮像装置のフレームレートより大きいような場合である。この例において、さらに具体的な例を挙げると、撮像装置のフレームレートが１ＦＰＳで、記録装置のフレームレートが３０ＦＰＳである場合、記録された動画のタイムライン上では、同じフレームが概ね３０枚ずつ連続して配列されることになる。そして、このような複数枚の同じフレームに対し、背景画像の作成及び動体の検出の処理を繰り返すのは、非効率である。

従って、ここでは、背景画像の作成及び動体の検出の前に、動画内に同じフレームが連続して出現するか否かが判断される。そして、同じフレームであると判断されたフレームの一部に対しては、背景画像の作成及び動体の検出が実行されない。その結果、背景画像の作成及び動体の検出を効率的に実行することができる。

なお、同じフレームを複数枚のフレームとして記録したはずであっても、アナログノイズ等の様々なノイズの影響により、それらのフレームが完全に同じにはならないことがある。しかしながら、厳密には「類似フレーム」であっても、その差がノイズ分の程度の微小なものである場合には、「同じフレーム」であるものとする。

本発明の第９観点に係る画像処理装置は、動画の中から動体を検出するための画像処理装置であって、前記動画の背景画像を経時的に更新しながら作成する背景作成部と、前記背景画像に基づいて、前記動画の中から前記動体を経時的に検出する動体検出部とを備える。前記背景作成部は、各注目画素に対し、状況に応じて１から複数の分布モデルを有する混合分布モデルを導出するモデル導出部と、前記混合分布モデルに基づいて、前記１から複数の分布モデルに対応する１から複数の背景の画素値を導出する背景値導出部とを含む。前記モデル導出部は、前記動画に含まれる第１フレームにおける前記注目画素を含む局所領域内の複数の画素の画素値から、前記分布モデルを新規作成し、前記動画に含まれる前記第１フレームと異なる第２フレームにおける前記注目画素の画素値から、既存の前記分布モデルを更新する。ここでは、第１観点と同様の効果を奏することができる。

本発明によれば、各注目画素に対し、１から複数の背景値を決定するための、１から複数の分布モデルを有する混合分布モデルが、更新されながら作成される。そして、混合分布モデルに含まれる分布モデルの作成時には、例えば、十分な数のフレームが得られていない初期段階において、注目画素の画素値だけでなく、その注目画素の周辺の画素の画素値も用いられる。別の例としては、混合分布モデルの更新時に、既存の分布モデルに分類することができない飛び値が現れた場合にも、注目画素の周辺の画素値を用いて、分布モデルを作成することが考えられる。そして、その後、別のフレームが得られると、その別のフレームにおける同じ注目画素の画素値を用いて、既存の分布モデルが更新される。すなわち、ここでは、分布モデルの新規作成時に、注目画素の画素値だけでなく、その周辺の画素の画素値が用いられる。言い換えると、１枚のフレーム内の注目画素を中心とする局所領域内で得られる画素値の分布と、注目画素における時間的な画素値の分布とが概ね等しいとの仮定の下、後者の分布が得られる前においては、これが注目画素の周辺の画素値で代用される。その結果、たとえノイズを多く含む動画であったとしても 、 そのようなノイズの影響（画素値のバラつき)を正しく評価することができる。従って、初期段階及び／又は背景画像の更新時において適切な背景値を設定し、高精度に動体の検出を行うことができる。

本発明の一実施形態に係る画像処理装置の構成を示すブロック図。 動体検出処理の実行前のメイン画面を示す図。 サイズ設定画面を示す図。 検索エリア設定画面を示す図。 検索エリア設定画面を示す別の図。 検索エリア設定画面を示すさらに別の図。 動体検出処理の流れをフローチャート。 動体検出処理の実行中のメイン画面を示す図。 動体検出処理の実行後のメイン画面を示す別の図。 ポップアップウィンドウが表示された状態のメイン画面を示す図。 背景作成処理を示すフローチャート。 混合分布モデルを説明するための概念図。

以下、図面を参照しつつ、本発明の一実施形態に係る画像処理プログラム及び画像処理装置について説明する。
＜１．画像処理装置のハードウェア構成＞
図１に示す画像処理装置１は、本発明に係る画像処理装置の一実施形態である。画像処理装置１は、ハードウェアとしては、汎用のパーソナルコンピュータである。画像処理装置１には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム２が、これを格納するＣＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータが読み取り可能な記録媒体６０等から提供され、インストールされている。画像処理プログラム２は、動画に対する画像処理を支援するためのアプリケーションソフトウェアであり、動画の中から動体を自動的に検出する機能を有している。画像処理プログラム２は、画像処理装置１に後述する動作に含まれるステップを実行させる。なお、ここでいう動画とは、ＭＥＰＧやＡＶＩ等の動画用のファイル形式で保存されているデータに限られず、静止画用のファイル形式で保存されている多数の静止画群であっても、画像処理装置１により時間軸に沿った配列が認識され得るデータセットをも含むものとする。このとき、静止画群の時間軸に沿った配列は、ファイル名や画像ファイルのヘッダに格納されている値に基づいて、認識され得る。また、本明細書において、「群」という場合には、その要素数は複数とは限らず、１つであってもよい。

画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０及び制御部４０を有する。これらの部１０〜４０は、互いにバス線やケーブル等５を介して接続されており、適宜、通信可能である。ディスプレイ１０は、液晶ディスプレイ等から構成され、後述する画面等をユーザに対し表示する。入力部２０は、マウス及びキーボート等から構成され、画像処理装置１に対するユーザからの操作を受け付ける。記憶部３０は、ハードディスク等から構成される不揮発性の記憶領域であり、画像処理プログラム２は、記憶部３０内に格納されている。制御部４０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等から構成される。

制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に表示制御部４１、パラメータ設定部４２、リサイズ部４３、同一性判断部４４、マスク設定部４５、背景作成部４６及び動体検出部４７として動作する。特に、背景作成部４６は、後述する動体検出処理が実行される際には、モデル導出部４６Ａ及び背景値導出部４６Ｂとして動作する。各部４１〜４７，４６Ａ，４６Ｂの動作については、後述する。

＜２．再生処理＞
制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、表示制御部４１は、図２に示すメイン画面Ｗ１をディスプレイ１０上に表示する。なお、画像処理プログラム２の命令によりディスプレイ１０上に表示される画面、ボタンその他の全ての要素の表示は、表示制御部４１により制御される。

メイン画面Ｗ１上には、再生エリアＴ１、再生ボタンＴ２、コマ送りボタンＴ３及びタイムラインバーＴ４が配置されている。表示制御部４１は、再生エリアＴ１内で、ユーザにより指定された動画を再生可能である。ユーザは、例えば、ディスプレイ１０上に表示されている動画ファイルのアイコン又は静止画ファイル群が保存されているフォルダのアイコンをメイン画面Ｗ１上にドラッグアンドドロップすることにより、再生の対象となる動画を指定することができる。このとき、再生エリアＴ１内に最初に表示されるフレームは、例えば、動画に含まれるフレーム群のうち、先頭のフレームである。

再生ボタンＴ２は、動画の再生の命令をユーザから受け付ける。表示制御部４１は、ユーザにより再生ボタンＴ２が押下されたことが検知されると、再生エリアＴ１内で、動画に含まれるフレーム群をタイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点で再生エリアＴ１内に表示されていたフレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。表示制御部４１は、再生中にユーザにより再生ボタンＴ２が押下されたことが検知されると、再生エリアＴ１内の表示を、その時点で表示されているフレームに固定する。

コマ送りボタンＴ３は、再生エリアＴ１内に表示されるフレームを、動画のタイムラインに沿って１つ後のフレームへ切り替える命令をユーザから受け付ける。

タイムラインバーＴ４は、動画のタイムラインを図式的に示すオブジェクトである。タイムラインバーＴ４は、そのバーが延びる方向に、動画に含まれるフレーム数で等分に分割されている。タイムラインバーＴ４上の左からｎ番目の分割領域は、動画のタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。

タイムラインバーＴ４は、動画に含まれる任意のフレームの選択をユーザから受け付ける。従って、ユーザが、タイムラインバーＴ４上で特定の分割領域をクリック等により選択すると、再生エリアＴ１内に表示されるフレームは、選択された分割領域に対応するフレームに直ちに切り替えられる。

＜３．動体検出処理＞
以下、動画に写る動体を自動的に検索する動体検出処理について説明する。この処理は、例えば、防犯カメラで撮影された膨大な量の監視映像の中から、被疑者や被疑車両等を探し出すのに利用することができる。動体検出処理による検索の結果は、表示制御部４１により、メイン画面Ｗ１上の検索結果エリアＴ５内に表示される（図９参照）。このとき、検索結果エリアＴ５内には、動画に含まれるフレーム群のうち、検索対象となる動体が検出されたフレームのサムネイル画像が一覧表示される。以下では、事前準備として、動体検出処理で用いられるパラメータを設定する作業の流れについて説明した後、動体検出処理の流れについて詳細に説明する。

＜３−１．パラメータの設定＞
動体検出処理で用いられるパラメータの１つは、検索対象となる動体の色を特定するパラメータ（以下、色パラメータＰ₁という）である。色パラメータＰ₁の設定は、メイン画面Ｗ１上の色設定プルダウンメニューＴ６を介して受け付けられ、本実施形態では、指定なし、赤、青、緑、黄色、白、黒の中から選択することができる。プルダウンメニューＴ６上で色パラメータＰ₁として特定の色が設定されると、後に検索結果エリアＴ５内では、動体検出処理により検出された動体のうち、ここで設定された色と類似する色を有する動体を写すフレームのみが表示されることになる。従って、色パラメータＰ₁の設定は、例えば、ユーザである警察等の捜査機関が赤色の被疑車両や黒い服を着た被疑者を探している場合等、検索対象となる動体の色が予め分かっている場合に利用することができる。一方、検索対象となる動体の色が予め分からない場合には、「指定なし」を選択する。パラメータ設定部４２は、色設定プルダウンメニューＴ６内で設定されている値を色パラメータＰ₁として認識する。

また、動体検出処理で用いられる別のパラメータは、検索対象となる動体のサイズ及び形状を特定するパラメータ（以下、それぞれをサイズパラメータＰ₂、形状パラメータＰ₃いう）である。サイズパラメータＰ₂及び形状パラメータＰ₃の設定は、図３に示すサイズ設定画面Ｗ２上で受け付けられる。サイズ設定画面Ｗ２は、メイン画面Ｗ１上の「大きさを指定する」と併記されたチェックボックスＴ７にチェックを入れた状態で、メイン画面Ｗ１上の検索ボタンＴ８を押下されたことが検知された時に表示される画面である。サイズ設定画面Ｗ２上には、再生エリアＴ１内で現在表示されているのと同じフレームを表示するフレームエリアＵ１が表示される。また、フレームエリアＵ１内では、ユーザがマウス操作により自在にサイズ、形状及び位置を変更することが可能な矩形の補助枠Ｕ２が表示される。ユーザは、この補助枠Ｕ２のサイズ及び形状を調整することで、サイズパラメータＰ₂及び形状パラメータＰ₃を設定することができる。

具体的には、パラメータ設定部４２は、補助枠Ｕ２で囲まれたエリアの面積をサイズパラメータＰ₂として認識し、同エリアのアスペクト比を形状パラメータＰ₃として認識する。つまり、ユーザは、検索対象の凡その大きさと、検索対象が横長であるか縦長であるかといった凡その形状を指定することができる。そして、補助枠Ｕ２の変形によりパラメータＰ₂，Ｐ₃として特定のサイズ及び形状が設定されると、後に検索結果エリアＴ５内では、動体検出処理により検出された動体のうち、ここで設定されたサイズ及び形状に近い動体のみが検出結果として表示されることになる。従って、パラメータＰ₂，Ｐ₃の設定は、検索対象となる動体の凡そのサイズ及び形状が予め分かっている場合に利用することができる。例えば、車両を検索しているのであれば、画面内での車両の凡そのサイズ及び形状は予想し得るから、これを設定することができる。一方、検索対象となる動体のサイズ及び形状が予め分からない場合には、メイン画面Ｗ１上でチェックボックスＴ７を外しておけばよい。なお、補助枠Ｕ２の位置は、パラメータＰ₂，Ｐ₃の設定に影響しない。しかしながら、補助枠Ｕ２をフレームエリアＵ１内の任意の位置に配置できることは、例えば、フレームエリアＵ１内に表示されている自動車や道路、人の像を基準に、検索対象となる被疑車両等のサイズや形状を適切に設定するのに役立つ。

ユーザによりサイズ設定画面Ｗ２上のＯＫボタンＵ３が押下されたことが検知されると、サイズ設定画面Ｗ２に代えて、図４に示す検索エリア設定画面Ｗ３が表示される。検索エリア設定画面Ｗ３は、動体検出処理で用いられるもう１つのパラメータである、動画の画面内での動体の検索範囲を特定するパラメータ（以下、エリアパラメータＰ₄いう）の設定を受け付ける画面である。なお、検索エリア設定画面Ｗ３は、メイン画面Ｗ１上のチェックボックスＴ７でチェックを外した状態で、メイン画面Ｗ１上の検索ボタンＴ８を押下されたことが検知された時にも、表示される。

検索エリア設定画面Ｗ３上には、サイズ設定画面Ｗ２上でと同じく、再生エリアＴ１内で現在表示されているのと同じフレームを表示するフレームエリアＵ４が表示される。また、フレームエリアＵ４内には、補助枠Ｕ２と同様の、ユーザがマウス操作により自在にサイズ、形状及び位置を変更することが可能な矩形の補助枠Ｕ５が表示される。ユーザは、この補助枠Ｕ５のサイズ、形状及び位置を調整することで、エリアパラメータＰ₄を設定することができる。具体的には、パラメータ設定部４２は、補助枠Ｕ５で囲まれたエリアをエリアパラメータＰ₄として認識する。検索エリア設定画面Ｗ３内で特定のエリアが設定されると、動体検出処理では、設定された特定のエリア内においてのみ、動体の存否が判断される。

なお、補助枠Ｕ５のデフォルト値は、図４に示すとおり、動画の画面全体である。従って、動画の画面内全体で動体の検出を行いたい場合には、補助枠Ｕ５の操作は不要である。また、検索エリア設定画面Ｗ３上では、追加ボタンＵ８等を利用して補助枠Ｕ５を複数個配置することができる。これにより、補助枠Ｕ５を重ねて複雑な形状の検索範囲を設定したり、不連続の検索範囲を設定したりすることが可能となる。また、検索エリア設定画面Ｗ３上の「設定エリアをマスク表示」と併記されたチェックボックスＵ６にチェックが入ると、図５に示すように、エリアパラメータＰ₄として設定されている検索範囲以外のマスク領域に半透明のマスクが表示される。この機能により、ユーザは、たとえ複雑な形状の検索範囲を指定したとしても、どこが検索範囲でどこが検索範囲外であるのかをすぐに確認することができる。また、防犯カメラの監視映像等には、図６に示すように、画面内の所定の位置に時間等の字幕情報が表示されることがある。そして、字幕情報は、動画内で時々刻々変化するため、これは動体を検出する上でのノイズとなり得る。従って、字幕情報が含まれる場合には、補助枠Ｕ５を用いてこの領域をマスクすることで、検索の精度を向上させることができる。

そして、制御部４０は、ユーザにより検索エリア設定画面Ｗ３上のＯＫボタンＵ７が押下されたことを検知すると、図７の動体検出処理を開始する。また、このとき、検索エリア設定画面Ｗ３は閉じられ、メイン画面Ｗ１に戻る。

＜３−２．動体検出処理の詳細＞
次に、図７を参照しつつ、動体検出処理の流れについて詳細に説明する。以下、処理の対象となる動画に含まれるフレームを、Ｆ₁，Ｆ₂，・・・，Ｆ_n（ｎは、フレームの枚数）と表す。

図７に示すとおり、動体検出処理に含まれるステップＳ１〜Ｓ１２は、フレームＦ₁，Ｆ₂，・・・，Ｆ_nに対し順に繰り返し実行される。まず、ステップＳ１において、制御部４０は、フレームＦ_iを処理するためのメモリ（仮想メモリを含む）を確保し、動画の中からフレームＦ_iを取得する。

続いて、リサイズ部４３が、フレームＦ_iの画像サイズを判断し、所定のサイズよりも大きければ、フレームＦ_iを縮小する（ステップＳ２）。本実施形態における所定のサイズとは、短辺のピクセル数であり、例えば、３６０である。サイズ縮小は、アスペクト比を維持するように行なわれる。サイズ縮小のアルゴリズムは、バイキュービック、ニアレストネイバー等、適宜選択することができる。なお、ステップＳ２での画像サイズの縮小により、以後の処理負荷が抑制されるとともに、後述する画像処理においてノイズの影響による誤判定も抑制される。フレームＦ_i内に写る微小変化の影響がキャンセルされるからである。以下では、特に断らない限り、縮小後のフレーム_iについても、フレーム_iと呼ぶ。

次に、同一性判断部４４が、フレームＦ_iがタイムライン上で１つ前のフレームＦ_i-1と同じ画像であるか否かを判断する。そして、同じであると判断された場合には、フレームＦ_iに対する以後の処理を省略し、タイムライン上で１つ後のフレームＦ_i+1に対する処理に移る（ステップＳ３）。具体的には、ステップＳ３では、同一性判断部４４は、各画素についてのフレームＦ_iの画素値とフレームＦ_i-1の画素値との差を算出し、これらの差の標準偏差を算出する。そして、この標準偏差が閾値以上であれば、異なる画像であると判断し、閾値よりも小さければ、同じ画像であると判断する。これにより、フレームＦ_i，Ｆ_i-1間にアナログノイズ等による微小な差があったとしても、これらを同じフレームと判断することができる。

次に、マスク設定部４５が、エリアパラメータＰ₄の値を参照し、必要に応じて、ユーザにより設定された検索範囲のみが残るように、フレームＦ_iからマスク領域を削除する（ステップＳ４）。なお、以下では、特に断らない限り、マスク領域の削除されたフレームＦ_iについても、フレームＦ_iと呼ぶ。

次に、ステップＳ５において、背景作成部４６が、フレームＦ_iの背景画像Ｇ_iを作成する背景作成処理を実行する。背景画像Ｇ_iも、ユーザにより設定された検索範囲内の画像である。背景画像Ｇ_iは、既に取得され、メモリ上に展開されているフレームＦ₁，Ｆ₂，・・・，Ｆ_i-1の画像値のデータに基づいて作成される。背景画像Ｇ_iを作成するためのアルゴリズムについては、後述する。

次に、動体検出部４７が、フレームＦ_iと背景画像Ｇ_iとの差分画像Ｈ_iを作成する（ステップＳ６）。差分画像Ｈ_iは、各画素について、フレームＦ_iの画素値と背景画像Ｇ_iの画素値との差をその画素の画素値とする画像である。

次に、動体検出部４７は、所定の閾値を用いて、差分画像Ｈ_iを二値化する。そして、動体検出部４７は、この二値化画像に対してラベリング処理を施すことで、フレームＦ_i上で動体の存在するエリア（以下、動体エリア）として、Ｌ個（Ｌ≧０）のエリアを検出する（ステップＳ７）。ただし、ここで検出される動体エリアは、最終的に動体エリアとして決定されるエリアの候補（以下、候補エリア）である。

続いて、動体検出部４７は、サイズパラメータＰ₂及び形状パラメータＰ₃の値を参照し、以上の候補エリアを絞り込む（ステップＳ８）。具体的には、動体検出部４７は、各候補エリアに対し、上下及び左右方向の４つの端点を基準として、候補エリアを囲む矩形状のエリアＡ１を設定する。そして、各候補エリアについて、エリアＡ１のサイズとサイズパラメータＰ₂の値との差が閾値よりも大きければ、当該エリアを候補エリアから落選させる。例えば、ｃ₁・Ｐ₂≦（エリアＡ１のサイズ）≦ｃ₂・Ｐ₂を満たさない場合には、落選となる（ｃ₁，ｃ₂は定数であり、例えば、ｃ₁＝０．６，ｃ₂＝１．２とすることができる）。同様に、各候補エリアについて、エリアＡ１のアスペクト比と形状パラメータＰ₃の値との差が閾値よりも大きければ、当該エリアを候補エリアから落選させる。例えば、ｃ₃・Ｐ₃≦（エリアＡ１のアスペクト比＝短辺サイズ／長辺サイズ）≦ｃ₄・Ｐ₃を満たさない場合には、落選となる（ｃ₃，ｃ₄は定数であり、例えば、ｃ₃＝０．６，ｃ₄＝１．２とすることができる）。さらに、各候補エリアについて、エリアＡ１において候補エリアの占める比率が小さすぎる場合にも、当該エリアを候補エリアから落選させる。なお、ステップＳ８において、ユーザにより設定されたパラメータＰ₂，Ｐ₃との比較により候補エリアを除外するのは、ユーザが探していない動体を写すフレームが検索結果として表示されるのを防止するためである。また、パラメータＰ₂，Ｐ₃が設定されていない場合には、以上の判断は省略される。

続いて、動体検出部４７は、動体の移動方向に着目して、ステップＳ８をクリアした候補エリアをさらに絞り込む（ステップＳ９）。具体的には、動体検出部４７は、１つ前のフレームＦ_i-1に対してステップＳ８が実行されたか、実行された場合にはステップＳ８の実行後において候補エリアが存在していたかを判断する。そして、フレームＦ_i-1においてそのような候補エリアが存在していた場合には、フレームＦ_i内の候補エリアが、フレームＦ_i-1におけるそのような候補エリアと同じ物体の像であるか否かを、総当たりで判断する。なお、ステップＳ９において、隣接フレームＦ_i，Ｆ_i-1間で候補エリアに写る物体の同一性のチェックを行うのは、同じ動体の像が検索結果として何枚も表示されるのを防止するためである。

ステップＳ９では、フレームＦ_i内の特定の候補エリアとフレームＦ_i-1内の特定の候補エリアとが同じ物体の像であるか否かを判断するために、フレームＦ_i内の特定の候補エリアのオプティカルフローが算出される。また、フレームＦ_i内の特定の候補エリアとフレームＦ_i-1内の特定の候補エリアの重心間の移動方向も算出される。そして、動体検出部４７は、このオプティカルフローに含まれる全ての動きベクトルのベクトル平均と、この重心間の移動方向とが一致するか否かを判断し、一致していれば、これら２つの候補エリアを同じ動体の像であると判断する。一方、これらの方向が一致していなければ、比較されたこれら２つの候補エリアを異なる物体の像であると判断する。なお、ここでは、両ベクトルが完全に一致していなくても、一定程度類似していれば、一致しているものと判断される。動体検出部４７は、フレームＦ_i内の候補エリアが、フレームＦ_i-1内のいずれかの候補エリアと同じ物体の像であると判断された場合には、当該エリアを候補エリアから落選させる。そして、ステップＳ９をクリアした候補エリアが、フレームＦ_i内における最終的な動体エリアとして決定される。

また、本実施形態では、以上のオプティカルフローの算出に当たり、ブロック単位でのテンプレートマッチングが行われる。具体的には、動体検出部４７は、フレームＦ_i内の特定の候補エリアをブロック単位に分割する。そして、フレームＦ_i-1内の特定の候補エリアを含む周辺領域内で、各ブロックの像を正規化相互相関によるテンプレートマッチングにより探索する。そして、互いにマッチしたブロックとブロックを結ぶことにより、動きベクトルが算出される。

次に、ステップＳ１０において、動体検出部４７は、ステップＳ９をクリアした動体エリアの数を判断し、１以上であれば、ステップＳ１１に進み、０であれば、ステップＳ１１，Ｓ１２をスキップして、処理の対象が次のフレームＦ_i+1に移る。検索対象となる動体が検出されなかったフレームＦ_iは、ステップＳ１２において検索結果として表示される必要がないからである。

次に、ステップＳ１１において、動体検出部４７は、ステップＳ９をクリアした各動体エリアに対し、代表色を判断する。代表色とは、例えば、各動体エリア内の全画素における彩度や濃度等の値を適宜組み合わせることで表現される。続いて、動体検出部４７は、色パラメータＰ₁の値と各動体エリアの代表色との色空間内での距離を算出する。そして、この距離が閾値よりも小さいか否かを判断し、小さいと判断される代表色が１つでも存在する場合には、ステップＳ１２に進む。一方、小さいと判断される代表色が１つも存在しない場合には、ステップＳ１２をスキップして、処理の対象が次のフレームＦ_i+1に移る。ユーザが探していない動体を写すフレームが、ステップＳ１２において検索結果として表示されるのを防止するためである。なお、パラメータＰ₁の値は、ステップＳ１１の開始直後に参照され、この値が「指定なし」の場合には、以上の判断は省略される。

ステップＳ１２では、表示制御部４１が、メイン画面Ｗ１上の検索結果エリアＴ５内に、フレームＦ_iのサムネイル画像を表示する（図８参照）。なお、このときのフレームＦ_iとは、ユーザにより設定された検索範囲だけでなく、フレームＦ_i全体である。そして、ｉ＝１，２，・・・，ｎに対する以上のステップＳ１〜Ｓ１２が終了すると、動体検出処理が終了する。

なお、図８には、動体検出処理の実行中のメイン画面Ｗ１が示されているが、最終的に多数のフレームが検出されると、図９に示すように、検索結果エリアＴ５内の横にスクロールバーＴ９が表示される。従って、ユーザは、どれだけ多くのフレームが検出されようとも、全ての検索結果を確認することができる。また、色設定プルダウンメニューＴ６は、動体検出処理の実行後においても有効化されている。そして、ユーザによりこの設定値が変更されると、検索結果エリアＴ５内のサムネイル画像の表示は、変更後の設定色に合わせて更新される。なお、ステップＳ１１で計算された代表色の情報は、動体検出処理の終了後も消去されることはなく、各動体エリアに関連付けて記憶されている。従って、表示制御部４１は、動体検出処理の実行後に設定色が変更されたとしても、この情報を利用して、検索結果エリアＴ５内の表示を瞬時に切り替えることができる。

また、検索結果エリアＴ５内の各サムネイル画像は、選択を受け付けている。具体的には、ユーザがマウスカーソルを特定のサムネイル画像上に重ねている間は、そのサムネイル画像の拡大画像を表示するポップアップウィンドウＷ４が、検索結果エリアＴ５の近傍に表示される（図１０参照）。従って、ユーザは、まず、サイズは小さいが同時に多数表示されるサムネイル画像の一覧を確認して、重要そうなフレームを迅速に探すことができる。そして、そのときに、もう少し詳細に確認したいと思うサムネイル画像が発見された場合には、そのサムネイル画像にマウスを重ねるだけの簡単操作で、その拡大画像を確認することができる。さらに、ユーザは、ポップアップウィンドウＷ４内の拡大画像でも十分でないと思えば、サムネイル画像をクリックすることができる。このとき、クリック選択されたサムネイル画像の元画像が、ポップアップウィンドウＷ４よりも更に大きな再生エリアＴ１内に表示される。よって、ユーザは、動体の検索結果を手際よく詳細に検討することができる。

＜３−３．背景作成処理＞
以下、図１１を参照しつつ、上述のステップＳ５における背景作成処理について説明する。背景作成処理は、フレームＦ_iの背景画像Ｇ_iを作成する処理であり、ここでは、各画素に対し、１から最大でＭ個（Ｍは、２以上の整数であり、本実施形態では、Ｍ＝７）の背景の画素値（以下、背景値）が導出される。以下、フレームＦ_i内で現在選択されている座標（ｘ，ｙ）の画素を画素Ｃ_x,yと呼び、その画素値をＤ_x,yと表す。ただし、ｘ＝１，２，・・・，Ｘ，ｙ＝１，２，・・・，Ｙであり、Ｘは、フレームＦ_iの横のピクセル数であり、Ｙは、フレームＦ_iの縦のピクセル数である。

まず、背景作成処理の概要について説明しておくと、この処理では、各画素Ｃ_x,yに対し、混合分布モデルＥが作成され、この混合分布モデルＥに従って、１から最大でＭ個の背景値が設定される。混合分布モデルとは、状況に応じて１から最大でＭ個の分布モデルｅ_jを合成した確率分布モデルであり、図１２には、３つの分布モデルからなる場合の混合分布モデルＥを図示している。分布モデルｅ_jは、平均をμ_jとし、分散をσ² _jとする正規分布である。

図１１に示すとおり、以下のステップＳ２１〜Ｓ２６は、フレームＦ_i内に含まれる各画素に対して繰り返し実行される。まず、ステップＳ２１では、背景作成部４６は、エリアパラメータＰ₄の値を参照し、現在選択されている座標（ｘ，ｙ）がユーザにより設定された検索範囲内の点であるか否かを判断する。そして、座標（ｘ，ｙ）が検索範囲内にあると判断される場合には、ステップＳ２２に進み、そうでない場合には、座標（ｘ，ｙ）に対する以後の処理を省略し、次の座標（ｘ＋１，ｙ）又は（ｘ，ｙ＋１）に対する処理に移る。ユーザにより設定された検索範囲外で、無駄に背景画像Ｇ_iを作成するのを防止するためである。

ステップＳ２２では、モデル導出部４６Ａが、現在の画素値Ｄ_x,yが既存の分布モデルｅ_jのいずれかに含まれるか否かを判断する。具体的には、既存の各分布モデルｅ_jに対し、画素値Ｄ_x,yがその分布モデルｅ_jにおいて現れる確率が閾値以上となるか否かを判断する。そして、画素値Ｄ_x,yが現れる確率が閾値以上となる分布モデルｅ_jが存在すると判断される場合には、画素値Ｄ_x,yをその分布モデルｅ_jに含まれるものと判断し、ステップＳ２４に進む。一方、そのような分布モデルｅ_jが存在しないと判断される場合には、ステップＳ２３に進む。なお、動体検出処理の開始後、最初にステップＳ２２が実行されるときには、分布モデルｅ_jは１つも存在しておらず、言い換えると、混合分布モデルＥが存在していない。従って、最初のステップＳ２２の後は必ず、処理はステップＳ２３に進むことになる。

ステップＳ２３では、モデル導出部４６Ａが、分布モデルｅ_jを新規作成する。具体的には、フレームＦ_iにおける画素Ｃ_x,yを含む局所領域（本実施形態では、画素Ｃ_x,yを中心とする７×７の領域）内の全ての画素の画素値の分布が、新たな分布モデルｅ_jとされる。すなわち、画素値Ｄ_x,yとその周辺の画素値とを用いて、新たな分布モデルｅ_jの平均μ_j及び分散σ² _jが導出される。ただし、平均μ_jについては、画素Ｃ_x,yの画素値Ｄ_x,yをそのまま用いてもよい。

一方、ステップＳ２４では、モデル導出部４６Ａは、直前のステップＳ２２で画素値Ｄ_x,yが含まれると判断された既存の分布モデルｅ_jを更新する。具体的には、画素値Ｄ_x,yを用いて、その既存の分布モデルｅ_jの平均μ_j及び分散σ² _jを更新する。更新後のμ_j，σ² _jをそれぞれμ_j’，σ² _j’ としたとき、μ_j’，σ² _j’は、以下の式で表される。
μ_j’＝μ_j・ｗ₁＋Ｄ_x,y・（１−ｗ₁）
σ² _j’＝σ² _j・ｗ₂＋（Ｄ_x,y−μ_j）²・（１−ｗ₂）
ただし、０＜ｗ₁＜１、かつ、０＜ｗ₂＜１である。

ステップＳ２３及びステップＳ２４が終了すると、処理はステップＳ２５に進む。ステップＳ２５では、背景値導出部４６Ｂが、現在の混合分布モデルＥから画素Ｃ_x,yの背景値を導出する。具体的には、現在の混合分布モデルＥに含まれている分布モデルｅ_jの平均値μ_j±αの領域が、画素Ｃ_x,yの背景値Ｂ_jとして設定される（図１２参照）。αは分散σ² _jに応じて決定される値である。このように、各背景値Ｂ_jは、一定の範囲を有している。なお、本実施形態では、背景値Ｂ_jは、１から最大でＭ個の分布モデルｅ_jの全てに対しそれぞれ算出される。しかしながら、最大でＭ個の分布モデルｅ_jの一部に対してのみ、背景値Ｂ_jを作成するようにしてもよい。ただし、草木の揺れや空の雲の動きなど、複数の背景を評価できるようにする観点からは、最大で複数個の背景値Ｂ_jを作成できるようにしておくことが重要である。

続くステップＳ２６では、モデル導出部４６Ａが、混合分布モデルＥに含まれる分布モデルｅ_jが所定の条件を満たすか否かを判断し、所定の条件を満たすと判断される場合には、その分布モデルｅ_jを消滅させる。これは、分布モデルｅ_jの数を最大Ｍ個までにするために必要な処理である。具体的には、混合分布モデルＥを正規化し（面積を１にする）、このとき一定のサイズ以下の面積となる分布モデルｅ_jを消滅させる。ただし、分布モデルｅ_jが新規作成直後に消滅させられてしまうことを防ぐため、新規作成されてから一定の期間が過ぎるまでは、ここでの判断に用いられる面積の値に一定の係数が掛けられて、底上げされる。そして、フレームＦ_i内の全ての画素Ｃ_x,yに対する以上のステップＳ２１〜Ｓ２６が終了すると、全ての画素Ｃ_x,yに対し１又は複数個の背景値が決定されたことになり（ただし、マスク領域内の画素Ｃ_x,yは除かれる）、背景作成処理が終了する。

＜４．特徴＞
上記実施形態では、各注目画素に対し、１から複数の背景値Ｂ_jを決定するための、１から複数の分布モデルｅ_jを有する混合分布モデルＥが、時々刻々、更新されてゆく。そして、十分な数のフレームが得られていない初期段階においては、注目画素Ｃ_x,yの画素値だけでなく、その注目画素Ｃ_x,yの周辺の画素の画素値も用いられる。さらに、上記実施形態では、混合分布モデルＥの更新時に、既存の分布モデルｅ_jに分類することができない飛び値が現れた場合にも、注目画素Ｃ_x,yの周辺の画素値を用いて、分布モデルｅ_jが作成される。そして、その後、別のフレームが得られると、その別のフレームにおける同じ注目画素の画素値を用いて、既存の分布モデルｅ_jが更新される。すなわち、ここでは、分布モデルｅ_jの新規作成時に、注目画素Ｃ_x,yの画素値だけでなく、その周辺の画素の画素値が用いられる。言い換えると、１枚のフレーム内の注目画素Ｃ_x,yを中心とする局所領域内で得られる画素値の分布と、注目画素Ｃ_x,yにおける時間的な画素値の分布とが概ね等しいとの仮定の下、後者の分布が得られる前においては、これが注目画素Ｃ_x,yの周辺の画素値で代用される。その結果、たとえノイズを多く含む動画であったとしても、そのようなノイズの影響を正しく評価することができる。従って、初期段階及び／又は背景画像Ｇ_iの更新時において適切な背景値Ｂ_jを設定し、高精度に動体の検出を行うことができる。

＜５．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。また、以下の変形例の要旨は、適宜組み合わせることができる。

＜５−１＞
上記実施形態では、所定の選択肢の中から色パラメータＰ₁が選択されたが、例えば、画面上に色パレットを容易しておくなどして、任意の色を指定できるようにしてもよい。また、単色だけではなく、複数の色を指定できるようにしてもよく、この場合、例えば、赤の車両と白の車両の両方を検出することができる。

＜５−２＞
オプティカルフローの算出の方法は、上述したものに限られず、公知の技術で適宜代用することができる。

＜５−３＞
上記実施形態では、分布モデルｅ_jの新規作成時においてのみ、注目画素Ｃ_x,yを含む周辺領域内の画素値が利用された。しかしながら、分布モデルｅ_jが新規作成されてからその分布モデルｅ_jに含まれる画素値が一定量を超えるまでは、当該モデルの更新時にも、周辺領域内の画素値を利用してもよい。

＜５−４＞
上記実施形態では、ステップＳ１１において、各動体エリアに対し代表色を決定しているが、フレーム毎に代表色を決定してもよい。すなわち、１枚のフレームに複数の動体エリアが存在する場合においては、そのような複数の動体エリアを代表する色をフレームの代表色として設定してもよい。

＜５−５＞
上記実施形態では、背景画像Ｇ_iが各フレームＦ_iに対し算出されたが、何枚か（例えば、１０枚）のフレームが得られる度に更新されるようにしてもよい。

＜５−６＞
上記実施形態では、検索対象となる物体のサイズ及び形状の両方を検索条件として設定可能としたが、サイズだけ又は形状だけを設定可能としてもよい。また、サイズや形状の指定の仕方は上述したものに限られない。例えば、矩形の補助枠Ｕ２に代えて、任意の形状の補助枠で検索対象の形状を指定できるようにしてもよい。

１ 画像処理装置（コンピュータ）
２ 画像処理プログラム
４６ 背景作成部
４６Ａ モデル導出部
４６Ｂ 背景値導出部
４７ 動体検出部

Claims (9)

1. 動画の中から動体を検出するための画像処理プログラムであって、
   前記動画の背景画像を経時的に更新しながら作成するステップと、
   前記背景画像に基づいて、前記動画の中から前記動体を経時的に検出するステップと
   をコンピュータに実行させ、
   前記背景画像を作成するステップは、各注目画素に対し、
   状況に応じて１から複数の分布モデルを有する混合分布モデルを導出するステップと、
   前記混合分布モデルに基づいて、前記１から複数の分布モデルに対応する１から複数の背景の画素値を導出するステップと
   を含み、
   前記混合分布モデルを導出するステップは、
   前記動画に含まれる第１フレームにおける前記注目画素を含む局所領域内の複数の画素の画素値から、前記分布モデルを新規作成するステップと、
   前記動画に含まれる前記第１フレームと異なる第２フレームにおける前記注目画素の画素値から、既存の前記分布モデルを更新するステップと
   を含む、
   画像処理プログラム。
2. 前記分布モデルを新規作成するステップでは、前記混合分布モデルが存在しない場合に、前記分布モデルが新規作成される、
   請求項１に記載の画像処理プログラム。
3. 前記分布モデルを新規作成するステップでは、前記第１フレームにおける前記注目画素の画素値が既存の前記分布モデルのいずれにも含まれない場合に、前記分布モデルが新規作成される、
   請求項１又は２に記載の画像処理プログラム。
4. 前記検出された動体の写るフレームを表示するステップ
   をさらにコンピュータに実行させる、
   請求項１から３のいずれかに記載の画像処理プログラム。
5. 前記表示するステップでは、前記動画に含まれる互いに近接したフレームの両方に前記動体が存在すると検出された場合に、前記両動体間のオプティカルフローの方向と、前記両動体間での重心の移動方向とが一致する場合、前記両動体の一方は、表示対象とされない、
   請求項４に記載の画像処理プログラム。
6. 前記動体の色の設定を受け付けるステップ
   をさらにコンピュータに実行させ、
   前記表示するステップでは、前記設定された色と非類似の色を有する前記動体は、表示対象とされない、
   請求項４又は５に記載の画像処理プログラム。
7. 前記動体のサイズ及び／又は形状の設定を受け付けるステップ
   をさらにコンピュータに実行させ、
   前記表示するステップでは、前記設定されたサイズ及び／又は形状と非類似のサイズ及び／又は形状を有する前記動体は、表示対象とされない、
   請求項４から６のいずれかに記載の画像処理プログラム。
8. 前記動画において同じフレームが連続して出現するか否かを判断するステップ、
   をさらにコンピュータに実行させ、
   前記動画において同じフレームが連続して出現すると判断される場合、前記連続する同じフレームの一部のフレームに対しては、前記背景画像を作成するステップ及び前記動体を検出するステップが省略される、
   請求項１から７のいずれかに記載の画像処理プログラム。
9. 動画の中から動体を検出するための画像処理装置であって、
   前記動画の背景画像を経時的に更新しながら作成する背景作成部と、
   前記背景画像に基づいて、前記動画の中から前記動体を経時的に検出する動体検出部と
   を備え、
   前記背景作成部は、各注目画素に対し、
   状況に応じて１から複数の分布モデルを有する混合分布モデルを導出するモデル導出部と、
   前記混合分布モデルに基づいて、前記１から複数の分布モデルに対応する１から複数の背景の画素値を導出する背景値導出部と
   を含み、
   前記モデル導出部は、
   前記動画に含まれる第１フレームにおける前記注目画素を含む局所領域内の複数の画素の画素値から、前記分布モデルを新規作成し、
   前記動画に含まれる前記第１フレームと異なる第２フレームにおける前記注目画素の画素値から、既存の前記分布モデルを更新する、
   画像処理装置。