JP6041515B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、物体検出技術に関するものである。

カメラで撮影した画像から物体を検知する技術として、背景差分法が開示されている。背景差分法は、予め、固定したカメラを用いて被写体がいない背景の画像を撮影し、その特徴量を背景モデルとして記憶する。その後、カメラから入力された画像中の特徴量と背景モデル中の特徴量との差分を求め、異なる領域を前景（物体）として検知する。

ここで、新たに出現した静止物体、例えば、鞄、花瓶について考える。鞄のような物体は、人物によって置き去りにされた可能性があるので、しばらくの間は検知したい対象である。しかし、長時間置かれている物体(花瓶など)は背景の一部とみなせるために、むしろ背景の一部として扱いたいものである。

そこで、特許文献１では、画像特徴量の差分だけでなく、画像特徴量が映像中にどのくらいの時間継続して存在していたかという、継続時間に対する条件を前景背景判定の条件として利用し、物体を検知している。これを可能とするために、背景モデルに背景のみならず、検知された物体の特徴量も保持できるようにしている。例えば、赤い鞄が置かれると、赤い特徴量が追加される。赤い鞄がそのまま置き去りにされると、赤い特徴量が常に映像中の同じ位置に継続して存在していると考えられるので、継続時間は長くなる。従って、継続時間に応じて前景か背景かを判定することにより、所望の時間が経過するまでは物体として検知し、その後は背景として扱うことが可能となる。

一方で、例えば、室内において照明が消されると、フレーム画像全体が一様に暗くなるため、大きな画像特徴量の差分が生じ、画面全体が物体として誤検知される。このような場合には、特許文献１の方法では、所定の時間が経過するまでは画面全体が物体として扱われることになる。従って、画面の中に真の物体（人物）などがこの間に出現しても、その領域を正しく検知することができない。

このような照明の点灯・消灯や、カメラの向きの変化などにより生じる、短時間の画面全体に渡る映像変化（シーンチェンジ）による誤検知を避ける方法が開示されている。特許文献２では、照明が点灯しているシーンと消灯しているシーンのそれぞれについて、予め背景モデルを作成する。そして、物体領域が画面に占める割合が大きいときは、現在使用している背景モデルが適切でないと判断し、他の背景モデルに切り替える。このような仕組みで、照明点灯時と消灯時に作成した背景モデルを使い分けることにより、全面の誤検知を避けることが可能となっている。

また、特許文献３では、物体領域が画面に占める割合が大きい時に、現在の背景モデルを入力画像と入れ替える。即ち、背景モデルを再作成することによって、全面の誤検知を避けることが可能となっている。

米国特許出願公開第２００９／０２９００２０号明細書 米国特許出願公開第２００６／００４５３３５号明細書 特開２０００−３２４４７７号公報

しかしながら、特許文献２の方法では、次のような場合に不具合が生じる。例えば、照明点灯中に花瓶が置かれるなど、背景に変化が生じた場合、照明消灯時に生成された背景モデルに対して、この変化が反映されることがないために、差分が生じる。即ち、次に照明が消灯された時点で、花瓶がない状態での背景モデルと、花瓶が存在する入力画像を比較することになるため、一旦背景になっていた花瓶が改めて検知されてしまう。従って、このような場合は、置き去り物の正しい検知を行うことができなくなる。

また、特許文献３の方法では、次のような場合に不具合が生じる。例えば、照明が点灯中に鞄が置かれ、一旦、照明が消灯され、再び照明が点灯されると、背景モデルは照明の点灯・消灯の度に入れ変えられることになる。従って、照明が消灯される前に検知されていた鞄は、再び照明が点灯された時点で、背景となってしまい、物体として検知することができなくなる。即ち、照明が一時的に消灯されることにより、置き去り物の検知が出来なくなってしまう。

このように、従来の技術では、シーンチェンジによる誤検知を避けること、静止物体の一時的な検知（置き去り物の検知）を行うこと、の両方を実現させることができなかった。

本発明はこのような問題に鑑みてなされたものであり、照明の点灯・消灯などによるシーンチェンジが生じた場合であっても全面の誤検知状態を避けること、静止物体を一時的に検知してその後、背景として扱うこと、を可能にするための技術を提供する。

本発明の目的を達成するために、例えば、本発明の画像処理装置は、入力映像と背景モデルとを比較する比較手段と、
前記比較手段による比較結果に基づいて、前記入力映像中で前記背景モデルと相違する差分領域が継続している継続時間を計時する計時手段と、
前記継続時間が閾値未満の前記差分領域を前景と判定する判定手段と、
前記比較手段による比較結果に基づいて、前記入力映像のシーン変化を検知する検知手段と、
前記検知手段によりシーン変化を検知した場合、前記閾値を現在の値より小さな値に変更してから漸次増加させ、該変更の後に前記検知手段が前記背景モデルに類似したシーンへの変化を検知した場合は、前記閾値を該変更の前の値に変更する変更手段と
を備えることを特徴とする。

本発明の構成によれば、照明の点灯・消灯などによるシーンチェンジが生じた場合であっても全面の誤検知状態を避けること、静止物体を一時的に検知してその後、背景として扱うこと、ができる。

コンピュータの構成例を示すブロック図。 画像処理装置の機能構成例を示すブロック図。 画像処理装置が行う処理のフローチャート。 ステップＳ３０２における処理の詳細を示すフローチャート。 背景モデルの構成例を示す図。 ステップＳ３０３における処理のフローチャート。 比較結果情報の構成例を示す図。 ステップＳ３０４における処理の詳細を示すフローチャート。 前景背景情報の構成例を示す図。 ステップＳ３０５、Ｓ３０６における処理の詳細を示すフローチャート。 継続時間のグラフ。 継続時間のグラフ。 フレーム画像の一例を示す図。 継続時間のグラフ。 フレーム画像の一例を示す図。 継続時間のグラフ。 継続時間のグラフ。 ステップＳ３０７における処理の詳細を示すフローチャート。 物体領域情報の構成例を示す図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、本実施形態に係る画像処理装置の機能構成例について、図２のブロック図を用いて説明する。なお、本実施形態では、図２に示した機能構成を示す画像処理装置を用いるが、以下に説明する各処理を実現可能な構成であれば、図２に示した構成は適宜変形若しくは変更可能であり、本実施形態に適用可能な構成は、図２に示した構成に限るものではない。

映像入力部２０１は、各フレームの画像をフレーム画像として入力し、該入力したフレーム画像を後段の特徴量抽出部２０２に送出する。フレーム画像の取得元については特定の取得元に限るものではなく、適当なメモリに格納されている動画像から順次各フレームのフレーム画像を読み出しても良いし、動画像を撮像可能な撮像装置から順次送出される各フレームのフレーム画像を取得しても良い。特徴量抽出部２０２は、映像入力部２０１から受けたフレーム画像を構成する各矩形領域について、該矩形領域の画像特徴量を取得する。

比較部２０３は、特徴量抽出部２０２が矩形領域ごとに取得した画像特徴量と、背景モデル記憶部２０４に格納されている背景モデルと、を比較する。背景モデル記憶部２０４は、フレーム画像中の各矩形領域の状態を画像特徴量で代表させた背景モデルを保持している。

背景モデル更新部２０５は、比較部２０３による比較の結果に応じて、背景モデル記憶部２０４内の背景モデルを更新する処理を行う。前景背景判定部２０６は、比較部２０３による比較の結果に応じて、フレーム画像中の各矩形領域が、前景を構成する矩形領域である前景矩形領域か、それとも背景を構成する矩形領域である背景矩形領域か、を判定する。

シーンチェンジ検知部２０７は、シーンチェンジの有無を検知する。背景化時間閾値変更部２０８は、シーンチェンジ検知部２０７による検知結果に応じて、前景背景判定部２０６が上記の判定を行うために用いる閾値の制御を行う。物体領域出力部２０９は、フレーム画像中に写っている物体の領域を示す領域情報と、該物体が写っている期間長と、を含む物体領域情報を出力する。

次に、本実施形態に係る画像処理装置が行う処理について、同処理のフローチャートを示す図３を用いて説明する。ステップＳ３０１では、映像入力部２０１は、１フレーム分のフレーム画像ｆを取得し、該取得したフレーム画像ｆを後段の特徴量抽出部２０２に対して送出する。

ステップＳ３０２では、特徴量抽出部２０２は、映像入力部２０１から受けたフレーム画像ｆを構成する各矩形領域の画像特徴量を取得する。そして比較部２０３は、特徴量抽出部２０２が矩形領域ごとに取得した画像特徴量と、背景モデル記憶部２０４に格納されている背景モデルと、を比較する。ステップＳ３０２における処理の詳細について、図４のフローチャートを用いて説明する。

ステップＳ４０１では、特徴量抽出部２０２は、映像入力部２０１から受けたフレーム画像ｆ中の矩形領域の画像特徴量を取得する。ステップＳ４０１における処理を最初に行う場合は、フレーム画像ｆにおいて左上隅の位置にある矩形領域の画像特徴量を取得し、２回目のステップＳ４０１では、１つ右隣の矩形領域の画像特徴量を取得する。このように、フレーム画像ｆを構成する各矩形領域を左上隅から右下隅までラスタースキャン順に参照し、参照した矩形領域の画像特徴量を取得する。なお、参照する順はラスタースキャン順以外の順でも良い。

本実施形態では、矩形領域を１画素分の矩形領域とし、画像特徴量を画素値（輝度値）とする。然るに本実施形態では、ステップＳ４０１では、フレーム画像ｆ中の画素位置（ｘ、ｙ）における画素の画素値を取得することになる（０≦ｘ≦フレーム画像ｆのｘ方向の画素数−１、０≦ｙ≦フレーム画像ｆのｙ方向の画素数−１）。

ステップＳ４０１における処理を最初に行う場合は、フレーム画像ｆにおいて左上隅の画素位置（０，０）にある画素の画素値を取得し、２回目のステップＳ４０１では、１つ右隣の画素位置（ｘ＋１，ｙ）の画素の画素値を取得する。このように、フレーム画像ｆを構成する各画素を左上隅から右下隅までラスタースキャン順に参照し、参照した画素の画素値を取得する。上記の通り、参照する順はラスタースキャン順以外の順でも良い。

なお、矩形領域が複数画素（例えば８画素×８画素）から成る矩形画素ブロックである場合、画像特徴量は、この矩形画素ブロックに含まれる画素の画素値の平均値であっても良い。また、画像特徴量には、ＤＣＴ係数を用いても良い。ＤＣＴ係数とは、画像を離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）した結果である。然るに、フレーム画像がＪＰＥＧ形式で圧縮符号化されている場合は、既に画像圧縮時に特徴量が抽出されていることになる。従ってこの場合は、ＪＰＥＧ形式のフレーム画像よりＤＣＴ係数を直接取り出し、これを画像特徴量として使用するようにしてもよい。本実施形態では、フレーム画像の左上墨の画素位置を開始点とし、以降、左から右へ、行ごとに下へ（ラスタスキャン順に）移動しながら以降の処理を行うものとする。ステップＳ４０２では、比較部２０３は、背景モデル記憶部２０４内に格納されている背景モデルから、画素位置（ｘ、ｙ）に対応する背景モデル情報を読み出す。

ここで、背景モデルの構成例について、図５を用いて説明する。図５に示す如く、背景モデルは、背景モデル管理情報と、背景モデル情報と、を含む。背景モデル管理情報は、フレーム画像中の各画素位置（座標）に対して、該画素位置に対応する背景モデル情報へのポインタが登録されたテーブル情報である。なお、矩形領域を矩形画素ブロックとした場合、背景モデル管理情報は、フレーム画像中の各矩形画素ブロックに対して、該矩形画素ブロックに対応する背景モデル情報へのポインタが登録されたテーブル情報となる。

背景モデル情報は、状態番号、画像特徴量、作成時刻、の各情報を含む。

状態番号とは、１画素に対して登録されるそれぞれの画像特徴量（本実施形態では画素値）を識別するためのもので、同一の画像特徴量には同じ状態番号が発行され、異なる画像特徴量には異なる状態番号が発行される。例えば、青い壁の前に赤い車が走ってきて静止すると、赤い車が静止した領域に含まれる画素については、青い特徴量の状態と、赤い特徴量の二つの状態が保持されることになる。

図５では、最初に発行される状態番号は「１」としている。そのため、画素位置（０，０）について最初に登録された画像特徴量「１００」に対しては状態番号「１」が発行されている。また、該画像特徴量「１００」の取得もとのフレーム画像のフレーム番号（作成時刻）は「０」となっている。そして、状態番号「１」、画像特徴量「１００」、作成時刻「０」はセットになって１２００番地に格納されている。なお、作成時刻については、背景モデルにこれらの情報（若しくは画像特徴量）を登録した時刻であっても良い。

そして、図５の場合、画素位置（０，０）に対しては番地１２００へのポインタが対応づけられており、画素位置（１，０）に対しては番地１２０２へのポインタが対応づけられている。然るに、この場合、画素位置（０，０）に対しては番地１２００及び番地１２０１に登録されている背景モデル情報が対応づけられていることになる。即ち、１つの画素位置に対応する背景モデル情報は、連続した番地に登録することが好ましい。

よって、ステップＳ４０２では、次のような処理を行うことになる。即ち、背景モデル管理情報において、画素位置（ｘ、ｙ）に対応するポインタが示す番地から、画素位置（ｘ、ｙ）の１つ下の段に登録されている画素位置に対応するポインタが示す番地から１を引いた番地、までの各番地に対応する背景モデル情報を読み出す。

なお、「画素位置（ｘ、ｙ）の１つ下の段に登録されている画素位置」とは、図５の背景モデルの構成に限った表現であり、以下ではこの表現を用いる。しかし、画素位置Ａ１，Ａ２，Ａ３，…の順に該画素位置に対応するポインタを管理している場合、「画素位置Ａ１の１つ下の段に登録されている画素位置」は、画素位置Ａ２に相当するので、この表現は、画素位置の管理順に応じて解釈すればよい。

ステップＳ４０３では、比較部２０３は、ステップＳ４０２で読み出した背景モデル情報のうち１つを選択背景モデル情報として選択する。そして比較部２０３は、この選択背景モデル情報中の画素値を取得する。

ステップＳ４０４では、比較部２０３は、ステップＳ４０１で取得した画素値と、ステップＳ４０３で取得した画素値と、の差分を求める。差分を求める方法については様々な方法が考えられ、特定の方法を使用することに限るものではない。例えば、単にそれぞれの画素値の差の絶対値を差分として求めても良いし。それぞれの画素値の差の二乗を差分として求めても良い。そして比較部２０３は、この求めた差分を、ステップＳ４０３で選択した選択背景モデル情報と、関連づけて一時的に保持する。

ステップＳ４０５では、比較部２０３は、ステップＳ４０２で読み出した背景モデル情報の全てを選択背景モデル情報として選択したか否かを判断する。この判断の結果、全てを選択した場合は、処理はステップＳ４０７に進み、まだ選択していない背景モデル情報が残っている場合は、処理はステップＳ４０６に進む。

ステップＳ４０６では、比較部２０３は、まだ選択していない背景モデル情報のうち１つを選択背景モデル情報として選択し、処理はステップＳ４０４に進む。ステップＳ４０７では、比較部２０３は、ステップＳ４０４で求めた差分のうち最小の差分を特定する。

ステップＳ４０８では、比較部２０３は、ステップＳ４０７で特定した最小の差分と、予め設定されている閾値Ａとの大小比較を行う。この大小比較の結果、ステップＳ４０７で特定した最小の差分が閾値Ａよりも小さい場合は、処理はステップＳ４１１に進み、ステップＳ４０７で特定した最小の差分が閾値Ａ以上である場合は、処理はステップＳ４０９に進む。

ステップＳ４０９では、比較部２０３は、状態番号０を発行する。なお、発行する状態番号は０に限るものではなく、適当な数値であっても良い。但し、図５に示すように、それぞれの状態に対応する状態番号と混同しないような値であることが必須である。

ステップＳ４１０では、比較部２０３は、フレーム画像ｆのフレーム番号を作成時刻として取得する。もちろん、画像処理装置内のタイマが計時している現在時刻を作成時刻として取得しても良い。

ステップＳ４１０からステップＳ４１１に処理が進んだ場合、ステップＳ４１１では、比較部２０３は、次のような処理を行う。即ち、ステップＳ４０９で発行した状態番号０、ステップＳ４１０で取得したフレーム番号、ステップＳ４０１で取得した画素位置（ｘ、ｙ）における画素の画素値、のセットを画像処理装置内の適当なメモリに格納する。

一方、ステップＳ４０８からステップＳ４１１に処理が進んだ場合、ステップＳ４１１では、比較部２０３は、次のような処理を行う。即ち、ステップＳ４０７で特定した最小の差分と関連づけてステップＳ４０４で保持している選択背景モデル情報、即ち、該選択背景モデル情報に含まれている状態番号、画素値、フレーム番号、のセットを画像処理装置内の適当なメモリに格納する。

ステップＳ４１２では、比較部２０３は、フレーム画像ｆを構成する全ての画素についてステップＳ４０１〜ステップＳ４１１の各ステップの処理を行ったか否かを判断する。この判断の結果、全ての画素について行った場合は、処理はステップＳ４１４に進み、まだステップＳ４０１〜ステップＳ４１１の各ステップの処理を行っていない画素が残っている場合は、処理はステップＳ４１３に進む。ステップＳ４１３では、比較部２０３は、参照する画素位置を１つ移動させ、移動後の画素位置について、ステップＳ４０１以降の各ステップにおける処理を行う。

ステップＳ４１４に進んだ時点で、画像処理装置内のメモリには、図７に示す如く、フレーム画像ｆの各画素位置に対して、状態番号、画素値、作成時刻のセットが登録されたテーブルが作成されていることになる。然るにステップＳ４１４では比較部２０３は、このテーブルを、比較部２０３による比較結果情報として、背景モデル更新部２０５及び前景背景判定部２０６に対して送出する。

なお、本画像処理装置の動作開始時は、背景モデル記憶部２０４には背景モデルが格納されていない。この場合、差分の値として、該値が取り得る最大値などを設定しておく。これにより、状態番号０、フレーム画像ｆのフレーム番号、フレーム画像ｆの画素位置（ｘ、ｙ）における画素の画素値、のセットが登録されることになる。このように、起動時のフレーム画像によって、背景モデルの初期化ができる。

次に、ステップＳ３０３では、背景モデル更新部２０５は、比較部２０３から受けた比較結果情報（図７）を用いて、背景モデル記憶部２０４に格納されている背景モデルを更新する。ステップＳ３０３における処理の詳細について、図６のフローチャートを用いて説明する。

ステップＳ６０１では、背景モデル更新部２０５は、比較部２０３から送出された比較結果情報中の画素位置（ｘ，ｙ）に対応する状態番号を読み出す（０≦ｘ≦フレーム画像ｆのｘ方向の画素数−１、０≦ｙ≦フレーム画像ｆのｙ方向の画素数−１）。なお、ステップＳ６０１における処理を最初に行う場合、ｘ＝ｙ＝０である。

ステップＳ６０２では、背景モデル更新部２０５は、ステップＳ６０１で読み出した状態番号が０であるか否かを判断する。この判断の結果、ステップＳ６０１で読み出した状態番号が０であれば、処理はステップＳ６０５に進み、０でなければ、処理はステップＳ６０３に進む。

なお、ステップＳ４０９で０以外の状態番号ｋを発行したのであれば、ステップＳ６０２では、背景モデル更新部２０５は、ステップＳ６０１で読み出した状態番号がｋであるか否かを判断することになる。

ステップＳ６０３では、背景モデル更新部２０５は、背景モデル管理情報を参照して、画素位置（ｘ，ｙ）に対応するポインタを特定する。そして該ポインタが示す番地から、「画素位置（ｘ、ｙ）より１段下に登録されている画素位置に対応するポインタが示す番地−１」、までの各番地に対応する背景モデル情報のうち、ステップＳ６０１で読み出した状態番号に対応する背景モデル情報を特定する。

ステップＳ６０４では、背景モデル更新部２０５は、ステップＳ６０３で特定した背景モデル情報中の画素値を更新する。この更新は、例えば以下の式を用いて行う。これは、照明変化などによる変化に対応するためである。

μ_t＝（１−α）×μ_t-1＋α×I_t
ｔはフレーム画像ｆのフレーム番号、μ_t-1は、ステップＳ６０３で特定した背景モデル情報中の画素値、I_tは、フレーム画像ｆの画素位置（ｘ、ｙ）における画素の画素値、である。また、μ_tは、ステップＳ６０３で特定した背景モデル情報中の画素値を更新した後の画素値、αは、０＜α＜１を満たす実数であり、予め設定されているものとする。

一方、ステップＳ６０５では、背景モデル更新部２０５は、背景モデル管理情報を参照し、画素位置（ｘ、ｙ）より１つ下の段に登録されている画素位置に対応するポインタが示す番地から１を引いた番地に対応する背景モデル情報中の状態番号を取得する。

ステップＳ６０６では、背景モデル更新部２０５は、ステップＳ６０５で取得した状態番号に１を加えた状態番号を発行する。なお、本画像処理装置起動時のように初めて背景モデルへ状態を追加するときは1番を割り当てる。

ステップＳ６０７で背景モデル更新部２０５は背景モデル管理情報を参照し、画素位置（ｘ、ｙ）より１つ下の段以降の各段に登録されているポインタが示す番地に格納されている背景モデル情報を、該番地に１を加えた番地に移動させる。更に、背景モデル更新部２０５は、背景モデル管理情報を参照し、画素位置（ｘ、ｙ）より１つ下の段以降の各段に登録されているポインタが示す番地に１を加える。

ステップＳ６０８で背景モデル更新部２０５は、画素位置（ｘ、ｙ）より１つ下の段に登録されている画素位置に対応するポインタが示す番地から１を引いた番地に、次のセットを登録する。即ち、ステップＳ６０６で発行した状態番号、比較結果情報中の画素位置（ｘ，ｙ）に対応する画素値、作成時刻、のセットである。

ステップＳ６０９では、背景モデル更新部２０５は、全ての画素位置についてステップＳ６０１〜ステップＳ６０８の処理を行ったか否かを判断する。この判断の結果、全ての画素位置についてステップＳ６０１〜ステップＳ６０８の処理を行った場合、処理はステップＳ３０４に進み、まだステップＳ６０１〜ステップＳ６０８の処理を行っていない画素位置が残っている場合、処理はステップＳ６１０に進む。

ステップＳ６１０では、背景モデル更新部２０５は、参照する画素位置を１つ移動させ、移動後の画素位置について、ステップＳ６０１以降の各ステップにおける処理を行う。

ステップＳ３０４では、前景背景判定部２０６は、フレーム画像ｆを構成するそれぞれの画素が、前景を構成する画素、背景を構成する画素、の何れであるのかを判定する。ステップＳ３０４における処理の詳細につて、図８のフローチャートを用いて説明する。

ステップＳ８０１では、前景背景判定部２０６は、比較部２０３から送出された比較結果情報中の画素位置（ｘ，ｙ）に対応する作成時刻を読み出す（０≦ｘ≦フレーム画像ｆのｘ方向の画素数−１、０≦ｙ≦フレーム画像ｆのｙ方向の画素数−１）。なお、ステップＳ８０１における処理を最初に行う場合、ｘ＝ｙ＝０である。

ステップＳ８０２では、前景背景判定部２０６は、ステップＳ８０１で読み出した作成時刻と、ステップＳ４１０で取得した現在時刻（フレーム画像ｆのフレーム番号）との差分を継続時間（継続して存在した時間）として算出する。この算出する差分は、ある状態（特徴）が映像に出現した時刻から現在までの継続時間（現在時刻―作成時刻）であれば、他の方法で求めても良い。

ステップＳ８０３では、前景背景判定部２０６は、ステップＳ８０２で求めた差分と閾値Ｂ（背景化時間の閾値）との大小比較を行う。この閾値Ｂを、例えば、５分（３０フレーム毎秒であるとすると、９０００フレーム）とすると、５分の間は（静止物体を）物体（前景）として検知することが可能となる。

この大小比較の結果、ステップＳ８０２で求めた差分が閾値Ｂよりも大きい場合は、処理はステップＳ８０４に進み、ステップＳ８０２で求めた差分が閾値Ｂ以下である場合は、ステップＳ８０５に進む。

ステップＳ８０４では、前景背景判定部２０６は、前景フラグを０に設定する。一方、ステップＳ８０５では、前景背景判定部２０６は、前景フラグを１に設定する。なお、前景フラグの値は、前景、背景が識別できれば、如何なる値を採用しても良い。

ステップＳ８０６では、前景背景判定部２０６は、画素位置（ｘ、ｙ）、ステップＳ８０２で求めた継続時間、前景フラグの値、をセットにして、画像処理装置内の適当なメモリに格納する。

ステップＳ８０７では、前景背景判定部２０６は、フレーム画像ｆを構成する全ての画素について、ステップＳ８０１〜Ｓ８０６の処理を行ったか否かを判断する。この判断の結果、フレーム画像ｆを構成する全ての画素についてステップＳ８０１〜Ｓ８０６の処理を行った場合は処理はステップＳ８０９に進み、まだステップＳ８０１〜Ｓ８０６の処理を行っていない画素が残っている場合は処理はステップＳ８０８に進む。

ステップＳ８０８では、前景背景判定部２０６は、参照する画素位置を１つ移動させ、移動後の画素位置について、ステップＳ８０１以降の各ステップにおける処理を行う。

一方、ステップＳ８０９では、前景背景判定部２０６は、各画素位置についてステップＳ８０６で格納したセット（図９）を、前景背景情報としてシーンチェンジ検知部２０７及び物体領域出力部２０９に対して送出する。

ステップＳ３０５では、シーンチェンジ検知部２０７は、前景背景判定部２０６から受けた各画素位置の前景背景情報を用いて、シーンチェンジの有無を判断する。そしてシーンチェンジがあったと判断された場合は、処理はステップＳ３０６に進み、シーンチェンジは無かったと判断された場合は、処理はステップＳ３０７に進む。ステップＳ３０６では、背景化時間閾値変更部２０８は、上記の閾値Ｂを変更する処理を行う。ステップＳ３０５及びステップＳ３０６における処理の詳細について、図１０のフローチャートを用いて説明する。

ステップＳ１００１では、シーンチェンジ検知部２０７は、前景背景判定部２０６から送出された各画素位置の前景背景情報を取得する。ステップＳ１００２では、シーンチェンジ検知部２０７は、各画素位置の前景背景情報を用いて、新しいシーンへのシーンチェンジが起こったか否かを判断する。新しいシーンとは、これまで撮影されていなかったシーンであり、つまり、背景モデルに記憶されていないシーンである。例えば、これまでずっと照明が点灯しているシーンであったとすると、照明が消灯したシーンに相当する。或いは、カメラの撮影方向が変わって、これまでと違う場所を撮影するようになった場合に相当する。

シーンチェンジとは、短時間の画面全体に渡る映像変化である。例えば、照明が点灯しているシーンから消灯したシーンとなった場合、画面全体に渡って、画素の輝度が大きい値（状態）から小さな値（状態）に変化する。新しいシーンへシーンチェンジした時は、短時間に新しい状態が背景モデルに追加されることになる。このことから、シーンチェンジの有無の判断方法には次の２つ方法が考えられる。

第１の方法は、フレーム画像に占める前景領域の割合を用いて判断する方法である。新しいシーンへのシーンチェンジが起こると、ほぼ全画素が新規に追加された状態になるため、その継続時間は短い。そのため、前景背景判定部２０６にて、ほぼ全画素が、前景と判定される。そこで、第１の方法では、各画素位置の前景背景情報から前景フラグの値を取得し、（前景フラグの値＝１）である画素位置数（前景と判断された画素数）が規定個数（例えばフレーム画像ｆの画素数の７０％の数）以上であれば、シーンチェンジありと判断する。

第２の方法は、前景背景情報に含まれる継続時間を用いて判断する方法である。上記の通り、新しいシーンへのシーンチェンジではほとんどの画素の継続時間は非常に短くなる。そこで、第２の方法では、各画素位置の前景背景情報から継続時間を取得する。そして、（継続時間＜閾値（例えば、0.5秒（30フレーム毎秒で15フレーム））である画素位置数が規定個数（例えばフレーム画像ｆの画素数の７０％の数）以上であれば、シーンチェンジありと判断する。

然るに、例えば、ステップＳ１００２では、シーンチェンジ検知部２０７は、第１の方法を用いてシーンチェンジの有無を判断する。そしてこの判断の結果、シーンチェンジありと判断された場合は、処理はステップＳ１００３に進み、シーンチェンジなしと判断された場合は、処理はステップＳ１００５に進む。また、ステップＳ１００２では、第１の方法による判断結果に、第２の方法による判断結果を加味しても良い。

ステップＳ１００３では、背景化時間閾値変更部２０８は、上記の閾値Ｂの値を、該閾値Ｂが取り得る最小値として予め設定された値に変更する。これにより、前景（物体）と判定されていた領域を背景として扱えるようにする。

この閾値Ｂの値の制御と、前景／背景の判断と、の関係について、図１１のグラフを用いて説明する。図１１において横軸は時刻（フレーム番号でも良い）、縦軸は継続時間を表す。

時刻１１０１の時点で出現した物体に含まれる画素の継続時間は、物体が静止している限り時間の経過と共に増加するので、時間の経過に対する該画素の継続時間の変化は、傾き１の直線１１０２で表される。

水平の直線１１０３は、背景化時間の閾値Ｂを表している。上記のように、ステップＳ８０３では、閾値Ｂよりも長い継続時間を有する画素が背景を構成する画素と判定される。従って、直線１１０３の上側にあるときには背景と判定され、下側にあるときは前景と判定される。つまり、時刻１１０１から、直線１１０２と直線１１０３との交点となる時刻１１０４、までは、直線１１０２で表現される状態は、前景と判定されることになる。

図１２は、図１１と同様に横軸は時刻、縦軸は継続時間を表すグラフを示す。時刻１２０１の時点で照明が消灯されときに生じた変化領域中の画素の継続時間の変化は、直線１２０２で表現される。このとき時刻１２０３において、新しいシーンへのシーンチェンジが検知され（ステップＳ１００２）、背景化時間の閾値Ｂが最小値に設定（ステップＳ１００３）されたとする。これにより、時刻１２０３以降は常に直線１２０２は背景化時間の閾値Ｂ（１２０６）よりも上側となる。つまり、背景化時間の閾値Ｂよりも、継続時間の方が長くなる。よって、照明が消灯されたときに生じた状態は、背景と判定されることになる。

なお、本実施形態では、変更された背景化時間の閾値Ｂは、次のフレーム画像において使用されるため、全面の誤検知は少なくとも１フレームだけ生じることになる。これを避けるためには、ステップＳ１００２の判定で新しいシーンへのシーンチェンジと判定され、閾値Ｂを最小値に変更した時点で、再度、前景背景判定処理（ステップＳ３０４）を繰り返すようにすればよい。

ステップＳ１００４では、背景化時間閾値変更部２０８は、閾値変更フラグの値を、閾値Ｂを通常値（規定の最大値）から変更している旨を示す値に設定する。本実施形態では、閾値Ｂを通常値から変更している旨を示す値を「ＯＮ」、閾値Ｂの値が通常値である旨を示す値を「ＯＦＦ」とする。

ステップＳ１００５では、シーンチェンジ検知部２０７は、既存のシーンへのシーンチェンジがあったか否かを判断する。本ステップにおける処理の詳細については後述する。この判断の結果、既存のシーンへのシーンチェンジがあった場合は、処理はステップＳ１０１０に進み、既存のシーンへのシーンチェンジはなかった場合は、処理はステップＳ１００６に進む。ステップＳ１０１０，Ｓ１０１１における処理については後述する。

ステップＳ１００６では、背景化時間閾値変更部２０８は、閾値変更フラグの値が「ＯＮ」であるか否かを判断する。この判断の結果、閾値変更フラグの値が「ＯＮ」であれば処理はステップＳ１００７に進み、閾値変更フラグの値が「ＯＦＦ」であれば処理はステップＳ１００８に進む。

ステップＳ１００７では、背景化時間閾値変更部２０８は、閾値Ｂの値を規定量だけ増加させる。増加させる量は常に一定でも良いし、規定の規則（例えば規定の関数）に従って変化させても良い。

ステップＳ１００８では、背景化時間閾値変更部２０８は、閾値Ｂの値が上記の通常値（固定値）に達したか否かを判断する。この判断の結果、達した場合は、処理はステップＳ１００９に進み、まだ達していない場合は、処理はステップＳ３０７に進む。ステップＳ１００９では、背景化時間閾値変更部２０８は、閾値変更フラグの値を「ＯＦＦ」に設定する。

この一連の処理の理由を説明する。ここでは一例として、図１３の画像１３０１，画像１３０２，画像１３０３の各フレーム画像が順次入力されるものとする。画像１３０１には、廊下のみ（背景のみ）が映っている。この画像１３０１上の文字「ＯＮ」は、この画像１３０１中に写っているシーンでは照明が点灯していることを示すために便宜上記したものであり、実際の画像１３０１には写っていない文字である。

画像１３０２には、画像１３０１と同様、廊下のみ（背景のみ）が映っている。この画像１３０２上の文字「ＯＦＦ」は、この画像１３０２中に写っているシーンでは照明が消灯していることを示すために便宜上記したものであり、実際の画像１３０２には写っていない文字である。これは画像１３０３についても同様である。なお、照明が消灯されても、非常灯や窓からの外光により、人間が映像をみて物体の有無を確認できるレベルの明るさであるとする。画像１３０３では、人物１３０４が新たに出現し、立ち止まっているものとする。

これら画像１３０１〜１３０３が順次入力された場合における閾値変更処理について、図１４を用いて説明する。図１４は、図１１と同様に横軸は時刻、縦軸は継続時間を表すグラフを示す。

時刻１４０１は照明が消灯された時刻（画像１３０２）を示している（図１２の時刻１２０１に相当）。このときに生じた変化領域中の画素１３０５の継続時間が直線１４０２で示されている（図１２の直線１２０２に相当）。時刻１４０３の時点で、背景化時間の閾値が最小値に設定されている（図１２の時刻１２０３に相当）。時刻１４０４は、図１３の画像１３０３のように、人物１３０４が出現した時刻である（図１２では、時刻１２０４に相当）。この人物に含まれる画素１３０６の継続時間は、直線１４０５で表される（図１２では、直線１２０５に相当）。

仮に、図１２のように背景化時間の閾値が最小値のままであると（直線１２０６）、直線１２０５は、背景化時間の閾値よりも下側にくることがない。そのため、人物１３０４は常に背景として扱われるため、検知できなくなる。そこで、時間の経過と共に徐々に背景化時間の閾値を通常値に戻すことによって、シーンチェンジ後に出現した物体の検知を、正常に行えるようにする。即ち、時刻１４０３から時刻１４０６にかけて、背景化時間の閾値を傾き１をもった直線１４０７とする。

時刻１４０４に出現した人物１３０４に含まれる画素１３０６の継続時間を示す直線１４０５は、時刻１４０８において、通常値の背景化時間の閾値と交わる。従って、時刻１４０４から時刻１４０８まで（傾き１であるので、通常値の時間）は、人物１３０４は前景と判定される。このように、シーンチェンジを検知した直後（時刻１４０３）以降、通常と同様に通常値時間の静止物体の検知が可能となる。

以上により、照明が消灯されるなどのケースが発生しても、すぐに静止物体の一時的な検知を可能とすることができる。しかしながら、照明が点灯している状態から、一次的に消灯され、再び点灯するような場合には、次のような問題が生じる。例えば、図１５の画像１５０１の如く、本装置起動時には廊下のみ（背景のみ）が映っており、照明が点灯状態であったとする。しばらくして画像１５０２に示す如く、鞄１５０５が置き去りにされたとする。その後、画像１５０３に示す如く、一定時間のあいだ照明が消灯され、そして画像１５０４に示す如く、ふたたび照明が点灯されたとする。このとき、鞄１５０５は置き去りにされたままとする。

このときの継続時間の変化について図１６のグラフを用いて説明する。図１６は、図１１と同様、横軸は時刻を表し、縦軸は継続時間を表すグラフである。

時刻１６０１は本装置起動時であり（図１５の画像１５０１）、背景中の画素１５０６の継続時間は、直線１６０２で示されている。直線１６０２と背景化時間の閾値１６０３とが交わる時刻１６０４は、真の背景が本処理装置でも背景と判定されるようになる時刻（初期化が完了する時刻）である。時刻１６０５が鞄が出現した時刻であり（図１５の画像１５０２）、鞄に含まれる画素１５０７の継続時間は直線１６０６で示されている。時刻１６０７が、照明が消灯された時刻（図１５の画像１５０３）に相当し、背景化時間の閾値１６０３を一旦最小値に下げたのち、傾き１で回復させる。時刻１６０８が再び照明が点灯された時刻（図１５の画像１５０４）であるが、時刻１６０７以降、直線１６０６は背景化時間の閾値１６０３よりも上側にあるために、画像１５０２で検知できていた鞄も、背景として扱われてしまう。つまり、照明の一時的な消灯区間の前後で、連続的な検知ができなくなる。そこで、既存のシーン（本例では照明の点灯時）に復帰（シーンチェンジ）したことを、シーンチェンジ検知部２０７で検知することによって、前述の問題を解消できるようにする。

既存シーンへのシーンチェンジは、背景と判断された画素の個数に従って判定する。照明点灯時の背景中の画素１５０６の継続時間（直線１６０２）は、時刻１６０４以降は常に背景化時間の閾値１６０３よりも上側にあり、従って背景である。再び照明が点灯される時刻１６０８以降、時刻１６０１で背景モデルに登録された状態（照明が点灯しているときの特徴量）が再び入力映像に近い状態となる。よって、鞄１５０５の領域を除いた背景中の画素は背景化時間の閾値の通常値を上回っている。このように、既存のシーンへのシーンチェンジがあると、画面に占める背景領域の割合は高いので、継続時間の長い画素の割合が高くなる。そこで、背景化時間の閾値の通常値よりも長い継続時間を持つ画素の総数をカウントする。そして、カウント値を全画素数で割って割合を求め、その割合が例えば７割以上であれば、既存のシーンへシーンチェンジしたと判定する。なお、背景モデルに複数の状態（照明点灯時と消灯時）を記憶することにより、継続時間を正しく求めることができるため、本判定は可能となる。

然るに、上記のステップＳ１００５では、シーンチェンジ検知部２０７は、各画素位置の前景背景情報から前景フラグの値を取得する。そして、（前景フラグの値＝０）である画素位置数（背景と判断された画素数）が規定個数（例えばフレーム画像ｆの画素数の７０％の数）以上であれば、既存シーンへのシーンチェンジありと判断する。

この判断の結果、「既存シーンへのシーンチェンジあり」であれば、処理はステップＳ１０１０に進む。一方、この判断の結果、「既存シーンへのシーンチェンジなし」であれば、処理はステップＳ１００６に進む。

そしてステップＳ１０１０では、背景化時間閾値変更部２０８は、上記の閾値Ｂの値を通常値に設定する。そしてステップＳ１０１１では背景化時間閾値変更部２０８は、閾値変更フラグの値を「ＯＦＦ」に設定する。

図１５の例を用いて、上記の一連のステップの説明をする。図１７は、図１１と同様に横軸は時刻、縦軸は継続時間を表すグラフを示す。時刻１７０１は本装置起動時であり（図１６の時刻１６０１に相当）、背景中の画素１５０６の継続時間は、直線１７０２（図１６の直線１６０２に相当）で示されている。時刻１７０４が初期化が完了する時刻である（図１６の時刻１６０４に相当）。時刻１７０５が鞄が出現した時刻であり（図１６の時刻１６０５に相当）、鞄１５０５に含まれる画素１５０７の継続時間は直線１７０６で示されている。時刻１７０７が、照明が消灯された時刻（図１６の時刻１６０７）に相当し、背景化時間の閾値を一旦最小値に下げたのち、傾き１で回復させる。時刻１７０８が再び照明が点灯された時刻（図１６の時刻１６０８）に相当する。ここで、画素１５０６のような背景の画素の継続時間（直線１７０２）は、背景化時間の閾値の通常値よりも常に大きい。従って、ステップＳ１００５において既存のシーンへのシーンチェンジが検知され、ステップＳ１０１０において、背景化時間の閾値が通常値に戻される。従って、背景化時間の閾値は折れ線１７０３に示す如く変化する。時刻１７０８から時刻１７０９の区間において、鞄１５０５に含まれる画素１５０７の継続時間を示す直線１７０６が再び、背景化時間の閾値よりも下側になるため、前景として判定されるようになっていることがわかる。

以上により、一時的に新しいシーンとなるような（照明が一時的に消灯されるなど）場合であっても、静止物体を所定の時間の間検知し続けることができるようになる。

次に、ステップＳ３０７における処理の詳細について、同処理のフローチャートを示す図１８を用いて説明する。

ステップＳ１８０１では、物体領域出力部２０９は、フレーム画像ｆ中の各画素位置に対する探索済みフラグの値を０に初期化する。初期化する値については０に限るものではなく、以下のステップＳ１８０７などで探索済みフラグに設定する値と区別できればよい。

ステップＳ１８０２では、物体領域出力部２０９は、上記のステップＳ８０６でメモリに格納した「画素位置（ｘ、ｙ）の前景フラグの値」を取得する（０≦ｘ≦フレーム画像ｆのｘ方向の画素数−１、０≦ｙ≦フレーム画像ｆのｙ方向の画素数−１）。なお、ステップＳ１８０２における処理を最初に行う場合、ｘ＝ｙ＝０である。

ステップＳ１８０３では、物体領域出力部２０９は、ステップＳ１８０２で取得した前景フラグの値が１であるか否かを判断する。この判断の結果、ステップＳ１８０２で取得した前景フラグの値が１であれば処理はステップＳ１８０５に進み、ステップＳ１８０２で取得した前景フラグの値が０であれば処理はステップＳ１８０４に進む。

ステップＳ１８０４では、物体領域出力部２０９は、参照する画素位置を１つ移動させ、移動後の画素位置について、ステップＳ１８０２以降の各ステップにおける処理を行う。

一方、ステップＳ１８０５では、物体領域出力部２０９は、画素位置（ｘ、ｙ）の探索済みフラグの値が０であるか否かを判断する。この判断の結果、画素位置（ｘ、ｙ）の探索済みフラグの値が０であれば処理はステップＳ１８０６に進み、画素位置（ｘ、ｙ）の探索済みフラグの値が１であれば処理はステップＳ１８０４に進む。

ステップＳ１８０６では、物体領域出力部２０９は、画素位置（ｘ、ｙ）を画像処理装置内の適当なメモリに格納する。

ステップＳ１８０７では、物体領域出力部２０９は、画素位置（ｘ、ｙ）の探索済みフラグの値を１に設定する。

ステップＳ１８０８では、物体領域出力部２０９は、画素位置（ｘ、ｙ）の近傍画素位置群（例えば画素位置（ｘ、ｙ）に隣接する４つ若しくは６つの画素位置群）のうちの１つ画素位置を選択画素位置として選択し、選択画素位置の前景フラグの値を取得する。

ステップＳ１８０９では、物体領域出力部２０９は、ステップＳ１８０８で取得した前景フラグの値が１であるか否かを判断する。この判断の結果、ステップＳ１８０８で取得した前景フラグの値が１であれば、処理はステップＳ１８１０に進む。一方、ステップＳ１８０８で取得した前景フラグの値が０であれば、処理はステップＳ１８１１に進む。

ステップＳ１８１０では、物体領域出力部２０９は、選択画素位置の探索済みフラグの値が０であるか否かを判断する。この判断の結果、０であれば、処理はステップＳ１８０６に進み、０ではない場合は、処理はステップＳ１８１１に進む。

ステップＳ１８１０からステップＳ１８０６に処理が進んだ場合、ステップＳ１８０６では、選択画素位置を画像処理装置内の適当なメモリに格納し、次にステップＳ１８０７では、選択画素位置の探索済みフラグの値を１に設定する。そして次にステップＳ１８０８では、上記の近傍画素位置群のうち未選択の近傍画素位置を選択画素位置として選択し、以降の処理を続ける。

ステップＳ１８１１では、物体領域出力部２０９は、ステップＳ１８０６でメモリに格納されたそれぞれの画素位置を参照し、フレーム画像ｆ上でこれらの画素位置を全て包含する矩形領域を求める。例えば、ステップＳ１８０６でメモリに格納された画素位置のうち、ｘ座標の最大値／最小値、ｙ座標の最大値／最小値を特定する。そして、座標位置（ｘ座標の最小値、ｙ座標の最小値）を左上隅とし、座標位置（ｘ座標の最大値、ｙ座標の最大値）を右下隅とする矩形領域を求める。この矩形領域が、フレーム画像ｆ中の物体が写っている領域の外接矩形の領域となる。そしてステップＳ１８１１では、この矩形領域を表す領域情報を画像処理装置内の適当なメモリに格納する。この領域情報のフォーマットには様々なフォーマットを適用することができるが、例えば、上記の左上隅の座標位置、右下隅の座標位置、のセットを領域情報としてメモリに格納するようにしても良い。

ステップＳ１８１２では、物体領域出力部２０９は、ステップＳ１８０６でメモリに格納されたそれぞれの画素位置について、上記のステップＳ８０６でメモリに格納した「該画素位置の継続時間」を取得する。そして、ステップＳ８０６でメモリに格納されたそれぞれの画素位置の継続時間の平均値を平均継続時間として求め、求めた平均継続時間を画像処理装置内の適当なメモリに格納する。

ステップＳ１８１３では、物体領域出力部２０９は、フレーム画像ｆを構成する全ての画素位置についてステップＳ１８０１〜Ｓ１８１２の処理を行ったか否かを判断する。この判断の結果、フレーム画像ｆを構成する全ての画素位置についてステップＳ１８０１〜Ｓ１８１２の処理を行った場合は、処理はステップＳ１８１４に進む。一方、フレーム画像ｆを構成する全ての画素位置のうち、まだステップＳ１８０１〜Ｓ１８１２の処理を行っていない画素位置が残っている場合、処理はステップＳ１８０４に進む。

ステップＳ１８１４では、物体領域出力部２０９は、画像処理装置内の適当なメモリに格納されている領域情報の数、例えば、左上隅の座標位置と右下隅の座標位置とのセットの個数をカウントする。そして物体領域出力部２０９は、このカウントした個数、各領域情報、各平均継続時間、を物体領域情報として出力する。物体領域情報の構成については特定の構成に限るものではない。物体領域情報の構成例を図１９に示す。

図１９に示した構成の物体領域情報には、領域情報の個数が登録されていると共に、領域情報（左上隅の座標位置、右下隅の座標位置）、該領域情報が表す領域から求めた平均継続時間、のセットが、領域情報毎に登録されている。それぞれのセットの登録番地のうち先頭の登録番地も、物体領域座標データ先頭ポインタとして登録されている。

この出力される物体領域情報の出力先や使用方法については本実施形態では特に触れていないが、例えば、置き去りの発生を検知する置き去り検知装置などで使用されても良い。置き去り検知装置では、物体の平均継続時間を参照し、平平均継続時間が所定の時間を超えた時点で置き去りイベントを発報する。また、領域情報が示す領域の枠をフレーム画像上に合成表示させることで、置き去り物の位置をユーザに対して表示するなどを行うようにしても良い。

＜第１の実施形態の変形例＞
また、物体領域情報を、置き去り検知装置ではなくいたずら検知装置に送出するような場合には、シーンチェンジ検知部２０７においてシーンチェンジを判定するための条件を更に追加するようにしても良い。

いたずら検知とは、カメラに対して布を被せたり、ライトを照射したりするなどして、正常な撮影をさまたげるいたずら行為を検知するものである。いたずら検知は、物体領域の総面積の画面に対する割合が大きい時に、いたずらと判断する。ただし、蛍光灯などがちらつくフリッカのような現象に対して反応してしまうと、何度も誤報することになるので、所定時間のあいだ連続して物体領域の総面積の画面に対する割合が大きい時に、いたずらと検知する。

また、上記の構成では、新規シーンへのシーンチェンジを検知すると直ちに背景化時間の閾値を初期化するので、物体領域が大きな割合を占める結果を所定時間出力することができない。そこで、いたずら検知を可能とするために、新規シーンへのシーンチェンジを判定するための条件に、「前景領域がフレーム画像に対する占める割合が高くなるフレームが所定時間連続すること」、を追加する。これにより、所定時間は大きな誤検知領域を出力できるようになるので、いたずら検知において、正常にいたずらが検知できるようになる。この条件の追加については、例えば、ユーザが不図示の操作部を操作して「いたずら検知を行う」旨の指示が入力されたときに、この条件を追加するようにしても良い。

また、シーンチェンジ検知部２０７において新規シーンへのシーンチェンジを検知するのではなく、いたずら検知装置においてこの検知を行わせるようにしても良い。このために、いたずら検知装置でのいたずらが検知した際に、本画像処理装置に通知を行えるように、本画像処理装置といたずら検知装置とを通信可能に接続しておく必要がある。もちろん、いたずら検知装置を本画像処理装置内で動作するモジュールにし、本画像処理装置内で通信を行うようにしても良い。

この場合、シーンチェンジ検知部２０７は、ステップＳ１００２において、前景背景情報を使って判定を行う代わりに、いたずら検知装置から、いたずらが検知されたという通知があったかどうかを確認する。そして、いたずらが検知されたという通知があったら、ステップＳ１００３以下の各ステップを実行し、通知がなかったら、ステップＳ１００５以下の各ステップを実行するようにする。

また、図２に示した各部は、１つの画像処理装置内の構成要素としても良いし、いくつかの装置に分散させても良い。この場合、このいくつかの装置は互いに通信可能に接続し、互いに通信を行いながら上記の処理を行うことになる。また、図２に示した各部を集積回路チップに納め、例えば、ＰＣ（パーソナルコンピュータ）が有するデータ入力部と一体化させてもよい。

＜第１の実施形態の一般的な構成について＞
第１の実施形態では、説明を簡単にするために、矩形領域を画素単位の領域、画像特徴量を画素値とした場合における画像処理装置の動作について説明したが、この動作は、以下に説明する動作の過ぎない。

先ず画像処理装置は、各フレームの画像をフレーム画像として入力し、該入力したフレーム画像を構成する各矩形領域について、該矩形領域の画像特徴量を取得する。そして、取得した着目フレーム画像を構成する各矩形領域について、該矩形領域について第１のテーブルに登録されている登録画像特徴量のうち該矩形領域の画像特徴量と最も類似する登録画像特徴量を特定する。

そして、着目フレーム画像を構成する各矩形領域について、該矩形領域について特定した登録画像特徴量と該矩形領域の画像特徴量との類似度が閾値以上であるか否かを判断する。この類似度の一例が上記の「差分」に相当する。

そして、着目フレーム画像を構成する各矩形領域のうち類似度が閾値以上と判断された矩形領域については、次のような処理を行う。即ち、該矩形領域について特定した登録画像特徴量及び該登録画像特徴量が第１のテーブルに登録されたタイミングのセットを第２のテーブルに登録すると共に、第１のテーブル中の該登録画像特徴量を該矩形領域の画像特徴量を用いて更新する。

一方、着目フレーム画像を構成する各矩形領域のうち類似度が閾値未満と判断された矩形領域については、次のような処理を行う。即ち、該矩形領域の画像特徴量及び該画像特徴量を第２のテーブルに登録するタイミングのセットを第２のテーブルに登録すると共に、該画像特徴量を該矩形領域に対する登録画像特徴量として第１のテーブルに登録する。

次に、着目フレーム画像を構成する各矩形領域について、該矩形領域について第２のテーブルに登録されたタイミングから現タイミングまでの期間長を求める。ここで、着目フレーム画像を構成する各矩形領域のうち期間長が期間長閾値以下の矩形領域を前景矩形領域、期間長が期間長閾値よりも大きい矩形領域を背景矩形領域とする。このとき、着目フレーム画像を構成する各矩形領域のうち前景矩形領域と判断された矩形領域の数が規定数以上であれば、シーンチェンジありと判断し、該数が規定数未満であれば、シーンチェンジなしと判断する。

そして、シーンチェンジありと判断した場合は、期間長閾値を規定の最小値に設定し、前景矩形領域中に写っている物体の領域を表す領域情報と、該前景矩形領域について求めた期間長の平均期間長と、を出力する。

［第２の実施形態］
図２に示した各部はハードウェアで構成しても良い。しかし、例えば、背景モデル記憶部２０４をＲＡＭやハードディスクなどのメモリで構成し、映像入力部２０１を映像入力インターフェースで構成し、その他の各部をソフトウェア（コンピュータプログラム）で構成しても良い。この場合、該メモリ及び該映像入力インターフェースを有し、且つ該ソフトウェアを実行可能なプロセッサを有するコンピュータに該ソフトウェアをインストールすれば、該プロセッサに該ソフトウェアを実行させることができる。これにより、このコンピュータは、図２の各部の機能を実現することができるので、このコンピュータは、上記の画像処理装置に適用することができる。上記の画像処理装置に適用可能なコンピュータの構成例を図１に示す。

ＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３に格納されているコンピュータプログラムやデータを用いて処理を実行することで、コンピュータ全体の動作制御を行うと共に、上記の画像処理装置が行うものとして説明した各処理を実行する。

ＲＯＭ１０２には、コンピュータの設定データやブートプログラムなどが格納されている。

ＲＡＭ１０３は、２次記憶装置１０４からロードされたコンピュータプログラムやデータ、画像入力装置１０５によって入力された各フレームのフレーム画像を一時的に記憶するためのエリアを有する。更にＲＡＭ１０３は、ネットワークインターフェースＩ／Ｆ１０８を介して外部装置から受信したデータを一時的に記憶するためのエリア、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１０３は各種のエリアを適宜提供することができる。

２次記憶装置１０４は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。この２次記憶装置１０４には、ＯＳ（オペレーティングシステム）や、図２において映像入力部２０１及び背景モデル記憶部２０４を除く各部の機能をＣＰＵ１０１に実行させるためのコンピュータプログラムやデータが格納されている。また、２次記憶装置１０４は、この背景モデル記憶部２０４としても機能する。２次記憶装置１０４に格納されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０３にロードされ、ＣＰＵ１０１による処理対象となる。

画像入力装置１０５は、各フレームのフレーム画像を入力するための装置であり、図２の映像入力部２０１に相当する。上記のとおり、図２に示した各部を集積回路チップに納めて、この画像入力装置１０５と一体化させてもよい。

入力装置１０６は、キーボードやマウスなどにより構成されており、コンピュータのユーザが操作することで各種の指示をＣＰＵ１０１に対して入力することができる。例えば、上記の「いたずら検知を行う」旨の指示はこの入力装置１０６を用いて入力しても良い。

表示装置１０７は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１０１による処理結果を画像や文字などでもって表示することができる。例えば、上記の物体領域情報若しくは該物体領域情報に基づく表示をこの表示装置１０７の画面に表示させても良い。

ネットワークインターフェースＩ／Ｆ１０８は、ＬＡＮやインターネットなどのネットワークを介して外部装置とのデータ通信を行うためのインターフェースである。例えば、物体領域情報をこのネットワークインターフェースＩ／Ｆ１０８を介して外部装置に対して送信しても良い。

上記の各部はバス１０９に接続されている。なお、図１の構成はあくまでも一例であり、動作目的によっては、この構成に更なる構成を加えても良いし、目的によっては不必要となる構成要件を省いても良い。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 入力映像と背景モデルとを比較する比較手段と、
   前記比較手段による比較結果に基づいて、前記入力映像中で前記背景モデルと相違する差分領域が継続している継続時間を計時する計時手段と、
   前記継続時間が閾値未満の前記差分領域を前景と判定する判定手段と、
   前記比較手段による比較結果に基づいて、前記入力映像のシーン変化を検知する検知手段と、
   前記検知手段によりシーン変化を検知した場合、前記閾値を現在の値より小さな値に変更してから漸次増加させ、該変更の後に前記検知手段が前記背景モデルに類似したシーンへの変化を検知した場合は、前記閾値を該変更の前の値に変更する変更手段と
   を備えることを特徴とする画像処理装置。
2. 前記背景モデルは背景画像の特徴量を表しており、
   前記比較手段は、前記入力映像から特徴量を抽出し、該抽出した特徴量と前記背景モデルとを比較することを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴量と該特徴量が新たに出現した出現時刻とを記憶する記憶手段を更に備え、
   前記計時手段は、前記記憶手段に記憶された出現時刻から前記継続時間を計時することを特徴とする請求項２に記載の画像処理装置。
4. 前記背景モデルは前記背景画像の部分領域ごとの特徴量を表しており、
   前記比較手段は、前記入力映像の部分領域ごとに特徴量を抽出し、該抽出した特徴量と前記背景モデルとを比較し、
   前記計時手段は、前記部分領域毎に継続時間を計時し、
   前記判定手段は、前記部分領域毎に前景であるかを判定することを特徴とする請求項２に記載の画像処理装置。
5. 前記検知手段は、前記継続時間が規定の条件を満たす部分領域の画像全体に対する割合に基づいて前記シーン変化を検知することを特徴とする請求項１に記載の画像処理装置。
6. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の比較手段が、入力映像と背景モデルとを比較する比較工程と、
   前記画像処理装置の計時手段が、前記比較工程による比較結果に基づいて、前記入力映像中で前記背景モデルと相違する差分領域が継続している継続時間を計時する計時工程と、
   前記画像処理装置の判定手段が、前記継続時間が閾値未満の前記差分領域を前景と判定する判定工程と、
   前記画像処理装置の検知手段が、前記比較工程による比較結果に基づいて、前記入力映像のシーン変化を検知する検知工程と、
   前記画像処理装置の変更手段が、前記検知工程によりシーン変化を検知した場合、前記閾値を現在の値より小さな値に変更してから漸次増加させ、該変更の後に前記検知工程で前記背景モデルに類似したシーンへの変化を検知した場合は、前記閾値を該変更の前の値に変更する変更工程と
   を備えることを特徴とする画像処理方法。
7. コンピュータを、請求項１乃至５の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images