JP4889668B2 - 物体検出装置 - Google Patents

Description

この発明は、監視カメラで得られた映像を画像処理することで映像中に出現した物体を検出する物体検出装置に関するものである。

監視カメラの映像を画像処理することで映像中に出現した物体を検出する従来の技術としては、例えば監視カメラで得られた過去から現在までの入力画像を時間的に加重平均して背景画像を生成し、この背景画像と最新の入力画像との差分処理を行うことにより映像中に出現した侵入物体や不審な静止物体を検出するものがある。しかしながら、この方法では、移動速度が緩慢な侵入物体や、放置された荷物のように停止した物体がある領域が加重平均により背景画像中に溶け込んでしまう。このため、背景画像を生成した後、侵入物体や不審な静止物体を正確に検出できなくなる場合がある。

これに対し、特許文献１に開示される物体検出方法では、背景画像を入力画像との加重平均演算で更新する際、画像中で検出した物体の存在する領域とその物体の周囲領域については背景画像の更新処理を停止し、それ以外の画像領域で背景画像の更新処理を行う。このように画像領域毎に異なる適応型の背景画像の更新処理を実行することにより、物体の検出漏れを低減することができる。

特開２００２−９９９０９号公報

特許文献１は、監視対象の侵入物体の出現以外に画像中の変化がほとんどない（例えば、日照変動のみ）場合でなければ、物体の検出漏れを低減することができないという課題がある。例えば、金融機関のＡＴＭ端末は、人が絶え間なく入れ替わり操作する。このため、監視カメラで得られる映像の一部に微小な変化、例えば不審な物体がＡＴＭ端末に取り付けられたり、ＡＴＭ端末の利用者が荷物を置き忘れて立ち去ったという事象を検出する場合、これら不審な物体や置き忘れられた荷物よりも監視カメラに近い位置に端末操作者がおり、上記物体の検出を妨げる遮蔽物体となる可能性がある。

また、ＡＴＭ端末操作者はＡＴＭ端末の前でしばらく立ち止まるため、通常の加重平均による背景画像の更新処理を行うと、背景画像に遮蔽物体が溶け込んでしまう。さらに、監視カメラで取得した映像中に遮蔽物体（ＡＴＭ端末操作者）が占める面積は、上述したような不審な物体や置き忘れられた荷物と比較すると格段に大きい。このため、特許文献１のように画像領域毎に適応型の背景画像の更新を実行する場合、監視カメラで得られた画像中のほとんどの画像領域で背景画像の更新処理ができない。また、遮蔽物体が出現している間に照明変動が生じると、遮蔽物体がいなくなっても監視対象の物体を検出することができなくなる。

この発明は、上記のような課題を解決するためになされたもので、カメラによる撮影を遮蔽する遮蔽物体が出現する状況が生じても対象物体を正確に検出することができる物体検出装置を得ることを目的とする。

この発明に係る物体検出装置は、撮影対象領域を予め撮影した複数の背景画像を記憶する背景画像記憶部と、新たに取り込んだ撮影対象領域の撮影画像に最も類似する背景画像を背景画像記憶部から選択する背景選択手段と、背景選択手段により選択された背景画像と撮影画像との差分画像を求め、この差分画像の画像面積と、検出対象の第１の物体に関して規定した撮影画像のサイズに対する画像面積範囲との比較結果に基づいて、差分画像で検出された物体が第１の物体であるか否かを判定する第１の物体検出手段と、撮影対象領域を撮影した背景画像と撮影画像との差分画像を求め、この差分画像の画像面積と、検出対象の第２の物体に関して規定した撮影画像のサイズに対して第１の物体より大きな画像面積を表す画像面積範囲との比較結果に基づいて、差分画像で検出された物体が第２の物体であるか否かを判定する第２の物体検出手段と、第１及び第２の物体検出手段によって第１及び第２の物体のいずれも検出されない場合、第１及び第２の物体が撮影されていない撮影画像で背景画像記憶部の背景画像を更新する背景更新手段とを備えるものである。

この発明によれば、新たに取り込んだ撮影対象領域の撮影画像に最も類似する背景画像を選択し、この背景画像と新たに取り込んだ撮影対象領域の撮影画像との差分画像から、第１の物体として撮影対象領域に侵入した不審物体を検出すると共に、第２の物体として撮影対象領域の撮影を遮蔽する遮蔽物体を検出し、第１の物体として不審物体を検出する際に利用する背景画像を第１及び第２の物体の双方が検出されなかった撮影画像で順次更新する。このように構成することにより、カメラによる撮影を遮蔽する遮蔽物体が出現する状況が生じても、検出対象の物体を正確に検出することができるという効果がある。

実施の形態１．
図１は、この発明の実施の形態１による物体検出装置の構成を示すブロック図である。図１において、実施の形態１による物体検出装置１は、映像入力手段２、最適背景選択手段３、不審物体検出手段４、統合判定手段５、アラーム６、更新背景学習手段７、更新型背景画像データベース８、固定背景初期化手段９、固定型背景画像データベース１０、遮蔽物体検出手段１１、遮蔽物検知用背景更新手段１２、及び遮蔽物検知用背景データ１３を保持する記憶部を備える。

映像入力手段２は、監視カメラで撮影された監視対象の画像データを入力する手段であり、監視カメラとのインタフェース及びその制御ソフトウエアなどから構成される。最適背景選択手段（背景選択手段）３は、更新型背景画像データベース８及び固定型背景画像データベース１０に格納される背景画像のうち、入力された監視画像に対して最適な背景画像を選択する。

なお、本発明において、入力された監視画像（以下、入力画像と呼ぶ）（撮影画像）に対して最適な背景画像としては、入力画像と背景画像の画素情報に基づいて入力画像との類似度が最も高い背景画像が選択される。ここで、類似度は、図６で後述するように入力画像と背景画像のそれぞれの縮小画像の画素情報（例えば、輝度値）の差分絶対値総和が小さければ、類似度が高いと判断し、差分絶対値総和が大きければ類似度が低いと判断する。この選択処理については後に詳細に説明する。

不審物体検出手段（第１の物体検出手段）４は、映像入力手段２を介して入力された入力画像（監視画像）と最適背景選択手段３で選択された背景画像との比較結果から、入力画像中の不審物体（第１の物体）を検出する。不審物体としては、検出された物体の画像に相当する差分画像が、入力画像のサイズに対して非常に小さな面積しか有さないものを想定している。そこで、不審物体検出手段４では、映像入力手段２を介して入力画像と最適背景選択手段３で選択された背景画像との差分画像を求めて、この差分画像の画像面積と、検出対象の不審物体に関して規定した入力画像のサイズに対する画像面積範囲との比較結果に基づいて、この差分画像で検出された物体が不審物体であるか否かを判定する。例えば、不審物体に関する画像面積範囲としては、不審物体と認識すべき小さな画像が入力画像内で占めるであろう画像サイズの範囲を予め設定しておく。

統合判定手段５は、不審物体検出手段４の検出結果と遮蔽物体検出手段１１の検出結果を入力し、遮蔽物体と不審物体の検出結果に応じてアラーム６を起動させる。例えば、遮蔽物体が検出されず、不審物体が検出された場合にアラーム６を起動させて警報を発報させる。

更新背景学習手段（背景更新手段）７は、統合判定手段５の判定結果に応じて映像入力手段２から入力された現在の入力画像を背景画像の候補とし、更新型背景画像データベース８に既存の背景画像群と上記入力画像による背景画像の候補とを加えた画像群から、他の画像と比較した際の独自性が低く、更新型背景画像データベース８に記憶した背景画像のバリエーションを増やすことに貢献しない画像を一枚廃棄する。なお、他の画像と比較した際の独自性が低く、更新型背景画像データベース８に記憶した背景画像のバリエーションを増やすことに貢献しない画像の判定方法についての詳細は、後述する。

更新型背景画像データベース（背景画像記憶部）８は、物体検出装置１の運用中に更新背景学習手段７によって更新され得る更新型の背景画像を記憶するデータベースであり、例えば物体検出装置１を構成するコンピュータの記憶装置に構築される。固定背景初期化手段９は、物体検出装置１の運用前に入力された入力画像を、物体検出装置１の運用中に変更されない固定型の背景画像として固定型背景画像データベース１０に記憶させる、いわゆる固定型の背景画像の初期化を実行する。

固定型背景画像データベース（背景画像記憶部）１０は、固定型の背景画像を記憶するデータベースであり、例えば物体検出装置１を構成するコンピュータの記憶装置に構築される。上述したように、固定型の背景の初期化処理において、固定背景初期化手段９が、不審物体も遮蔽物体も取り除かれた環境下で様々な照明条件の背景を取り込んだ入力画像を固定型背景画像データベース１０に取り込む処理を行い、物体検出装置１の通常運用時においては、この固定型背景画像データベース１０は更新されることはない。

遮蔽物体検出手段（第２の物体検出手段）１１は、映像入力手段２を介して入力された入力画像（監視画像）と遮蔽物検知用背景データ１３との比較結果から、入力画像中の遮蔽物体（第２の物体）を検出する。なお、遮蔽物体としては、検出された物体の画像に相当する差分画像が、入力画像のサイズに対して大きな面積を有するものを想定している。そこで、遮蔽物体検出手段１１では、遮蔽物検知用背景データ１３と入力画像との差分画像を求め、この差分画像の画像面積と、検出対象の遮蔽物体に関して規定した入力画像のサイズに対して不審物体より大きな画像面積を表す画像面積範囲との比較結果に基づいて、この差分画像で検出された物体が遮蔽物体であるか否かを判定する。例えば、遮蔽物体に関する画像面積範囲としては、遮蔽物体と認識すべき不審物体よりも大きな画像が入力画像内で占めるであろう画像サイズの範囲を予め設定しておく。

遮蔽物検知用背景更新手段（遮蔽物用背景更新手段）１２は、遮蔽物体検出手段１１を介して映像入力手段２からの入力画像を逐次入力し、過去から現在までの入力画像を統計的に推定した結果から遮蔽物検知用背景データ１３を更新する。遮蔽物検知用背景データ１３は、過去から現在までに取り込まれた入力画像から統計的に推定した背景画像であり、例えば物体検出装置１を構成するコンピュータの記憶部に保持される。遮蔽物検知用背景データ１３としては、例えば過去から現在までに取り込まれた入力画像の画素情報（例えば、輝度値）の平均をとった画像が考えられる。

なお、映像入力手段２、最適背景選択手段３、不審物体検出手段４、統合判定手段５、アラーム６、更新背景学習手段７、固定背景初期化手段９、遮蔽物体検出手段１１及び遮蔽物検知用背景更新手段１２は、例えば本発明の趣旨に従う物体検出用プログラムをコンピュータに読み込ませてその動作を制御することにより、このコンピュータ上でソフトウエアとハードウエアが協働した具体的な手段として実現することができる。

また、更新型背景画像データベース８、固定型背景画像データベース１０、及び遮蔽物検知用背景データ１３を保持する記憶部は、上述したコンピュータに搭載された記憶装置の記憶領域上に構築してもよいが、当該コンピュータとデータ通信可能な別個に設けたコンピュータの記憶装置に構築しても構わない。

次に動作について説明する。
（１）運用前の処理
上述したように、物体検出装置１の運用前に固定型の背景を初期化する。
図２は、図１中の固定背景初期化手段による固定型背景の初期化処理の流れを示すフローチャートである。また、図３は、固定型背景の初期化処理を説明するための説明図である。以降、物体検出装置１の構成については図１を用い、初期化処理の流れ及びその概要を図２及び図３を用いて説明する。

先ず、固定背景初期化手段９は、映像入力手段２を介して監視画像（入力画像）を入力する（ステップＳＴ１）と、固定型背景画像データベース１０への取り込みタイミングであるか否かを判定する（ステップＳＴ２）。このとき、取り込みタイミングであると、固定背景初期化手段９は、入力画像を固定型背景画像データベース１０へ登録する（ステップＳＴ３）。

ここで、固定型背景画像データベース１０への取り込みタイミングとは、所定の時間周期、あるいは監視カメラ２ａの監視領域における照明変動を考慮した周期であって、固定型背景画像データベース１０に記憶される固定型の背景画像のバリエーションを増やすようなタイミングである。例えば、図８で後述するような２４時間の照明変動に応じたタイミングで取り込むことにより、様々なバリエーションの照明状態における監視画像が固定型の背景画像として登録される。

一方、ステップＳＴ２で取り込みタイミングでないと判定されるか、ステップＳＴ３で固定型背景画像データベース１０への登録が完了すると、固定背景初期化手段９は、初期化処理の終了の有無を判定する（ステップＳＴ４）。例えば、固定型背景画像データベース１０において予め設定された登録可能数に固定型の背景画像数が達したか否かで判定する。ここで、初期化処理が終了していない場合は、ステップＳＴ１の処理に戻って上述の処理が繰り返される。

図３に示す例では、更新型背景画像データベース８及び固定型背景画像データベース１０が、物体検出装置１を構成するコンピュータの記憶装置上の画像データベース記憶領域１４に構築されている。図３に示すように、監視カメラ２ａで撮影された監視画像が、映像入力手段２を介して入力画像１５として上記取り込みタイミングで画像データベース記憶領域１４へ取り込まれ、固定背景初期化手段９によって固定型背景画像データベース１０へ登録される。

（２）運用時の処理
図４は、図１中の物体検出装置の運用時における動作の流れを示すフローチャートであり、この図に沿って動作の詳細を説明する。
運用時において、映像入力手段２を介して順次入力された入力画像は、最適背景選択手段３、不審物体検出手段４及び遮蔽物体検出手段１１へ取り込まれる（ステップＳＴ１ａ）。最適背景選択手段３は、映像入力手段２を介して入力画像を入力すると、更新型背景画像データベース８及び固定型背景画像データベース１０に格納される背景画像のうち、入力した入力画像に対して最適な背景画像を選択する（ステップＳＴ２ａ）。

ここで、入力画像に対して最適な背景画像を選択する処理の一例を説明する。
最適背景選択手段３は、映像入力手段２を介して入力される映像信号を一画面あたり、ｌｘ×ｌｙ画素でサンプリングし、これをアナログデジタル（Ａ／Ｄ）変換してデジタル画像として内部のメモリに取り込む。この後、最適背景選択手段３は、入力画像について隣り合う横ｗｘ画素及び縦ｗｙ画素ずつからなるｗｘ×ｗｙ画素のブロック単位で各画素の輝度値の平均値を算出し、得られた（ｌｘ／ｗｘ）×（ｌｙ／ｗｙ）個の輝度値を新たな画像の画素値とする。このようにして、最適背景選択手段３は、元の画像と比較して十分に縮小された、（ｌｘ／ｗｘ）×（ｌｙ／ｗｙ）のサイズの縮小デジタル画像に入力画像を変換する。

同様にして、最適背景選択手段３は、更新型背景画像データベース８及び固定型背景画像データベース１０のいずれか一方から読み出した比較対象の背景画像も、元の画像と比較して十分に縮小された、（ｌｘ／ｗｘ）×（ｌｙ／ｗｙ）のサイズの縮小デジタル画像に変換する。

次に、最適背景選択手段３は、上述のような平均化縮小処理が施された（ｌｘ／ｗｘ）×（ｌｙ／ｗｙ）のサイズの縮小入力画像と、（ｌｘ／ｗｘ）×（ｌｙ／ｗｙ）のサイズの縮小背景画像との間で、（ｌｘ／ｗｘ）×（ｌｙ／ｗｙ）の全画素について、それぞれの縮小画像の輝度値の差の絶対値を合算して得られる値、即ち差分絶対値総和をそれぞれ求め、差分絶対値総和の大小で入力画像と背景画像を比較する。このとき、差分絶対値総和が小さければ、両画像の類似度が高いと判定し、逆に差分絶対値総和が大きければ、両画像の類似度が低いと判定する。つまり、輝度値で規定される照明条件が最も類似する画像が最適な背景画像として選択される。

図５は、画像の平均化縮小処理を説明するための説明図である。図５において、ｌｘ＝３２０画素、ｌｙ＝２４０画素、ｗｘ＝１６画素、ｗｙ＝１６画素である。この場合、最適背景選択手段３は、入力画像についての２０×１５のサイズの縮小入力画像と、更新型背景画像データベース８及び固定型背景画像データベース１０に登録されている全ての背景画像についての２０×１５のサイズの縮小背景画像とを用いて、差分絶対値総和を算出し、これが最も小さい背景画像を最適な背景画像として選択する。

なお、図５の例では、ｗｘ×ｗｙ＝１６×１６画素の縮小画像が横２０×縦１５個得られ、これら縮小画像は図５中の右側に矢印で示すように元の画像より十分に小さい画像となる。最適背景選択手段３は、入力画像に対して、データベース８，１０に登録される全ての背景画像について縮小画像を用いた差分絶対値総和をそれぞれ求め、これらのうち最も小さな値が得られた背景画像を最適な背景として選択する。

上述した縮小デジタル画像では、元の画像中のサイズが小さい不審物体の存在はもはや確認できず、例えば元の画像中の上の方の輝度が高いとか、右側の輝度が低い、というような、大局的な照明条件の情報のみが保存される。従って、入力画像に不審物体（入力画像中で占める面積が小さい画像）が撮影されても、ステップＳＴ２ａにおける最適な背景画像の選択処理には影響を与えない。

続いて、遮蔽物体検出手段１１が、映像入力手段２から入力画像を入力し、当該入力画像と遮蔽物検知用背景データ１３とを比較して、当該入力画像中における遮蔽物体の有無を判定する（ステップＳＴ３ａ）。この判定方法としては、入力画像と遮蔽物検知用背景データ１３との差分画像を求め、この差分画像の画像面積と、検出対象の遮蔽物体に関して規定した入力画像のサイズに対して不審物体より大きな画像面積を表す画像面積範囲との比較結果に基づいて、この差分画像で検出された物体が遮蔽物体であるか否かを判定する。つまり、差分画像の画像面積が上記画像面積範囲内であると、遮蔽物体が検出されたと判定する。

図６は、遮蔽物体の判定処理を説明するための説明図である。図６に示すように、監視カメラ２ａにより遮蔽物体（第２の物体）１７を含む入力画像（撮影画像）１５が撮影されると、遮蔽物体検出手段１１が、入力画像１５と遮蔽物検知用背景データ１３とを比較して検出処理を行い、遮蔽物体１７の検出結果１８として統合判定手段５へ出力する。

なお、本発明で対象とする遮蔽物体には、監視カメラ２ａの前に人が立っている若しくは監視カメラ２ａを覆う障害物等がある。また、本発明では、遮蔽物体が監視カメラ２ａで撮影した入力画像のサイズに対して大きな面積を有するものを想定している。このような想定に基づいて、遮蔽物体と不審物体とを区別している。

ステップＳＴ３ａにおいて遮蔽物体が検出されると、ステップＳＴ１ａの処理に戻り、新たに入力された入力画像に対して上述の処理を繰り返す。これにより、監視カメラ２ａの前に人が立った場合等、一時的に遮蔽物体が検出された場合であっても監視を継続することができる。また、一定時間、遮蔽物体が検出され続けた場合、例えば置き去りにされた荷物等として自動的に検出することも可能である。

また、ステップＳＴ３ａで遮蔽物体が検出されない場合、遮蔽物検知用背景データ１３は、遮蔽物検知用背景更新手段１２によって入力画像に応じて逐次更新される。この更新の一つの方法としては、遮蔽物検知用背景更新手段１２が、遮蔽物体検出手段１１を介して映像入力手段２からの入力画像を逐次入力し、過去から現在までの入力画像を統計的に推定した結果から遮蔽物検知用背景データ１３を更新する。

例えば、現在時刻をＴとし、現在時刻Ｔから過去の時刻Ｔ−１，Ｔ−２，・・・，Ｔ−（Ｎ−１）のＮフレームの画像が、遮蔽物検知用背景データ１３の記憶部に保持されていたとすると、これらＮフレームの画像における各画素についてそれぞれＮ個の時間的な輝度値の平均値を求めて、その平均値を輝度値とする画像を、新たな遮蔽物検知用背景データ１３とする。このように過去のＮフレームの画像で平均化することにより、瞬時の物体の通過や明るさの変動が吸収される。反対に緩やかな日照変動等にも追従することができる。

遮蔽物体検出手段４は、遮蔽物検知用背景データ１３と入力画像との差分を調べることで、遮蔽物体、すなわち入力画像中で大きな面積を占める背景とは異なる物体を検出することができる。なお、遮蔽物体が検出された場合は、遮蔽物検知用背景データ１３が更新されることなく、ステップＳＴ１ａの処理に戻る。

さらに、ステップＳＴ３ａで遮蔽物体が検出されない場合、不審物体検出手段４が、映像入力手段２を介して入力された入力画像と、最適背景選択手段３により選択された当該入力画像に対して最適な背景画像とを比較することにより、当該入力画像中に不審物体が撮影されているか否かを判定する（ステップＳＴ４ａ）。

本発明で対象とする不審物体は、監視カメラ２ａにより撮影された入力画像のサイズに対して、非常に小さな面積（所定の閾値未満）しか有さないものを想定している。そこで、判定方法としては、映像入力手段２を介して入力画像と最適背景選択手段３で選択された背景画像との差分画像を求めて、この差分画像の画像面積と、検出対象の不審物体に関して規定した入力画像のサイズに対する画像面積範囲との比較結果に基づいて、この差分画像で検出された物体が不審物体であるか否かを判定する。このようにして得られた不審物体検出手段４の検出結果は、統合判定手段５へ出力される。

図７は、不審物体を検出した場合の処理を説明するための説明図である。図７に示すように、監視カメラ２ａにより不審物体１９を含む入力画像１５が撮影されると、不審物体検出手段４が、この入力画像１５と最適背景選択手段３により選択された背景画像１６とを比較して検出処理を行い、不審物体１９の検出結果１８ａとして統合判定手段５へ出力する。

統合判定手段５では、不審物体検出手段４及び遮蔽物体検出手段１１の各検出結果を入力し、遮蔽物体検出手段１１によって遮蔽物体が検出されず、不審物体検出手段４により不審物体が検出されると、図７に示すようにアラーム６を起動して警報を発報させる（ステップＳＴ５ａ）。この後、不図示の入力装置を介したユーザによるアラーム停止の指示入力が確認されると、ステップＳＴ１ａの処理に戻り、新しい入力画像に対して上述の処理を継続する。一方、アラーム停止が確認されない場合は、ステップＳＴ５ａの処理に戻って、アラーム６による警報を発し続ける。

また、遮蔽物体検出手段１１によって遮蔽物体が検出されず、不審物体検出手段４により不審物体も検出されない場合、統合判定手段５は、当該検出結果が得られた入力画像を更新背景学習手段７へ出力する。更新背景学習手段７は、統合判定手段５から上記入力画像を入力すると、この入力画像で更新型背景画像データベース８の内容を更新する（ステップＳＴ７ａ）。

図８は、更新型背景画像データベースの更新処理を説明するための説明図である。図８に示すように、統合判定手段５から更新背景学習手段７へ入力される画像１８ｂは、入力画像１５と最適背景選択手段３により選択された背景画像１６とを比較して検出処理によって、遮蔽物体が検出されず、かつ不審物体も検出されなかった現在時刻の入力画像であり、現状に最も即した背景画像となり得る。

そこで、更新背景学習手段７は、入力画像１８ｂを統合判定手段５から入力すると、更新型背景画像データベース８に保持されている背景画像群と入力画像１８ｂとを合わせた背景画像群の中で、他の背景画像と比較した際の独自性が低く、更新型背景画像データベース８に保持すべき背景画像のバリエーションを増やすことに貢献しない背景画像を一枚選択して、廃棄画像２０として更新型背景画像データベース８から廃棄する。

ここで、他の背景画像と比較した際の独自性について説明する。
更新型背景画像データベース８において、Ｍ枚の背景画像による背景画像群が現在保持されている場合、更新背景学習手段７は、この背景画像群と現在入力した入力画像１８ｂとの合計（Ｍ＋１）枚の画像群の中から２つの画像を選択し、最適背景選択手段３と同様な処理によって上記２枚の画像をそれぞれ（ｌｘ／ｗｘ）×（ｌｙ／ｗｙ）のサイズの縮小画像に変換して、画素毎に差分絶対値の総和を求める。

具体的に説明すると、（Ｍ＋１）枚の中から２枚を選んだ総当たりの組み合わせを実行し、最も類似する、すなわち差分の絶対値総和が最小となる組み合わせを抽出する。例えば、Ａ番目の背景画像とＢ番目の背景画像の組み合わせが抽出されたとすると、これら背景画像は、互いに類似しており、他の背景画像からみると「独自性がない」とみなされ、どちらか一方を廃棄しても、残ったもので補完が可能であり廃棄による影響が少ない。

また、最終的にＡ番目の背景画像とＢ番目の背景画像のいずれを廃棄するかは、（Ｍ＋１）枚の画像群からＢ番目の画像を除いた合計Ｍ枚の画像の中から２枚を選ぶ組み合わせで上述の縮小画像の差分絶対値の総和を求めた値ＳＡと、（Ｍ＋１）枚の画像の中からＡ番目の画像を除いた合計Ｍ枚の画像の中から２枚を選ぶ組み合わせで縮小画像の差分絶対値の総和を求めた値ＳＢとを比較し、ＳＡ＞ＳＢである場合、Ｂ番目の画像を廃棄し、ＳＡ＜ＳＢならば、Ａ番目の画像を廃棄し、ＳＡ＝ＳＢであると、いずれか一方（Ａ，Ｂどちらでもよい）を廃棄する。

図９は、同一監視領域で得られた背景画像の特徴空間における分布を模式的に示す図である。図９に示す例では、パーソナルコンピュータからなる作業端末を設置した作業現場を２４時間監視して取得した複数の背景画像の３次元の特徴空間における分布を示している。作業時間中では、照明により高輝度の背景画像が得られ、作業時間終了後は、消灯されて低輝度の背景画像が得られる。これらの背景画像は、輝度値の情報に加え、時間帯毎に分布が決定されるので、図９のように時間ループに沿って分布する。

実際の背景画像群は、さらに高次の情報を含む多次元空間に分布する場合がある。また、特徴空間における分布も各背景画像で均一ではなく、２４時間の軌跡で完全に同じ画像に戻る場合は少なく、天候の違いや季節変動等によって常に変化している。このような背景画像の流動性を考慮して、本発明では、更新型背景画像データベース８の内容を逐次更新する。

更新背景学習手段７は、図８に示す入力画像１８ｂから縮小画像を生成し、これと既にバッファしているＭ枚の更新型の背景画像の縮小画像とをまとめた合計（Ｍ＋１）枚の縮小画像のうち、最も類似する関係を有する２枚の縮小画像の組み合わせを選択し、そのいずれを廃棄した方が更新型背景画像データベース８における背景画像群のばらつきが大きくなるか否かを判定する。このとき、ばらつきが小さくなる、すなわち類似度が高くなる方の背景画像を廃棄すべき画像２０として選択し廃棄する。

図１０は、既存の背景画像群に新たな背景画像を取り込む際の背景画像群全体のばらつき評価を説明するための図である。図１０において、丸形記号で示すプロットは、背景画像に相当し、２点のプロット間の距離が類似度を示しており、この距離が大きいほど類似度が低くなる。この場合、既存の背景画像群における総当たりの２点間の距離の合計値が最も大きくなるように、新たなプロット（背景画像）を選択する。

上述のようにして更新型背景画像データベース８の内容が更新されると、不審物体検出手段４は、不図示の入力装置を介してユーザにより不審物体の検出処理の終了指示が入力されたか否かを判定する（ステップＳＴ８ａ）。ここで、終了指示の入力が確認されると、不審物体の検出処理を終了する。一方、終了指示が入力されない場合、ステップＳＴ１ａの処理に戻り、新しい入力画像に対して上述の処理を継続する。

以上のように、この実施の形態１によれば、監視領域を予め撮影した複数の背景画像を記憶するデータベース８，１０と、新たに取り込んだ入力画像に最も類似する背景画像をデータベース８，１０から選択する最適背景選択手段３と、最適背景選択手段３により選択された背景画像と入力画像との差分画像を求め、この差分画像の画像面積と、検出対象の不審物体に関して規定した入力画像のサイズに対する画像面積範囲との比較結果に基づいて、差分画像で検出された物体が不審物体であるか否かを判定する不審物体検出手段４と、監視領域を撮影した背景画像と入力画像との差分画像を求め、この差分画像の画像面積と、検出対象の遮蔽物体に関して規定した入力画像のサイズに対して不審物体より大きな画像面積を表す画像面積範囲との比較結果に基づいて、差分画像で検出された物体が遮蔽物体であるか否かを判定する遮蔽物体検出手段１１と、物体検出手段４，１１によって両物体のいずれも検出されない場合、不審物体及び遮蔽物体が撮影されていない入力画像でデータベース８の背景画像を更新する更新背景学習手段７とを備える。
このように構成することにより、例えば人が絶え間なく入れ替わり操作するような金融端末を監視して、その一部に微小な変化、例えば不審な物体が端末に取り付けられた、あるいは端末利用者が物を置き忘れた、といった事象を検出したい場合において、検出したい対象よりもカメラに近い位置に別の侵入物体が存在して遮蔽が発生する状況が生じても、このようなシーンを誤って背景画像として取り込むことを防ぐことができる。また、遮蔽物体が滞在している間に照明変動が生じても、遮蔽物体が居なくなった後には、最適な背景画像が選択されるため、正確な物体の検出が可能である。

この発明の実施の形態１による物体検出装置の構成を示すブロック図である。 図１中の固定背景初期化手段による固定型背景の初期化処理の流れを示すフローチャートである。 固定型背景の初期化処理を説明するための説明図である。 図１中の物体検出装置の運用時における動作の流れを示すフローチャートである。 画像の平均化縮小処理を説明するための説明図である。 遮蔽物体の判定処理を説明するための説明図である。 不審物体を検出した場合の処理を説明するための説明図である。 更新型背景画像データベースの更新処理を説明するための説明図である。 同一監視領域で得られた背景画像の特徴空間における分布を模式的に示す図である。 既存の背景画像群に新たな背景画像を取り込む際の背景画像群全体のばらつき評価を説明するための図である。

符号の説明

１ 物体検出装置、２ 映像入力手段、２ａ 監視カメラ、３ 最適背景選択手段（背景選択手段）、４ 不審物体検出手段（第１の物体検出手段）、５ 統合判定手段、６ アラーム、７ 更新背景学習手段（背景更新手段）、８ 更新型背景画像データベース（背景画像記憶部）、９ 固定背景初期化手段、１０ 固定型背景画像データベース（背景画像記憶部）、１１ 遮蔽物体検出手段（第２の物体検出手段）、１２ 遮蔽物検知用背景更新手段（遮蔽物用背景更新手段）、１３ 遮蔽物検知用背景データ（背景画像）、１４ 画像データベース記憶領域、１５，１８ａ，１８ｂ 入力画像（撮影画像）、１６ 背景画像、１７ 遮蔽物体（第２の物体）、１８ 検出結果、１９ 不審物体（第１の物体）、２０ 廃棄画像。

Claims (6)

1. 撮影対象領域を予め撮影した複数の背景画像を記憶する背景画像記憶部と、
   新たに取り込んだ前記撮影対象領域の撮影画像に最も類似する背景画像を前記背景画像記憶部から選択する背景選択手段と、
   前記背景選択手段により選択された背景画像と前記撮影画像との差分画像を求め、この差分画像の画像面積と、検出対象の第１の物体に関して規定した前記撮影画像のサイズに対する画像面積範囲との比較結果に基づいて、前記差分画像で検出された物体が前記第１の物体であるか否かを判定する第１の物体検出手段と、
   前記撮影対象領域を撮影した背景画像と前記撮影画像との差分画像を求め、この差分画像の画像面積と、検出対象の第２の物体に関して規定した前記撮影画像のサイズに対して前記第１の物体より大きな画像面積を表す画像面積範囲との比較結果に基づいて、前記差分画像で検出された物体が第２の物体であるか否かを判定する第２の物体検出手段と、
   前記第１及び前記第２の物体検出手段によって前記第１及び前記第２の物体のいずれも検出されない場合、前記第１及び前記第２の物体が撮影されていない撮影画像で前記背景画像記憶部の背景画像を更新する背景更新手段とを備えた物体検出装置。
2. 第１の物体検出手段は、第１の物体として撮影対象領域に侵入した不審物体を検出し、
   第２の物体検出手段は、第２の物体として前記撮影対象領域の撮影を遮蔽する遮蔽物体を検出することを特徴とする請求項１記載の物体検出装置。
3. 現在及び過去の撮影画像を統計的に処理することにより、第２の物体検出手段の検出処理に使用する背景画像を順次更新する遮蔽物用背景更新手段を備えたことを特徴とする請求項１または請求項２記載の物体検出装置。
4. 背景選択手段は、背景画像記憶部に記憶された背景画像及び撮影画像の画像サイズを縮小した各縮小画像間の差分情報に基づいて、前記撮影画像に最も類似する背景画像を選択することを特徴とする請求項１から請求項３のうちのいずれか１項記載の物体検出装置。
5. 背景更新手段は、背景画像記憶部に記憶した背景画像及び撮影画像の画像サイズを縮小した各縮小画像間の差分情報に基づいて、前記背景画像及び前記撮影画像を含む画像間の類似度の向上に最も寄与する背景画像を特定し、この背景画像を前記背景画像記憶部から廃棄して、第１及び第２の物体が撮影されなかった撮影画像を新たな背景画像として登録することを特徴とする請求項１から請求項４のうちのいずれか１項記載の物体検出装置。
6. 第１及び第２の物体検出手段の検出結果に応じて、アラーム出力を制御する統合判定手段を備えたことを特徴とする請求項１から請求項５のうちのいずれか１項記載の物体検出装置。

Images