JP5063479B2 - 不審物監視装置 - Google Patents

Description

本発明は、監視空間内の不審物を監視する不審物監視装置に関する。

近年、銀行等に設置された自動現金取引装置に小型カメラを不正に設置して利用者の暗証番号の入力操作を盗撮したり、スキミング装置を不正に設置してカード情報を読み取ったりする等の犯罪が問題となっている。そのため、このような犯罪による被害を防ぐために、自動現金取引装置に設置された不審物を迅速に検出して通報することが求められている。

特許文献１には、侵入者が監視装置が設置された監視領域にて検知され、その後、監視領域外へ出たときに、侵入者の検知前後の監視領域の撮像画像を比較して、その画像の変化を判定することにより置き去られた不審物等を検出する技術が開示されている。

特開平５−７３６３号公報

ところで、不正に設置される小型カメラやスキミング装置等の不審物は、自動現金取引装置とよく似た色で偽装されることが多い。このように偽装された不審物を確実に検出するためには、自動現金取引装置を撮像するカメラの画角を小さくするなどして画像の解像度を高くしたり、画像処理によって僅かな変化を検出できるように調整したりする必要がある。

また、自動現金取引装置を撮像した画像には、窓から射し込む太陽光、窓に貼られた掲示物の影、建物等の構造物の影が映り込んでしまうことがある。これらの光や影は、自動現金取引装置の前に人が滞在している間に太陽の移動等によって移動したり変化したりする。

このような光や影が映り込んでいる場合、不審物の検出感度を高くすると、自動現金取引装置の前に人が滞在している間に移動や変化した光や影の領域を不審物として誤検出してしまうおそれがある。

また、人と同様に、光や影が監視領域外へ出るのを待つと、太陽の移動や環境の変化に伴う画像内の光や影の移動・変化の速度は非常に遅いため、不審物の検出に長時間掛かってしまう。そのため、犯罪の被害を拡大してしまうおそれがあった。

本発明の１つの態様は、監視空間を撮像して監視画像を順次出力する撮像手段と、前記監視空間に人体が存在するか否かを検出する人体検出手段と、前記人体検出手段が人体を検出する前に撮像された監視画像と、人体が検出されなくなった後に撮像された監視画像と、を比較して変化画素を抽出する変化画素抽出手段と、人体が検出されなくなった後の異なる時間に撮像された複数の監視画像のうち１つの監視画像にて前記変化画素抽出手段によって抽出された前記変化画素を纏めて評価領域として設定し、前記複数の監視画像間で同一の画素位置に継続して抽出される前記変化画素の数の時間的な減少量を前記評価領域について求め、前記減少量が所定の基準値以下である評価領域が存在する場合に前記監視空間に不審物が設置されたものと判定する不審物検出手段と、を備えることを特徴とする不審物監視装置である。

ここで、前記監視画像から画像のエッジを抽出してエッジ画像を生成するエッジ画像生成手段をさらに備え、前記変化画素抽出手段は、前記人体検出手段が人体を検出する前に撮像された監視画像から生成されたエッジ画像と、人体が検出されなくなった後に撮像された監視画像から生成されたエッジ画像と、を比較して前記変化画素を抽出することが好適である。

また、前記不審物検出手段は、前記複数の監視画像のうち１つの監視画像において１つの評価領域とされた画像領域において、前記複数の監視画像のうち他の監視画像において前記変化画素の纏まりを計数し、当該纏まりを複数と判定すると当該纏まりのそれぞれを評価領域として設定を更新することが好適である。

また、前記不審物検出手段は、前記評価領域について複数の監視画像間で同一の画素位置に継続して抽出される前記変化画素の数の比率の時間的な変化を前記減少量として求めることが好適である。

また、前記監視空間の明るさに応じて前記撮像手段の露光量を調整する露光量調整手段をさらに備え、前記不審物検出手段は、前記露光量の変化が所定以下となった時点から不審物の検出処理を開始することが好適である。

本発明によれば、微速移動する光や影が映り込んだ監視空間の画像から不審物を迅速に検出することができる。

本発明の実施の形態における不審物監視装置１は、図１に示すように、撮像部２、記憶部３、信号処理部４及び出力部５を含んで構成される。不審物監視装置１は、自動現金取引機等が設置された監視空間を監視する。

撮像部２は、所謂監視カメラであり、自動現金取引機の操作パネル等が設けられた前面を監視領域とする。撮像部２は、例えば、自動現金取引機に対向するように天井等に設置される。撮像部２は、監視領域を所定の時間間隔で撮像した監視画像を信号処理部４へ順次出力する。以下、上記所定の時間間隔の時間の単位を時刻と称する。

なお、撮像部２は、露光量制御手段２０を備えてもよい。露光量制御手段２０は、オートゲインコントローラ（ＡＧＣ）等とも呼ばれ、監視空間の明るさに応じて撮像部２のシャッタースピードやしぼり量を変更することにより、撮像される監視画像の露光量を適正に調整する回路を含む。露光量制御手段２０によって監視画像の露光量を適正に調整することで、太陽光が射し込んで監視空間が明るい状態、太陽光が射し込まず監視空間が暗い状態、というように監視空間の明るさが変化しても監視画像における画素値のダイナミックレンジが十分に確保され、不審物による画像変化を適切に検出することができる。露光量制御手段２０は、現時刻における露光量の情報を含む露光量信号を信号処理部４へ出力するものとしてもよい。

記憶部３は、リードオンリーメモリ（ＲＯＭ）やランダムアクセスメモリ（ＲＡＭ）等の半導体メモリ装置、ハードディスク装置等の記憶装置を含んで構成される。記憶部３は、信号処理部４と情報交換可能に接続される。記憶部３は、不審物監視装置１において実行される各種プログラムや各種データを記憶し、必要に応じて信号処理部４からアクセス可能とする。

信号処理部４は、デジタル信号処理装置（ＤＳＰ）やマイクロコントロールユニット（ＭＣＵ）等の演算装置を含んで構成される。信号処理部４は、撮像部２、記憶部３及び出力部５と情報交換可能に接続される。信号処理部４は、人体検出手段４０、エッジ画像生成手段４１、変化画素抽出手段４３、不審物検出手段４５等の処理を記述したプログラムを記憶部３から読み出して実行することによって信号処理手段として機能する。信号処理部４は、撮像部２から入力される監視画像を画像処理して不審物を検出し、不審物を検出すると異常信号を出力部５へ出力する。

人体検出手段４０は、監視空間に人が存在するか否かを検出する。例えば、人体検出手段４０は、異なる時間に撮像された複数の監視画像をフレーム間差分することによって監視空間に人体が存在するか否かを検出する。すなわち、１時刻前に撮像された監視画像と、現時刻に撮像された監視画像との間で互いに対応する画素の画素値の差の絶対値を算出し、差の絶対値が所定値Ｔ１以上である画素の数を計数し、計数された画素の数が所定値Ｔ２以上である場合に監視空間に人体が存在すると判定する。所定値Ｔ１は人体による画像変化とノイズとを判別できる値とし、所定値Ｔ２は人体の大きさに相当する画素数とする。

なお、人体検出手段４０は、上記構成に限定されるものではなく、人体から放出される赤外線を検知する赤外センサを用いて監視空間への人の侵入を検出する、又は、対象物によって反射される光を用いて対象物との距離を測定することによって監視空間への人の侵入を検出する人体検知センサを利用してもよい。この場合、人体検知センサは、信号処理部４と信号線で接続され、人体検知センサからの検知信号が信号処理部４に入力される。

エッジ画像生成手段４１は、監視画像に含まれる画像の明暗の境界であるエッジを抽出してエッジ画像を生成する。具体的には、監視画像の各画素にＳｏｂｅｌオペレータ等を適用する公知の方法によってエッジを抽出することができる。その結果、各画素値がエッジの強度値を示すエッジ画像が生成される。

エッジは監視画像の各画素とその周辺画素との間の画素値の相対的な差を表す特徴量であるから、監視領域全体の明るさが変化したとしても、その変化自体はエッジとして抽出され難く、エッジ画像を用いることによって監視領域全体の明るさの変化を不審物として検出する誤りを減少させることができる。

また、エッジを利用することによって、太陽光による影響を光境界部分に限定することができ、太陽光によって影響を受けた領域と不審物の領域とを判別することを容易にする利点がある。

なお、上記の例において、エッジ画像生成手段４１は、エッジとしてエッジ強度値を抽出したが、さらにエッジ方向を算出し、エッジ強度値とエッジ方向をエッジとして抽出してもよい。こうすることで、不審物のエッジが背景のエッジと同位置に同強度で抽出されるような場合にもエッジ方向の違いに基づき、不審物による変化画素を精度良く抽出できる。

変化画素抽出手段４３は、人体検出手段４０において人体を検出する前に撮像された監視画像から生成されたエッジ画像と、人体が検出されなくなった後に撮像された監視画像から生成されたエッジ画像と、を比較して、人体が検出される前に存在せず、人体が検出された後、さらに人体が検出されなくなった後に監視画像に新たに現れたエッジを変化画素として抽出する。

具体的には、人体検出手段４０において人体が検出されていないときにエッジ画像生成手段４１において生成されたエッジ画像を背景画像として記憶部３に記憶させ、人体検出手段４０において人体が検出された状態から人体が検出されなくなった状態となった後にエッジ画像生成手段４１において生成されたエッジ画像（以下、立ち去り後エッジ画像という）と背景画像とを比較して、背景画像に含まれておらず、立ち去り後エッジ画像に含まれているエッジを変化画素として抽出する。

例えば、図２（Ａ）に示すように、自動現金取引装置に不審物６０が設置され、さらに領域６１に太陽光が射し込んだ監視画像が得られた場合、上記処理によって図２（Ｂ）に示すようなエッジ画像が得られる。図２（Ｂ）に示すように、エッジ画像には監視対象である自動現金取引装置等の輪郭部分や構造的な境界部分に加えて、不審物６０の輪郭部分６２、及び、太陽光が射し込んだ領域６１の光と影の光境界６３も抽出される。光境界６３は、不審物６０の検出処理において外乱となる。

これにより、監視画像内において不審物に対応する位置に変化画素が抽出される。ただし、背景画像を撮像した時刻から立ち去り後エッジ画像の元となる監視画像を撮像した時刻までの間に移動又は変化した光や影の境界の位置にも変化画素が抽出されてしまうため、不審物による変化画素と光境界による変化画素とを区別する必要がある。変化画素には背景画像中の光境界のエッジは含まれない。

なお、変化画素抽出手段４３は、これらの処理を行うために背景画像生成手段４３０及び背景差分手段４３１を含んで構成される。

背景画像は、明るさの変化による誤検出を排除するために、可能な限り、立ち去り後エッジ画像と近い撮像環境において撮像されたものを含むことが好適である。

また、背景画像は、少なくとも時間Ｃ以上離れた複数の時刻において生成されることが望ましい。これらの背景画像を利用することにより背景画像中の光境界をキャンセルできる。時間Ｃは、任意の時刻に撮像された監視画像上に存在する光や影による光境界のエッジの位置が、時刻Ｃだけ経過した時刻で撮像された監視画像上において対応する光境界のエッジの位置と重なり合わないような値に設定する。時間Ｃは、不審物監視装置１を設置する前の事前の実験等に基づいて予め設定することができる。例えば、時間Ｃは数分から数十分に設定することが好適である。

具体的には、背景画像生成手段４３０は、人体検出手段４０において人体が検出されていないときの撮像画像から得られたエッジ画像を記憶部３の所定の記憶領域に逐次上書き記憶させる。また、背景画像生成手段４３０は、記憶部３の別の記憶領域に時間Ｃの間隔で背景画像を循環的に記憶させ、人体検出手段４０において人体が検出されたときに背景画像の記憶の更新を停止する。そして、後述する不審物検出手段４５において監視空間に不審物が存在しないと判定された後、又は、監視空間に不審物が存在すると判定された後に更新を再開し、新たな不審物の検出を行うための背景画像を生成する。

背景差分手段４３１は、背景画像生成手段４３０により生成された背景画像のそれぞれと、立ち去り後エッジ画像との間で互いに対応する画素の画素値の差の絶対値を算出し、差の絶対値が所定値Ｔ３以上である画素の画素値を１とし、そうでない画素の画素値を０とした画像を生成し、生成された複数の画像の間で互いに対応する画素の画素値の論理積を各画素の画素値とした差分画像を生成する。所定値Ｔ３は、不審物による画素値の変化とノイズによる画素値の変化とを判別できる値とする。差分画像における画素値が１の画素が変化画素となる。

なお、背景画像生成手段４３０及び背景差分手段４３１における処理はこれに限定されるものではない。例えば、背景画像生成手段４３０は、人体検出手段４０により人体が検出される直前の背景画像のみを生成し、背景差分手段４３１は立ち去り後エッジ画像の各画素の画素値から背景画像の対応する画素の画素値を減じ、差が正である画素の画素値を１とし、そうでない画素の画素値を０として差分画像を生成する等してもよい。

不審物検出手段４５は、変化画素抽出手段４３において抽出された変化画素に基づいて監視空間に不審物が設置されているか否かを判定する。不審物検出手段４５は、複数の差分画像において同じ画素位置に継続的に現れる変化画素の数を求め、その数の時間的な減少量が予め設定された基準値Ｖより小さい場合に不審物が存在すると判定する。以下、複数の差分画像において同じ画素位置に継続的に現れる変化画素を静止画素と称する。

すなわち、光や影による光境界を原因とする変化画素が抽出される位置は時間と共に移動又は変化し、複数の差分画像において同じ画素位置に継続的に現れる変化画素の数は時間の経過と共に減少する。一方、静止している不審物を原因とする変化画素が抽出される位置は時間と共に移動しないので、複数の差分画像において同じ画素位置に継続的に現れる変化画素の数は時間の経過と共に減少しない。そこで、複数の差分画像において同じ画素位置に継続的に現れる変化画素の数の減少量を基準値Ｖと比較することによって、変化画素が不審物によるものであるのか、光境界によって生ずるものであるのかを判別することができる。

理想的な撮像環境下においては、不審物を原因とする変化画素の位置は時間的に変動しないが、実際の撮像環境下では、監視領域の明るさの変化に応じて不審物による変化画素の位置にも微少な変化がみられる。基準値Ｖは、このような誤差により不審物を光境界として誤判定しない程度の値を設定する。

なお、変化画素抽出手段４３により変化画素が抽出されなかった場合、不審物検出手段４５は不審物が存在しないと判定する。この判定は、不審物が設置されておらず、光や影による光境界の影響もないときに成立する。

また、不審物検出手段４５は、同じ画素位置に継続して抽出される変化画素がない場合にも不審物が存在しないと判定する。この判定は、不審物が設置されておらず、光境界のみが存在する場合であって、光境界によるエッジの位置が時間と共に移動したり、太陽光が雲等に遮られたりしたときに成立する。

不審物検出手段４５は、静止画素を抽出する静止画素抽出手段４５０、静止画素の減少量算出手段４５１を含んで構成される。

静止画素抽出手段４５０は、変化画素抽出手段４３において順次生成される差分画像の間で対応し合う画素の画素値の論理積を演算し、演算結果が１である画素を静止画素として抽出する。また、別の例では、変化画素抽出手段４３において順次生成される差分画像の各画素について画素値が１である回数を計数し、計数された回数が生成された差分画像の数に一致する画素を静止画像として抽出する。

減少量算出手段４５１は、予め設定された時間Ｄにおける静止画素の数の減少量を時間減少量として算出する。時間Ｄは、事前の実験等に基づいて、光境界による静止画素の減少量が確実に顕在化する最短の時間を設定する。

具体的には、前後する時刻において撮像された監視画像について静止画素抽出手段４５０により抽出された静止画素の数の比（比率）を時間Ｄに亘って算出し、異なる複数の監視画像間で算出された比率を平均することで時間減少量を算出することが好適である。

また、別の例では、前後する時刻において撮像された監視画像について静止画素抽出手段４５０により抽出された静止画素の数の差を時間Ｄに亘って算出し、複数の監視画像について算出された数を平均することで時間減少量を算出してもよい。

また、別の例では、時間Ｄだけ離れた時刻において撮像された監視画像について静止画素抽出手段４５０により抽出された静止画素の数の比率又は差を算出して時間減少量としてもよい。このとき、複数の異なる監視画像間で得られた比率又は差を平均した値を時間減少量としてもよい。

さらに、別の例では、時間Ｄに亘り抽出された静止画素の数の時系列データを一次関数で近似し、その一次関数の傾きを時間減少量としてもよい。

なお、監視空間に不審物と光領域が同時に存在すると、不審物による変化画素と光境界による変化画素が重ね合わさり、不審物が存在するにも関わらず静止画素の時間減少量が基準値Ｖを下回らない場合がある。そこで、不審物検出手段４５は、変化画素を複数の評価領域に分けてラベリングし、評価領域毎に時間減少量を算出して不審物の存在判定を行ってもよい。例えば、所定の画素間隔以下で互いに近接する変化画素同士を同じ評価領域としてラベリングすることが好適である。また、監視画像を予め複数の領域に分けておき、各領域に含まれる変化画素をそれぞれ１つの評価領域としてラベリングすることも好適である。

このように変化画素を評価領域に纏めて処理することによって、不審物による変化画像のみからなる評価領域について時間減少量を算出でき、監視空間に不審物と光領域が同時に存在していても不審物の存在を確実に判定することができる。なお、不審物の存在を判定するタイミングは、少なくとも１つの評価領域の静止画素の時間減少量が基準値Ｖを下回った時点とすればよい。

また、不審物を早期に検出するという観点からは人が立ち去った後、できるだけ早い時点で評価領域を設定し、不審物判定を開始することが好ましい。しかしながら、一般的に人は不審物よりも格段に大きいため、人が立ち去ると監視空間の明るさが大きく変化し、露光量制御手段２０による監視画像全体の明るさの調整に伴う変化画像が抽出されてしまう。

そこで、不審物検出手段４５に露光量調整判定手段４５２を設ける構成とすることが好適である。露光量調整判定手段４５２は、露光量制御手段２０から露光量信号を受けて、撮像部２の露光量を順次比較し、前後して撮像された監視画像の露光量の差が所定基準値Ｒｄよりも小さくなった時点を検出して出力する。不審物検出手段４５は、露光量調整判定手段４５２からの出力を受けて、露光量の変化が所定値より小さくなった時点で評価領域を設定して不審物判定処理を開始することが好適である。このように、露光量の変化による影響を避けることによって、より確実に不審物を検出することができる。

なお、露光量調整判定手段４５２は、人体検出手段４０において人体が検出されなくなった時点からの時間を計測し、所定の時間が経過した時点を検出して出力する構成としてもよい。所定の時間は、事前の実験等により、人体が検出されなくなった時点から人体の露光量への影響がなくなるまでの時間に設定する。

また、露光量調整判定手段４５２は、順次撮像される監視画像中の予め設定された領域において画素値の時間的な変化に基づいて露光量の変化が所定基準値Ｒｄよりも小さくなった時点を検出して出力するものとしてもよい。予め設定された領域は、監視画像において人が写り込むことがない領域に設定する。

図３は、静止画素抽出処理を模式的に示した図である。背景画像７０ａ〜７０ｇは時間Ｃ以上の間隔で生成される。背景画像７０ｇは、人体検出手段４０において人体が検出される直前に生成されたものである。人体検出手段４０において人体が検出されなくなった後に立ち去り後エッジ画像７１ａが生成され、静止画素抽出処理が開始される。図３（Ａ）に示すように、立ち去り後エッジ画像７１ａと背景画像７０ａ〜７０ｇとの間でそれぞれ差分処理が行われ、その結果得られた複数の画像間で論理積演算が行われて差分画像７２ａが生成される。次に、立ち去り後エッジ画像７１ｂが生成され、同様に静止画素抽出処理が行われる。図３（Ｂ）に示すように、立ち去り後エッジ画像７１ｂと背景画像７０ａ〜７０ｇとの間でそれぞれ差分処理が行われ、その結果得られた複数の画像間で論理積演算が行われて差分画像７２ｂが生成される。さらに、差分画像７２ｂと一時刻前に生成された差分画像７２ａとの論理積演算が行われて論理積画像７３ｂが生成される。論理積画像７３ｂにおいて画素値が１である画素が静止画素である。

次時刻には、さらに新たに生成された差分画像と論理積画像７３ｂとの間で論理積演算が行われて新たな論理積画像が生成される。以降、差分処理と論理演算処理を繰り返し、静止画素が順次抽出される。

図３（Ｃ）は、変化画素及び静止画素が抽出される態様を模式的に示した図である。異なる時刻に撮像された監視画像からそれぞれ生成された差分画像７２ａ〜７２ｃには変化画素が含まれている（図中、ハッチングを示した領域）。変化画素が抽出された領域７４ａ〜７４ｃ及び領域７５ａ〜７５ｃのうち、領域７４ａ〜７４ｃが不審物によるものであり、領域７５ａ〜７５ｃが光境界によるものである。領域７４ａ〜７４ｃは各差分画像７２ａ〜７２ｃにおいて位置が変化しないが、領域７５ａ〜７５ｃは位置が変化する。

図３（Ｃ）の下段は、評価領域７４ａ〜７４ｃ，７５ａ〜７５ｃと静止画素との関係を示す。差分画像７２ａと差分画像７２ｂとで対応し合う画素同士の画素値の論理積を算出して静止画素を抽出した画像７３ｂを生成し、差分画像７２ｂと差分画像７２ｃとで対応し合う画素同士の画素値の論理積を算出して静止画素を抽出した画像７３ｃを生成する。破線の枠で示した領域は評価領域７６，７７を示し、評価領域７６，７７中のハッチングで示した領域は静止画素が抽出された領域を示している。不審物による評価領域７６に含まれる静止画素の数は時間の経過によらず一定だが、光境界による評価領域７７に含まれる静止画素の数は時間の経過と共に減少する。

図４に横軸を時間軸、縦軸を評価領域における静止画素の数又は時間減少量（比率）としたグラフを示す。時間減少量（比率）とは、各評価領域における注目時刻の静止画素の数でその一時刻前の静止画像の数を割った比率である。時間減少量（平均）とは、その比率の時間的な移動平均である。

図４（Ａ）は、不審物による評価領域の静止画素に関する。静止画素の数は時間的に変動せず、時間減少量（比率）として基準値Ｖ以下の値を常に維持する。したがって、評価領域が設定されてから時間Ｄ以内に不審物が存在することを判定できる。

図４（Ｂ）は、光境界による評価領域の静止画素に関する。静止画素の数は時間的に減少し、時間減少量（比率）は基準値Ｖより大きい値を維持する。したがって、この評価領域が不審物として判定されることはない。

図４（Ｃ）は、不審物と光境界が重ね合わさった評価領域に関する。静止画素の数の減少は緩やかであり、時間減少量（比率）は基準値Ｖを下回らない。これは、静止画素の数が減少しないする光境界を含んでいるためである。

このような場合、太陽の移動等に伴って、不審物による静止画素の領域と光境界による静止画素の領域とが分離する場合がある。そこで、不審物検出手段４５において、各評価領域が実質的に別々の領域に分離した場合にはそれぞれの領域を新たな評価領域として再ラベリングしてもよい。これにより、光境界上に不審物が設置されても、不審物による変化画素を含む評価領域と不審物による変化画素を含まない評価領域とに適宜再設定されるので、不審物の存在を迅速に判定することができる。

なお、評価領域が実質的に別々の領域に分離した場合とは、例えば、１つの評価領域としてラベリングされていた静止画素の集合が、所定の画素間隔よりも互いに離れ合っている静止画素の集合に別れた場合とすることができる。

図４（Ｃ）では、時間軸の途中で１つの評価領域が２つの別々の評価領域にラベリングされ、静止画像の数、時間減少量（比率）及び時間減少量（平均）がそれぞれの評価領域について算出されている。このように、評価領域が再設定された後は、不審物の評価領域に関する時間減少量（比率）が基準値Ｖを下回り、評価領域が再設定されてから時間Ｄ以内に不審物の存在を判定することができる。

ここで、静止画素の数の比率を時間平均した時間減少量により判定を行うものとすると、再設定前の評価領域について既に算出されている比率と、再設定後の評価領域について算出される比率とをそのまま時間的に平均して再設定後の各評価領域の時間減少量を求めることができる。すなわち、評価領域を再設定した後に時間減少量の算出処理をリセットせずに継続して判定を行うことができるので、判定時間を短縮することができる。

出力部５は、信号処理部４において不審物が検出された時に出力される異常信号を受けて、外部に接続されるセンタ装置等の外部装置（図示しない）へ警報信号を出力する。出力部５は、電話網やインターネット等の通信手段を介して外部装置と情報伝達可能に接続され、所定のプロトコルに従って外部装置と通信する。

＜不審物監視処理＞
以下、図５のフローチャートを参照しつつ、不審物監視装置１における不審物監視処理について説明する。

不審物の監視を行うために、人体検出手段４０及び不審物検出手段４５は一定の時刻おきに検出結果を出力し、信号処理部４はこれらの検出結果を参照しつつ、各手段における画像処理を行う。信号処理部４は、人体検出状態及び不審物検出状態を記憶部３に記憶させ、それぞれの検出結果に応じてこれらの状態を更新しつつ処理を進める。

本実施の形態では、人体検出状態には｛人体あり，人体なし｝の２つの状態があり、不審物検出状態には｛不審物あり，不審物検出中，不審物なし｝の３つの状態がある。「不審物あり」及び「不審物なし」は不審物の存在の判定が確定した状態であり、「不審物検出中」は不審物の存在の判定が確定していない状態を示す。

監視空間に不審物が設置されておらず、人が立ち入っていないことを確認した管理者等が不審物監視装置１の電源を投入すると、不審物監視装置１が起動されて各部及び各手段が初期化される（Ｓ１０）。このとき、信号処理部４は、撮像部２で撮像された監視画像を記憶部３に記憶させる。また、信号処理部４は、エッジ画像生成手段４１により監視画像からエッジ画像を生成し、そのエッジ画像を背景画像として記憶部３に記憶させる。また、信号処理部４は、人体検出状態を「人体なし」、不審物検出状態を「不審物なし」に設定して記憶部３に記憶させる。

その後、撮像部２では所定の時刻毎に監視空間の撮像を行い、監視画像を信号処理部４へ出力する。信号処理部４では、新たに監視画像が入力されるたびにステップＳ１５〜
Ｓ７５の処理を実行する。

信号処理部４は、撮像部２で撮像された新たな監視画像を取得する（Ｓ１５）。人体検出手段４０は、記憶部３に記憶されている監視画像と、新たに取得された監視画像とを比較して人体の検出を行う（Ｓ２０）。そして、信号処理部４は、記憶部３に記憶されている情報の更新を行う（Ｓ２５）。すなわち、記憶部３に登録されている人体検出状態が「人体あり」であり、人体検出結果が「人体なし」であった場合に不審物検出状態を「不審物検出中」に更新する。また、人体検出状態を人体検出結果で更新する。また、次時刻の人体検出に備え、記憶部３の監視画像を取得された監視画像で更新する。

次に、信号処理部４は、記憶部３に記憶されている人体検出状態が「人体あり」であれば処理をステップＳ１５に戻し、「人体なし」であればステップＳ３５からの不審物検出処理に移行させる（Ｓ３０）。

まず、エッジ画像生成手段４１はステップＳ１５で取得した監視画像からエッジ画像を生成する（Ｓ３５）。次に、記憶部３に記憶されている不審物検出状態が「不審物検出中」でない場合（実質上「不審物なし」の状態）、変化画素抽出手段４３の背景画像生成手段４３０はステップＳ３５で得られたエッジ画像で記憶部３に記憶されている背景画像を更新する（Ｓ４５）。信号処理部４は、背景画像の更新後、処理をステップＳ１５へ戻す。

一方、不審物検出状態が「不審物検出中」である場合、変化画素抽出手段４３はステップＳ３５にて生成されたエッジ画像と記憶部３に記憶されている背景画像の比較により変化画素を抽出する（Ｓ５０）。すなわち、変化画素抽出手段４３は、背景差分手段４３１により差分画像を生成する。不審物検出手段４５はその変化画素に基づいて不審物の検出を行う（Ｓ５５）。

不審物検出処理は、図６のサブルーチンに沿って実行される。不審物検出手段４５は、評価領域が設定されているか否かを確認する（Ｓ５５０）。評価領域が既に設定されている場合には処理をステップＳ５６０へ移行させ、そうでない場合にはステップＳ５５１へ処理を移行させる。

露光量調整判定手段４５２は、露光量調整が不審物判定に適した状態となっているか否かを判定する（Ｓ５５１）。露光量調整が不審物判定に適した状態となっていない場合には不審物検出手段４５は不審物検出結果を「不審物検出中」として現時刻の不審物検出処理を終える（Ｓ５５２，Ｓ５５８）。露光量調整が不審物判定に適した状態となっている場合には不審物検出手段４５は変化画素の有無を確認する（Ｓ５５２，Ｓ５５３）。変化画素がない場合、不審物検出手段４５は不審物検出結果を「不審物なし」とし、評価領域を設定せずに不審物検出処理を終える（Ｓ５５３，Ｓ５５４）。変化画素がある場合、不審物検出手段４５はステップＳ５０において生成された差分画像において評価領域をラベリングして記憶部３に記憶させる（Ｓ５５５）。

また、静止画素抽出手段４５０は、静止画素を抽出するための論理積画像の初期画像としてステップＳ５０で生成された差分画像を記憶部３に記憶させる（Ｓ５５６）。

減少量算出手段４５１は、ステップＳ５５５にて設定された評価領域毎にステップＳ５０で抽出された変化画素の数を計数し、計数結果を静止画素の数の初期値として評価領域毎に記憶部３に記憶させる（Ｓ５５７）。なお、ステップＳ５５５でラベリングされた評価領域と、ステップＳ５５７にて計数された静止画素の数には共通のラベル（識別番号等）を付して関連付けする。

評価領域の設定及び静止画素の計数後、不審物検出手段４５は不審物検出結果を「不審物検出中」として現時刻の不審物検出処理を終える（Ｓ５５８）。

一方、評価領域が既に設定されている場合、不審物検出手段４５は評価領域毎に不審物の存在の判定を行う。

まず、静止画素抽出手段４５０は、記憶部３に記憶されている論理積画像とステップＳ５０にて生成された差分画像との論理積画像を算出し、静止画素を求める（Ｓ５６０）。論理積画像のうち画素値が１である画素が静止画素である。また、静止画素抽出手段４５０は、算出された論理積画像で記憶部３に記憶されている論理積画像を更新する。

次に、不審物検出手段４５はステップＳ５６０にて得られた静止画素の有無を確認する（Ｓ５６１）。静止画素がない場合、不審物検出結果を「不審物なし」として処理を終える（Ｓ５６２）。

静止画素がある場合、不審物検出手段４５は、各評価領域に含まれる静止画素の集合が分離しているか否かを判定する（Ｓ５６３）。複数の集合に分離している評価領域が存在する場合（Ｓ５６４）には、分離している静止画素の集合のそれぞれを新たな評価領域としてラベリングすることで評価領域を再設定する（Ｓ５６５）。また、元の評価領域について計数されていた静止画素の数のデータには、その評価領域から再設定された評価領域と共通のラベル（識別番号）を付け直して関連付ける。これにより、評価領域の再設定前に得られていた静止画素の数のデータが再設定後の評価領域のデータとして利用できる。

続いて、減少量算出手段４５１は、評価領域のそれぞれについて時間減少量を算出する（Ｓ５６６）。減少量算出手段４５１は、各評価領域内に含まれる静止画素の数を計数し、計数された静止画素数を各評価領域に対応付けて記憶部３に追加して記憶させる。記憶部３に記憶された各評価領域に対する静止画素数のデータがＮ個以上であれば、最新のＮ回の撮像時刻に相当する数の静止画素数のデータを用いて評価領域毎の時間減少量を算出する。ここで、Ｎ個は前述の時間Ｄに相当するデータ数である。記憶部３に記憶されている各評価領域に対する静止画素数のデータがＮ個未満の場合、減少量算出手段４５１は時間減少量を基準値Ｖより大きな値に設定する。

不審物検出手段４５は、ステップＳ５６６にて評価領域毎に算出された時間減少量を基準値Ｖと比較する（Ｓ５６７）。時間減少量が基準値Ｖ以下である評価領域があれば当該領域に不審物が存在すると判定し、不審物検出結果を「不審物あり」として不審物検出処理を終える（Ｓ５６８）。一方、時間減少量が基準値Ｖ以下である評価領域が１つもなければ、不審物検出結果を「不審物検出中」として不審物検出処理を終える（Ｓ５６９）。

図５のメインルーチンの処理に戻り説明を行う。信号処理部４は記憶部３に記憶されている不審物検出状態を新たに得られた不審物検出結果で更新する（Ｓ６０）。

続いて、信号処理部４は、記憶部３に記憶されている不審物検出状態を再び確認する（Ｓ６５）。不審物検出状態が「不審物なし」又は「不審物検出中」である場合、次時刻の処理を行うためにステップＳ１５に処理を戻す。一方、不審物検出状態が「不審物あり」の場合、信号処理部４は、不審物が検出された旨を表す異常信号を生成し、出力部５へ出力する（Ｓ７０）。

出力部５は、異常信号を受けると、センタ装置等の外部装置へ警報信号を出力する。外部装置は、警報信号を受けると、警備員など異常の発生を報知する。これによって、異常発生の報知を受けた警備員を自動現金取引装置の設置場所に派遣することが可能となる。

なお、信号処理部４は、不審物が検出された監視画像及び不審物が検出された評価領域の情報を含めた異常信号を生成し、出力部５から外部装置へこれらの情報を出力する構成としてもよい。この場合、外部装置において監視画像に不審物が検出された評価領域を重ね合わせて表示させ、これにより警備員に不審物の設置状況を把握させ、迅速な処置を行わせることができる。

異常信号の出力が終了すると、信号処理部４は記憶部３の不審物検出状態を「不審物なし」に更新し（Ｓ７５）、現時刻の処理を終了する。不審物検出状態を「不審物なし」にリセットすることによって、次時刻のステップＳ４５にて背景画像が更新されることとなり、既に検出済みの不審物を含む画像が背景画像となるので、新たな不審物を検出する処理を継続して行うことができる。

なお、上記において、変化画素抽出手段４３はエッジ画像を差分処理して変化画素を抽出する例を示したが、変化画素の抽出処理はこれに限らない。例えば、人体検出手段４０が人体を検出する前に撮像された監視画像と当該人体が検出されなくなった後に撮像された監視画像との間で相関を求め、求めた相関が所定未満の画素を変化画素として抽出することもできる。上記相関としては、周辺増分符合相関（「周辺増分符合相関画像に基づくロバスト物体検出及び分離」電子情報通信学会論文誌、Vol.J84-D-II,No.12,pp.2585-2594;佐藤，金子，五十嵐）、同監視画像間でRadial Reach Correlation(「Bi-polar Radial Reach Correlationによるロバスト背景差分」電子情報通信学会技術研究報告、Vol.104,No.741,pp.73-78;佐藤，坂上)などを適用できる。

本発明の実施の形態における不審物監視装置の構成を示すブロック図である。 本発明の実施の形態におけるエッジ画像の生成を説明する図である。 本発明の実施の形態における差分画像、変化画素及び静止画素の生成方法を説明する図である。 本発明の実施の形態における静止画素の時間的な変化例を示す図である。 本発明の実施の形態における不審物監視処理を示すフローチャートである。 本発明の実施の形態における不審物検出処理のサブルーチンを示すフローチャートである。

符号の説明

１ 不審物監視装置、２ 撮像部、３ 記憶部、４ 信号処理部、５ 出力部、２０ 露光量制御手段、４０ 人体検出手段、４１ エッジ画像生成手段、４３ 変化画素抽出手段、４５ 不審物検出手段、６０ 不審物、６１ 太陽光が射し込んだ領域、６２ 輪郭部分、６３ 光境界、７０ａ-７０ｇ 背景画像、７１ａ，７１ｂ 立ち去り後エッジ画像、７２ａ〜７２ｃ 差分画像、７３ｂ，７３ｃ 論理積画像、７６，７７ 評価領域、４３０ 背景画像生成手段、４３１ 背景差分手段、４５０ 静止画素抽出手段、４５１ 減少量算出手段、４５２ 露光量調整判定手段。

Claims (5)

1. 監視空間を撮像して監視画像を順次出力する撮像手段と、
   前記監視空間に人体が存在するか否かを検出する人体検出手段と、
   前記人体検出手段が人体を検出する前に撮像された監視画像と、人体が検出されなくなった後に撮像された監視画像と、を比較して変化画素を抽出する変化画素抽出手段と、
   人体が検出されなくなった後の異なる時間に撮像された複数の監視画像のうち１つの監視画像にて前記変化画素抽出手段によって抽出された前記変化画素を纏めて評価領域として設定し、前記複数の監視画像間で同一の画素位置に継続して抽出される前記変化画素の数の時間的な減少量を前記評価領域について求め、前記減少量が所定の基準値以下である評価領域が存在する場合に前記監視空間に不審物が設置されたものと判定する不審物検出手段と、
   を備えることを特徴とする不審物監視装置。
2. 前記監視画像から画像のエッジを抽出してエッジ画像を生成するエッジ画像生成手段をさらに備え、
   前記変化画素抽出手段は、前記人体検出手段が人体を検出する前に撮像された監視画像から生成されたエッジ画像と、人体が検出されなくなった後に撮像された監視画像から生成されたエッジ画像と、を比較して前記変化画素を抽出することを特徴とする請求項１に記載の不審物監視装置。
3. 前記不審物検出手段は、前記複数の監視画像のうち１つの監視画像において１つの評価領域とされた画像領域において、前記複数の監視画像のうち他の監視画像において前記変化画素の纏まりを計数し、当該纏まりを複数と判定すると当該纏まりのそれぞれを評価領域として設定を更新することを特徴とする請求項１又は２に記載の不審物監視装置。
4. 前記不審物検出手段は、前記評価領域について複数の監視画像間で同一の画素位置に継続して抽出される前記変化画素の数の比率の時間的な変化を前記減少量として求めることを特徴とする請求項１から３のいずれか１つに記載の不審物監視装置。
5. 前記監視空間の明るさに応じて前記撮像手段の露光量を調整する露光量調整手段をさらに備え、
   前記不審物検出手段は、前記露光量の変化が所定以下となった時点から不審物の検出処理を開始することを特徴とする請求項１から４のいずれか１つに記載の不審物監視装置。

Images