JP5611729B2 - 監視装置 - Google Patents

Description

本発明は、監視画像から人物の顔および顔の隠蔽を検知し、その検知状況から不審者を検知する監視装置に関する。

従来、画像を利用した監視装置は、特定領域を撮影する監視カメラと、当該監視カメラで撮影した画像を経時的に解析する画像解析部と、当該画像解析部による解析結果に基づいて不審行動を検知することにより、ＡＴＭ等における不審者を検知する用途に利用されている。例えば、特許文献１には、ＡＴＭ周辺領域における人物像の移動軌跡や人数等を解析することにより、ＡＴＭへのいたずらや他の利用者の覗き見等といった不審な行動を示す不審者を検知する監視装置が提案されている。

特開２００９−０７５８０２

しかしながら、従来の監視装置は、開店中の店舗や通常業務を行っている事務所では、複数の従業員や顧客が部屋の中を自由に動き回わることになる。このような状況においては、従業員や顧客の通常行われる行動と、強盗等により脅されたときのような非常時における行動とを判別することが困難である。このため、従業員や顧客の通常時の行動を非常時の行動と誤って判定し非常通報をしてしまうことが多発する恐れがある。

ところで、押込強盗時等の非常時においては、賊はサングラスやマスク、目出し帽などで顔隠蔽した上で、従業員を刃物等で脅迫し、金庫の解錠を強要するため、従業員と一定の位置関係を保って金庫に接近する場合が多い。

そこで本発明は、上記のような不審者の特徴（顔隠蔽）と利用者との位置関係に着目し、金庫等の重要物の直近において顔を隠蔽していない利用者の周囲に顔を隠蔽した人物（不審者）を検出することにより、誤報の発生を抑えて高い精度で押込強盗等の不審者を検知することを目的としたものである。

かかる課題を解決するために、本発明は、重要監視物を保管している所定領域内の画像を取得する撮像部と、重要監視物に接近する人体を検知する人体検知部と、不審者の存在を検知する不審者検知部と、前記不審者検知部が不審者を検知すると警報出力する警報部とを有する監視装置において、前記不審者検知部は、前記人体検知部が人体を検知した場合、前記撮像部が取得した画像から顔を検知した人物の周囲に顔を隠蔽した人物が存在していることを検知したとき、不審者が存在していると判定する判定手段を有することを特徴とする監視装置を提供する。

上記構成により、本発明は、撮像部により取得した画像に基づいて複数の顔が検出された場合、顔が隠蔽された人物と顔が検知された人物との間の相対位置によって警告出力することができる。これにより、例えば、賊に凶器等により脅されている利用者が金庫の解錠を強要がされる押込強盗等を検知することができる。

また、本発明の好ましい態様は、前記所定領域は、前記人体検知部の検知範囲の周囲の所定範囲を含む領域であって、前記撮像部の画像を前記人体検知部の検知前後の所定時間に渡って記憶する画像記憶部を更に有し、前記不審者検知部は、前記人体検知部が人体を検知した場合、前記画像記憶部に記憶された画像から顔を検知した人物の周囲に顔を隠蔽した人物が存在していることを検知したとき、不審者が存在していると判定する。
かかる構成により、人体検知部が人体を検知した所定時間前に取得した画像に基づいて判定することができる。
これにより、例えば、利用者が金庫の前に屈んで解錠している等で撮像部の死角になって顔が撮像できない場合であっても、金庫に接近中の画像を利用して判定することができる。

また、本発明の好ましい態様は、人体検知部の検知前の画像から顔を検知した人物の周囲に顔を隠蔽した人物が存在していることを検知した後、前記顔を検知した人物を検知しないとき、第２の警報出力をする。
かかる構成により、強盗犯により脅迫されて、利用者が金庫の前に屈んで解錠している状況等で撮像部の死角になって利用者の顔が撮像できないときを検知して警報することができる。

上記のように、本発明の監視装置は、押込強盗等の不審者を高い精度で検知できる。

実施例に係る監視装置の構成と配置イメージを模式的に示した図 監視装置の構成を示すブロック図 監視カメラにて撮像した画像の例を示す図 監視カメラにて撮像した画像の例を示す図 監視カメラにて撮像した画像の例を示す図 制御部における処理を示すフローチャート 顔判定情報を示す図

以下、本発明の一実施形態として、重要監視物である金庫が設置された金庫室を監視空間とし、金庫の上部に設置した監視カメラから撮像した画像から押込強盗の存在を検知する場合の実施例について、図面を参照して説明する。

図１は、監視装置１の構成および配置について模式的に示した図である。監視装置1は、不審者検知部である監視装置本体２、人体検知部である人感センサ３、監視カメラ４によって構成される。

監視装置1は、監視装置本体２に人感センサ３及び監視カメラ４をひとつの筐体に収容され金庫６の上部に載置されている。監視装置1は収容された人感センサ３及び監視カメラ４からの検知信号及び画像に基づいて不審者検知処理を行う。さらに、監視装置１は、警備装置５に接続され、不審者の検知時に警備装置５に異常信号を送信する。警備装置５は、金庫室を備えた建物内の事務室や警備室等に設置される。

人感センサ３及び監視カメラ４は監視装置本体２に収容され金庫６の上部に載置されている。人感センサ３は、例えばPSD（Position Sensitive Detector）にて構成され、金庫６に接近する人物を検出する。検知範囲として例えば、金庫６の利用者が金庫６の錠に対して操作可能な８０cm以内に人物が接近した場合に出力する。人感センサ３は、また、例えば人体が発する赤外線を受光して人体を検出する受動型の赤外線センサ（ＰＩＲセンサ）を採用することができる。また、光を投受光して、受光波の変化から人体を検出するアクティブ型の投受光センサも採用するようにしてもよい。

監視カメラ４は、監視装置本体２に収容され金庫６の前方に概略水平方向に向けて設置され、監視カメラ４の視野は金庫の前方から接近する人物を撮像することができる。この視野内が監視領域である。監視カメラ４は所定の撮影間隔（例えば０．２秒）毎に監視区域を撮像してデジタル信号に変換し監視画像としての画像データを出力する。
監視装置１は、監視カメラ４で取得された画像を処理し、その画像中に含まれる人物の顔及び顔隠蔽の有無および相対位置を判定するために用いられる。顔隠蔽の有無の判定とは、不審者が、サングラス、マスク、覆面、タオル等で顔の一部又は全部を隠蔽して、人物の特定を困難なようにしているか否かを判定することである。

監視カメラ４から取得された画像を本実施例の形態では入力画像と称する。入力画像の例を図３（ａ）〜（ｃ）に示す。図３からわかるように、概略水平方向に向けられたカメラの画像であることを活かし、画像中の人物が顔を顔検出カメラ４に向けている状態であれば人相を把握できる。そして顔隠蔽判定技術を用いることで顔隠蔽の有無の判定が可能となる。なお、入力画像は、画像中の人物について人相の他、服装や背格好の情報も取得可能であるため、証跡性の確保を目的とした画像として、記録するためにも用いることもできる。

なお、監視装置１と接続されている警備装置５は、金庫室を備えた建物内の事務室や警備室等に設置されている。警備装置５は、監視装置1からの異常信号を受信すると、公衆電話回線などの広域通信ネットワークを介して警備センタ装置７に当該異常を送信し、遠隔地にある警備センタに常駐する警備員に対して異常の発生を報知する。また、警備装置５は、赤外線センサ、マグネットセンサー等のセンー（図示せず）と接続され、警備中において当該センサにより侵入者を検知した場合、警備センタ装置７に異常信号を送信することにより、警備センタに常駐する警備員に対して異常の発生を通知する。

図２は、監視装置１の構成を示している。監視装置１は、コンピュータ機能を有しており、記憶部1１、制御部１２、及び通信部１３を備えている。

記憶部１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の情報記憶装置である。記憶部１１は、各種プログラムや各種データを記憶し、制御部１２との間でこれらの情報を入出力する。各種データには、監視カメラ４からの蓄積画像情報１１０、認証情報１１１、顔判定情報１１２、不審者判定情報１１３が含まれる。

蓄積画像情報１１０は、監視カメラ４にて取得した監視画像を時系列に一時的に記録した画像情報である。蓄積画像情報１１０は監視カメラ４から入力される画像データを撮像時刻の情報とともに所定フレーム数（例えば、１００枚）分だけ保持する。そして、蓄積画像情報１１０は保持された画像データのうち、もっとも古いものを新しく受信した画像データで上書きして、常に最新の画像データが所定フレーム数だけ保持される。蓄積画像情報に保持されるフレーム数は、人感センサ３が人体を検知する直前の画像の数となるので、そのフレーム数は制御部１２で不審者検出処理を行なう際に過去に遡る程度に応じて設定される。

認証情報１１１は、予め金庫６の解錠が許可されている１又は複数の人物（以下、権限者という）それぞれについて、例えば顔の特徴を表す特徴量など、権限者を他の人物と区別して特定するための情報である。

顔判定情報１１２は、監視カメラ４にて取得した監視画像を解析し、当該監視画像に含まれる人物像の顔領域が含まれていた場合、当該顔領域内の画像（以下、顔画像という）について顔隠蔽されているか否か、及び権限者として認証されているか否かを時系列に保存した情報である。顔判定情報１１２の具体例としては、図５に示されるように、正面画像が取得された時刻と、監視画像内に顔領域が含まれていた場合に当該顔画像に付与される一意の識別子である顔ＩＤと、当該顔画像が隠蔽されているか否かを示す顔隠蔽状態と、当該顔画像が権限者として認証されているか否かを示す認証結果と、当該顔領域の監視画像上における座標を対応付けるテーブルとして制御部１２により記憶部１１に保存される。

不審者判定情報１１３は、不審者を検知する際に参照する判定条件情報である。不審者判定情報１１３の具体例としては、権限者として認証された顔画像の有無、隠蔽された顔画像の有無、当該認証された顔画像と隠蔽顔画像の画像上の相対位置からなる当該不審者異常の判定条件との組み合わせとして表せる。

制御部１２は、例えばＣＰＵやＤＳＰ等の演算装置であって、記憶部１１に記憶されるプログラムに従って各種の情報処理を実行する。本実施例では、制御部１２は、監視カメラ４によって取得し、記憶部１１に記録した監視画像を解析して、異常を検知した場合に当該異常の内容に応じた信号を通信部１３に出力する処理を行う。

制御部１２は、機能的に、図２に示すように、顔領域検知手段１２０と、顔隠蔽判検知手段１２１と、認証手段１２２と、人物位置算出手段１２３と、不審者判定手段１２４と、通報制御手段１２５を含んで構成される。これらの機能は、制御部１２が記憶部１１に格納されたプログラムを実行することにより実現される。

顔領域検知手段１２０は、監視カメラ４によって所定時間おきに撮像され記憶部１１に記憶された監視画像から背景差分法によって人物などの動きのある画像領域を抽出し、その画像領域の中から人物像の顔を示す顔領域を検出する。すなわち、予め人が誰もいない状態を撮像して得られる画像を背景画像として記憶部１１に記憶しておき、当該背景画像と監視画像とを比較して人物などの動きのある画像領域を抽出する。そして、動きのある当該画像領域のうち、所定の条件を満足する形状や所定値以上の大きさを有する画像領域を、人物像の顔領域として検出する。ここで、監視画像の中から顔領域を検出する方法としては、例えば特開２００５−９２２６２号公報に記載された方法を用いることができる。
監視画像の中から１又は複数の顔領域を検出した場合、顔領域検知手段１２０は、それぞれの顔画像に対して一意の顔ＩＤを付与する。そして、当該顔画像、顔ＩＤ及び顔画像に関する情報（監視画像内における顔画像の位置情報）を、顔画像が検出された時刻に対応付けて記憶部１１に保存する。

顔隠蔽検知手段１２１は、顔領域検知手段１２０にて検出した顔画像を解析し、当該顔画像について目出し帽、サングラス、マスク等により顔部位を隠蔽しているか否かを判定する顔隠蔽検知処理を行う。顔隠蔽検知処理では、顔隠蔽検知手段１２１は、顔画像の画像特徴に基づき顔らしさの度合いを算出し、また、顔画像と目出し帽等で隠蔽されている場合の画像との類似度を算出する。そして、これらの顔らしさの度合いや類似度に基づいて顔部位が隠蔽されているか否かを判定する。この顔隠蔽しているか否かの判定方法としては、例えば特開２００５−９２２６２号公報に記載された方法を用いることができる。
顔領域検知手段１２０にて検出した顔画像について隠蔽されているか否かを判定した場合、顔隠蔽検知手段１２１は、記憶部１１の顔判定情報１１２に、当該顔画像が検出された時刻における顔ＩＤに対応付けて、顔隠蔽の有無を保存する。

認証手段１２２は、顔領域検知手段１２０にて検出した顔画像に基づいて、監視画像に撮像された人物が権限者であるか否かを認証する認証処理を行う。認証処理では、認証手段１２４は、顔領域検知手段１２０にて検出した顔画像を解析して得られる解析結果と、記憶部１１に記憶された認証情報１１１とを照合することにより、当該人物像が権限者であるか否か判定する。この顔画像と認証情報１１１との照合方法としては、例えば特開２００７−２９９１８６号公報に記載された方法を用いることができる。
認証手段１２２は、顔領域検知手段１２０にて検出した顔画像について認証した場合、記憶部１１の顔判定情報１１２に、当該顔画像の顔ＩＤに対応付けて、認証結果を保存する。

人物位置算出手段１２３は、顔領域検知手段１２０にて顔領域が検出された人物像について、画像上の位置座標を算出する。位置座標は、例えば顔領域または人物像の重心位置が使用される。

不審者判定手段１２４は、記憶部１１の顔判定情報１１２に基づいて、不審者判定情報１１３に定めた条件に合致しているか否かを判定することにより、押込強盗等の不審者が存在しているか否かを判定する。すなわち、人感センサ３が検知した時刻の直前の時刻の監視画像にて顔領域検知された位置座標において、顔隠蔽が検知されなかった正常顔画像の位置と、顔隠蔽が検知された隠蔽顔画像の位置を比較して所定範囲内にあれば、不審者が存在していると判定する。なお、不審者判定手段１２４における判定処理の具体例については、後述する。

通報制御手段１２５は、不審者判定手段１２４にて不審者有りと判定された場合に通信部１３に対して警告出力を行わせる。

通信部１３は、ＬＡＮやＵＳＢ等の通信インタフェースであり、警備装置５と通信を行う。

以下、本実施例に係る監視装置１の制御部１２が実行する処理の流れの一例について、図４のフローチャートに基づいて説明する。

ステップＳ１０にて、電源投入された監視装置１０は、各部の初期化を行う。具体的には、監視カメラ４から入力した入力画像を背景画像として記憶部１１に記憶される。この背景画像は所定の時間間隔で適宜更新される。

ステップＳ２０にて、監視カメラ４から入力画像を取得する。この入力画像の取得は所定時間ごとに実行される。取得した入力画像は蓄積画像情報として記憶部１１に記憶される。記憶部１１には現在時刻から所定時間前までの所定枚数分の入力画像が記憶可能な蓄積画像情報１１０が用意されており、当該蓄積画像情報１１０がフルになると、記憶されている最も古い画像を削除して、新たな入力画像を記憶するようにしている。また記憶済みの画像を定期的に外部のハードディスク等にバックアップするようにしてもよい。

ステップＳ３０にて、人感センサ３が検知した否かを判定する。人感センサ３が検知しない場合、すなわち、室内に人がいたとしても金庫６の周辺部まで近付いてこない場合は以降の処理に進まず、ステップＳ２０に戻り、画像の記録のみ行う。人感センサ３が検知した場合はステップＳ４０へすすむ。

Ｓ４０において、制御部１２は、Ｓ２０で取得し記憶部１１に蓄積した蓄積画像情報１１０から、人感センサ３が検知した時刻の直前に取得した監視画像を読み出す。

Ｓ５０において、制御部１１の顔領域検知手段１２０は、直前の時刻の監視画像と背景画像と比較して人物などの動きのある画像領域を抽出し、前述したとおり画像領域の中から顔画像領域を検出する。検出した各顔画像領域についてはラベリングを行なう。
図３（ａ）に示す監視画像では、２つの顔画像領域が検出され、それぞれａ1及びb１の符号が付与されている。

Ｓ６０において、制御部１２は、各々の顔画像領域に対して、顔隠蔽検知手段１２１により前述した顔隠蔽検知処理が行われる。

更に、認証手段１２２により前述した認証処理が行われ（Ｓ７０）、顔が隠蔽されていない顔画像領域に対して、人物が権限者であるか否かを認証し、認証結果を出力する。

顔隠蔽検知処理、及び認証処理の結果は、記憶部１１の顔判定情報１１２として記憶される。顔判定情報１１２は、図５に示すように監視画像が撮像された時刻、検出された顔領域ごとにラベリングされた顔ID、顔隠蔽検知処理の結果、認証処理の結果、顔領域の重心の座標がテーブルとして記憶されている。

続いて、制御部１２の不審者判定手段１２４は、不審者の判定処理を行う。すなわち、Ｓ４０〜Ｓ７０にて検知された顔判定情報１１２と不審者判定情報１１３の判定条件に合致しているか否かを判定することにより、不審者異常が発生したか否かを判定する。

例えば、顔が隠蔽されていない顔ａ１の座標（Xa1,Ya1）と顔が隠蔽された顔ｂ１の座標（Xｂ1,Yｂ1）に基づき、顔ａ１の周囲の所定範囲Ｌ内に顔ｂ１が存在している場合に、不審者有りと判定する。これは、図３（ａ）に示すように顔を隠蔽した賊（ｂ１）に利用者（ａ１）が脅迫されて金庫に接近した状況である可能性が高いからである。

尚、図３（ｂ）に示すように、顔が隠蔽されていない顔ａ２の周囲の所定範囲Ｌ外に顔が隠蔽された顔ｂ２が存在している場合には、顔を隠蔽した人物は賊ではなくマスク等をした他の利用者の可能性が高いので不審者とは判定しない。

また、S４０〜S８０の処理は、人感センサ３が人体を検知した時刻の直前の監視画像だけでなく、人体を検知した時刻の所定時間前までの複数の監視画像について行い、例えば、顔が隠蔽されていない顔ａ１の座標（Xa1,Ya1）と顔が隠蔽された顔ｂ1の座標（Xｂ1,Yｂ1）に基づき顔ａ１の周囲の所定範囲内に顔ｂ1が存在している状態が所定時間（所定枚数）継続している場合に不審者有りと判定するようにしてもよい。

更に、人感センサ３が人体を検知した直後に取得した監視画像についても顔領域検知処理と顔隠蔽検知処理を行い、人体検知前の監視画像と比較するようにしてもよい。
これは、図３（ｃ）に示すように人感センサ３が人体を検知するのは金庫６の直近に接近した場合（図３中一点鎖線にて境界を示した範囲）であるので、もし、金庫６を解錠しようとして金庫６の前に屈んだ場合には、監視カメラ４の死角となり利用者の顔領域が検知できないことを利用するものである。つまり、人感センサ３の検知前（金庫６に接近中）の画像に隠蔽されていない顔と隠蔽された顔が存在し、かつ人感センサ３の検知後（金庫６を解錠中）の画像に隠蔽した顔のみが存在している場合には、利用者が賊に金庫の解錠を強要されている可能性が高いと判定する。

通報制御手段１２５は、制御部１２の不審者判定手段１２４から警告信号を受信すると、警報出力処理を行う（Ｓ９０）。通信制御手段１２５は、通信部１３を介して警備装置５に当該不審者異常を通知する。これにより、監視装置１は、警備装置５を介して警備センタ装置７に不審者異常を通知することができ、外部の監視センタで常駐監視している警備員に対して異常を通知することができる。

以上に本発明の実施の形態について説明した。
本実施例の形態では、監視装置１が、本発明の監視装置として機能している。また、監視カメラ４が、本発明の撮像部として機能している。また、人感センサ３が、本発明の人体検知部として機能している。また、制御部１２が、本発明の不審者検知部として機能している。

また、本実施例の形態では、監視カメラ４が金庫６に載置された監視装置本体２に内蔵された例で説明したが、人感センサ３によって検知された人物の位置関係を壁上部や天井に設置された監視カメラによって検知するようにしてもよい。この場合、顔が隠蔽された人物と顔が隠蔽されていない人物の位置関係がより明確となり、精度の高い検知が可能となる。

本発明は、上記実施例に限定されるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。また、実施例に記載した効果は、これに限定されるものではない。

上記実施例では、顔が隠蔽していない顔領域と顔が隠蔽した顔領域の相対位置に基づいて不審者異常を判定したが、さらに認証情報を加えて認証された顔との領域と隠蔽した顔の領域の相対位置によって不審者を安定するようにしてもよい。

上記実施例では、監視装置２は、不審者異常の判定時に、警備装置５を介して警備センタ装置７に当該異常を通知しているが、これに限らず、不審者異常時における監視画像、を警備センタに送信しても良い。これにより、警備センタに常駐する警備員は、これらの画像を確認することにより、より正確に異常状態を認識することができる。

１・・・監視装置
２・・・監視装置本体
３・・・人感センサ
４・・・監視カメラ
５・・・警備装置
６・・・金庫
７・・・警備センタ装置
１１・・・記憶部
１２・・・制御部
１３・・・通信部
１１０・・・蓄積画像情報
１１１・・・認証情報
１１２・・・顔判定情報
１１３・・・不審者判定情報
１２０・・・顔領域検知手段
１２１・・・顔隠蔽検知手段
１２２・・・認証手段
１２３・・・人物位置算出手段
１２４・・・不審者犯手手段
１２５・・・通報制御手段

Claims (3)

1. 重要監視物を保管している所定領域内の画像を取得する撮像部と、重要監視物に接近する人体を検知する人体検知部と、不審者の存在を検知する不審者検知部と、前記不審者検知部が不審者を検知すると警報出力する警報部とを有する監視装置において、
   前記不審者検知部は、前記人体検知部が人体を検知した場合、前記撮像部が取得した画像から検出される顔を隠蔽していない第１の顔の位置と顔の隠蔽が検知された第２の顔の位置に基づき、前記第１の顔の周囲所定範囲内に前記第２の顔が存在していることを検知したとき、不審者が存在していると判定する判定手段を有することを特徴とする監視装置。
   
2. 前記所定領域は、前記人体検知部の検知範囲の周囲の所定範囲を含む領域であって、
   所定の時間間隔で取得される前記撮像部の画像を前記人体検知部の検知前後の所定時間に渡って記憶する画像記憶部を更に有し、
   前記不審者検知部は、前記人体検知部が人体を検知した場合、前記画像記憶部に記憶された画像から検出される前記第１の顔の位置と前記第２の顔の位置に基づき、前記第１の顔の周囲所定範囲内に前記第２の顔が存在している状態が判定時間または判定枚数継続していることを検知したとき、不審者が存在していると判定する請求項１記載の監視装置。
   
3. 前記人体検知部の検知前の画像から前記第１の顔の周囲所定範囲内に前記第２の顔が存在していることを検知した後、前記第１の顔を検知しないとき、第２の警報出力をする請求項２記載の監視装置。
   

Images