JP5726596B2 - 画像監視装置 - Google Patents

Description

本発明は、監視空間を撮像して不審者の存在を検出する画像監視装置に関し、特に、照明環境などにより画像情報に人物の顔の情報が不足するような場合であっても当該人物が不審者であるか否か判定できる画像監視装置の提供を目的とする。

従来、撮像装置から入力される画像から人物領域の特徴情報を抽出し、これが不審人物等の特徴に合致した場合、自動的に外部に通報出力するような画像監視装置が知られている。このような画像監視装置では、不審人物の特徴として外部に対して人相を隠した状態であることを検出する。

例えば、特許文献１には、人相を隠した状態であることの一例として、サングラスを装着していることを検出する監視装置について開示されている。特許文献１では、撮像画像から抽出された頭部領域にて黒色画素の分布特徴を求めてサングラス着用を判定し、サングラス着用が判定されると不審者として外部に通報を行う。
また、特許文献２には、人相を隠した状態であることの一例として、サングラス、マスク、あるいは手などで顔の一部を隠蔽していることや、フルフェイスのヘルメット等をかぶっていることを検出する監視装置について開示されている。特許文献２は、撮像画像から目鼻口といった顔の特徴部位を認識してその位置関係により顔を隠した状態か否かを判定し、顔を隠した人物（不審者）が検出されると店員に報知を行う。

特開２０１０−１８６２７４号公報 特開２０１０−０７９７５１号公報

特許文献１，２は、撮像画像における明るさや色彩の分布を用いて、顔を隠していない素顔の人物であるか、何らかの手段で顔を隠蔽した不審者であるかを判定している。しかしながら、明るさや色彩といった情報を用いて顔が素顔か否か（隠蔽の有無）を判定しようとすると、次のような問題が発生する。

すなわち、利用者の後方に強い光源が存在する逆光時や、利用者がダウンライトの下に位置した場合には、例え素顔の人物であったとしても顔が暗く撮像されてしまい、目鼻口など顔の特徴部位が抽出できないおそれがある。特に、ダウンライトの下に位置した利用者は、顔全体が影とならない場合であっても目の周りの窪み（眼窩）部分に影が生じてしまい、サングラスを装着した顔画像と類似した輝度分布が顕著に現れることとなる。これは、撮像された利用者が俯いている場合や監視空間内で陰になる場所に位置した場合も同様であり、眼窩部分または顔全体が影となって輝度分布から素顔であることを判定することが困難となる。

このように、明るさや色彩といった情報を用いて顔が素顔か否かを判定する場合には、照明環境によって画像情報に人物の顔の情報が不足するために誤判定してしまう可能性があり、必ずしも常に素顔か否かを判別できないという問題がある。

本発明は、上記課題に鑑みてなされたもので、監視空間を撮像して顔を隠した不審者の存在を検出する画像監視装置において、照明環境などにより画像情報に人物の顔の情報が不足するような場合であっても当該人物が不審者であるか否か判定できる画像監視装置の提供を目的とする。

上記の目的を達成するために本発明による画像監視装置は、監視空間において顔を隠蔽した不審者を検出する画像監視装置であって、周期的に前記監視空間を撮像して監視画像を取得する撮像部と、予め人物の顔特徴情報を記憶する記憶部と、前記監視画像から人物の頭部に相当する入力頭部領域を抽出する頭部抽出部と、前記入力頭部領域が顔の特徴情報を有しているか前記顔特徴情報を用いて判定する顔特徴判定部と、前記周期的に取得される複数の監視画像間において前記入力頭部領域を追跡して対応付けを行う追跡部と、前記顔特徴判定部にて入力頭部領域に顔の特徴情報無しと判定された場合、前記追跡部にて対応付けされた過去の入力頭部領域を用いて顔を隠蔽した不審者であるか否かを判定する不審者検出部と、を備えることを特徴とした。

かかる構成において、画像監視装置は、周期的に取得される複数の監視画像間において抽出された入力頭部領域の対応付けを行う。そして、取得した撮像画像において入力頭部領域に顔の特徴情報が無いと判定されると、当該入力頭部領域に対応する過去の入力頭部領域について顔の特徴情報有無を判別し、監視空間に顔を隠蔽した不審者が存在するか否かを判定するように作用する。

監視空間において、利用者が逆光位置やダウンライト下に移動した場合、または俯き動作を行った場合、眼窩部分または顔全体が影となって輝度分布から素顔であることを判定することが困難となる。一方で、利用者が真に素顔であれば、利用者が監視空間に存在する間常に素顔でない（顔の隠蔽）と判定されることは考え難く、照明環境の影響を受けない位置を移動するとき又は俯き動作の開始前など、何れかの時点においては画像情報に人物の顔の情報が得られることとなる。

そこで、かかる画像監視装置の構成によれば、取得した撮像画像において頭部領域に顔の特徴情報が無い、即ち不審者である可能性があることが判定された場合に、過去に撮像された該当する頭部領域を用いて不審者か否かを判定することにより、一時的に顔の情報が取得できない利用者を不審者であると誤判定することを防止して、顔を隠蔽した不審者の判定精度を向上させることが可能となる。

また、本発明の画像監視装置において、前記不審者検出部は、前記入力頭部領域に顔の特徴情報無しと判定された場合、直近から所定過去までの間で前記対応付けされた何れかの入力頭部領域が顔の特徴情報ありと判定されていなければ、顔を隠蔽した不審者と判定するようにしてもよい。

かかる構成によれば、所定過去範囲に渡って人物の顔と判定できない頭部領域がある場合に顔を隠蔽した不審者の存在を判定するため、一時的に顔の情報が取得できない利用者を不審者であると誤判定することを防止して、顔を隠蔽した不審者の判定精度を向上させることが可能となる。

さらに、本発明の画像監視装置において、前記顔特徴判定部は、前記入力頭部領域と前記顔特徴情報とを比較して顔らしさの類似度となる素顔度を算出し、該素顔度に基づいて前記入力頭部領域が顔の特徴情報を有しているか否かを判定し、前記不審者検出部は、前記顔特徴判定部にて顔の特徴情報無しと判定されると、直近から所定過去までの間に前記対応付けされた入力頭部領域にて算出された素顔度を加算して蓄積素顔度を算出し、該蓄積素顔度が閾値以下である場合に、顔を隠蔽した不審者と判定するようにしてもよい。

かかる構成によれば、所定過去範囲に渡る頭部領域の評価値を用いて顔を隠蔽した不審者であるか否かを判定するため、照明の変動が激しい環境下であっても一時的な画像情報から利用者が不審者であると誤判定することを防止して、顔を隠蔽した不審者の判定精度を向上させることが可能となる。

本発明によれば、取得した撮像画像において頭部領域に顔の特徴情報が無く不審者である可能性が判定された場合に、過去に撮像された該当する頭部領域を用いて不審者か否かを判定することにより、一時的に顔の情報が取得できない利用者を不審者であると誤判定することを防止して、顔を隠蔽した不審者の判定精度を向上させることが可能となる。

本発明の画像監視装置による監視システムの全体構成を示す概略図である。 本発明の画像監視装置の構成を示すブロック図である。 本発明の画像監視装置の不審者の監視処理を模式的に示した図である。 本発明の画像監視装置の不審者監視処理を示すフローチャートである。 本発明の画像監視装置の不審者検出処理を示すフローチャートである。

以下、本発明の実施形態について、図面を参照して具体的に説明する。
本実施形態では、監視区域（監視空間）として金融機関や商店などの事務所エリアにおける重要監視物周辺を監視する場合を例示するが、本発明の範囲はこれに限定されるものではなく、事務所室内全域や街頭などを監視区域として監視するよう用いられてよい。

図１は、本発明の画像監視装置を用いた監視システム１を示す構成図である。
図１は、重要監視物として金庫など内部に収納空間を有した保管庫２及び画像監視装置３が設置された監視区域を模式的に示している。図１に示すように、本実施形態の監視システム１は、監視区域の床面に固定設置された保管庫２の上部に載置される監視装置３と、遠隔の監視センタ５とを、通信回線網４を介して接続して構成されている。

画像監視装置３の筐体には、撮像部としての監視カメラ３１が保管庫扉と同方向に向いて配置されている。監視カメラ３１は、保管庫扉の前方を撮像視野として保管庫２まで接近してくる人物が撮像可能に配置される。
なお、監視カメラ３１は画像監視装置３の筐体に内蔵される例に限らず、少なくとも監視区域内の人物が撮像可能に保管庫２の上部空間や背後壁面などに別途監視カメラが設置され、画像監視装置３と接続される構成としてもよい。また、画像監視装置３も、保管庫２の上部に載置される例に限らず、保管庫２の上部空間や背後壁面などに設定されてよい。

監視カメラ３１は、所定の撮影間隔（例えば０．２秒）毎に監視区域を撮像して監視画像としての画像データを生成して出力する。画像監視装置３は、監視カメラ３１から出力される情報を基に、周期的に撮像される画像データを参照して保管庫２の周辺に不審者が存在するか否かを判定する。

本実施形態において、不審者とは、強盗など監視区域の保全を損うおそれのある者をいい、具体的には、外観が予め定めた特徴パターンに合致する者のことである。一般に、強盗行為などを行う不審者は、素性が認知されることを防ぐために顔を隠す傾向がある。そこで、本実施形態では、画像データにおける人物の特徴情報として、例えば、サングラス、マスク、或いは手などで顔を覆ったり、フルフェイスのヘルメット等を装着することで顔の一部分や全部分を隠して人相が分らない人物、即ち目鼻口など顔の特徴部位の画像情報がなく顔が十分に撮影されていない人物を抽出し、不審者として判定する。

特に、本実施形態で特徴的な事項として、画像監視装置３は、画像データに写りこんだ人物が上記不審者の特徴を示す場合に、即座にこれを不審者と判定するのではなく、当該人物について過去に撮影された画像情報を評価した上で不審者であるか否かを判定する。
そして、不審者が存在することが判定されると、画像監視装置３は、遠隔の監視センタ５に監視区域で非常事態が発生していることを示す非常信号を送信するとともに、不審者の検出に用いた画像データを監視センタ５に送信する。

監視センタ５は、警備会社などが運営するセンタ装置５１を備えた施設である。センタ装置は、１又は複数のコンピュータで構成されており、本発明に関連する監視センタ５の機能を実現する。監視センタ５では、センタ装置５１により各種機器が制御され、画像監視装置３から受信した非常信号を記録するとともに、画像監視装置３から送信される画像データをディスプレイ５２に表示することで、監視員が監視対象となる複数の監視区域を監視している。

＜画像監視装置＞
次に、図２を用いて画像監視装置３の構成について説明する。図２は、画像監視装置３の構成を示すブロック図である。
画像監視装置３は、監視センタ５と通信可能に通信回線網４と接続されて、保管庫２の上部に固定載置されている。

画像監視装置３は、保管庫前方を撮影する監視カメラ３１と、通信回線網４と接続される通信部３２と、ＨＤＤやメモリなどで構成される記憶部３３と、ＭＰＵやマイコンなどで構成され各部の制御を行う制御部３４とを有して概略構成される。

監視カメラ３１は、保管庫前方を含む監視区域の監視画像を生成する。監視カメラ３１は、撮像素子から入力される画像信号を所定の撮影間隔（例えば０．２秒周期、すなわち５ｆｐｓ（フレーム／秒））でデジタル信号に変換し、圧縮符号化処理を行い所定の規格（例えばＪＰＥＧ規格）に準拠した画像データを生成する。画像の撮像に用いる波長帯としては、カラー画像が撮像可能な可視光波長を用いる。監視カメラ３１により生成された画像データは、制御部３４に出力される。

通信部３２は、通信回線網４を介してセンタ装置５１と接続されて監視センタ５との間で通信を行う。通信部３２は、制御部３４にて監視区域内に不審者が存在すると判定されると、自己のアドレス情報を含む非常信号および記憶部３３に記憶された画像データを監視センタ５に送信する。

記憶部３３は、ＲＯＭやＲＡＭ、又はＨＤＤにて構成され自己を特定するためのアドレス情報と各種プログラムなどを記憶しており、更に画像監視装置３を動作させるための各種情報を記憶する。具体的に、記憶部３３は、移動物体を抽出するための背景情報となる基準画像と、予め取得した様々な顔画像の特徴情報を記憶した顔特徴情報と、不審者の存在が判定された際の画像を記憶する不審者画像と、画像データから検出された人物の頭部領域を複数周期に渡り追跡するためのトラッキング情報と、各撮像周期の画像データごとに頭部領域の顔特徴を判定した結果を記憶する判定履歴情報と、を記憶している。

基準画像は、後述する変動領域抽出処理にて、監視カメラ３１から入力される画像データ（以下、入力画像ともいう）と比較して監視区域内の移動物体を抽出するために用いられる比較基準情報であり、予め無人時の監視区域を撮像して取得された画像データである。
不審者画像は、制御部３４による判定処理により現在の画像データに含まれる人物が不審者と判定された際にこの画像データを記憶するものである。

顔特徴情報は、人物の顔画像を判定するための特徴情報として、予め男女様々な人物の顔を多方向から撮像した顔画像について、顔全体及び目や鼻、口など各部位の輝度パターンを顔の特徴情報として記憶している。また、顔特徴情報に記憶される顔画像の輝度パターンは、正常な人物の顔画像のみでなく、サングラスをした人物、マスクをした人物、手で顔を隠した人物、目出し帽を被った人物、フルフェイスヘルメットを被った人物など、不審者として予め想定される人物の顔や頭部の画像情報も含み、これら多様な顔画像について入力元となる顔画像の属性と対応づけられて輝度パターンが記憶される。顔画像の属性とは、顔を隠蔽していない「素顔」、及び顔を隠蔽した状態として「サングラス+マスク」、「手」、「目出し帽」、「フルフェイス」、など入力元の顔画像の状態を示す情報である。

トラッキング情報は、後述する追跡部３４３により入力画像中の頭部領域を複数周期（フレーム）に渡り追跡するために用いられる対応付け情報である。トラッキング情報には、現在周期の入力画像における頭部領域の位置及び大きさと、現在までの各周期における頭部領域の位置及び大きさとが対応付けされて記憶されている。

判定履歴情報は、後述する顔特徴判定部３４４の識別結果として、各周期の入力画像から検出された頭部領域ごとに何れの属性の顔画像が含まれているか又は顔画像が含まれていないかの識別結果を記憶した情報である。判定履歴情報には、各周期ごとに、頭部領域の固有フラグに対応付けて顔画像の有無、及び顔画像がある場合にはその属性が記憶される。

制御部３４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなるマイクロコンピュータ及びその周辺回路で構成され、上述した各部を制御する。そのために、制御部３４は、このマイクロコンピュータ及びマイクロコンピュータ上で実行されるコンピュータプログラムによって実現される機能モジュールとして、入力画像中の人物領域を抽出する変動領域抽出部３４１と、入力画像から入力頭部領域として人物の頭部領域を抽出する頭部抽出部３４２と、現在の入力画像中の頭部領域と過去の入力画像中の頭部領域との対応付けを行う追跡部３４３と、入力画像中の頭部領域が顔の特徴情報を有した頭部であるか判定する顔特徴判定部３４４と、監視区域内に存在する人物が顔を隠した不審者か否かを判定する不審者検出部３４５と、を備えている。

変動領域抽出部３４１は、入力画像に画像処理を施して移動物体となる人物を検出する。変動領域抽出部３４１は、入力画像と記憶部３３に記憶された基準画像とを比較して、輝度値の変動が所定以上であった変動画素を抽出するとともに、略連続した変動画素群を１つの変動領域としてグループ化する。

頭部抽出部３４２は、変動領域抽出部が抽出した変動領域の内部において人物の頭部部分の領域を抽出する。頭部抽出部３４２は、変動領域のエッジ成分を抽出し、エッジ画像データにおいて顔の輪郭形状に近似した楕円形状のエッジ分布を検出して、そのエッジ分布に囲まれた楕円領域を人物の頭部領域として抽出する。かかる頭部領域の抽出処理については本出願人による特開２００５−２５５６８号公報や特開２０１０−２８６２７４号公報に記載された種々の方法を採用することができる。

具体的には、頭部抽出部３４２は、Ｓｏｂｅｌフィルターなど公知のエッジ抽出フィルターを入力画像の変動領域に作用させてエッジ強度とエッジ角度（水平を基準としたエッジ方向）を求めてエッジ強度画像とエッジ角度画像を生成する。そして、頭部抽出部３４２は、予め記憶した大きさの異なる複数の楕円テンプレートを用いてエッジ強度画像及びエッジ角度画像上にてずらしマッチングを行い、楕円テンプレートとエッジ成分との類似度を求め、この類似度が高い位置を人物の頭部領域として抽出し、各頭部領域に固有のラベルでラベリングする。

なお、頭部領域の抽出手法はこれに限定されるものではなく、種々提案されている公知の方法を用いることが可能である。例えば、HOG（Histograms of Oriented Gradients）特徴量を用いて頭部領域を抽出してもよい。この場合、変動領域を構成する複数のセル毎に輝度の勾配方向ヒストグラムを求めて９次元の特徴量ベクトルを得て、複数セルによるブロック領域においてセルの特徴量ベクトルを正規化する。そして、ブロック領域毎に多次元の特徴量ベクトルを得てこれを予め学習した頭部形状の特徴量と比較することで頭部領域を抽出する。HOG特徴量の参考文献として、N. Dalal and
B. Triggs, "Histograms of oriented gradients for
human detection", Proc. of IEEE Conference on Computer Vision and Pattern
Recognition (CVPR), pp.886-893, 2005などがある。

追跡部３４３は、今回の撮像で取得された入力画像（現フレーム）で検出された頭部領域と直前回（数周期前でもよい）の入力画像（直前フレーム）で検出された頭部領域との比較により頭部領域のトラッキング処理を行う。現フレームにおいて、直前フレームの頭部領域の周囲に設定されたトラッキングの検索範囲に対応する領域に頭部領域が存在すれば、その頭部領域同士のサイズ、形状等の特徴量の類似度に基づいて互いに同一の頭部を撮像した領域であると推定される頭部領域同士が対応付けられる。直前フレームの頭部領域と同一の頭部を撮像した領域であると対応付けられた現フレームの頭部領域には、直前フレームの頭部領域と同一の固有ラベルが新たに付与される。対応付けされた結果は記憶部３３のトラッキング情報に記憶される。
また、直前フレームの頭部領域と対応付けがなされない場合、現フレームで抽出された頭部領域は監視区域に新規に出現した頭部領域として判定される。新規に出現した頭部領域は、新規な頭部領域として記憶部３３のトラッキング情報に記憶される。

顔特徴判定部３４４は、頭部抽出部３４２にて抽出された頭部領域が、素顔の顔画像、又はサングラスやマスク或いは手などで顔を覆ったり、フルフェイスのヘルメット等の装着により顔の一部分や全部分を隠して人相が分らない（顔の特徴情報がない）顔画像であるかを判定する。
顔特徴判定部３４４は、入力画像において、抽出された頭部領域を複数の矩形領域に分割し、各分割矩形領域毎、及び隣接する分割矩形領域を統合したブロック毎に顔特徴情報に記憶した顔画像の輝度パターンとのパターンマッチングを行う。そして、類似度が高く算出された輝度パターンの属性から、固有ラベルが付された頭部領域毎に何れの属性の顔画像が含まれているか又は顔画像が含まれていないかの識別結果を出力する。

例えば、目鼻口など顔の特徴部位（特徴情報）が抽出できれば顔を隠蔽していない「素顔」な属性の顔画像と判定され、目鼻口など顔の特徴情報が抽出できず頭部領域の垂直方向中央に暗い画素が集中し垂直方向下方に明るい画素が集中している場合には顔を隠蔽した状態として「サングラス＋マスク」属性の顔画像と判定され、また、目鼻口など顔の特徴情報が抽出できず頭部領域内にエッジが少なくのっぺりとしている場合には顔を隠蔽した状態として「フルフェイス」属性の顔画像と判定される。また、顔特徴情報に記憶した何れのパターンとも高い類似度が得られない場合、当該頭部領域は人体の頭部でない（顔画像が含まれない）と判定される。
顔特徴判定部３４４の識別結果は、現在周期を識別可能な周期番号又は時刻と対応づけられて、頭部領域の固有ラベルごとに記憶部３３の判定履歴情報に記憶される。

なお、顔特徴判定部３４４による顔画像の判別処理はこれに限定されるものではなく、種々提案されている公知の方法を用いることが可能である。例えば、Haar-like特徴を用いたAdaboost識別器により、頭部領域がどの属性の顔画像であるかを判定してもよい。Haar-like特徴は、入力画像の頭部領域中に任意に設定された複数の隣接した分割矩形領域間の輝度差である。また、Adaboost識別器は、複数の弱識別器と、各弱識別器の判定結果を統合して判定する強識別器とから構成される。各弱識別器は、入力された画像領域から、それぞれ異なるHaar-like特徴を算出し、算出されたHaar-like特徴に基づいて頭部領域に何れの属性の顔画像が含まれているか又は顔画像が含まれていないかの識別結果を出力する。各弱識別器は、顔特徴情報に記憶した顔画像のHaar-like特徴を学習して生成され、その際に合わせて顔画像の属性も取得する。Haar-like特徴及びAdaboost識別器の詳細については、例えば、Paul Viola and Michael Jones, "Rapid Object Detection using a
Boosted Cascade of Simple Features", IEEE CVPR, vol.1, pp.511-518, 2001に開示されている。

不審者検出部３４５は、顔特徴判定部３４４の識別結果により、監視区域内に顔を隠した不審者が存在するか否かを判定する。不審者検出部３４５は、現フレームの頭部領域について、顔特徴判定部３４４にて目鼻口など顔の特徴情報が抽出されて「素顔」の属性の顔画像が含まれると判定した場合、及び顔画像が含まれていない（頭部でない）と判定した場合には、該当する頭部領域に含まれた顔画像は不審者でないと判定する。

一方で、不審者検出部３４５は、現フレームの頭部領域について、顔特徴判定部３４４が顔を隠蔽した属性、つまり目鼻口など顔の特徴情報を有さない顔画像が含まれていると判定した場合、記憶部３３に記憶された判定履歴情報を参照して当該顔を隠蔽した属性と判定された頭部領域が真に不審者によるものか否か判別する。不審者検出部３４５は、顔の隠蔽が判定された頭部領域の固有フラグを用いて、過去所定周期分の入力画像（過去フレーム）において同じ固有フラグが付された頭部領域（対応付けがなされている頭部領域）における顔特徴判定部３４４の識別結果を判定履歴情報から抽出する。本実施形態では過去２０フレーム（１フレーム前から２０フレーム前まで）の入力画像について判定履歴情報に記憶された識別結果を抽出する。

そして、不審者検出部３４５は、該当の頭部領域について、過去２０フレームの識別結果を参照し、この期間に、目鼻口など顔の特徴情報が抽出できた「素顔」の属性として判定された数を計数する。そして、この計数が判定閾値以上であるか否かを判別する。これは、現フレームにおいて不審者に類似している顔画像が過去時点で素顔と判定されていたか否かを識別することを意味している。「素顔」属性の計数結果を判別する判定閾値は予め設定された値（例えば２）でよく、抽出した過去フレームの数（本実施形態では２０）に応じて変動する動的な値（例えば抽出フレーム数の１０％）でもよい。本実施形態では、不審者検出部３４５は、過去２０フレームにおいて「素顔」の属性として判定された数が２回以上であるか否かを判別する。

不審者検出部３４５は、顔を隠蔽した属性と判定された頭部領域について、過去フレームにおいて目鼻口など顔の特徴情報が抽出できた「素顔」の属性と判定された回数が判定閾値以上であれば、この頭部領域に含まれた顔画像は不審者でないと判定する。他方、顔を隠蔽した属性と判定された頭部領域について、過去フレームにおいて「素顔」の属性と判定された回数が判定閾値に満たなければ、この頭部領域に含まれた顔画像を不審者と判定する。

不審者検出部３４５は、現フレームに不審者の顔画像が含まれていることを判断すると、自己のアドレス情報を含む非常信号を生成し、不審者の存在を判定した画像データを付して通信部３２に出力し、通信部３２より監視センタ５に送信する。またこのとき、不審者の存在を判定した画像データを不審者画像として記憶部３３に記憶する。

＜動作の説明＞
以上のように構成された監視システム１について、図面を参照してその動作を説明する。まず、図３を用いて画像監視装置３の処理概要について説明する。図３は画像監視装置３による不審者の監視処理を模式的に示した図である。

画像監視装置３では、監視カメラ３１が所定間隔（例えば０．２秒）ごとに画像データを取得し、制御部３４に入力する。監視カメラ３１より画像データ（入力画像）が入力されると、変動領域から頭部領域が抽出されて頭部領域ごとにトラッキング処理が行われ、更に顔を隠蔽しているか否かが識別されて当該識別結果が判定履歴情報に記憶される。

図３において、横軸ｔは撮像周期を示し、図中右下に示した周期Ｔの入力画像が現フレームを示している。監視カメラ３１より現フレームが入力されると、変動領域抽出部３４１は、記憶部３３の基準画像と入力画像との差分を算出して変動領域１１、１２を抽出する。図３では抽出された変動領域を斜線で示している。次に、頭部抽出部３４２は、変動領域の内部において楕円形状のエッジ分布を検出して、そのエッジ分布に囲まれた楕円領域を人物の頭部領域として抽出する。図３では、頭部領域としてｆ１、ｆ２の２つが抽出されている。そして、追跡部３４３は、頭部領域ごとに直前フレームの頭部領域との対応付けを行い、対応する固有ラベルを付与する。

次に、顔特徴判定部３４４は、抽出された頭部領域ｆ１、ｆ２と記憶部に記憶された顔特徴情報とのパターンマッチングを行い、算出された類似度が高い輝度パターンの属性を読み出して、顔の特徴情報を有している「素顔」、顔の特徴情報を有さず顔を隠蔽した状態である「サングラス+マスク」、「手」、「目出し帽」、「フルフェイス」、など何れの属性の顔画像が含まれているか、又は何れのパターンとも類似せず顔画像が含まれていない（頭部でない）かの識別結果を出力する。
ここで、図３は、周期Ｔにおいて、変動領域１１、１２として抽出された人物が暗く撮像されている例を示している。この場合において、顔特徴判定部３４４による処理では、頭部領域内の画像情報が不足し、目鼻口など顔の特徴情報が抽出できないおそれがある。図３の例では、頭部領域ｆ１、ｆ２の何れについても目鼻口など顔の特徴情報を有さない（素顔でない）と識別された場合を示している。顔特徴判定部３４４の識別結果は、記憶部３３の判定履歴情報に記憶される。

不審者検出部３４５は、現フレームの頭部領域ｆ１、ｆ２について、顔の特徴情報を有さない顔画像と判定されているので、直前となる（Ｔ−１）時点の入力画像から（Ｔ−ｎ）時点までの過去ｎフレーム（例えば２０フレーム）の入力画像について判定履歴情報に記憶された頭部領域ｆ１、ｆ２の識別結果を抽出する。そして、不審者検出部３４５は、頭部領域ｆ１、ｆ２ごとに、過去ｎフレームの期間中に、「素顔」と判定された数を計数する。
そして、不審者検出部３４５は、過去ｎフレームの入力画像について、対応する頭部領域が判定閾値（例えば２）以上「素顔」と判定されていれば、当該頭部領域は現フレームにおいては不審者でないことを判定する。他方、過去ｎフレームの入力画像について、対応する頭部領域が判定閾値以上「素顔」と判定されていなければ、当該頭部領域に含まれた顔画像は不審者であると判定し、通報処理を行う。

図３の例では、頭部領域ｆ１は素顔の人物の頭部を示している。この場合、当該人物が監視区域を移動する間常に顔が撮像できないことは考え難く、何れかの過去時点では顔が正常に（陰とならず）撮像されていると推測できる。一方で、図３において頭部領域ｆ２はフルフェイスヘルメットを被った不審者の頭部を示している。この場合、何れの過去時点においても当該不審者は人相を隠蔽している。
したがって、図３の例では、過去フレームの判定履歴情報から頭部領域ｆ１については不審者でないと判定され、頭部領域ｆ２については不審者の顔画像と判定されることとなる。

ここで、変則的な例として、素顔で監視区域に現れた不審者が途中からフルフェイスヘルメットなどで顔を隠蔽した場合について説明する。この場合、当初は素顔で撮像されていることから、フルフェイスヘルメットを被って顔を隠蔽した以降も、不審者検出部３４５の処理で素顔時点の過去フレームを参照する間は、不審者でないと判定されることとなる。しかし、フルフェイスヘルメットを被ってからの時間がｎ周期分以上経過すると、不審者検出部３４５が過去フレームとして素顔時点の判定履歴情報を参照しなくなるため、現フレーム及び過去フレームの何れにおいても顔の特徴情報が抽出されないこととなり、不審者であることを判定することができる。

次に、図４、図５を用いて、図３に示した画像監視装置３による不審者監視処理の動作について説明する。図４は、画像監視装置３の制御部３４にて繰り返し実行される監視プログラムの動作を示すフローチャートである。
画像監視装置３は、所定周期（例えば０．２秒周期、すなわち５ｆｐｓ（フレーム／秒））ごとに監視カメラ３１が撮像した画像データの出力を受け付けて制御部３４に入力する（ステップＳＴ１）。変動領域抽出部３４１は、入力画像と記憶部３３の基準画像との差分を算出して変動領域を抽出する（ステップＳＴ２）。変動領域が抽出できなければ一連の処理を終了し、次回の実行タイミングにてステップＳＴ１より処理が実行される。

ステップＳＴ３において、頭部抽出部３４２は、変動領域抽出部３４１が抽出した変動領域から人物の頭部領域を抽出し固有ラベルでラベリングする。頭部領域が抽出できなければ一連の処理を終了し、次回の実行タイミングにてステップＳＴ１より処理が実行される。次に、追跡部３４３により、現フレームで抽出された頭部領域と直前フレームで抽出された頭部領域とを比較して頭部領域の対応付け（トラッキング処理）が行われる（ステップＳＴ４）。直前フレームの頭部領域と対応付けられた現フレームの頭部領域には、直前フレームの頭部領域と同一の固有ラベルが新たに付与される。対応付けされた結果は記憶部３３のトラッキング情報に記憶される。

次に、顔特徴判定部３４４により、抽出された頭部領域と記憶部３３に記憶された顔特徴情報とのパターンマッチングが行われ、何れの属性の顔画像が含まれているか又は顔画像が含まれていない（頭部でない）かの識別結果が出力される（ステップＳＴ５）。顔特徴判定部３４４の識別結果は、現在周期を識別可能な情報と対応づけられて、頭部領域の固有ラベルごとに記憶部３３の判定履歴情報に記憶される。

そして、ステップＳＴ６において、不審者検出部３４５は頭部領域毎に不審者の顔画像が含まれているか否かを判別する不審者検出処理を実行する。不審者検出処理については後述する。

不審者検出部３４５は、不審者検出処理の結果、現フレームに不審者の顔画像が含まれている場合（ステップＳＴ７−Ｙｅｓ）、監視区域に不審者が存在し非常事態が発生していると判定して、不審者の存在を判定した画像データと共に自己のアドレス情報を含む非常信号を通信部３２より送信する（ステップＳＴ８）。なお、かかるステップＳＴ８の非常事態の判定及び通報処理は、複数フレームに渡り不審者の顔画像が含まれていることが検出された場合に行うようにしてもよい。

以上に、画像監視装置３の基本的な動作について説明した。
次に、図４のステップＳＴ６における不審者検出処理について図５を参照して説明する。図５は不審者検出部３４５による不審者検出処理のフローチャートである。図５において、不審者検出部３４５は、現フレームの頭部領域の何れかに着目し、顔特徴判定部３４４によりこの頭部領域が人体の頭部と識別されているか、即ち何れかの属性の顔画像が含まれていると識別されたかを調べる（ステップＳＴ２１）。

着目した頭部領域が人体の頭部でない場合（ステップＳＴ２１−Ｎｏ）、処理をステップＳＴ２７に進めて別の頭部領域に着目するか判別する。他方、着目した頭部領域が人体の頭部であれば（ステップＳＴ２１−Ｙｅｓ）、顔特徴判定部３４４によりこの頭部領域について目鼻口など顔の特徴情報を有した「素顔」の属性の顔画像と識別されたかを調べる（ステップＳＴ２２）。

着目した頭部領域にて顔の特徴情報が抽出されて「素顔」属性と識別されていれば（ステップＳＴ２２−Ｙｅｓ）、処理をステップＳＴ２７に進めて別の頭部領域に着目するか判別する。他方、着目した頭部領域において、顔の特徴情報を有さない（素顔でない）と識別されていれば（ステップＳＴ２２−Ｎｏ）、不審者検出部３４５は、当該顔の隠蔽が判定された頭部領域について、過去ｎフレーム（例えば２０フレーム）における顔特徴判定部３４４の識別結果を判定履歴情報から抽出する（ステップＳＴ２３）。

そして、不審者検出部３４５は、該当の頭部領域について、過去ｎフレームの期間に、目鼻口など顔の特徴情報が抽出できた「素顔」の属性として判定された数を計数する（ステップＳＴ２４）。そして、この計数結果が判定閾値（例えば２）以上か否かを判別する（ステップＳＴ２５）。計数結果が判定閾値以上であれば（ステップＳＴ２５−Ｙｅｓ）、過去に素顔と判定された人物の顔の情報が、現フレームでは照明環境などにより偶々に不足していると考えられ、現フレームにおいては不審者との判定は行わず、処理をステップＳＴ２７に進めて別の頭部領域に注目するか判別する。

他方、計数結果が判定閾値に満たなければ（ステップＳＴ２５−Ｎｏ）、当該頭部領域に含まれた顔画像は不審者であると判定する（ステップＳＴ２６）。この結果、後に図４のステップＳＴ７に進んだときに不審者の存在が肯定されステップＳＴ８にて通報処理が行われる。
不審者検出部３４５は、ステップＳＴ２７において、全ての頭部領域について着目したか判定し、未だ着目していない頭部領域が存在すれば（ステップＳＴ２７−Ｎｏ）、当該頭部領域に注目して処理が実行される。全ての頭部領域について着目した処理が終了すると（ステップＳＴ２７−Ｙｅｓ）、かかる不審者検出処理を終了する。

以上のように、不審者検出部３４５は、現フレームに含まれる頭部領域について、目鼻口など顔の特徴情報を有していることが判別されると当該頭部領域は不審者でないことを判定する一方、顔の特徴情報を有さず顔を隠蔽した状態であることが判定されると、当該頭部領域に対応する過去フレームの頭部領域が顔の特徴情報を有しているか否かにより、現フレームの頭部領域が不審者であるか否かを判定する。
これにより、監視区域において、正当な利用者が逆光位置やダウンライト下、又は陰となる位置に移動した場合、若しくは俯き動作を行った場合など、偶々現フレームにおいて素顔であることが判定できない場合であっても、過去に判定された素顔らしさを用いて、一時的に顔の情報が取得できない利用者を不審者であると誤判定することを防止し、顔を隠蔽した不審者の判定精度を向上させることが可能となる。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

例えば、本実施形態では、不審者検出部が、現フレームにおいて顔の特徴情報を有していない頭部領域について、過去フレームで顔の特徴情報を有していると判定された回数を計数し、これを判定閾値と比較して不審者と判定するか否かを識別する例について説明したが、不審者検出部の処理はこれに限定されない。
以下、本実施形態の変形例について上述した実施形態と異なる部分を説明する。

本変形例では、顔特徴判定部は、図４のステップＳＴ５において、入力画像の頭部領域と記憶部の顔特徴情報とのパターンマッチングを行う際、入力画像の頭部領域と顔特徴情報において目鼻口など顔の特徴情報を有した「素顔」属性となる輝度パターンとの類似度を素顔度として算出する。そして、この素顔度が所定閾値以上である場合に、入力画像の頭部領域を目鼻口など顔の特徴情報を有した「素顔」と判定し、素顔度が所定閾値より低ければ、他の属性の輝度パターンとの類似度を求めて他の何れかの属性であることを判定する。顔特徴判定部は、入力画像の頭部領域について判定された属性と素顔度とを現在周期及び頭部領域の固有ラベルと対応させて判定履歴情報に記憶する。

この場合、不審者検出部は、図５のステップＳＴ２３において、現フレームで顔の特徴情報を有していない頭部領域について、過去ｎフレームにおける対応する頭部領域の素顔度を判定履歴情報から抽出し、続くステップＳＴ２４において、過去ｎフレームの期間に算出された素顔度を全て加算してこれを蓄積素顔度とする。そして、不審者検出部は、ステップＳＴ２５において、この蓄積素顔度を判定閾値と比較する。判定閾値は実験により予め設定された値でよく、抽出する過去ｎフレームの数ｎに応じて変動する動的な値であってもよい。このステップＳＴ２５において、蓄積素顔度が判定閾値以上と判定されれば、過去に素顔度が高く得られた人物の顔の情報が、現フレームでは照明環境などにより偶々に不足していると考えられ、現フレームにおいては不審者との判定は行わず、処理をステップＳＴ２７へと進める。他方、蓄積素顔度が判定閾値に満たないと判定されれば、処理をステップＳＴ２６へと進めて当該頭部領域に含まれた顔画像は不審者であると判定する。

これによっても、監視区域において、正当な利用者が逆光位置やダウンライト下、又は陰となる位置に移動した場合、若しくは俯き動作を行った場合など、偶々現フレームにおいて素顔であることが判定できない場合であっても、過去に判定された素顔らしさを用いて、一時的に顔の情報が取得できない利用者を不審者であると誤判定することを防止し、顔を隠蔽した不審者の判定精度を向上させることが可能となる。

また更に、上述した実施形態及び変形例に限定されず、不審者検出部が、上述した実施形態における過去に素顔と判定されたか否かに基づく判定と、上述の変形例における蓄積素顔度に基づく判定との両者を用いて不審者の検出を行ってもよい。

この場合、上述の変形例において、不審者検出部が、図５のステップＳＴ２３にて、現フレームで顔の特徴情報を有していない頭部領域について、過去ｎフレーム間の対応する頭部領域に対し顔特徴判定部が判定した属性と素顔度とを判定履歴情報から抽出する。続くステップＳＴ２４において、過去ｎフレームの期間に算出された素顔度を全て加算して蓄積素顔度を求めるとともに、過去ｎフレームの期間に、目鼻口など顔の特徴情報が抽出できた「素顔」の属性として判定された数を計数する。そして、不審者検出部は、ステップＳＴ２５において、この蓄積素顔度を素顔度判定閾値と比較するとともに、「素顔」の属性として判定された計数結果を回数判定閾値と比較する。この結果、蓄積素顔度及び計数結果の少なくとも何れか一方が各判定閾値を上回れば、現フレームにおいては不審者との判定は行わず処理をステップＳＴ２７へと進め、蓄積素顔度及び計数結果の両者が何れも各判定閾値に満たなければ、処理をステップＳＴ２６へと進めて当該頭部領域に含まれた顔画像は不審者であると判定する。

これによれば、過去に判定された素顔らしさとして２種類の異なるパラメータを用いることで、一時的に顔の情報が取得できない利用者を不審者であると誤判定することをより高い確度で防止し、顔を隠蔽した不審者の判定精度を向上させることが可能となる。

１ 監視システム
２ 保管庫
３ 画像監視装置
３１ 監視カメラ
３２ 通信部
３３ 記憶部
３４ 制御部
３４１変動領域抽出部
３４２頭部抽出部
３４３追跡部
３４４顔特徴判定部
３４５不審者検出部
４ 通信回線網
５ 監視センタ
５１ センタ装置
５２ ディスプレイ
１１、１２ 変動領域
ｆ１、ｆ２ 頭部領域

Claims (2)

1. 監視空間において顔を隠蔽した不審者を検出する画像監視装置であって、
   周期的に前記監視空間を撮像して監視画像を取得する撮像部と、
   予め人物の顔特徴情報を記憶する記憶部と、
   前記監視画像から人物の頭部に相当する入力頭部領域を抽出する頭部抽出部と、
   前記入力頭部領域が顔の特徴情報を有しているか前記顔特徴情報を用いて判定する顔特徴判定部と、
   前記周期的に取得される複数の監視画像間において前記入力頭部領域を追跡して対応付けを行う追跡部と、
   前記顔特徴判定部にて入力頭部領域に顔の特徴情報無しと判定された場合、前記追跡部にて対応付けされた過去の入力頭部領域を用いて顔を隠蔽した不審者であるか否かを判定する不審者検出部と、を備え、
   前記不審者検出部は、
   前記入力頭部領域に顔の特徴情報無しと判定された場合、直近から所定過去までの間で前記対応付けされた何れかの入力頭部領域が顔の特徴情報ありと判定されていなければ、顔を隠蔽した不審者と判定することを特徴とした画像監視装置。
   
2. 前記顔特徴判定部は、
   前記入力頭部領域と前記顔特徴情報とを比較して顔らしさの類似度となる素顔度を算出し、該素顔度に基づいて前記入力頭部領域が顔の特徴情報を有しているか否かを判定し、
   前記不審者検出部は、
   前記顔特徴判定部にて顔の特徴情報無しと判定されると、直近から所定過去までの間に前記対応付けされた入力頭部領域にて算出された素顔度を加算して蓄積素顔度を算出し、該蓄積素顔度が閾値以下である場合に、顔を隠蔽した不審者と判定する請求項１に記載の画像監視装置。