JP5538963B2

JP5538963B2 - 非常通報装置

Info

Publication number: JP5538963B2
Application number: JP2010059364A
Authority: JP
Inventors: 直幸高田; 昌宏佐藤; 健糸賀
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2010-03-16
Filing date: 2010-03-16
Publication date: 2014-07-02
Anticipated expiration: 2030-03-16
Also published as: JP2011192157A

Description

本発明は、監視領域内にいる人物を撮影した画像に基づいて異常を検知した場合に非常通報する非常通報装置に関する。

強盗などの賊が店舗に押し入った場合の非常通報手段として、レジの近くなど、店員が通常いる場所の近くに非常通報用のボタンスイッチを設けておくことが行われている。しかし、場合によっては、賊が店員に非常ボタンを押下させないように、店員に特定の姿勢を取ることを強要させることがある。そこで、このような場合にも、非常通報することを可能とするために、店舗内などの監視領域を撮影した画像を解析して異常を検知すると非常通報する技術が提案されている（例えば、特許文献１及び２を参照）。

例えば、特許文献１に開示された能動的監視カメラは、撮像部で撮像した複数の画像フレームを用いて画像データから人成分を抽出し、人成分から頭部と両手を抽出し、両手が上方または頭部におかれたことを認識して異常の発生と認識し、異常の発生が認識されたときに外部に異常発生を通知する。

また、特許文献２に開示された監視システムは、複数のカメラを意識した人物を特定し、特定された人物の行動状態を監視して、特定された人物の画像が不正行為常習犯の画像等、予め記憶されている画像と一致するか否か、及び特定された人物の行動パターンが特有の基準パターンに当てはまるか否かにより、その人物が不正行為を行うか否かを判定する。

特開２００２−３５４４５９号公報特開２００３−１６９３２０号公報

しかしながら、特許文献１に開示された技術では、店員が両手を頭上に持っていくような目立つ行動を検知して異常判定する技術では、店員がそのような目立つ行動をすることを賊が禁止する場合、異常事態の発生を検知できずに、失報してしまう。
また、特許文献２に開示された技術では、あらゆる不審者の画像を予め準備することはできないので、装置に画像が記憶されていない人物が不審な行動を取ったり、強盗などを行っても検出することができない。

そこで、本発明は、賊に悟られることなく、異常事態の発生を検出して、その異常事態の発生を通報できる非常通報装置を提供することを目的とする。

本発明の一つの形態として、非常通報装置が提供される。この非常通報装置は、監視領域を撮影した監視画像に含まれる人物の画像が予め登録されている正規利用者の画像か否か判定する照合部と、その人物が正規利用者であり、かつ監視画像においてその人物が所定の非常行動を取ったか否か判定する非常行動検出部と、非常行動検出部が非常行動を取ったと判定すると非常通報する通報部とを有する。

この非常通報装置は、照合部により、監視画像に写っている人物が正規利用者でない非正規利用者であると判定された場合において、監視画像においてその人物が所定の不審行動を取ったか否か判定する不審行動検出部をさらに有することが好ましい。この場合において、通報部は、不審行動検出部が不審行動を取ったと判定すると非常通報と異なる警報を発することが好ましい。

またこの非常通報装置は、監視画像に写っている人物の顔の向きを検出する顔向き検出部をさらに有することが好ましい。この場合において、非常行動検出部は、時系列に撮影された監視画像において所定数連続して顔向き検出部が第１の方向の監視画像に写っている人物の顔向きを検出すると、その人物が非常行動を取ったと判定することが好ましい。

あるいは、不審行動検出部は、時系列に撮影された監視画像において、所定数にわたって顔向き検出部が第２の方向の監視画像に写っている人物の顔向きを検出すると、その人物が不審行動を取ったと判定することが好ましい。

さらに、顔向き検出部は、顔の向きから人物が監視画像において正面顔となる方向に向いている度合いを表す直視度を算出し、非常行動検出部は、直視度が所定の閾値以上であると第１の方向の顔向きとすることが好ましい。

本発明に係る非常通報装置は、賊に悟られることなく、異常事態の発生を検出して、その異常事態の発生を通報できるという効果を奏する。

本発明の一つの実施形態に係る非常通報装置の概略構成図である。対象人物の顔の向きを規定する座標系の一例を示す図である。（ａ）は、対象人物が撮像部の方を向いている場合の対象人物の顔画像の概略図であり、（ｂ）は、対象人物が撮像部に対して顔を背けている場合の対象人物の顔画像の概略図である。（ａ）は、正規利用者ごとの登録顔画像と非常行動カウンタを記録する非常行動テーブルの概略を示す図であり、（ｂ）は、非正規利用者ごとの登録顔画像と不審行動カウンタを記録する不審行動テーブルの概略を示す図である。非常通報処理の動作を示すフローチャートである。非常通報処理の動作を示すフローチャートである。

以下、本発明の一つの実施形態による非常通報装置を、図を参照しつつ説明する。この非常通報装置は、店舗などの監視領域を撮影するカメラによって撮影された画像に写っている人物が、予め登録されている正規利用者か、正規利用者でない非正規利用者かを判定する。そしてこの非常通報装置は、画像を解析して、画像に写っている正規利用者の顔の向きを検出し、その顔向きに応じて正規利用者が予め設定された非常行動を取っているか否かを判定し、非常行動を取っていると判定すると非常通報する。
なお、非常通報装置が店舗に設置された場合、正規利用者は、例えば、非常通報装置１が設置された店舗の店員またはオーナーであり、非正規利用者は、例えば、その店舗に来店した客である。また、非常通報装置がオフィスビルに設置された場合、正規利用者は、例えば、そのオフィスビル内のオフィスに勤務する者あるいはオフィスビルの管理者であり、非正規利用者は、例えば、オフィスビル内のオフィスへの訪問者である。

図１は、一つの実施形態に係る非常通報装置１の概略構成を示す図である。図１に示すように、非常通報装置１は、撮像部２と、インターフェース部３と、記憶部４と、出力部５と、異常行動検知部６とを有する。

撮像部２は、所定の監視領域を撮影する監視カメラであり、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。

撮像部２は、監視領域内を通行または滞留する人物の顔を撮影できるように、この監視領域の動線に沿った位置に、その動線方向を撮影するよう設置される。
例えば、非常通報装置１がコンビニエンスストアまたはスーパーマーケット等の店舗の来訪者を監視する場合、撮像部２は、レジ付近、あるいは商品棚の間の通路を撮影範囲に含むよう、天井または店舗内の壁の上方に、撮影方向をやや下方へ向けた状態で取り付けられる。さらに、撮像部２は、撮像部２の撮影範囲に、出入口が含まれるように取り付けられてもよい。また、非常通報装置１がオフィスビルの屋内の通行人を監視する場合、撮像部２は、例えば廊下の天井あるいは壁の上方に、撮影方向をやや下方へ向けた状態で取り付けられる。さらに撮像部２は一つに限られず、複数存在してもよい。

撮像部２は、監視領域を撮影した監視画像を、所定の時間間隔（例えば、200msec）ごとに１フレーム取得する。撮像部２は、インターフェース部３を介して異常行動検知部６と接続され、取得した監視画像を異常行動検知部６へ渡す。

インターフェース部３は、撮像部２と接続されるインターフェース回路であり、撮像部２から受け取った監視画像を異常行動検知部６に渡す。
記憶部４は、半導体メモリ、磁気記録媒体及びそのアクセス装置及び光記録媒体及びそのアクセス装置のうちの少なくとも一つを有する。そして記憶部４は、非常通報装置１を制御するためのコンピュータプログラム、各種パラメータ及びデータなどを記憶する。また記憶部４は、予め非常通報装置１に登録された正規利用者の非常行動カウンタ、及び、非常通報装置１に登録された非正規利用者の不審行動カウンタ及び顔画像などを記憶する。なお、非常行動カウンタ及び不審行動カウンタの詳細については、異常行動検知部６の関連する構成要素とともに説明する。

出力部５は、異常行動検知部６と接続され、非常通報装置１を公衆通信回線または構内ローカルエリアネットワークなどの通信回線に接続するためのインターフェース回路を有する。さらに出力部５は、監視領域内あるいは監視領域近傍の部屋に設置されたモニタまたはスピーカ若しくは正規利用者が携帯する無線端末と接続するためのインターフェース回路を有する。そして出力部５は、異常行動検知部６が強盗などの賊を検知した場合には、通信ネットワークを介して監視センタまたは警察に設置された監視センタ装置（図示せず）へ異常事態が発生したことを示す非常通報信号を送信する。あるいは、異常行動検知部６が、監視領域内に不審者を検知したときは、その旨を表す警告音声信号または警告メッセージを異常行動検知部６から受け取って、スピーカ、モニタまたは無線端末へ出力する。

異常行動検知部６は、１個または複数個のプロセッサ及びその周辺回路を有する。そして異常行動検知部６は、撮像部２から監視画像を受け取る度に、その監視画像に写っている人物の行動を解析して、監視センタ装置への非常通報または正規利用者への警告が必要か否かを判定する。
そのために、異常行動検知部６は、そのプロセッサ上で動作するソフトウェアにより実装される機能モジュールとして、人物領域検出部６１、顔向き検出部６２、顔照合部６３、非常行動検出部６４、不審行動検出部６５、不審人物登録部６６及び通報部６７を有する。
なお、異常行動検知部６が有するこれらの各部は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。
以下、異常行動検知部６の各部について詳細に説明する。

人物領域検出部６１は、撮像部２から受け取った監視画像から、人物が写っている領域である人物領域を抽出する。そのために、人物領域検出部６１は、例えば、監視画像上の部分領域から１以上の特徴量を算出し、その特徴量が、人物に対応すると考えられる所定の条件を満たす場合に、その部分領域を人物領域として抽出する。具体的には、人物領域検出部６１は、例えば、Sobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素抽出を行う。そして特徴量は、例えば、その部分領域内における得られたエッジ画素の方向分布、またはそのエッジ近傍の画素の輝度分布などとすることができる。また予め、人物を撮影した複数の画像から、人物に対応するエッジ画素の方向分布やエッジ近傍の輝度分布などの特徴量の値を求めてその範囲を決定することにより、上述した所定の条件を予め決定することができる。
あるいは、人物領域検出部６１は、予め定めたテンプレートを用いて監視画像とのテンプレートマッチングを行い、そのテンプレートマッチングの結果として得られた一致度が所定値以上となった領域を、人物領域として抽出するようにしてもよい。また、人物領域検出部６１は、監視画像と、監視領域内に人物等の移動物体が存在しない状態で撮影された基準画像との差分を行い、その差分値が所定値以上となる画素が連結した差分領域を抽出する。そして人物領域検出部６１は、差分領域が人物に相当すると考えれるサイズ及び形状を有している場合、その差分領域を人物領域として抽出してもよい。人物領域の抽出処理としては、既に種々の方法が知られるところであり、ここでの説明は省略する。

人物領域検出部６１は、人物領域を抽出すると、その人物領域から、頭部に相当する領域を抽出する。人物領域検出部６１は、例えば、人物領域からエッジを抽出したエッジ画像を作成する。そして人物領域検出部６１は、そのエッジ画像から、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を、頭部領域として抽出することができる。この場合において、人物領域検出部６１は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出することができる。あるいは、人物領域検出部６１は、人物領域あるいは人物領域のエッジ画像に対して、エッジの方向分布、輝度分布などを特徴量として、予め学習された頭部のテンプレートを用いてテンプレートマッチングを行い、そのテンプレートマッチングの結果として得られた一致度が所定値以上となった領域を、頭部領域として抽出することができる。さらにまた、人物領域検出部６１は、人物領域の頭部に相当すると考えられる領域を頭部領域としてもよい（例えば、人物領域の上端部から、平均的な頭部のサイズ及び形状に相当する領域を切り出して、頭部領域とする）。さらに、人物領域検出部６１は、他の頭部領域抽出方法を用いて、頭部領域を抽出してもよい。例えば、人物領域検出部６１は、"Rapid Object Detection using a Boosted Cascade of Simple Features", Proceedings IEEE Conf. on Computer Vision and Pattern Recognition, 2001年、に開示されている顔検出器を用いてもよい。

人物領域検出部６１は、監視画像から頭部領域を切り出した頭部領域の画像データを作成する。そして人物領域検出部６１は、頭部領域の画像データに、他の頭部領域との識別に用いるための人物識別子を割り当て、それらを一つの人物情報とする。人物領域検出部６１は、得られた人物情報を、異常行動検知部６の他の各部で利用できるように記憶部４に記憶する。なお、人物領域検出部６１は、一つの監視画像中に複数の頭部領域が存在する場合、全ての頭部領域を抽出してそれぞれ人物情報を作成して記憶部４に記憶する。その際、人物識別子は、頭部領域ごとに異なる値が設定される。

顔向き検出部６２は、頭部領域に写っている人物の正面向きを基準とした顔向きを検出する。
図２に、人物の顔向きを規定するための正規直交座標系を示す。この正規直交座標系（Ｘ,Ｙ,Ｚ）では、原点Ｏは顔向きの推定対象となる人物２００の頭部の略中心に設定される。またＺ軸を、その人物２００の頭部と撮像部２とを結ぶ直線とする。そしてＸ軸は、原点Ｏを通り、Ｚ軸と直交する垂直方向の直線に設定される。同様にＹ軸は、原点Ｏを通り、Ｚ軸と直交する水平方向の直線に設定される。
この座標系において、人物２００の顔向きは、人物２００が撮像部２を直視した状態（すなわち、人物２００が顔の正面を撮像部２に対向させている状態）を正対状態とした場合のヨー角ψとピッチ角θの組（ψ,θ）で表される。ヨー角ψは、正対状態における人物２００の顔向きに対する、左右方向の回転角（すなわち、Ｚ軸を基準とした、ＹＺ平面内での回転角）を表す。またピッチ角θは、正対状態における人物２００の顔向きに対する、上下方向の回転角（すなわち、Ｚ軸を基準とした、ＸＺ平面内での回転角）を表す。以下では、ヨー角ψ、ピッチ角θを、ラジアン単位で表し、それぞれ、右向き方向または下向き方向を正とする。

顔向き検出部６２は、記憶部４から頭部領域の画像データを読み出し、その頭部領域から顔の特徴的な部分である顔特徴点を抽出する。そして顔向き検出部６２は、抽出した顔特徴点の種別と頭部領域上の位置情報（例えば、頭部領域の左上端部を原点とする２次元座標値）を算出する。例えば、顔向き検出部６２は、両目尻、両目領域中心、鼻尖点、口点、口角点などの顔特徴点を抽出する。顔向き検出部６２は、顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、顔向き検出部６２は、頭部領域に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。なお、上記の人物画像のエッジ画像から、頭部領域内のそのようなエッジ画素を抽出してもよい。そして顔向き検出部６２は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの顔の特徴的な部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また顔向き検出部６２は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔向き検出部６２は、顔の各部位に相当するテンプレートと頭部領域とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。

顔特徴点が抽出されると、顔向き検出部６２は、各顔特徴点の２次元的な分布を調べて、顔向きを検出する。つまり、本実施形態において、顔向きとは、正面を向いた（正対状態）顔からの特徴点のずれ量ということができる。
図３を参照しつつ、顔の向きと顔特徴点の関係について説明する。図３（ａ）は、対象人物が撮像部２の方を向いている場合（すなわち、正対状態である場合）の対象人物の顔画像３１０を示す。一方、図３（ｂ）は、対象人物が撮像部２に対して顔を背けている場合の対象人物の顔画像３３０を示す。図３（ａ）に示すように、対象人物が撮像部２に対して顔の正面を向けている場合、鼻の頂点である鼻尖点３１１は、顔の正中線３２０上に存在する。また、左右の目尻３１２、３１３、左右の口角点３１４、３１５なども観察することができる。

一方、図３（ｂ）に示すように、対象人物が撮像部２に対して顔を背けている場合、鼻尖点３３１は、眼や口に対して突出しているので、ヨー角ψが大きくなるほど、正中線３４０から離れていく。さらに、左右の目尻３３２、３３３、左右の口角点３３４、３３５については、対象人物が顔を回転させていくと、そのうち隠れて見えなくなる。例えば図３（ｂ）に示すよりも、対象人物がもう少し顔を右側へ回転させると、右の目尻３３３あるいは右の口角点３３５は顔画像３３０上に写らず、それらの顔特徴点を検出不可能となる。このように、顔の正中線に対する鼻尖点の位置や、検出できない顔特徴点の種別から、撮像部２に対する対象人物の顔の向きを調べることができる。

そこで、顔向き検出部６２は、例えば、両目尻の中点と口点を結ぶ直線を、顔の正中線として求める。そして顔向き検出部６２は、鼻の頂点である鼻尖点が、正中線に対して左右どちら側にあるか、および正中線からの距離を求める。また顔向き検出部６２は、顔の特徴点配置の情報として正中線の方向及び正中線から鼻尖点までの距離と、少なくとも正面向きの顔を含む顔の向きとの関係を予め調べ、その関係を表すルックアップテーブルを予め記憶部４に記憶しておく。そして顔向き検出部６２は、ルックアップテーブルを参照して、求めた正中線の方向及び正中線から鼻尖点までの距離に対応する顔の向きを求める。

また顔向き検出部６２は、抽出された顔特徴点と、人物の顔の３次元形状を表す３次元形状モデルにおける対応する顔特徴点の位置関係に基づいて顔の向きを推定してもよい。この場合、人の頭部を模した標準的な３次元形状モデル（例えば、ワイヤーフレームモデルあるいはサーフェイスモデル）を予め準備し、記憶部４に記憶しておく。またその３次元形状モデルの顔特徴点の配置の情報として両目尻、鼻尖点、口点といった３Ｄ顔特徴点の位置も記憶部４に記憶しておく。
顔向き検出部６２は、頭部領域から顔特徴点が抽出されると、３次元形状モデルについて、所定の回転量、並進量または拡大／縮小率にしたがってその顔向きを調整し、撮像部２の結像光学系の像面と平行な面に仮想的に投影して、その面上における３Ｄ顔特徴点の位置を求める。そして顔向き検出部６２は、頭部領域から抽出された各顔特徴点と、投影された３Ｄ顔特徴点のうちの対応する特徴点との位置ずれ量の総和を求める。顔向き検出部６２は、回転量、並進量または拡大／縮小率を変更して、上記の手順を繰り返し、位置ずれ量の総和が最小となるときの３次元形状モデルの顔の向きを求める。そして顔向き検出部６２は、その３次元形状モデルの顔の向きから、上記のヨー角ψとピッチ角θの組（ψ,θ）を求めることができる。この場合においても、顔向きは正面向きを基準として特徴点の位置関係から算出されるのであって、すなわち正面を向いた顔からの特徴点のずれ量といえる。
なお、顔向き検出部６２は、頭部領域から抽出された各顔特徴点を３次元空間内へ投影した後、３次元形状モデル上の３Ｄ顔特徴点との位置ずれ量が最小となるよう、３次元形状モデルに回転、拡大／縮小などの処理を行って、その３次元形状モデルの顔の向きを決定してもよい。
顔向き検出部６２は、顔の向きを表すヨー角ψ、ピッチ角θの値を求めると、それらを顔向き情報として対応する人物情報に関連付けて、記憶部４に記憶する。

さらに、顔向き検出部６２は、頭部領域に写っている人物が顔を撮像部２の方へ向けている程度、即ち、監視画像において顔が正面向きとして写る方向に顔を向けている程度を表す指標として、顔向き情報に基づいてカメラ直視度を算出する。このカメラ直視度LSは、後述する非常行動及び不審行動の検知に用いられるものであり、次式に従って算出される。

ここで、角度ψは、図２に示されるヨー角であり、頭部の中心を原点として、頭部領域に写っている人物がカメラを直視した状態、すなわち、その人物の顔の正面を撮像部２に対向させている状態を正対状態（全ての回転角が０）とした場合の左右方向（Ｘ軸回り）の回転角である。また角度θは、ピッチ角であり、正対状態におけるその人物の顔向きに対する、上下方向（Ｙ軸回り）の回転角である。
なお、直視度LSが無限大に近い値となることを防止するために、ヨー角ψ及びピッチ角θが所定の下限値（例えば、0.1ラジアン）以下となる場合には、非常行動検出部６４は、ヨー角ψ及びピッチ角θをその下限値に設定して、直視度LSを求めてもよい。

図３（ａ）及び（ｂ）を参照しつつ、直視度LSと対象人物の顔の向きについて説明する。図３（ａ）に示されるように、対象人物が撮像部２に対してほぼ正面を向いている場合、ヨー角ψ及びピッチ角θの何れも小さい値となるので、直視度LSは大きな値となる。一方、図３（ｂ）に示されるように、対象人物が撮像部２に対して顔を傾けている場合、ヨー角ψ及びピッチ角θの少なくとも何れかは大きい値となるので、直視度LSは相対的に小さな値となる。
顔向き検出部６２は、算出したカメラ直視度を、対応する人物情報に関連付けて記憶部４に記憶する。

顔照合部６３は、監視画像から抽出された頭部領域の画像データと、記憶部４に記憶されている正規利用者の登録顔画像あるいは不審人物の可能性があるとして登録された非正規利用者の顔画像と照合する。そして顔照合部６３は、その頭部領域に写っている人物が非常通報装置１に登録されている正規利用者として認証するか否かを判定する。あるいは顔照合部６３は、その頭部領域に写っている人物が登録された非正規利用者の何れかに該当するか否か判定する。

顔照合部６３は、監視画像から抽出された頭部領域に写っている顔と顔画像に写っている顔とを照合するために、公知の様々な照合方法の何れかを用いることができる。例えば、顔照合部６３は、頭部領域と、各正規利用者及び既に登録されている非正規利用者の顔画像とのパターンマッチングを行う。そして顔照合部６３は、頭部領域に含まれる顔領域内の各画素と顔画像の対応画素の輝度値の差の二乗和を、頭部領域の顔領域に含まれる画素数で割って正規化した値の逆数を一致度として求める。顔照合部６３は、各顔画像について求めた一致度のうち、最も高い一致度が所定の基準値を超える場合、頭部領域に写っている人物を、一致度が最も高い値を有する顔画像に対応する正規利用者または登録されている非正規利用者に該当すると判定する。一方、顔照合部６３は、何れの一致度も所定の基準値を超えない場合、頭部領域に写っている人物は、何れの正規利用者でもなく、かつ登録されている非正規利用者でもないと判定する。
顔照合部６３は、頭部領域に写っている人物が何れかの正規利用者であると判定すると、その頭部領域の画像データを含む人物情報にその正規利用者の識別コードを関連付ける。同様に、顔照合部６３は、頭部領域に写っている人物が既に登録されている非正規利用者の何れかであると判定すると、その頭部領域の画像データを含む人物情報にその非正規利用者の識別コードを関連付ける。また、顔照合部６３は、頭部領域に写っている人物が、何れの正規利用者及び非正規利用者でもないと判定すると、その頭部領域の画像データを含む人物情報に、未登録の非正規利用者であることを示すフラグを関連付ける。

非常行動検出部６４は、顔照合部６３により正規利用者と判定された人物について、連続して撮影された複数の監視画像上のその人物の顔の向きに基づいて非常行動を取っているか否かを判定する。
ここで、非常行動とは、強盗の発生など、一刻の猶予も無く警察または警備会社の監視センタへ通報することを要する異常事態において取られる正規利用者の行動である。この非常行動は、非常通報装置１にて予め指定された行動であり、本実施形態では、非常行動の一例として、正規利用者が一定期間にわたって撮像部２を直視することとする。

非常行動検出部６４は、監視画像が取得される度に、その監視画像について作成された人物情報と関連付けられた直視度LSのうち、正規利用者の識別コードと関連付けられたものを記憶部４から読み込み、その直視度LSが所定の閾値以上か否か判定する。なお、所定の閾値は、例えば、撮像部２に正対する方向から約15°に相当する4に設定される。直視度が所定の閾値以上であれば、その正規利用者が撮像部２の方向に顔を向け、直視しており、非常行動を取っている可能性がある。そこで非常行動検出部６４は、記憶部４に記憶されている、その正規利用者に対応する非常行動カウンタを用いて、その正規利用者が一定期間にわたって撮像部２を直視したか否かを判定する。
非常行動カウンタは、正規利用者が非常行動に相当する行為を行った回数を監視画像の枚数単位で表す値であり、初期値は0に設定される。非常行動検出部６４は、直視度が所定の閾値以上であれば、記憶部４に記憶されている、その正規利用者に対応する非常行動カウンタの値を1インクリメントする。一方、非常行動検出部６４は、正規利用者が撮像部２から顔を背けると、その正規利用者に対する非常行動カウンタの値をリセットとして0に戻す。

図４（ａ）は、記憶部４に記憶されている、正規利用者ごとの登録顔画像と非常行動カウンタを記録する非常行動テーブルの概略を示す図である。非常行動テーブル４００の左端の列４０１の各欄には、正規利用者の識別コードが格納される。また、非常行動テーブル４００の中央の列４０２の各欄には、同じ行の左端の列に示された識別コードに対応する正規利用者の登録顔画像を表すデータが格納される。なお、登録顔画像自体は、非常行動テーブル４００と別個に記憶され、非常行動テーブル４００の中央の列４０２の各欄には、登録顔画像の記録領域を表すアドレス番号が格納されてもよい。また、非常行動テーブル４００の右端の列４０３の各欄には、同じ行の左端の列に示された識別コードに対応する正規利用者についての非常行動カウンタが格納される。

非常行動検出部６４は、正規利用者が、一定期間にわたって連続して撮像部２を直視していると判断すると、非常行動が取られていると判定する。そのために、非常行動検出部６４は、非常行動カウンタの値と非常行動判定閾値とを比較し、非常行動カウンタの値が非常行動判定閾値以上になると、非常行動が取られていると判定する。そして非常行動検出部６４は、非常行動を検知したことを示す判定結果を異常行動検知部６に返す。なお、非常行動判定閾値は、例えば、撮像部２の撮影間隔に応じて設定される。例えば、非常行動判定閾値は、撮像部２の撮影間隔が200ミリ秒間隔とし、上記の一定期間を3秒とすると、15に設定される。

不審行動検出部６５は、顔照合部６３により非正規利用者と判定された人物について、連続して撮影された複数の監視画像上のその人物の顔の向きに基づいて不審行動を取っているか否かを判定する。
ここで、不審行動とは、非常行動とは異なり、非正規利用者の行為であり、直ちに警察などへ通報する必要はないが、まもなく犯罪行為に至りかねない行動をいう。一例として、撮像部２が監視領域内の何処に設置されているかを確認すべく、非正規利用者が撮像部２に対して一瞥を繰り返す行動を不審行動とする。このような行動は、例えば、非正規利用者が万引きを企てる際に、万引きが発覚しないよう撮像部２が監視領域である店舗内の何処に設置されているかを確認する際、あるいは、近い将来において強盗などの不正行為を行おうとするにあたり、事前に店舗内の様子を下見する際に行われる。

不審行動検出部６５は、監視画像上での非正規利用者の顔向きに基づいてその非正規利用者が撮像部２を直視しているか否か判定する。そのために、不審行動検出部６５は、監視画像が取得される度に、その監視画像について作成された人物情報と関連付けられた直視度LSのうち、登録された非正規利用者の識別コードまたは非正規利用者を表すフラグと関連付けられたものを記憶部４から読み込み、その直視度が所定の閾値以上か否か判定する。なお、所定の閾値は、例えば、正規利用者が撮像部２を直視していると判定するための基準として使用される閾値と同様に、4に設定される。直視度が所定の閾値以上であれば、その非正規利用者が撮像部２の方向に顔を向け、直視しており、不審行動を取っている可能性がある。そこで不審行動検出部６５は、記憶部４に記憶されている、その非正規利用者に対応する不審行動カウンタを用いて、その正規利用者が撮像部２を繰り返し一瞥したか否かを判定する。

不審行動カウンタは、非正規利用者が不審行動に相当する行為を行った回数を監視画像の枚数単位で表す値である。なお、非正規利用者は、例えば、店舗に来店した客のように、非常通報装置１に元々登録されていない。そのため、顔照合部６３により、監視画像に写っている人物が正規利用者でなく、既に登録された非正規利用者でもないと判定され、かつ、不審行動検出部６５がその人物について直視度が所定の閾値以上となったと判定したとき、後述する不審人物登録部６６によってその人物が非正規利用者として登録される。そして、その登録された非正規利用者の不審行動カウンタは、初期値として1が設定される。

また、顔照合部６３により、監視画像に写っている人物が登録された非正規利用者であると判定された場合、不審行動検出部６５は、直視度が所定の閾値以上であれば、記憶部４に記憶されている、その登録された非正規利用者に対応する不審行動カウンタの値を1インクリメントする。

図４（ｂ）は、記憶部４に記憶されている、非正規利用者ごとの登録顔画像と不審行動カウンタを記録する不審行動テーブルの概略を示す図である。不審行動テーブル４１０の左端の列４１１の各欄には、非正規利用者の識別コードが格納される。また、不審行動テーブル４１０の中央の列４１２の各欄には、同じ行の左端の列に示された識別コードに対応する非正規利用者の登録顔画像を表すデータが格納される。なお、登録顔画像自体は、不審行動テーブル４１０と別個に記憶され、不審行動テーブル４１０の中央の列４１２の各欄には、非正規利用者の登録顔画像の記録領域を表すアドレス番号が格納されてもよい。また、不審行動テーブル４１０の右端の列４１３の各欄には、同じ行の左端の列に示された識別コードに対応する非正規利用者についての不審行動カウンタが格納される。

不審行動検出部６５は、非正規利用者が、撮像部２の直視を繰り返していると判断すると、不審行動が取られていると判定する。そのために、不審行動検出部６５は、不審行動カウンタの値と不審行動判定閾値とを比較し、不審行動カウンタの値が不審行動判定閾値以上になると、不審行動が取られていると判定する。そして不審行動検出部６５は、不審行動を検知したことを示す判定結果を異常行動検知部６に返す。なお、不審行動判定閾値は、例えば、15に設定される。

不審人物登録部６６は、顔照合部６３により、監視画像に写っている人物が正規利用者でなく、既に登録されている何れの非正規利用者でもないと判断され、かつ、不審行動検出部６５が、その人物が不審行動となり得る行為をとっていると判定した場合（本実施形態では、その人物が撮像部２を直視したと判定した場合）、その人物を登録する。そこで、不審人物登録部６６は、新たに非正規利用者として登録する人物の識別コードとして、それまでに既に登録されている非正規利用者及び正規利用者の識別コードと異なる識別コードを生成する。そして不審人物登録部６６は、顔向き検出部６２により監視画像から抽出されたその人物の頭部領域を、その人物に対する登録顔画像とする。そして不審人物登録部６６は、新たに生成された識別コードと、登録顔画像を不審行動テーブルに格納する。さらに、不審人物登録部６６は、新たに生成された識別コードに対応する不審行動カウンタの値を１に設定し、その不審行動カウンタの値も不審行動テーブルに格納する。

通報部６７は、非常行動検出部６４により、正規利用者が非常行動を取ったことが検知されると、出力部５を介して監視センタ装置（図示せず）へ、異常事態が発生したことを示す非常通報を行う。
また通報部６７は、不審行動検出部６５により、非正規利用者が不審行動を取ったことが検知されると警報を発する。例えば、通報部６７は、出力部５を介して、スピーカまたはモニタ（図示せず）などに、不審者が監視領域内にいることを知らせる警告音声またはメッセージを出力したり、正規利用者が所持する無線端末を鳴動させる。また、警告音声または警告メッセージは、例えば、正規利用者のみが知り得る特定の音声またはメッセージとすることができる。

図５及び図６は、異常行動検知部６により制御される、非常通報処理の動作を示すフローチャートである。
先ず、異常行動検知部６は、撮像部２からインターフェース部３を介して監視画像を取得する（ステップＳ１０１）。そして異常行動検知部６は、監視画像を異常行動検知部６の人物領域検出部６１へ渡す。
人物領域検出部６１は、監視画像上で人物が写っている人物領域を抽出し、さらにその人物領域から人の頭部に相当する頭部領域を抽出する（ステップＳ１０２）。そして人物領域検出部６１は、監視画像上に頭部領域が存在するか否か判定する（ステップＳ１０３）。監視画像上に頭部領域が存在しなければ、異常行動検知部６は、ステップＳ１０１〜Ｓ１０３の処理を繰り返す。一方、監視画像上に頭部領域が存在する場合、人物領域検出部６１は、監視画像からその頭部領域を切り出し、その頭部領域を表す画像データを含む人物情報を作成して記憶部４に記憶する。

次に、異常行動検知部６の顔向き検出部６２は、記憶部４に記憶されている頭部領域の画像データを読み込み、その頭部領域に写っている人物の顔の向きを検出する（ステップＳ１０４）。さらに顔向き検出部６２は、その顔向きに基づいてカメラ直視度を算出する（ステップＳ１０５）。顔向き検出部６２は、カメラ直視度を対応する人物情報に関連付けて記憶部４に記憶する。

また、異常行動検知部６の顔照合部６３は、記憶部４から頭部領域の画像データを読み込み、その頭部領域に写っている顔と、記憶部４に登録されている正規利用者の登録顔画像または登録された非正規利用者の登録顔画像と照合することにより、その頭部領域に写っている人物が正規利用者か否か判定する（ステップＳ１０６）。
その人物が正規利用者であれば、異常行動検知部６の非常行動検出部６４は、カメラ直視度が所定の閾値以上か否かの判定結果に基づいて、その正規利用者が撮像部２を直視しているか否か判定する（ステップＳ１０７）。その正規利用者が撮像部２を直視していれば、非常行動検出部６４は、その正規利用者に対応する非常行動カウンタの値を1インクリメントする（ステップＳ１０８）。一方、その正規利用者が撮像部２を直視していなければ、非常行動検出部６４は、その正規利用者に対応する非常行動カウンタの値を0にリセットする（ステップＳ１０９）。
ステップＳ１０８またはＳ１０９の後、非常行動検出部６４は、非常行動カウンタの値が非常行動閾値以上か否か判定する（ステップＳ１１０）。非常行動カウンタの値が非常行動閾値未満であれば、異常行動検知部６はステップＳ１０１以降の処理を繰り返す。
一方、非常行動カウンタの値が非常行動閾値以上であれば、非常行動検出部６４は、その正規利用者が非常行動を取っていると判定する。そして異常行動検知部６の通報部６７は、出力部５を介して監視センタ装置へ非常通報する（ステップＳ１１１）。そして異常行動検知部６は、ステップＳ１０１以降の処理を繰り返す。

一方、ステップＳ１０６において、その人物が非正規利用者であると判定された場合（ステップＳ１０６−Ｎｏ）、図６に示されるように、異常行動検知部６の不審行動検出部６５は、カメラ直視度が所定の閾値以上か否かの判定結果に基づいて、その非正規利用者が撮像部２を直視しているか否か判定する（ステップＳ１１２）。その非正規利用者が撮像部２を直視していれば、不審行動検出部６５は、顔照合部６３の判定結果に基づいて、その非正規利用者が既に登録されているか否か判定する（ステップＳ１１３）。既に登録されていれば、不審行動検出部６５は、その非正規利用者に対応する不審行動カウンタの値を1インクリメントする（ステップＳ１１４）。一方、その非正規利用者が登録されていなければ、不審人物登録部６６は、その非正規利用者を新たに登録する。具体的には、不審人物登録部６６は、その非正規利用者の頭部領域の画像データをその非正規利用者の登録顔画像として記憶部４に記憶するとともに、新たに登録した非正規利用者の不審行動カウンタを1に設定する（ステップＳ１１５）。
ステップＳ１１４またはＳ１１５の後、不審行動検出部６５は、不審行動カウンタの値が不審行動閾値以上か否か判定する（ステップＳ１１６）。不審行動カウンタの値が不審行動閾値未満であれば、異常行動検知部６はステップＳ１０１以降の処理を繰り返す。
一方、不審行動カウンタの値が不審行動閾値以上であれば、不審行動検出部６５は、その非正規利用者が不審行動を取っていると判定する。そして異常行動検知部６の通報部６７は、出力部５を介してスピーカ、モニタまたは正規利用者が所持する無線端末へ警告メッセージを送信する（ステップＳ１１７）。

ステップＳ１１７後、あるいはステップＳ１１２にて、頭部領域に写っている非正規利用者が撮像部２を直視していないと判定された場合、異常行動検知部６は、ステップＳ１０１以降の処理を繰り返す。
なお、異常行動検知部６は、ステップＳ１０２にて一つの監視画像から複数の頭部領域を検出した場合、各頭部領域について、ステップＳ１０４以降の処理を実行する。

また、異常行動検知部６は、連続して取得された複数（例えば、２〜１０枚の何れか）の監視画像について、それぞれ非常行動を検出して非常通報を行った場合、各正規利用者の非常行動カウンタを０にリセットし、その後、所定の時間（例えば、１０分間）が経過するまで、非常行動カウンタの加算が行われないようにしてもよい。あるいは、異常行動検知部６は、最初の非常通報の実行から一定時間（例えば、１分間）が経過した後に、各正規利用者の非常行動カウンタを０にリセットしてもよい。
また、異常行動検知部６は、一旦不審者発見の警告を行った場合、不審者とされた非正規利用者の識別コード、顔画像及び不審行動カウンタを、不審行動テーブルから削除してもよい。あるいは、異常行動検知部６は、不審者とされた非正規利用者の不審行動カウンタを０にリセットし、その後、所定の時間（例えば、１０分間）が経過するまで、不審行動カウンタの加算が行われないようにしてもよい。

また、異常行動検知部６は、不審者とされた非正規利用者について最後に警告がなされてから一定時間（例えば、１分間）が経過した後に、その非正規利用者の識別コード、顔画像及び不審行動カウンタを、不審行動テーブルから削除してもよい。
さらに、不審行動検出部６５は、偶然に撮像部２を何回か直視しただけの非正規利用者の行動を不審行動として誤検出することを防止するために、登録された非正規利用者が所定の解除期間にわたって撮像部２から顔を背けると、その非正規利用者の登録を削除してもよい。この場合、不審行動検出部６５は、非正規利用者が撮像部２から顔を背けたと判定される最初の時刻もその非正規利用者の識別コードに関連付けて記憶部４に記憶しておく。なお、不審行動検出部６５は、直視度が、非正規利用者が撮像部２を直視しているとの判定に用いる上記の閾値未満であれば、その非正規利用者は撮像部２から顔をそむけていると判断する。また解除期間は、例えば、３分間とすることができる。

以上説明してきたように、この非常通報装置は、監視画像から抽出された正規利用者の顔の向きを判断し、その顔の向きに基づいて正規利用者が一定期間にわたって撮像部を直視したという、予め指定された非常行動を取ったことを検知すると非常通報する。このように、この非常通報装置は、正規利用者が目立つ行動を取らなくても、異常事態が発生したことを正規利用者の行動に基づいて検知して非常通報できるので、強盗などの賊に悟られることなく、異常事態が発生したことを通報できる。またこの非常通報装置は、監視画像に基づいて正規利用者であると判定した者の行為に基づいて非常通報するか否かを判定するので、正規利用者以外の者が非常行動と似た行動を取っても誤って非常通報することを防止できる。さらにこの非常通報装置は、監視画像に写っている非正規利用者の顔の向きに基づいてその非正規利用者が不審な行動を取ったことを検知できるので、不正行為が行われる可能性があることを、正規利用者に予め警告できる。

なお、本発明は上記の実施形態に限定されるものではない。例えば、記憶部は、正規利用者の２次元の顔画像を記憶する代わりに、正規利用者の顔の３次元形状を表す３次元顔モデルを記憶していてもよい。この場合、顔照合部は、監視画像から抽出された人物の顔の向きと同じ向きとなるように、各３次元顔モデルを２次元平面上に投影して２次元の顔画像を作成し、その投影された２次元の顔画像と監視画像上の顔画像を照合する。

非常行動検出部は、監視画像が取得される度に非常行動カウンタをインクリメントするか否か判定するのではなく、所定の単位時間（例えば、0.5秒または1秒）ごとにその所定の単位時間内に一度でも非常行動が検出されたら、非常行動カウンタをインクリメントしてもよい。
この場合、非常行動検出部は、何れかの正規利用者が撮像部を直視している期間が所定の期間（例えば、３秒間）よりも長ければ、その正規利用者が非常行動を取っていると判定してもよい。
同様に、不審行動検出部も、所定の単位時間ごとにその所定の単位時間内に一度でも不審行動が検出されたら、不審行動カウンタをインクリメントしてもよい。そして不審行動検出部も、何れかの非正規利用者が撮像部を直視している期間が所定の期間（例えば、３秒間）よりも長ければ、その非正規利用者が不審行動を取っていると判定してもよい。

また、不審行動検出部は、撮像部を繰り返し一瞥する行動以外の行動に基づいて、非正規利用者の不審行動を検出してもよい。例えば、不審行動検出部は、非正規利用者が、一定期間にわたって故意に撮像部から顔を背けている行動を不審行動として検知してもよい。この場合、不審行動検出部は、最新の監視画像に写っている人物が非正規利用者であると判定された場合、その非正規利用者が撮像部に対して顔を背けている程度を表すカメラ敬遠度Ｃ_avoidを算出する。カメラ敬遠度Ｃ_avoidは、例えば以下の式により算出される。

ここで、角度ψは、図２に示されるヨー角であり、正対状態（全ての回転角が０）における顔の向きに対する左右方向（Ｘ軸回り）の回転角である。また角度θは、ピッチ角であり、正対状態における顔向きに対する、上下方向（Ｙ軸回り）の回転角である。

不審行動検出部は、非正規利用者のカメラ敬遠度Ｃ_avoidが所定の閾値以上である場合、その非正規利用者は撮像部から顔を背けていると判定し、その非正規利用者に対する不審行動カウンタを１インクリメントする。なお所定の閾値は、撮像部に対して顔向きが正対している状態から所定量以上この顔向きが外れていることを判定する値であって、撮像部に対して顔を背けていることを判断するための判断基準である。この閾値は、例えば、着目者の両目尻、または両口角点の何れかが監視画像上に写らなくなったときの顔向きに相当する値とすることができる。あるいは、事前に、カメラに対して故意に顔を背けた状態とそうでない状態の人を撮影して、それぞれの状態におけるカメラ敬遠度Ｃ_avoidを求め、判別分析などを用いて求めたその境界値を、閾値としてもよい。
不審行動検出部は、特定の非正規利用者に対する不審行動カウンタが不審行動閾値以上となったとき、その非正規利用者が不審行動を取ったと判定する。なお、不審行動閾値は、一定期間にわたって連続して非正規利用者が撮像部に対して顔を背けていることに対応する値であり、例えば、５分間に撮影される監視画像の枚数とすることができる。

さらに、非常行動検出部は、正規利用者が撮像部を直視する行動以外の行動に基づいて、正規利用者の非常行動を検出してもよい。例えば、非常行動検出部は、監視画像から検出された正規利用者の顔の向きに基づいて、その正規利用者が特定の場所、例えば店舗などの出入口を一定期間注視していることを検出した場合、その正規利用者が非常行動を取っていると判定してもよい。この場合、非常行動検出部は、次式によって算出される特定方向注視度C_gazeが所定の閾値以上であれば、正規利用者が特定の場所がある方向を向いていると判定する。

ここで、角度ψは、図２に示されるヨー角であり、正対状態（全ての回転角が０）における顔の向きに対する左右方向（Ｘ軸回り）の回転角である。また角度θは、ピッチ角であり、正対状態における顔向きに対する、上下方向（Ｙ軸回り）の回転角である。また角度ψ₀及びθ₀は、それぞれ、正規利用者が特定の場所がある方向を向いたときのヨー角及びピッチ角である。この特定の場所がある方向を表す角度ψ₀及びθ₀は、正規利用者がいる位置に応じて異なる値となる。一方、非常行動検出部は、監視画像上の正規利用者が写っている位置で、監視領域内に正規利用者の位置を特定できる。そこで記憶部に、その角度ψ₀及びθ₀を、予め監視画像上の各画素と対応付けて記憶させておく。そして非常行動検出部は、正規利用者が写っていると判断された頭部領域の重心が位置する画素に対応する角度ψ₀及びθ₀を記憶部から読み込んで、顔向き検出部により検出された正規利用者の顔の向きを表すヨー角ψ、ピッチ角θとともに（３）式に入力することにより、特定方向注視度C_gazeを算出できる。
また、所定の閾値は、正規利用者が撮像部を直視しているか否かの判定に用いられる閾値と同じ値、例えば4に設定される。

さらに、非常通報装置が複数の撮像部を有する場合、非常行動検出部は、それぞれの撮像部により撮影された監視画像ごとに、その監視画像から検出された正規利用者の顔の向きに基づいて、その正規利用者が撮像部を直視しているか否か判定してもよい。そして非常行動検出部は、複数回にわたって、正規利用者がそれら複数の撮像部を交互に直視していると判定した場合、その正規利用者が非常行動を取っていると判定してもよい。

さらに、非常行動検出部は、正規利用者の顔の向き以外の情報を用いて、正規利用者が非常行動を取っているか否かを判定してもよい。同様に、不審行動検出部は、非正規利用者の顔の向き以外の情報を用いて、非正規利用者が不審行動を取っているか否かを判定してもよい。

例えば、他の実施形態によれば、非常通報装置は、監視画像に基づいて正規利用者または非正規利用者の虹彩及び視線方向を検知して、正規利用者または非正規利用者の照合、非常行動の有無判定または不審行動の有無判定に用いる。
この場合、人物領域検出部は、監視画像から目の領域及び瞳の領域を抽出する。目の領域及び瞳の領域の抽出は、例えば、上記の顔特徴点抽出方法の何れかを用いて実行できる。
虹彩に基づいて監視画像に写っている人物が正規利用者または登録されている非正規利用者か否か判定する場合、記憶部は、正規利用者あるいは登録された非正規利用者の顔画像の代わりに、正規利用者またはその非正規利用者の瞳の画像を記憶する。そして異常行動検知部は、虹彩の照合を行う照合部を顔照合部の代わりに有し、その照合部は、監視画像から抽出された瞳領域と、記憶部に記憶されている正規利用者または非正規利用者の瞳画像とのパターンマッチングを行って一致度を算出する。そして照合部は、一致度の最大値が所定の閾値以上であれば、監視画像に写っている人物はその最大一致度に対応する正規利用者または非正規利用者と判定する。一方、照合部は、一致度の最大値が所定の閾値未満であれば、監視画像に写っている人物は何れの正規利用者でもなく、登録されている非正規利用者でもないと判定する。

また、非常行動検出部及び不審行動検出部は、例えば、視線方向が顔の正面に対して上下左右の何れかの方向に大きく傾いている状態を一定期間連続して検知したとき、非常行動または不審行動を取っていると判定する。例えば、目の領域を楕円近似し、その長径及び短径のそれぞれ40％の長径及び短径を持ち、かつ重心が目の領域の重心と一致する楕円領域を正常視線領域として定義する。このとき、非常行動検出部及び不審行動検出部は瞳領域の重心が正常視線領域に含まれなければ、それぞれ、非常行動カウンタ及び不審行動カウンタを１インクリメントする。
なお、非常行動検出部及び不審行動検出部は、例えば、特開平０６−６７８６号公報に開示されているような、他の視線検出方向を用いて、正規利用者または非正規利用者の視線方向を判定してもよい。

さらに、非常通報装置は、監視画像から検知された正規利用者または非正規利用者の顔の向きと視線方向の両方に基づいて、正規利用者または非正規利用者が撮像部に視線を向けているか否かを判定することにより、非常行動あるいは不審行動を取っているか否かを判定してもよい。この場合、顔向き検出部は、顔の向きを表すヨー角に、顔の正面向きを基準とする視線方向の水平方向の角度を加算した値を視線方向ヨー角ψ'とし、顔の向きを表すピッチ角に顔の正面向きを基準とする視線方向の垂直方向の角度を加算した値を視線方向ピッチ角θ’とする。そして、視線方向ヨー角ψ'及び視線方向ピッチ角θ’を、ヨー角ψ及びピッチ角θの代わりに（１）式に入力することにより、視線方向の直視度を算出する。そして非常行動検出部及び不審行動検出部は、視線方向の直視度が、上記の直視度に対する閾値以上であれば、正規利用者または非正規利用者が撮像部へ視線を向けていると判定する。

さらに、不審行動検出部は、複数の監視画像について非正規利用者の視線方向を調べ、その視線方向が所定角度（例えば、90°）以上変化する回数が一定期間内に所定回数以上となる場合、その非正規利用者は不審行動を取っていると判定してもよい。その際、不審行動検出部は、顔の向きも合わせて調べ、顔の向きがほとんど変化せず、視線だけが上記のように変化していると、その非正規利用者は不審行動を取っていると判定してもよい。
さらに、非常行動検出部と不審行動検出部が、互いに異なる種類の情報を用いて非常行動及び不審行動を検出してもよい。例えば、非常行動検出部が、正規利用者の顔の向きによって非常行動を検出し、不審行動検出部が、視線の方向によって不審行動を検出してもよい。
また、非常通報装置は、正規利用者が非常行動を取ったことのみを検知対象とする場合、不審行動検出部及び不審行動登録部を有さなくてもよい。
このように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１非常通報装置
２撮像部
３インターフェース部
４記憶部
５出力部
６異常行動検知部
６１人物領域検出部
６２顔向き検出部
６３顔照合部
６４非常行動検出部
６５不審行動検出部
６６不審人物登録部
６７通報部

Claims

監視領域を撮影した監視画像を順次生成する撮像部と、
予め登録されている正規利用者の顔画像及び前記正規利用者でない非正規利用者の顔画像を記憶する記憶部と、
前記監視画像において人物の顔が写っている頭部領域と前記正規利用者の顔画像及び前記非正規利用者の顔画像とを照合することにより、前記監視画像に写っている人物が前記正規利用者または前記非正規利用者かを判定する照合部と、
前記頭部領域に写っている人物の顔の向きを検出する顔向き検出部と、
時系列に連続して撮影された２以上の所定数の前記監視画像のそれぞれから抽出された頭部領域に写っている人物の顔の向きが前記撮像部に対して正面を向いており、かつ、当該人物が前記正規利用者であると判定された場合、当該人物が非常行動を取ったと判定する非常行動検出部と、
時系列に撮影された複数の前記監視画像のうち、前記頭部領域に写っている人物の顔の向きが前記撮像部に対して正面を向いており、かつ、当該人物が前記非正規利用者であると判定された監視画像の数が２以上の所定回数に達すると、当該人物が不審行動を取ったと判定する不審行動検出部と、
前記非常行動検出部が前記非常行動を取ったと判定すると非常通報し、前記不審行動検出部が前記不審行動を取ったと判定すると警告を発する通報部と、
を有することを特徴とする非常通報装置。
前記顔向き検出部は、前記顔の向きから前記人物が前記監視画像において正面顔となる方向に向いている度合いを表す直視度を算出し、
前記非常行動検出部は、前記直視度が所定の閾値以上であると前記人物の顔の向きが前記撮像部に対して正面向きとする、請求項１に記載の非常通報装置。