JP4663756B2 - 異常行動検知装置 - Google Patents

Description

本発明は、カメラで撮影した映像を用いて人間などの異常行動を検知する異常行動検知装置に関する。

犯罪発生率の増加など社会不安に対処するために、不審者を監視することを目的としたカメラの設置台数が増加している。多数のカメラを用いた監視では、限られた監視員で監視領域全体を効率的に監視するための監視支援技術が必要になる。

このような監視支援技術として、特開２００６−７９２７２号公報（特許文献１）に示されている「異常動作検出装置および異常動作検出方法」がある。ここでは、立体高次局所自己相関特徴という動画の特徴量の抽出手法が開示されている。さらに、映像中の人間の正常行動を学習し、学習した正常行動から逸脱した行動を異常行動として検出する技術が開示されている。

また、特開２００７−１３１３８２号公報（特許文献２）に示されている「エレベータのかご内監視装置、及び監視プログラム」には、転倒判定，暴行判定等の異常行動を検出する複数の判定手段を事前に準備しておき、エレベータのかご内の乗客数に応じて、検出に用いる判定手段を切り替える技術が開示されている。

特開２００６−７９２７２号公報 特開２００７−１３１３８２号公報

特開２００６−７９２７２号公報で開示されている従来技術は、事前に正常行動を学習しておき、その学習データに基づき正常行動から逸脱した行動を異常と見なすものである。この技術には、学習によって正常と異常の境界を柔軟に設定できるという利点がある。しかしながら、この手法の場合、単一の学習データで学習することが前提であるため、様々な条件によって正常行動と異常行動の境界が変動する場合に対応できない。例えば、他人に危害を与えるリスクという観点で考えた場合には、人数によって、正常行動と異常行動の境界が変わることがある。人間が１人しか存在しない場合には、暴れる動作をとっても、他人に危害を与える恐れがない。したがって、正常と考えてもよい。しかしながら、人間が複数人存在する場合には、このような動作は他人に危害を与える恐れが高い。したがって、異常と考えた方が良い。このような問題には、単一の学習データによる学習では対応できない。

また、特開２００７−１３１３８２号公報で開示されている従来技術では、人数に応じて検出対象を切り替えることが可能である。しかしながら、この技術には、転倒，暴行等、検出対象の異常行動毎に検出手段を開発する必要がある。検出手段の開発は、通常、それぞれの異常行動を発見的にモデル化する必要があり、手間がかかり、難易度も高い。

本発明の目的は、正常と異常の境界が動的に変動する場合にも、正しく異常行動を検出することが可能な異常行動検知装置を提供することである。

上記目的を達成するために、本発明の異常行動検知装置は、監視対象の映像を取得する映像取得部と、映像取得部が取得した映像を基にして人数を検出する人数検出部と、人数検出部が検出した人数情報を基に、人数に応じた適切な正常行動の学習データを選択する学習データ選択部と、学習データ選択部が選択した正常行動の学習データを用いて映像取得部が取得した映像中の非正常行動を異常行動として検出する非正常行動検出部と、非正常行動検出部の検出結果を基に、異常行動が発生している場合には、その旨を外部装置に通知する発報部を備える。

本発明によれば、映像中の人数に応じて適切な正常行動の学習データを選択して、その学習データに基づいて異常行動を判定するので、人数によって行動パターンが大きく異なるような場合でも、異常行動を利用者の意図どおりに精度良く検出できる。

以下では本発明の実施の形態について、図を用いて詳細に説明する。

図１は、本発明における異常行動検知装置全体の機能構成を示すブロック図である。本装置は、映像取得部１００，人数検出部１０２，学習データ選択部１０４，非正常行動検出部１１０，発報部１１２で構成される。以下、順に説明する。

映像取得部１００は、ビデオカメラ等の映像撮影機器、またはビデオレコーダ等の映像再生機器であり、本装置の入力となる映像を取得する。映像撮影機器は、現在撮影しているリアルタイム映像を入力とする場合に利用する。映像再生機器は、過去に蓄積した映像を入力とする場合に利用する。

人数検出部１０２は、映像取得部１００で撮影した映像中の人数を検出する。検出した人数をそのまま人数検出部１０２の出力としても良いし、その粒度の情報が不要な場合は、単数・複数の二値を出力としても良い。

学習データ選択部１０４は、人数検出部１０２が検出した人数に応じて適切な学習データを選択する。この例では、単数人学習データ１０６と複数人学習データ１０８を事前に準備してある。単数人学習データ１０６は、人間が単数の場合の正常行動を事前に学習した結果である。一方、複数人学習データ１０８は、人間が複数の場合の正常行動を事前に学習した結果である。そして、人数検出部１０２の出力が単数の場合は単数人学習データ１０６を、複数の場合は複数人学習データ１０８を選択する。なお、単数人学習データ１０６および複数人学習データ１０８は、半導体メモリ等の記憶装置に格納されている。

非正常行動検出部１１０は、学習データ選択部１０４が選択した学習データを基にして、映像取得部１００の映像が正常行動の範囲内（正常行動）であるのか、それとも正常行動の範囲外（非正常行動）であるのかを判定する。本実施形態では、正常行動の範囲外、すなわち非正常行動の場合には異常行動が発生していると見なす。

発報部１１２は、非正常行動検出部１１０の判定結果を基にして、異常行動が発生している場合には、その旨を外部装置に通知する。通知を受け取った外部装置は、警報を音声・監視画面に出力することができる。また、エレベータなどの設備を安全のために停止することもできる。さらには、監視センタや携帯端末など遠隔地に通知して、対応を促すこともできる。

なお、人数検出部１０２，学習データ選択部１０４，非正常行動検出部１１０，発報部１１２は、マイクロコンピュータ等の各種演算処理装置によって実現される。

次に、図２のフローチャートを使って、本実施形態の異常行動検知装置全体の処理の流れを説明する。

ステップ２００では、ステップ２０２からステップ２１２までの処理を、あらかじめ定めた所定の頻度で、利用者から終了指示があるまで繰り返す。所定の頻度とは、例えばビデオ映像のフレームレートと同じ、１秒あたり３０回等である。

ステップ２０２では、映像取得部１００を用いて、処理対象の映像をデジタルデータとして装置内に取り込む。

ステップ２０４では、人数検出部１０２を用いて、ステップ２０２で取得した映像中に存在する人の数を検出する。

ステップ２０６では、学習データ選択部１０４を用いて、ステップ２０４の検出人数に応じて適切な学習データを選択する。

ステップ２０８では、非正常行動検出部１１０を用いて、ステップ２０２で取得した映像中の異常行動を検出する。

ステップ２１０では、ステップ２０８の検出結果を評価し、異常行動が発生していると判定した場合に、ステップ２１２を実行する。

ステップ２１２では、発報部１１２を用いて、異常行動が発生していることを外部装置に通知する。

次に、図３のブロック図を用いて、図１の人数検出部１０２の内部構成の一例を詳細に説明する。前述のように、人数検出部１０２は、映像取得部１００で撮影した映像中の人数を検出する。ここでは、特開２００７−１３１３８２号公報に開示されている人物領域の縦横比を利用した人数検出手法の例を示す。判定結果は、単数または複数とする。

人数検出部１０２は、人物領域抽出部３００，領域特徴量算出部３０２，人数判定部３０６で構成される。以下、順に説明する。

人物領域抽出部３００は、映像取得部１００で取得した画像と背景画像３０４の差分情報を用いて、人が存在する領域を抽出する。背景映像３０４は、静的な背景だけで構成される無人の画像である。カメラが固定されている場合には、事前に取得した無人時の画像を背景映像３０４として指定すればよい。また、映像取得部１００で取得した画像に長時間変化がない場合に人がいないと判定して、自動的に更新してもよい。

領域特徴量算出部３０２は、人物領域抽出部３００が抽出した人物領域の画像の特徴量を算出する。ここでは、特徴量として、人物領域の縦横比を利用する。縦横比は、人物領域の外接矩形の高さを、外接矩形の横幅で割ったものである。ここで、人物領域の縦横比は、人数が単数の場合よりも複数の場合のほうが小さくなると期待できる。これは、複数の場合には映像中では横並びになることが多く、人物領域が横方向に広がる頻度が高くなるためである。

人数判定部３０６は、領域特徴量算出部３０２で算出した人物領域の縦横比を基にして、人数を判定する。ここでは、人物領域の縦横比が、あらかじめ設定した人数判定閾値３０８よりも大きい場合は複数と判定し、それ以下の場合には単数と判定する。

次に、図４のフローチャートを使って、図２のステップ２０４における人数の検出処理の流れを説明する。

ステップ４００では、図３の人物領域抽出部３００を用いて、映像取得部１００で取得した映像の中で人が存在する領域を抽出する。

ステップ４０２では、図３の領域特徴量算出部３０２を用いて、ステップ４００で抽出した人物領域の特徴量を算出する。

最後に、ステップ４０４では、図３の人数判定部３０６を用いて、ステップ４０２で算出した特徴量を基にして、人数を判定する。

次に、図５のテーブルを使って、図２のステップ２０６における学習データの選択処理の手順を説明する。前述のように、ステップ２０６では、ステップ２０４で検出した検出人数に応じて、適切な学習データを選択する。図５に示したのは、学習データ選択の基準となる学習データ選択テーブルであり、学習データ選択部１０４が備えるものである。このテーブルは、人数と選択する学習データの対応関係を保持している。例えば、セル５００とセル５０２は、検出人数が０または１人の場合には、単数人学習データ１０６を選択することを意味する。同じく、セル５０４とセル５０６は、検出人数が２人以上の場合には、複数人学習データ１０８を選択することを意味する。

次に、図６のブロック図を用いて、図１の非正常行動検出部１１０の内部構成の一例を詳細に説明する。前述のように非正常行動検出部１１０は、学習データ選択部１０４が選択した学習データを基にして、映像取得部１００の映像が正常行動の範囲内（正常行動）であるのか、それとも正常行動の範囲外（非正常行動）であるのかを判定し、非正常行動を異常行動として検出する。ここで学習データとは正常行動を事前に学習した結果であり、線形の変換行列、分布の中心と分散共分散行列で示される。これらの詳細は後述する。

非正常行動検出部１１０は、動き抽出部６００，特徴量算出部６０２，特徴量変換部６０４，非正常度算出部６０６，非正常判定部６０８で構成される。以下、順に説明する。

動き抽出部６００は、映像取得部１００で取得した映像の中から動きのある部分を抽出する。これは、背景など異常行動の判定に関係のない静止部分を取り除くために行う。動きの抽出には、公知の画像処理方法を用いることができる。例えば、単純に２つのフレーム間の差分を取る方法や、エッジ抽出処理を施した後でフレーム間の差分をとる方法などが利用できる。動きの抽出後、照明変動等のノイズの影響を取り除くために、画素値が０か１の値を取るように二値化処理を加える。

特徴量算出部６０２は、動き抽出部６００が生成した映像の特徴量を算出する。特徴量としては、例えば、公知の立体高次局所自己相関特徴を利用できる。これは、連続する３フレームの映像からなるボクセルデータの幾何学的な特徴を２５１次元の特徴ベクトルとして算出する方法である。この特徴量の算出方法については後述する。

特徴量変換部６０４は、特徴量算出部６０２で算出した特徴量ベクトルを、学習データ選択部１０４が選択した学習データの変換行列を用いて座標変換する。この変換は、特徴量ベクトルに含まれる非正常行動の成分を抽出するためのものである。ここで、特徴量算出部６０２で算出した特徴量ベクトルをｘ、学習データ選択部１０４が選択した学習データの変換行列をＡ、変換後の特徴量ベクトルをｘ′とおくと、この変換は次式で表すことができる。

ｘ′＝Ａｘ （数１）
学習データ選択部１０４が選択した学習データの変換行列は主成分分析などの多変量解析によって求まる行列であり、算出方法は後述する。映像の特徴量として２５１次元の高次局所自己相関特徴を用いる場合には、変換行列はｎ×２５１（ｎ＝１，２，…，２５１）の大きさの行列となる。そして、この行列で線形変換された特徴量はｎ次元のベクトルとなる。

非正常度算出部６０６は、特徴量変換部６０４で算出した新しい特徴量ベクトルを用いて、学習した正常行動との乖離の度合いを表す非正常度を算出する。ここで非正常度はスカラー量であり、値が小さいほど正常、大きいほど非正常、すなわち異常であることを表す。非正常度の具体的な算出方法については後述する。

非正常判定部６０８は、非正常度算出部６０６で算出した非正常度から、異常行動が発生しているのかどうかを判定し、その結果を発報部１１２に出力する。判定基準として非正常判定閾値６１０を用いる。非正常度が非正常判定閾値６１０よりも小さい場合は、正常行動の範囲内であり異常行動が発生していないと判定する。逆に、非正常度が非正常判定閾値３１０よりも大きい場合は、正常行動の範囲外であり異常行動が発生していると判定する。

次に、図７のフローチャートを使って、図２のステップ２０８における非正常行動の検出処理の詳細を説明する。

ステップ７００では、図６の動き抽出部６００を用いて、映像取得部１００で取得した映像の中から動きがある部分を抽出する。

ステップ７０２では、図６の特徴量算出部６０２を用いて、ステップ７００で生成した映像の特徴量を算出する。

ステップ７０４では、図６の特徴量変換部６０４を用いて、ステップ７０２で算出した特徴量ベクトルを、学習データ選択部１０４が選択した学習データの変換行列で座標変換して新しい特徴量ベクトルを生成する。

ステップ７０６では、図６の非正常度算出部６０６を用いて、ステップ７０４で算出した新しい特徴量ベクトルと正常行動との乖離度合いを表す非正常度を算出する。

ステップ７０８では、図６の非正常判定部６０８を用いて、ステップ７０６で算出した非正常度から、異常行動が発生しているのかどうかを判定し、その結果を発報部１１２に出力する。

次に、図８から図１０を使って図７のステップ７０２における動画の特徴量算出処理の詳細を説明する。

図８は、前述した立体高次局所自己相関特徴の入力データを説明する図である。特徴量算出の対象となるのは動画、すなわち時系列の連続するフレーム（画像）である。立体高次局所自己相関特徴を算出するためには少なくとも３フレームが必要となる。例えば、フレーム番号ｎのフレーム８００が与えられた場合に、その前後に位置するフレーム８０２とフレーム８０４（それぞれフレーム番号ｎ−１とｎ−２に対応）の３フレームが特徴量算出の対象となる。

いま、フレームの解像度を縦ｈピクセル、横ｗピクセルとすると、３フレームを合わせることで、ｈ×ｗ×３のボクセル（立方体）を構成できる。立体高次局所自己相関特徴は、このボクセル全要素に対して、３×３×３のマスクパターン８０６を順次移動させながら適用することで特徴を抽出する。

なお、ここでは連続する３フレームを処理対象としていたが、任意のｆフレームを処理対象としてもよい。この場合はｈ×ｗ×ｆのボクセルが処理対象となり、ｆフレーム分の動画の平均的な特徴量が算出されることになる。

図９は、立体高次局所自己相関特徴の算出に用いるマスクパターンの例を示す図である。マスクパターンは、ボクセルの局所的な相関特徴を算出するために用いるものであり、３×３×３のボクセルで構成される。

パターン１は、入力映像に対するボクセルデータ内を順次走査した場合に、中心のボクセル９００に位置する画素が１となる場合の数を数え上げるパターンである。同じく、パターン２は、中心のボクセル９０２に加えて、ボクセル９０４も１となる場合の数を数え上げるパターンである。

二値画像に対する立体高次局所自己相関特徴には、２５１個のマスクパターンが存在し、それぞれのパターンを満たす場合の数を数え上げることで、入力映像の特徴を、２５１次元の特徴量ベクトルとして抽出することになる。

次に、図１０のフローチャートを使って、図７のステップ７０２における動画の特徴量算出処理の詳細を説明する。

ステップ１０００では、特徴量ベクトルをゼロベクトルに初期化する。

ステップ１００２では、処理対象となる映像の全ボクセルに対してステップ１００４からステップ１００８の処理を繰り返す。つまり、図８に示したように処理対象の全てのボクセルに対してマスクパターン８０６を使って順次走査する。

ステップ１００４では、図９に示した２５１種類の全てのマスクパターンについてステップ１００６からステップ１００８の処理を繰り返す。

ステップ１００６では、処理対象のマスクパターンに対応する画素が全て１であるかどうか判定する。判定結果が真の場合にはステップ１００８を実行する。

ステップ１００８では、処理対象のマスクパターンに対応する特徴量ベクトルの成分を１だけ加算する。

この一連の処理によって、立体高次局所自己相関による２５１次元の特徴量ベクトルを算出することができる。

次に図１１のフローチャートを使って、図１の単数人学習データ１０６、および複数人学習データ１０８の算出手順を説明する。

ステップ１１００では、ステップ７００からステップ７０２の処理を、学習用にあらかじめ記録しておいた一つ以上の正常シーンの映像について繰り返す。ここで、単数人学習データ１０６を算出する際には、単数人の正常シーンだけを用いる。複数人学習データ１０８を算出する際には、複数人の正常シーンだけを用いる。

ステップ７００は、図７に示したステップと同じであり、動き抽出部６００を用いて、学習中の映像の中から動きがある部分を抽出する。

ステップ７０２は、図７に示したステップと同じであり、特徴量算出部６０２を用いて、ステップ７００で生成した映像の特徴量を算出する。

ステップ１１０２では、ステップ７０２で算出された正常シーンに対する特徴量の集合に対して主成分分析を実行する。主成分分析は、多変量解析手法の一つである。いくつかの変数から、互いに無相関となるように主成分と呼ばれる合成変数を作り出すことで、複数の変数が持つ情報を要約することが可能である。この主成分分析は、多変量データの解析によく利用されている公知の手法である。２５１次元の特徴量ベクトルの集合に対して主成分分析を実行することで、２５１の主成分と固有値が求まる。

ステップ１１０４では、ステップ１１０２での主成分分析の結果を基にして、正常行動への寄与率が低い部分空間を算出する。この部分空間に特徴量ベクトルを変換する行列を単数人学習データ１０６、または複数人学習データ１０８として記憶装置に格納する。

次に、図１２を用いて、図１１のステップ１１０４における部分空間の算出処理の詳細を説明する。この図は、ステップ１１０２に示した主成分分析で得られる主成分毎の累積寄与率を表すものである。累積寄与率とは、各主成分の寄与率を大きい順に足し込んだものであり、そこまでの主成分で分析対象のデータが本来持っていた情報量をどのくらい説明できているのかを表す指標である。例えば、第３主成分までの累積寄与率１２００は９０％であり、第１主成分から第３主成分までは、本来のデータの情報量の９０％を表現していることを示す。一方、残りとなる第４主成分から第２５１主成分が保持する情報量は本来のデータの情報量の１０％しか表現していないことになる。

このことから、第１主成分から第３主成分で構成される部分空間は、正常行動への寄与率が大きいと考えることができる。同時に、第４主成分から第２５１主成分で構成される部分空間は、正常行動への寄与率が小さいと考えることができる。

このように累積寄与率を判断基準にして、正常行動への寄与率が小さい部分空間を求めることができる。

次に、図１３を用いて、図７のステップ７０６における非正常度の算出処理の方法を説明する。非正常度の算出は、図１２に示した正常行動への寄与率が小さい部分空間で実行する。これは、この部分空間においては、正常行動の特徴量の分散は小さくなることが期待されるのに対して、正常以外の行動、つまり非正常行動の場合には分散が大きくなると考えることができるからである。

いま、この部分空間として、第ｎ＋１主成分以降で構成される空間を考える。本来は、この部分空間は２５１−ｎ次元であるが、図１３には便宜上、第ｎ＋１主成分と第ｎ＋２主成分の２軸を選んで表示している。特徴量の集合１３００は、学習に用いた正常行動の特徴量をプロットしたものである。正常行動への寄与率が小さい部分空間では、集合の重心ｘ_n１３０４を中心としてその近傍に分布することが期待される。したがって、現在の評価中の映像に対する特徴量ベクトルｘ１３０２が、特徴量の集合１３００に近い場合は正常、離れている場合には非正常と考えることができる。ここでは両者の距離１３０６を非正常度と考えることにする。なお、集合の重心ｘ_n１３０４については、図１１に示した正常行動の学習の際に計算して、単数人学習データ１０６、または複数人学習データ１０８として記憶装置に格納しておけばよい。

特徴量ベクトルｘ１３０２と特徴量の集合１３００の距離を算出コストが低いユークリッド距離で算出してもよいが、本実施形態では特徴量の集合１３００の分散を考慮したマハラノビス距離を使うことにする。特徴量の集合１３００の分散共分散行列の逆行列をＳ^-1とおくとマハラノビス距離Ｄは次式で算出できる。なお、この分散共分散行列の逆行列Ｓ^-1については、図１１に示した正常行動の学習の際に計算して、単数人学習データ１０６、または複数人学習データ１０８として記憶装置に格納しておけばよい。

Ｄ²＝(ｘ−ｘ_n)^tＳ^-1（ｘ−ｘ_n） （数２）
以上に述べた実施の形態によれば、映像中の人数に応じて適切な正常行動の学習データを選択して、その学習データに基づいて異常行動を判定できる。これによって、人数によって行動パターンが大きく異なるような場合でも、利用者の意図どおりに異常行動を精度良く検出できる。

以上に説明した実施形態では、図１に示したように、学習データを検出人数を基にして切り替える場合の例を示した。ここで、学習データだけでなく他のデータを人数に応じて切り替えても良い。例えば、図６の非正常判定部６０８が判定の際に利用する判定閾値６１０を切り替えても良い。

この場合の構成を図１４を使って説明する。図１４は、図６の装置構成に対して、閾値選択部１４００を新たに追加し、さらに判定閾値６１０を単数人判定閾値１４０２と複数人判定閾値１４０４に置き換えた場合の構成を示している。

閾値選択部１４００は、人数検出部１０２が検出した人数に応じて適切な判定閾値を選択する。この例では、単数人判定閾値１４０２と複数人判定閾値１４０４を事前に準備してある。単数人判定閾値１４０２は、人数が単数の場合の判定閾値である。一方、複数人判定閾値１４０４、人数が複数の場合の判定閾値である。例えば、単数人判定閾値１４０２の値を、複数人判定閾値１４０４の値よりも大きく設定することで、単数の場合の判定感度を低くすることができる。単数人判定閾値１４０２の値が大きいため、単数の場合に非正常判定の条件が成立しにくくなるためである。

その他の機能ブロックは、図６に示したものと同じである。

次に、図１５のフローチャートを使って、図１４の実施形態における非正常行動検出部１１０の処理の流れを説明する。これは、図７のフローチャートにステップ１５００を追加したものである。

ステップ１５００では、閾値選択部１４００を用いて、図２のステップ２０４で算出した検出人数に応じて適切な判定閾値を選択する。そして、この判定閾値は次のステップ７０８で利用する。

その他の処理ステップは、図７に示したものと同じである。

図１４の実施の形態によれば、映像中の人数に応じて適切な異常判定用の閾値を選択して、その閾値に基づいて異常行動を判定できる。これによって、人数に応じて検出感度を変更することが可能になる。

以上に説明した実施形態では、図１に示したように、人数検出部１０２が算出した検知人数を基にして学習データ選択部１０４が学習データを切り替える場合の例を示した。しかし、人数検出部が算出する検知人数に誤りを含む。

この場合、異常行動検知に影響を与える可能性がある。例えば、次に述べる考えに基づいて単数人学習データ１０６と複数人学習データ１０８を作成したとする。人が暴れるという行動を考えた場合、単数人の場合は他人に危害を与える恐れがない。したがって、このような行動は正常と考え、単数人学習データ１０６に学習させる。よって、単数人学習データ１０６を用いた判定では、異常として検知しないことになる。一方、複数人の場合は他人に危害を与える恐れがある。したがって、このような行動は異常と考え、複数人学習データ１０８に学習させない。よって、複数人学習データ１０８を用いた判定では、異常として検知することになる。この場合、実際は複数人であるのに人数検出部が単数と誤判定した場合には、本来は検出すべき人が暴れるという行動を検出できないことになる。

そこで、このような検出漏れを防ぐことを目的として、過去の検知人数の履歴情報から検知人数を決定するようにしてもよい。この場合の構成を図１６を使って説明する。図１６は、図１の装置構成に対して、人数保持部１６０２を新たに追加し、さらにエレベータ１６００と接続した場合の構成を示している。

ここで、エレベータ１６００は、映像取得部１００が設置される監視対象である。エレベータ１６００には人が出入りするドアが設置されており、ここでは、人がエレベータ１６００に入った後でドアが閉まってから、エレベータが目的階に到着しドアが開くまでの期間を、異常行動の検出時限とする。なお、エレベータ１６００のドア制御部１６０１を介して、ドアの開閉状態を知ることができる。

人数保持部１６０２は、人数検出部１０２の出力と、人数重要度テーブル１６０４の人数別の重要度と、前回保持した判定値を基にして、最終的な検知人数を決定し保持する。ドア制御部１６０１を介して、人数保持部１６０２に入力される信号は、エレベータ１６００のドアの開閉信号である。ドアが閉まった瞬間は、異常行動の検出時限の始まりである。したがって、このタイミングで、人数保持部１６０２が保持している、前回保持した判定値をクリアする。

その他の機能ブロックは、図１に示したものと同じである。

次に、図１７のフローチャートを使って、図１６に示した実施形態における人数保持部１６０２の処理の流れを説明する。これらの処理は人数処理部１６０２上に実装される。

ステップ１７００では、初回の起動時かどうかを判定し、真の場合は、ステップ１７０２〜ステップ１７０４の初期化処理を実行する。一方、偽の場合は、ステップ１７０６〜ステップ１７２０の人数保持処理を実行する。

ステップ１７０２では、保持人数をゼロクリアする。

ステップ１７０４では、エレベータ１６００のドア状態を取得し、結果をｌｓに設定する。

ステップ１７０６では、人数検出部１０２の出力を取得し、結果をｎに設定する。

ステップ１７０８では、エレベータ１６００のドア状態を取得し、結果をｓに設定する。

ステップ１７１０では、エレベータ１６００のドアが閉まった瞬間かどうかを判定する。判定の条件は、前回のドアの状態が“開”であり、今回“閉”に変化した場合とした。真の場合は、ステップ１７１２を実行する。一方、偽の場合は、ステップ１７１４〜ステップ１７１６の処理を実行する。

ステップ１７１２では、異常行動の検出時限が始まると考え、保持人数をゼロクリアして、新しい検出時限に備える。

ステップ１７１４では、人数重要度テーブル１６０４を基にして、人数検出部１０２の出力ｎと保持人数に対する重要度をそれぞれ求める。そして、ｎに対する重要度の方が大きい場合に、ステップ１７１６を実行する。

ステップ１７１６では、保持人数に人数検出部１０２の出力ｎを代入する。

ステップ１７１８では、前回のドア状態ｌｓに今回のドア状態ｓを代入する。

ステップ１７２０では、保持人数を最終的な判定人数として学習データ選択部１０４に出力する。

次に、図１８のテーブルを使って、図１６の人数重要度テーブル１６０４のデータ構造の一例を説明する。このテーブルは、検出人数とその人数の重要度の対応関係を保持している。ここで、重要度は実数であり、その値が大きいほど対応する検出人数が重要であることを意味する。例えば、セル１８００とセル１８０２は、検出人数が０または１人の場合には、重要度が１であることを意味する。同じく、セル１８０４とセル１８０６は、検出人数が２人以上の場合には、重要度が２であることを意味する。人数保持部１６０２は、このテーブルを使って、検出人数の重要度を決定する。

以上に述べた実施の形態によれば、人数重要度テーブル１６０４で指定する優先度の高い人数を保持することが可能になる。これによって、人数検出の誤りが、異常行動検知の性能に与える影響を軽減することが可能になる。

以上に説明した実施例では、図１に示したように、人数検出部１０２は、映像取得部１００で取得した映像を用いて人数を算出している。ここで、人数検出には映像だけでなく他のセンサ情報を用いても良い。その一例として、図１９にエレベータの荷重センサの情報を元にして人数を算出する実施形態を示す。図１９は、図１の装置構成に対して、エレベータ１６００と接続し、その荷重センサ１９００の出力を人数検出部１０２に接続した場合の構成を示している。

ここで、エレベータ１６００は、図１６に示したものと同じであり映像取得部１００が設置される監視対象である。エレベータ１６００には荷重センサ１９００が取り付けられており、乗客の総重量を測定することができる。荷重センサ１９００で測定した乗客の総重量は人数検出部１０２に入力される。

人数検出部１０２は、測定された乗客の総重量を基にして、人数を算出する。算出方法の一例としては、閾値による判定がある。事前にある閾値を設定しておき、乗客の総重量がその閾値よりも重い場合には複数人、閾値よりも軽い場合には単数人と判定する。

なお、この例では荷重センサ１９００の情報だけを用いる例を示したが、この情報と映像取得部１００の映像の両方を組合わせて人数を検出してもよい。

以上に述べた図１９の実施の形態によれば、エレベータの乗客の総重量を基にして人数を判定できる。これによって、人数検出の精度を高めることが可能になる。

本発明の実施形態である異常行動検知装置全体の機能構成を表すブロック図である。 本発明の実施形態の装置全体の処理の流れを表すフローチャートである。 人数検出部の機能構成を表すブロック図である。 人数検出処理の流れを表すフローチャートである。 学習データ選択テーブルを表す図である。 非正常行動検出部の機能構成を表すブロック図である。 非正常行動検出処理の流れを表すフローチャートである。 立体高次局所自己相関の算出に用いるフレームを説明する図である。 立体高次局所自己相関のマスクパターンを説明する図である。 立体高次局所自己相関特徴の算出処理の流れを表すフローチャートである。 正常行動の学習処理の流れを表すフローチャートである。 部分空間の算出処理を説明する図である。 非正常度の算出方法を説明する図である。 閾値選択部を備える非正常行動検出部の機能構成を表すブロック図である。 閾値選択処理を伴う非正常行動検出処理の流れを表すフローチャートである。 人数保持部を備える装置の全体構成を表すブロック図である。 人数保持処理の流れを表すフローチャートである。 人数重要度テーブルを表す図である。 エレベータの情報を用いた人数検出部を備える装置の全体構成である。

符号の説明

１００ 映像取得部
１０２ 人数検出部
１０４ 学習データ選択部
１０６ 単数人学習データ
１０８ 複数人学習データ
１１０ 非正常行動検出部
１１２ 発報部

Claims (7)

1. 監視対象の映像を取得する映像取得部と、
   前記映像取得部が取得した映像中の人数を検出する人数検出部と、
   前記人数検出部の検出人数に応じて正常行動の複数の学習データの中から一つの学習データを選択する学習データ選択部と、
   前記学習データ選択部が選択した正常行動の学習データを用いて前記映像取得部が取得した映像中の非正常行動を異常行動として検出する非正常行動検出部と、
   前記非正常行動検出部の検出結果を基に異常行動が発生している場合にはその旨を外部装置に通知する発報部
   を備えることを特徴とする異常行動検知装置。
2. 請求項１に記載の異常行動検知装置において、前記非正常行動検出部は、
   前記映像取得部が取得した映像の中から動きのある部分を抽出する動き抽出部と、
   前記動き抽出部が生成した映像の特徴量を算出する特徴量算出部と、
   前記特徴量算出部で算出した特徴量ベクトルを前記学習データ選択部が選択した学習データの変換行列を用いて座標変換する特徴量変換部と、
   前記特徴量変換部で算出した新しい特徴量ベクトルを用いて学習した正常行動との乖離の度合いを表す非正常度を算出する非正常度算出部と、
   前記非正常度算出部で算出した非正常度から異常行動が発生しているのかどうかを判定する非正常判定部からなる
   ことを特徴とする異常行動検知装置。
3. 請求項１または２に記載の異常行動検知装置において、前記人数検出部は、
   前記映像取得部で取得した画像と背景画像の差分情報を用いて人が存在する領域を抽出する人物領域抽出部と、
   前記人物領域抽出部が抽出した人物領域の画像の特徴量を算出する領域特徴量算出部と、
   前記領域特徴量算出部で算出した人物領域の特徴量を基にして人数を判定する人数判定部からなる
   ことを特徴とする異常行動検知装置。
4. 監視対象の映像を取得する映像取得部と、
   前記映像取得部が取得した映像中の人数を検出する人数検出部と、
   前記人数検出部の検出人数に応じて正常行動の複数の学習データの中から一つの学習データを選択する学習データ選択部と、
   前記学習データ選択部が選択した正常行動の学習データを用いて前記映像取得部が取得した映像中の非正常行動を異常行動として検出する非正常行動検出部と、
   前記非正常行動検出部の検出結果を基に異常行動が発生している場合にはその旨を外部装置に通知する発報部、
   を備えることを特徴とする異常行動検知装置において、前記非正常行動検出部は、
   前記映像取得部が取得した映像の中から動きのある部分を抽出する動き抽出部と、
   前記動き抽出部が生成した映像の特徴量を算出する特徴量算出部と、
   前記特徴量算出部で算出した特徴量ベクトルを前記学習データ選択部が選択した学習データの変換行列を用いて座標変換する特徴量変換部と、
   前記特徴量変換部で算出した新しい特徴量ベクトルを用いて学習した正常行動との乖離の度合いを表す非正常度を算出する非正常度算出部と、
   人数検出部が算出した人数に応じて複数の判定閾値の中から一つの判定閾値を選択する閾値選択部と、
   前記非正常度算出部で算出した非正常度と閾値選択部が選択した判定閾値を基に異常行動が発生しているのかどうかを判定する非正常判定部からなる
   ことを特徴とする異常行動検知装置。
5. 請求項１から４に記載の異常行動検知装置において、
   監視対象はエレベータであって、
   前記人数検出部の出力と人数別の重要度を保持する人数重要度テーブルと前回保持した判定値を基にして検知人数を決定し保持人数として保持する人数保持部を備え、
   前記学習データ選択部は前記人数保持部が算出した人数に基づいて学習データを選択する
   ことを特徴とする異常行動検知装置。
6. 請求項５に記載の異常行動検知装置において、
   監視対象はエレベータであって、
   前記人数保持部は前記エレベータのドアが閉まったときに前記保持人数を０人にリセットする
   ことを特徴とする異常行動検知装置。
7. 監視対象はエレベータであって、
   監視対象の映像を取得する映像取得部と、
   前記エレベータの荷重情報を基にして人数を検出する人数検出部と、
   前記人数検出部の検出人数に応じて正常行動の複数の学習データの中から一つの学習データを選択する学習データ選択部と、
   前記学習データ選択部が選択した正常行動の学習データを用いて前記映像取得部が取得した映像中の非正常行動を異常行動として検出する非正常行動検出部と、
   前記非正常行動検出部の検出結果を基に異常行動が発生している場合にはその旨を外部装置に通知する発報部
   を備えることを特徴とする異常行動検知装置。

Images