JP4369961B2 - 異常検知装置及び異常検知プログラム - Google Patents

Description

本発明は、撮像装置により撮影した撮像データを用いて、監視対象の異常を検知する異常検知装置及び異常検知プログラムに関する。

犯罪発生率の増加等の社会不安に対処するために、不審者、不審車両等を監視することを目的としたカメラの設置台数が増加している。多数のカメラを用いた監視では、監視領域を少ない監視員で効率的に監視するための監視支援技術が必要になる。

このような監視支援技術として、特許文献１には、立体高次局所自己相関特徴という映像の特徴量を抽出し、この特徴量を用いて、映像中のヒトの正常行動を学習し、学習した正常行動から逸脱した行動を異常行動として検知する技術が開示されている。

また、特許文献２には、プラントが正常に稼働しているときの映像を正常状態として学習し、学習した正常状態から逸脱した状態を異常状態として検知する技術が開示されている。この技術は、異常状態を検知した場合に、予め学習しておいた複数の異常状態のパターンと照合することにより、異常状態の種別を識別する。

特開２００６−７９２７２号公報 特開平７−７８２３９号公報

特許文献１に開示された技術は、正常行動を異常行動として誤検知してしまう誤報に対しては、その映像を追加学習し、正常行動の範囲を更新することにより対応することができる。しかし、特許文献１に開示された技術は、異常行動を検知することができず、異常行動を正常行動として誤検知してしまう失報に対しては、正常行動に係る映像を追加学習しても失報を減らすことができないという問題を有している。

また、特許文献２に開示された技術は、特許文献１に開示された技術と同様の手法による異常状態の検知に加えて、異常状態を検知した場合に、異常状態の種別を識別することができる。しかし、特許文献２に開示された技術は、特許文献１に開示された技術と同様、予め学習した正常状態から逸脱した状態を異常状態として検知するものであり、正常状態に係る映像を追加学習しても失報を減らすことができないという問題を有している。

本発明は、前記した問題を解決すべく創案されたものであり、学習によって、異常な監視対象を正常な監視対象として誤検知してしまう失報を減らすことが可能な異常検知装置及び異常検知プログラムを提供することを目的とする。

前記目的を達成するため、本発明の異常検知装置は、監視対象の撮像データを取得する撮像データ取得部と、正常な前記監視対象の行動を予め学習した正常学習データを記憶する複数の正常学習データ記憶部と、前記撮像データと前記正常学習データとに基づいて、前記撮像データに含まれる監視対象の行動が正常であるか否かを判定する正常判定部と、異常な前記監視対象の行動を予め学習した異常学習データを記憶する異常学習データ記憶部と、前記撮像データと前記異常学習データとに基づいて、前記撮像データに含まれる監視対象の行動が異常であるか否かを判定する異常判定部と、前記正常判定部の判定結果と前記異常判定部の判定結果とに基づいて、前記撮像データに含まれる監視対象の行動が正常であるか異常であるかを判定する総合判定部と、を備えている異常検知装置であって、前記正常学習データ記憶部を複数備え、前記正常判定部は、複数の前記正常学習データ記憶部から一つのみを選択して判定に用いることを特徴とする。
また、本発明の他の異常検知装置は、監視対象の撮像データを取得する撮像データ取得部と、正常な前記監視対象の行動を予め学習した正常学習データを記憶する正常学習データ記憶部と、前記撮像データと前記正常学習データとに基づいて、前記撮像データに含まれる監視対象の行動が正常であるか否かを判定する正常判定部と、異常な前記監視対象の行動を予め学習した異常学習データを記憶する異常学習データ記憶部と、前記撮像データと前記異常学習データとに基づいて、前記撮像データに含まれる監視対象の行動が異常であるか否かを判定する異常判定部と、前記正常判定部の判定結果と前記異常判定部の判定結果とに基づいて、前記撮像データに含まれる監視対象の行動が正常であるか異常であるかを判定する総合判定部と、を備えている異常検知装置であって、前記異常学習データ記憶部を複数備え、前記異常判定部は、複数の前記異常学習データ記憶部から一つのみを選択して判定に用いることを特徴とする。

また、前記目的を達成するため、本発明の異常検知プログラムは、コンピュータを、監視対象の撮像データを取得する撮像データ取得部、予め記憶されている正常な前記監視対象の行動を予め学習した正常学習データと前記撮像データとに基づいて、前記撮像データに含まれる監視対象の行動が正常であるか否かを判定する正常判定部、予め記憶されている異常な前記監視対象の行動を予め学習した異常学習データと前記撮像データとに基づいて、前記撮像データに含まれる監視対象の行動が異常であるか否かを判定する異常判定部、及び、前記正常判定部の判定結果と前記異常判定部の判定結果とに基づいて、前記撮像データに含まれる監視対象の行動が正常であるか異常であるかを判定する総合判定部、として機能させる異常検知プログラムであって、前記コンピュータには、前記正常学習データが記憶された正常学習データ記憶部が複数備えられており、前記正常判定部に、複数の前記正常学習データ記憶部から一つのみを選択させて判定に用いさせることを特徴とする。
また、本発明の他の異常検知プログラムは、コンピュータを、監視対象の撮像データを取得する撮像データ取得部、予め記憶されている正常な前記監視対象の行動を予め学習した正常学習データと前記撮像データとに基づいて、前記撮像データに含まれる監視対象の行動が正常であるか否かを判定する正常判定部、予め記憶されている異常な前記監視対象の行動を予め学習した異常学習データと前記撮像データとに基づいて、前記撮像データに含まれる監視対象の行動が異常であるか否かを判定する異常判定部、及び、前記正常判定部の判定結果と前記異常判定部の判定結果とに基づいて、前記撮像データに含まれる監視対象の行動が正常であるか異常であるかを判定する総合判定部、として機能させる異常検知プログラムであって、前記コンピュータには、前記異常学習データが記憶された異常学習データ記憶部が複数備えられており、前記異常判定部に、複数の前記異常学習データ記憶部から一つのみを選択させて判定に用いさせることを特徴とする。

本発明によれば、学習によって、異常な監視対象を正常な監視対象として誤検知してしまう失報を減らすことができる。

以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。

本発明の異常検知装置が検知する「異常」は、複数のフレーム（画像）から検知される「異常行動」である。また、本発明の監視対象は、ヒト、動物、車両等を含む。

＜第一の実施形態＞
≪異常検知システム≫
図１は、本発明の第一の実施形態に係る異常検知装置を備えた異常検知システムを示すブロック図である。図１に示すように、異常検知システムは、撮像装置１０と、異常行動検知装置２０Ａと、外部装置３０と、を備えている。

撮像装置１０は、監視対象を撮像する装置（例えば、ビデオカメラ等）である。撮像することにより得られた撮像データは、異常検知装置２０Ａに出力される。なお、異常検知システムは、撮像装置１０に代えて、映像再生装置（例えば、ビデオレコーダ等）を備えていてもよい。この場合には、映像再生装置から異常検知装置２０Ａに向けて撮像データが出力される。リアルタイムの映像を利用する場合には撮像装置１０が好適であり、過去に蓄積された映像を利用する場合には映像再生装置が好適である。

異常検知装置２０Ａは、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ及び入出力回路を備えており、撮像データを用いて監視対象の異常を検知する装置である。本実施形態では、異常検知装置２０Ａは、監視対象の異常行動を検知する。異常行動が検知された場合には、検知結果は、外部装置３０に出力される。

外部装置３０は、異常検知装置２０Ａの検知結果を出力する装置（例えば、スピーカ、ディスプレイ）である。また、外部装置３０は、検知結果を警備員に通知するための警備員用端末、検知結果に基づいてエレベータの移動を制限するエレベータ制御装置、検知結果に基づいて自動ドアの動作を制限する自動ドア制御装置等をさらに備える構成であってもよい。すなわち、異常検知装置２０Ａが検知結果をエレベータ制御装置又は自動ドア制御装置に発報することにより、エレベータ又は自動ドアの動作を制限し、監視対象としてのヒト、すなわち不審者の侵入を防ぐことができる。

≪異常検知装置２０Ａの詳細構成≫
続いて、異常検知装置２０Ａの詳細構成について説明する。図１に示すように、異常検知装置２０Ａは、機能部として、撮像データ取得部２１と、正常学習データ記憶部２２Ａと、正常判定部２３Ａと、異常学習データ記憶部２４Ａと、異常判定部２５Ａと、総合判定部２６Ａと、発報部２７と、を備えている。

撮像データ取得部２１は、撮像装置１０により出力された撮像データを取得する。取得された撮像データは、正常判定部２３Ａ及び異常判定部２５Ａに出力される。

正常学習データ記憶部２２Ａは、監視対象の正常行動を予め学習した結果である正常学習データを記憶する。

正常判定部２３Ａは、撮像データ取得部２１により出力された撮像データと、正常学習データ記憶部２２Ａから読み出された正常学習データと、に基づいて、撮像データに含まれる監視対象の行動が正常行動であるか否かを判定する。ここで、正常判定部２３Ａは、監視対象の行動が正常行動でない場合（非正常行動）には、監視対象の行動は異常行動であると判定する。判定結果は、総合判定部２６Ａに出力される。

異常学習データ記憶部２４Ａは、監視対象の異常行動を予め学習した結果である異常学習データを記憶する。

異常判定部２５Ａは、撮像データ取得部２１により出力された撮像データと、異常学習データ記憶部２４Ａから読み出された異常学習データと、に基づいて、撮像データに含まれる監視対象の行動が異常行動であるか否かを判定する。ここで、異常判定部２５Ａは、監視対象の行動が異常行動ではない場合（非異常行動）には、監視対象の行動は正常行動であると判定する。判定結果は、総合判定部２６Ａに出力される。

総合判定部２６Ａは、正常判定部２３Ａの判定結果と異常判定部２５Ａの判定結果とに基づいて、撮像データに含まれる監視対象の行動が正常行動であるか異常行動であるかを総合的に判定する。判定結果は、発報部２７に出力される。

発報部２７は、総合判定部２６Ａの判定結果に基づいて、監視対象の行動が異常行動であると判定された場合に、その旨を通知する発報データを外部装置３０に出力する。

≪正常判定部２３Ａの詳細構成≫
第一の実施形態に係る正常判定部２３Ａは、一例として、特開２００６−７９２７２号公報に開示されている判定手法を用いて、監視対象の行動が正常行動であるか否かを判定する。この場合には、正常学習データ記憶部２２Ａに記憶された正常学習データは、線形変換行列、分布の中心（重心）及び分散共分散行列の逆行列となる。これらについては後記する。

図２は、図１の正常判定部を示す詳細ブロック図である。図２に示すように、正常判定部２３Ａは、動き抽出部２３ａと、特徴量算出部２３ｂと、特徴量変換部２３ｃと、正常度算出部２３ｄと、正常度閾値記憶部２３ｅと、正常度判定部２３ｆと、を備えている。

動き抽出部２３ａは、撮像データ取得部２１により取得された撮像データの中から、動きのある部分を抽出する。これは、判定に関係のない静止部分（例えば、背景等）に係る撮像データを除去するために行われる。動きのある部分を抽出するために、動き抽出部２３ａは、特開２００５−９２３４６号公報に開示された画像処理手法、例えば、単純に二つのフレーム間の差分を取る手法、エッジ抽出処理を施した後で二つのフレーム間の差分を取る手法等を用いることができる。動き抽出部２３ａは、動きのある部分を抽出した後、照明変動等のノイズの影響を除去するために、動きのある部分に対し、画素値が０又は１の値を取るように二値化処理を施す。動きのある部分が抽出され、二値化処理を施された撮像データは、特徴量算出部２３ｂに出力される。

特徴量算出部２３ｂは、動きのある部分の特徴量を算出する。特徴量算出部２３ｂは、特徴量として、特開２００６−９２３４６号公報に開示された立体高次局所自己相関特徴を用いることができる。立体高次局所自己相関特徴は、連続する三つのフレームの映像からなるボクセルデータの幾何学的特徴を２５１次元の特徴ベクトルとして算出する手法である。この特徴量の算出手法については後記する。算出された特徴量、すなわち特徴ベクトルは、特徴量変換部２３ｃに出力される。

特徴量変換部２３ｃは、特徴量算出部２３ｂにより算出された特徴量、すなわち特徴ベクトルを、正常学習データ記憶部２２に記憶された変換行列を用いて座標変換（線形変換）する。この変換は、特徴ベクトルに含まれる正常行動の成分を抽出するためのものである。ここで、特徴量算出部２３ｂにより算出された特徴ベクトルをｘ、正常学習データ記憶部２２に記憶された変換行列をＡ、特徴量変換部２３ｃにより変換された特徴ベクトルをｘ’とすると、この変換は式（１）により表される。
ｘ’＝Ａｘ …式（１）
変換行列Ａは、主成分分析等の多変量解析によって算出される行列である。この変換行列Ａの算出手法については後記する。撮像データの特徴量として高次局所自己相関特徴、すなわち２５１次元の特徴ベクトルｘを用いる場合には、変換行列Ａは、ｎ×２５１（ｎ＝１，２，…，２５１）の大きさの行列となる。また、変換行列Ａで線形変換された特徴ベクトルｘ’は、ｎ次元のベクトルとなる。変換された特徴量、すなわち特徴ベクトルｘ’は、正常度算出部２３ｄに出力される。

正常度算出部２３ｄは、特徴量変換部２３ｃにより変換された特徴ベクトルｘ’を用いて、予め学習された正常行動との類似度合いを表す正常度を算出する。ここで、正常度はスカラー量であり、値が小さいほど正常であることを表し、値が大きいほど非正常、すなわち異常であることを表す。正常度の具体的な算出手法については後記する。算出された正常度は、正常度判定部２３ｆに出力される。

正常度閾値記憶部２３ｅは、正常度閾値を記憶する。

正常度判定部２３ｆは、正常度算出部２３ｄにより算出された正常度に基づいて、監視対象の行動が正常行動であるか否かを判定する。正常度判定部２３ｆは、判定基準として、正常度閾値記憶部２３ｅに記憶された正常度閾値を用いる。正常度が正常度閾値以下である場合には、正常度判定部２３ｆは、監視対象の行動は正常行動であると判定する。一方、正常度が正常度閾値よりも大きい場合には、正常度判定部２３ｆは、監視対象の行動は正常行動ではない（非正常行動）、すなわち異常行動であると判定する。判定結果は、総合判定部２６に出力される。

≪異常判定部２５Ａの詳細構成≫
第一の実施形態に係る異常判定部２５Ａは、一例として、特開２００６−７９２７２号公報に開示されている判定手法を用いて、監視対象の行動が異常行動であるか否かを判定する。この場合には、異常学習データ記憶部２４Ａに記憶された異常学習データは、線形変換行列、分布の中心（重心）及び共分散行列の逆行列となる。これらについては後記する。

図３は、図１の異常判定部を示す詳細ブロック図である。図３に示すように、異常判定部２５Ａは、動き抽出部２５ａと、特徴量算出部２５ｂと、特徴量変換部２５ｃと、異常度算出部２５ｄと、異常度閾値記憶部２５ｅと、異常度判定部２５ｆと、を備えている。

動き抽出部２５ａは、撮像データ取得部２１により取得された撮像データの中から、動きのある部分を抽出する。これは、背景等の判定に関係のない静止部分に係る撮像データを除去するために行われる。動きのある部分を抽出するために、動き抽出部２５ａは、特開２００５−９２３４６号公報に開示された画像処理手法、例えば、単純に二つのフレーム間の差分を取る手法、エッジ抽出処理を施した後で二つのフレーム間の差分を取る手法等を用いることができる。動き抽出部２５ａは、動きのある部分を抽出した後、照明変動等のノイズの影響を除去するために、動きのある部分に対し、画素値が０又は１の値を取るように二値化処理を施す。動きのある部分が抽出され、二値化処理を施された撮像データは、特徴量算出部２５ｂに出力される。

特徴量算出部２５ｂは、動きのある部分の特徴量を算出する。特徴量算出部２５ｂは、特徴量として、特開２００６−９２３４６号公報に開示された立体高次局所自己相関特徴を用いることができる。立体高次局所自己相関特徴は、連続する三つのフレームの映像からなるボクセルデータの幾何学的特徴を２５１次元の特徴ベクトルとして算出する手法である。この特徴量の算出手法については後記する。算出された特徴量、すなわち特徴ベクトルは、特徴量変換部２５ｃに出力される。

特徴量変換部２５ｃは、特徴量算出部２５ｂにより算出された特徴量、すなわち特徴ベクトルを、正常学習データ記憶部２２に記憶された変換行列を用いて座標変換（線形変換）する。この変換は、特徴ベクトルに含まれる異常行動の成分を抽出するためのものである。ここで、特徴量算出部２５ｂにより算出された特徴ベクトルをｙ、異常学習データ記憶部２４に記憶された変換行列をＢ、特徴量変換部２５ｃにより変換された特徴ベクトルをｙ’とすると、この変換は式（２）により表される。
ｙ’＝Ｂｙ …式（２）
変換行列Ｂは、主成分分析等の多変量解析によって算出される行列である。この変換行列Ｂの算出手法については後記する。撮像データの特徴量として高次局所自己相関特徴、すなわち２５１次元の特徴ベクトルｙを用いる場合には、変換行列Ｂは、ｎ×２５１（ｎ＝１，２，…，２５１）の大きさの行列となる。そして、変換行列Ｂで線形変換された特徴ベクトルｙ’は、ｎ次元のベクトルとなる。変換された特徴量、すなわち特徴ベクトルｙ’は、異常度算出部２５ｄに出力される。

異常度算出部２５ｄは、特徴量変換部２５ｃにより変換された特徴ベクトルｙ’を用いて、予め学習された異常行動との類似度合いを表す異常度を算出する。ここで、異常度はスカラー量であり、値が小さいほど異常であることを表し、値が大きいほど非異常、すなわち正常であることを表す。異常度の具体的な算出手法については後記する。算出された異常度は、異常度判定部２５ｆに出力される。

異常度閾値記憶部２５ｅは、異常度閾値を記憶する。

異常度判定部２５ｆは、異常度算出部２５ｄにより算出された異常度に基づいて、監視対象の行動が異常行動であるか否かを判定する。異常度判定部２５ｆは、判定基準として、異常度閾値記憶部２５ｅに記憶された異常度閾値を用いる。異常度が異常度閾値以下である場合には、異常度判定部２５ｆは、監視対象の行動は異常行動であると判定する。一方、異常度が異常度閾値よりも大きい場合には、異常度判定部２５ｆは、監視対象の行動は異常行動ではない（非異常行動）、すなわち正常行動であると判定する。判定結果は、総合判定部２６に出力される。

≪特徴量の算出手法≫
続いて、特徴量算出部２３ｂ，２５ｂによる特徴量の算出手法の詳細について説明する。なお、特徴量算出部２３ｂ，２５ｂによる算出手法は同様であるため、以下、特徴量算出部２３ｂによる算出手法について説明する。図４（ａ）は、撮像データを説明するための図であり、図４（ｂ）は、特徴量の算出対象を説明するための図である。

図４（ａ）に示すように、特徴量の算出対象となるのは、映像（動画像）、すなわち時系列の連続するフレーム（画像）群である。本実施形態に係る立体高次局所自己相関特徴を算出するためには、少なくとも三つのフレームが必要である。例えば、フレーム番号ｍのフレームＦ_mが与えられた場合に、その前後に位置するフレーム番号ｍ−１のフレームＦ_m-1とフレーム番号ｍ＋１のフレームＦ_m+1との三つのフレームを１セットとしたフレーム群Ｇ_Fが、特徴量算出の対象となる。
ここで、フレームの解像度を縦ｈピクセル、横ｗピクセルとすると、フレーム群Ｇ_Fは、ｈ×ｗ×３ボクセルの３次元フレームを構成することになる。特徴量算出部２３ｂは、３次元フレームのボクセル全要素に対して、３×３×３のマスクパターンＭＰを順次移動させながら適用することにより、立体高次局所自己相関特徴を抽出する。

なお、本実施形態では連続する三つのフレームＦ_m-1，Ｆ_m，Ｆ_m+1からなるフレーム群Ｇ_Fを処理対象としたが、任意のｆ個のフレームからなるフレーム群を処理対象としてもよい。この場合には、ｈ×ｗ×ｆボクセルの３次元フレームが処理対象となり、ｆフレーム分の映像の平均的な特徴量が算出される。

図５は、立体高次局所自己相関特徴の算出に用いられるマスクパターンの例を示す図である。マスクパターンＭＰは、ボクセルの局所的な相関特徴を算出するために用いられるものであり、本実施形態では３×３×３ボクセルから構成されている。
第一のマスクパターンＭＰ１は、入力映像に対するボクセルデータを順次走査した場合に、中心のボクセルＢｃ１が１となる場合の数を計数するためのパターンである。
第二のマスクパターンＭＰ２は、中心のボクセルＢｃ１に加えて、その上のボクセルＢｃ２も１となる場合の数を計数するためのパターンである。
二値画像に対する立体高次局所自己相関特徴には、２５１個のマスクパターンＭＰ（ＭＰ１，ＭＰ２，…ＭＰ２５１）が存在し、各マスクパターンＭＰを満たす場合の数を計数することにより、入力された映像の特徴を、２５１次元の特徴ベクトルとして抽出することになる。
すなわち、ｉ番目のマスクパターンＭＰを満たす場合の数が、特徴ベクトルのｉ番目の要素となる。

≪正常学習データ生成装置４０≫
続いて、正常学習データ記憶部２２Ａに記憶される正常学習データを生成するために用いられる正常学習データ生成装置について説明する。図６は、正常学習データを生成するために用いられる正常学習データ生成装置を示すブロック図である。図６に示すように、正常学習データ生成装置４０は、機能部として、学習用撮像データ取得部４１と、動き抽出部４２と、特徴量算出部４３と、主成分分析部４４と、部分空間算出部４５と、を備えている。

学習用撮像データ取得部４１は、撮像装置又は映像再生装置から出力された正常行動を学習するための学習用撮像データを取得する。この学習用撮像データには、監視対象の正常行動が含まれている。なお、大量の学習用撮像データを短時間で取得したい場合には、学習用撮像データ取得部４１は、予め大量の学習用撮像データを記録した記録媒体（ＤＶＤ等）から学習用撮像データを取得すればよい。取得された学習用撮像データは、動き抽出部４２に出力される。

動き抽出部４２は、学習用撮像データの中から、動きのある部分を抽出する。動き抽出部４２の動作は、動き抽出部２３ａと同様である。動きのある部分が抽出され、二値化処理を施された学習用撮像データは、特徴量算出部４３に出力される。

特徴量算出部４３は、動きのある部分の特徴量を算出する。特徴量算出部４３の動作は、特徴量算出部２３ｂと同様である。算出された特徴量、すなわち特徴ベクトルは、主成分分析部４４に出力される。

主成分分析部４４は、算出された特徴ベクトルの集合に対して主成分分析を実行する。主成分分析は、多変量解析の一手法であり、いくつかの変数から互いに無相関となるように合成変数（主成分と呼ばれる）を生成することにより、複数の変数が有する情報を要約することが可能な手法である。この主成分分析は、多変量データの解析によく利用される手法であり、例えば、石村貞夫著、「すぐわかる多変量解析」東京図書、１９９２年１０月発行に詳細に記載されているので、ここでは詳細な説明を省略する。本実施形態において、主成分分析部４４は、２５１次元の特徴ベクトルの集合に対して主成分分析を実行することにより、２５１個の主成分、すなわち固有ベクトル及び固有値を算出する。算出された２５１個の主成分は、部分空間算出部４５に出力される。

部分空間算出部４５は、算出された主成分に基づいて、正常行動への寄与率が低い部分空間を算出する。そして、部分空間算出部４５は、特徴ベクトルをこの部分空間に射影する行列を算出する。算出された行列は、正常学習データ記憶部２２Ａに記憶される。また、部分空間算出部４５は、部分空間における特徴ベクトルの集合の中心（重心）と、部分空間における特徴ベクトルの集合の分散共分散行列の逆行列と、を算出する。算出された重心及び分散共分散行列の逆行列は、正常学習データ記憶部２２Ａに記憶される。

≪部分空間の算出処理≫
続いて、部分空間算出部４５による部分空間の算出処理について詳細に説明する。図７は、主成分分析で得られた主成分ごとの累積寄与率を説明するための図である。累積寄与率は、各主成分の寄与率を大きいものから順に足したものであり、そこまでの主成分で分析対象のデータが本来有する情報量をどれくらい説明することができているかを表す指標である。

図７の例では、３番目に大きい主成分までの累積寄与率は９０％であり、このことは、最も大きい主成分から３番目に大きい主成分の合計が、本来のデータの情報量の９０％を表していることを意味する。一方、４番目に大きい主成分から最も小さい主成分までの合計は、本来のデータの情報量の１０％のみを表す。
以上のことから、最も大きい主成分から３番目に大きい主成分で構成される部分空間は、正常行動への寄与率が大きいと考えることができる。また、４番目に大きい主成分から最も小さい主成分で構成される部分空間は、正常行動への寄与率が小さいと考えることができる。このように、累積寄与率を判断基準として、正常行動への寄与率が小さい部分空間を算出することができる。なお、累積寄与率が何％となる段階で区切るかは、予め記憶されている。

≪正常度の算出処理≫
続いて、正常度算出部２３ｄによる正常度の算出処理について詳細に説明する。図８は、正常度算出部による正常度の算出処理を説明するための図である。正常度の算出は、正常度への寄与率が小さい部分空間において実行される。これは、この部分空間においては、正常行動の特徴量の分散が小さくなるのに対し、非正常行動、すなわち異常行動の特徴量の分散が大きくなると考えられるためである。本実施形態では、ｋ＋１番目に大きい主成分以下の大きさを有する主成分で構成される部分空間を用いて正常度を算出する。
この部分空間は２５１−ｋ次元であるが、図８には便宜上ｋ＋１番目に大きい主成分とｋ＋２番目に大きい主成分との２軸を選んで表示している。
特徴量の集合Ｃ１は、学習に用いた正常行動の特徴量を部分空間にプロットしたものである。正常行動への寄与率が小さい部分空間では、集合Ｃ１の重心ｘｃを中心としてその近傍に特徴量が分布する。したがって、現在評価している撮像データに関する特徴ベクトルｘ’が重心ｘｃに近い場合には、監視対象の行動は正常行動であると判定され、特徴ベクトルｘ’が重心ｘｃから離れている場合には、監視対象の行動は正常行動ではない（非正常行動）、すなわち異常行動であると判定される。

ここで、現在評価している撮像データに関する特徴ベクトルｘ’と重心ｘｃとの距離を正常度と定義する。この正常度は、算出コストが小さいユークリッド距離として算出してもよいが、本実施形態では、集合Ｃ１の分散を考慮してマハラノビス距離として算出する。
特徴量の集合Ｃ１の分散共分散行列の逆行列をＳ_x ^-1とすると、マハラノビス距離Ｄ１は、下記式（３）により表される。
Ｄ１²＝（ｘ’−ｘｃ）^tＳ_x ^-1（ｘ’−ｘｃ） …式（３）

このようにして算出されたマハラノビス距離Ｄ１が正常度閾値Ｔ１以下である場合には、正常度判定部２３ｆは、監視対象の行動は正常行動であると判定する。一方、マハラノビス距離Ｄ１が正常度閾値Ｔ１よりも大きい場合には、正常度判定部２３ｆは、監視対象の行動は正常行動ではない（非正常行動）、すなわち異常行動であると判定する。ここでは、正常度閾値Ｔ１として、集合Ｃ１に属する各特徴量と重心ｘｃとの間のマハラノビス距離の中で最大のものを選んだ場合の例が、図８に示されている。

≪異常学習データ生成装置５０≫
続いて、異常学習データ記憶部２４Ａに記憶される異常学習データを生成するために用いられる異常学習データ生成装置について説明する。図９は、異常学習データを生成するために用いられる異常学習データ生成装置を示すブロック図である。図９に示すように、異常学習データ生成装置５０は、機能部として、学習用撮像データ取得部５１と、動き抽出部５２と、特徴量算出部５３と、主成分分析部５４と、部分空間算出部５５と、を備えている。

学習用撮像データ取得部５１は、撮像装置又は映像再生装置から出力された異常行動を学習するための学習用撮像データを取得する。この学習用撮像データには、監視対象の異常行動が含まれている。なお、大量の学習用撮像データを短時間で取得したい場合には、学習用撮像データ取得部４１は、予め大量の学習用撮像データを記録した記録媒体（ＤＶＤ等）から学習用撮像データを取得すればよい。取得された学習用撮像データは、動き抽出部５２に出力される。

動き抽出部５２は、学習用撮像データの中から、動きのある部分を抽出する。動き抽出部５２の動作は、動き抽出部２５ａと同様である。動きのある部分が抽出され、二値化処理を施された学習用撮像データは、特徴量算出部５３に出力される。

特徴量算出部５３は、動きのある部分の特徴量を算出する。特徴量算出部５３の動作は、特徴量算出部２５ｂと同様である。算出された特徴量、すなわち特徴ベクトルは、主成分分析部５４に出力される。

主成分分析部５４は、算出された特徴ベクトルの集合に対して主成分分析を実行する。主成分分析は、多変量解析の一手法であり、いくつかの変数から互いに無相関となるように合成変数（主成分と呼ばれる）を生成することにより、複数の変数が有する情報を要約することが可能な手法である。この主成分分析は、多変量データの解析によく利用される手法であり、例えば、石村貞夫著、「すぐわかる多変量解析」東京図書、１９９２年１０月発行に詳細に記載されているので、ここでは詳細な説明を省略する。本実施形態において、主成分分析部５４は、２５１次元の特徴ベクトルの集合に対して主成分分析を実行することにより、２５１個の主成分、すなわち固有ベクトル及び固有値を算出する。算出された２５１個の主成分は、部分空間算出部５５に出力される。

部分空間算出部５５は、算出された主成分に基づいて、異常行動への寄与率が高い部分空間を算出する。そして、部分空間算出部４５は、特徴ベクトルをこの部分空間に射影する行列を算出する。算出された行列は、異常学習データ記憶部２４Ａに記憶される。また、部分空間算出部５５は、部分空間における特徴ベクトルの集合の中心（重心）と、部分空間における特徴ベクトルの集合の分散共分散行列の逆行列と、を算出する。算出された重心及び分散共分散行列の逆行列は、異常学習データ記憶部２４Ａに記憶される。

≪部分空間の算出処理≫
続いて、部分空間算出部５５は、図７に示す累積寄与率を判断基準として、異常行動への寄与率が大きい部分空間を算出することができる。なお、累積寄与率が何％となる段階で区切るかは、予め記憶されている。

≪異常度の算出処理≫
続いて、異常度算出部２５ｄによる異常度の算出処理について詳細に説明する。図１０は、異常度算出部による異常度の算出処理を説明するための図である。異常度の算出は、異常度への寄与率が大きい部分空間において実行される。これは、この部分空間においては、異常行動の特徴量の分散が小さくなるのに対し、非異常行動、すなわち正常行動の特徴量の分散が大きくなると考えられるためである。本実施形態では、ｋ番目に大きい主成分以上の大きさを有する主成分で構成される部分空間を用いて正常度を算出する。
この部分空間はｋ次元であるが、図１０には便宜上１番目に大きい主成分（第１主成分）と２番目に大きい主成分（第２主成分）との２軸を選んで表示している。
特徴量の集合Ｃ２は、学習に用いた異常行動の特徴量を部分空間にプロットしたものである。異常行動への寄与率が小さい部分空間では、集合Ｃ２の重心ｙｃを中心としてその近傍に特徴量が分布する。したがって、現在評価している撮像データに関する特徴ベクトルｙ’が重心ｙｃに近い場合には、監視対象の行動は異常行動であると判定され、特徴ベクトルｙ’が重心ｙｃから離れている場合には、監視対象の行動は異常行動ではない（非異常行動）、すなわち正常行動であると判定される。

ここで、現在評価している撮像データに関する特徴ベクトルｙ’と重心ｙｃとの距離を異常度と定義する。この異常度は、算出コストが小さいユークリッド距離として算出してもよいが、本実施形態では、集合Ｃ２の分散を考慮してマハラノビス距離Ｄ２として算出する。
特徴量の集合Ｃ２の分散共分散行列の逆行列をＳ_y ^-1とすると、マハラノビス距離Ｄ２は、下記式（４）により表される。
Ｄ２²＝（ｙ’−ｙｃ）^tＳ_y ^-1（ｙ’−ｙｃ） …式（４）

このようにして算出されたマハラノビス距離Ｄ２が異常度閾値Ｔ２以下である場合には、異常度判定部２５ｆは、監視対象の行動は異常行動であると判定する。一方、マハラノビス距離Ｄ２が異常度閾値Ｔ２よりも大きい場合には、異常度判定部２３ｆは、監視対象の行動は異常行動ではない（非異常行動）、すなわち正常行動であると判定する。ここでは、異常度閾値Ｔ２として、集合Ｃ２に属する各特徴量と重心ｙｃとの間のマハラノビス距離の中で最大のものを選んだ場合の例が、図１０に示されている。

≪総合判定部２６Ａの詳細構成≫
続いて、総合判定部２６Ａの詳細構成について説明する。図１１は、図１の総合判定部を示す詳細ブロック図である。図１１に示すように、総合判定部２６Ａは、総合判定テーブル記憶部２６ａと、正常／異常判定部２６ｂと、を備えている。

総合判定テーブル記憶部２６ａは、正常判定部２３Ａの判定結果及び異常判定部２５Ａの判定結果と総合判定結果とを関連付けた総合判定テーブルを記憶している。

正常／異常判定部２６ｂは、総合判定テーブル記憶部２６ａに記憶された総合判定テーブルを参照して、正常判定部２３Ａの判定結果及び異常判定部２５Ａの判定結果に基づいて、監視対象の行動が正常行動であるか異常行動であるかを判定する。判定結果は、発報部２７に出力される。

≪総合判定テーブルの例≫
続いて、総合判定テーブルの例について説明する。図１２（ａ）（ｂ）は、総合判定テーブルの例を説明するための図である。
図１２（ａ）に示す総合判定テーブル２６ａ１は、正常判定部２３Ａの判定結果及び異常判定部２５Ａの判定結果がともに正常である場合に、総合判定結果を正常とし、正常判定部２３Ａの判定結果及び異常判定部２５Ａの判定結果の少なくとも一方が異常である場合に、総合判定結果を異常とするテーブルである。
図１２（ｂ）に示す総合判定テーブル２６ａ２は、正常判定部２３Ａの判定結果及び異常判定部２５Ａの判定結果の少なくとも一方が正常である場合に、総合判定結果を正常とし、正常判定部２３Ａの判定結果及び異常判定部２５Ａの判定結果がともに異常である場合に、総合判定結果を異常とするテーブルである。
総合判定テーブル２６ａ１は、失報を減らすことに重点を置いたテーブルであり、総合判定テーブル２６ａ２は、誤報を減らすことに重点を置いたテーブルである。

≪異常検知装置２０Ａの動作例≫
続いて、本発明の第一の実施形態に係る異常検知装置２０Ａの動作例について説明する。図１３は、図１の異常検知装置の動作例を説明するためのフローチャートである。以下の動作例の説明において、適宜図１〜図１２を参照する。

まず、映像取得部２１が、処理対象となる撮像データをデジタルデータとして取得する（ステップＳ１）。続いて、正常判定部２３Ａが、正常学習データに基づいて撮像データに含まれる監視対象の行動が正常であるか否かを判定する（ステップＳ２）。また、異常判定部２５Ａが、異常学習データに基づいて撮像データに含まれる監視対象の行動が異常であるか否かを判定する（ステップＳ３）。ちなみに、ステップＳ２，Ｓ３は、逆順に実行されてもよく、並列に実行されてもよい。

続いて、総合判定部２６Ａが、正常判定部２３Ａの判定結果及び異常判定部２５Ａの判定結果に基づいて、撮像データに含まれる監視対象の行動が正常であるか異常であるかを総合的に判定する（ステップＳ４）。総合判定結果が正常である場合には（ステップＳ５でＮｏ）、発報部２７が、異常行動をしている監視対象が存在する旨を外部装置３０に発報する（ステップＳ６）。これらの一連の処理は、異常検知装置２０Ａの利用者から終了指示の入力を受けるまで、所定の頻度で繰り返される（ステップＳ７）。ここで、所定の頻度は、例えば、撮像データのフレームレートと同一（１秒あたり３０回）等である。

≪正常判定部２３Ａの動作例≫
続いて、ステップＳ２のサブルーチン、すなわち正常判定部２３Ａの動作例について説明する。図１４は、正常判定部の動作例を説明するためのフローチャートである。

まず、動き抽出部２３ａが、撮像データ取得部２１により取得された撮像データから動きのある部分を抽出し、二値化する（ステップＳ２１）。続いて、特徴量算出部２３ｂが、動きのある部分が抽出され、二値化された撮像データの特徴量を算出する（ステップＳ２２）。続いて、特徴量変換部２３ｃが、算出された特徴量、すなわち特徴ベクトルを正常学習データ記憶部２２Ａの変換行列を用いて座標変換し、特徴ベクトルを変換した新たな特徴ベクトルを生成する（ステップＳ２３）。続いて、正常度算出部２３ｄが、座標変換された特徴ベクトルと正常行動との類似度合いを表す正常度を算出する（ステップＳ２４）。続いて、正常度判定部２３ｆが、正常度閾値と正常度とに基づいて、監視対象の行動が正常行動であるか否かを判定する（ステップＳ２５）。

≪異常判定部２５Ａの動作例≫
続いて、ステップＳ３のサブルーチン、すなわち異常判定部２５Ａの動作例について説明する。図１５は、異常判定部の動作例を説明するためのフローチャートである。

まず、動き抽出部２５ａが、撮像データ取得部２１により取得された撮像データから動きのある部分を抽出し、二値化する（ステップＳ３１）。続いて、特徴量算出部２５ｂが、動きのある部分が抽出され、二値化された撮像データの特徴量を算出する（ステップＳ３２）。続いて、特徴量変換部２５ｃが、算出された特徴量、すなわち特徴ベクトルを異常学習データ記憶部２４Ａの変換行列を用いて座標変換し、特徴ベクトルを変換した新たな特徴ベクトルを生成する（ステップＳ３３）。続いて、異常度算出部２５ｄが、座標変換された特徴ベクトルと異常行動との類似度合いを表す異常度を算出する（ステップＳ３４）。続いて、異常度判定部２５ｆが、異常度閾値と異常度とに基づいて、監視対象の行動が異常行動であるか否かを判定する（ステップＳ３５）。

≪特徴量算出部２３ａ，２５ａの動作例≫
続いて、ステップＳ２２，Ｓ３２のサブルーチン、すなわち特徴量算出部２３ａ，２５ａの動作例について説明する。特徴量算出部２３ａ，２５ａの動作例は同一であるので、ここでは、特徴量算出部２３ａを例にとり説明する。図１６は、特徴量算出部の動作例を説明するためのフローチャートである。

まず、特徴量算出部２３ａが、特徴ベクトルｖ_n（ｎ＝１，…，２５１）を初期化する（ステップＳ１０１）。続いて、特徴量算出部２３ａが、ｉ番目のマスクパターンＭＰに対するボクセルが全て１であるか否かを判定する（ステップＳ１０２）。ｉ番目のマスクパターンＭＰに対するボクセルが全て１である場合には（ステップＳ１０２でＹｅｓ）、特徴量算出部２３ａが、ｉ番目のマスクパターンＭＰに対する特徴ベクトルの要素に１を加算する（ステップＳ１０３）。ステップＳ１０２，Ｓ１０３の処理は、全てのマスクパターンｉに対して行われ（ループ１）、さらには処理対象のフレーム群の全てのボクセルに対して行われる（ループ２）
これらの一連の処理により、特徴量算出部２３ａは、立体高次局所自己相関による２５１次元の特徴ベクトルｖ_nを算出することができる。

≪正常学習データ生成装置４０の動作例≫
続いて、正常学習データ生成装置４０の動作例について説明する。図１７は、正常学習データ生成装置の動作例を説明するためのフローチャートである。

まず、動き抽出部４２が、学習用撮像データ取得部４１により取得された学習用撮像データの中から、動きのある部分を抽出し、二値化する（ステップＳ１１１）。続いて、特徴量算出部４３が、動きのある部分の特徴量を算出する（ステップＳ１１２）。ステップＳ１１１，Ｓ１１２の処理は、正常行動を学習するための学習用撮像データ全てに対して行われる（ループ３）。続いて、主成分分析部４４が、全ての学習用撮像データに関する特徴量に対して主成分分析を実行する（ステップＳ１１３）。続いて、部分空間算出部４５が、主成分分析結果に基づいて、正常行動への寄与率が低い部分空間を算出し、特徴ベクトルをこの部分空間に射影する行列を算出する（ステップＳ１１４）。

≪異常学習データ生成装置５０の動作例≫
続いて、異常学習データ生成装置５０の動作例について説明する。図１８は、異常学習データ生成装置の動作例を説明するためのフローチャートである。

まず、動き抽出部５２が、学習用撮像データ取得部５１により取得された学習用撮像データの中から、動きのある部分を抽出し、二値化する（ステップＳ１２１）。続いて、特徴量算出部５３が、動きのある部分の特徴量を算出する（ステップＳ１２２）。ステップＳ１２１，Ｓ１２２の処理は、異常行動を学習するための学習用撮像データ全てに対して行われる（ループ４）。続いて、主成分分析部５４が、全ての学習用撮像データに関する特徴量に対して主成分分析を実行する（ステップＳ１２３）。続いて、部分空間算出部５５が、主成分分析結果に基づいて、異常行動への寄与率が高い部分空間を算出し、特徴ベクトルをこの部分空間に射影する行列を算出する（ステップＳ１２４）。

第一の実施形態に係る異常検知装置２０Ａは、正常学習データに基づく判定結果だけでなく、異常学習データに基づく判定結果も用いて総合的に判定するので、正常な監視対象を異常な監視対象として誤検知してしまう誤報だけでなく、異常な監視対象を正常な監視対象として誤検知してしまう失報も減らすことができる。

＜第二の実施形態＞
続いて、第二の実施形態に係る異常検知装置について、第一の実施形態に係る異常検知装置２０Ａとの相違点を中心に説明する。図１９は、本発明の第二の実施形態に係る異常検知装置を示すブロック図である。

図１９に示すように、第二の実施形態に係る異常検知装置２０Ｂは、正常学習データ記憶部２２Ａ、正常判定部２３Ａ、異常学習データ記憶部２４Ａ及び異常判定部２５Ａに代えて、正常学習データ記憶部２２Ｂ、正常判定部２３Ｂ、異常学習データ記憶部２４Ｂ及び異常判定部２５Ｂを備えている。

正常学習データ記憶部２２Ｂは、複数の正常学習データ記憶ユニット２２−１，２２−２を備えている。複数の正常学習データ記憶ユニット２２−１，２２−２は、それぞれ種別の異なる正常学習データを記憶している。

正常判定部２３Ｂは、複数の正常判定ユニット２３−１，２３−２を備えている。複数の正常判定ユニット２３−１，２３−２は、それぞれ正常判定部２３Ａと同等の機能を有している。正常判定ユニット２３−１は、正常学習データ記憶ユニット２２−１に記憶された正常学習データに基づいて判定し、正常判定ユニット２３−２は、正常学習データ記憶ユニット２２−２に記憶された正常学習データに基づいて判定する。

異常学習データ記憶部２４Ｂは、複数の異常学習データ記憶ユニット２４−１，２４−２を備えている。複数の異常学習データ記憶ユニット２４−１，２４−２は、それぞれ種別の異なる異常学習データを記憶している。

異常判定部２５Ｂは、複数の異常判定ユニット２５−１，２５−２を備えている。複数の異常判定ユニット２５−１，２５−２は、それぞれ異常判定部２５Ａと同等の機能を有している。異常判定ユニット２５−１は、異常学習データ記憶ユニット２４−１に記憶された異常学習データに基づいて判定し、異常判定ユニット２５−２は、異常学習データ記憶ユニット２４−２に記憶された異常学習データに基づいて判定する。

第二の実施形態に係る総合判定部２６Ａの正常／異常判定部２６ｂ（図１１参照）は、複数の正常判定ユニット２３−１，２３−２の判定結果の少なくとも一つが正常である場合に、正常判定部２３Ｂの判定結果が正常であるとし、複数の正常判定ユニット２３−１，２３−２の判定結果が全て異常である場合に、正常判定部２３Ｂの判定結果が異常であるとする。このように、複数の正常判定ユニット２３−１，２３−２は正常行動以外の行動を異常行動として間接的に検知するので、総合判定部２６Ａの正常／異常判定部２６ｂは、複数の正常判定ユニット２３−１，２３−２の全ての判定結果が異常である場合に正常判定部２３Ｂの判定結果が異常であると判定することが妥当である。

また、正常／異常判定部２６ｂは、複数の異常判定ユニット２５−１，２５−２の判定結果の少なくとも一つが異常である場合に、異常判定部２５Ｂの判定結果が異常であるとし、複数の異常判定ユニット２５−１，２５−２の判定結果が全て正常である場合に、異常判定部２５Ｂの判定結果が正常であるとする。このように、複数の異常判定ユニット２５−１，２５−２は異常行動を直接的に検知するので、総合判定部２６Ａの正常／異常判定部２６ｂは、複数の異常判定ユニット２５−１，２５−２の少なくとも一つの判定結果が異常である場合に異常判定部２５Ｂの判定結果が異常であると判定することが妥当である。

第二の実施形態に係る異常検知装置２０Ｂは、正常行動及び異常行動の種別ごとクラスタリングして独立して学習した結果を記憶する記憶ユニットを備えているので、種別ごとに部分空間を好適に構成することができ、判定精度を向上させることができる。

＜第三の実施形態＞
続いて、第三の実施形態に係る異常検知装置について、第一の実施形態に係る異常検知装置２０Ａとの相違点を中心に説明する。図２０及び図２１は、本発明の第三の実施形態に係る異常検知装置の要部を示すブロック図である。

図２０及び図２１に示すように、第三の実施形態に係る異常検知装置２０Ｃは、正常学習データ記憶部２２Ａ，正常判定部２３Ａ，異常学習データ記憶部２４Ａ及び異常判定部２５Ａに代えて、複数の正常学習データ記憶部２２Ｃ１，２２Ｃ２、正常判定部２３Ｃ、複数の異常学習データ記憶部２４Ｃ１，２４Ｃ２及び異常判定部２５Ｃを備えている。また、異常検知装置２０Ｃは、時刻を知らせるための時計部２８をさらに備えている。

複数の正常学習データ記憶部２２Ｃ１，２２Ｃ２は、それぞれ異なる正常学習データを記憶している。

正常判定部２３Ｃは、正常学習データ選択部２３ｇをさらに備えている。正常学習データ選択部２３ｇは、複数の正常学習データ記憶部２２Ｃ１，２２Ｃ２の中から、時計部２８から読み出された時刻に基づいて、特徴量算出部２３ｂ及び特徴量変換部２３ｃで用いられる正常学習データを選択する。

複数の異常学習データ記憶部２４Ｃ１，２４Ｃ２は、それぞれ異なる異常学習データを記憶している。

異常判定部２５Ｃは、異常学習データ選択部２５ｇをさらに備えている。異常学習データ選択部２５ｇは、複数の異常学習データ記憶部２４Ｃ１，２４Ｃ２の中から、時計部２８から読み出された時刻に基づいて、特徴量算出部２５ｂ及び特徴量変換部２５ｃで用いられる異常学習データを選択する。

第三の実施形態に係る異常検知装置２０Ｃは、時刻に基づいて判定用の学習データを切り替えるので、例えば事務所ビルのように監視対象の利用形態が時刻に大きく依存する場合であっても、好適な総合判定結果を得ることができる。

＜第四の実施形態＞
続いて、第四の実施形態に係る異常検知装置について、第一の実施形態に係る異常検知装置２０Ａとの相違点を中心に説明する。図２２は、本発明の第四の実施形態に係る異常検知装置の要部を示すブロック図である。

図２２に示すように、第四の実施形態に係る異常検知装置２０Ｄは、総合判定部２６Ａに代えて、総合判定部２６Ｄを備えている。また、異常検知装置２０Ｄは、時刻を知らせるための時計部２８をさらに備えている。

総合判定部２６Ｄは、総合判定テーブル選択部２６ｃを備えている。また、本実施形態に係る総合判定テーブル記憶部２６ａは、複数の総合判定テーブル２６ａ１，２６ａ２を記憶している。総合判定テーブル選択部２６ｃは、複数の総合判定テーブル２６ａ１，２６ａ２の中から、時計部２８から読み出された時刻に基づいて、正常／異常判定部２６ｂで用いられるテーブルを選択する。

第四の実施形態に係る異常検知装置２０Ｄは、時刻に基づいて総合判定テーブルを切り替えるので、例えば事務所ビルのように監視対象の利用形態が時刻に大きく依存する場合であっても、好適な総合判定結果を得ることができる。

以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、各実施形態に係る異常検知装置２０Ａ，２０Ｂ，２０Ｃ，２０Ｄを適宜組み合わせた構成であってもよい。また、正常学習データ生成装置４０及び異常学習データ生成装置５０を異常検知装置２０Ａに一体的に組み込む構成であってもよい。また、各選択部２３ｇ，２５ｇ，２６ｃは、時刻ではなく、例えば利用者により入力された選択指示に基づいて選択を実行する構成であってもよい。また、本発明は、コンピュータを前記した異常検知装置として機能させる異常検知プログラムとして具現化することも可能である。

本発明の第一の実施形態に係る異常検知装置を備えた異常検知システムを示すブロック図である。 図１の正常判定部を示す詳細ブロック図である。 図１の異常判定部を示す詳細ブロック図である。 （ａ）は撮像データを説明するための図、（ｂ）は特徴量の算出対象を説明するための図である。 立体高次局所自己相関特徴の算出に用いられるマスクパターンの例を示す図である。 正常学習データを生成するために用いられる正常学習データ生成装置を示すブロック図である。 主成分分析で得られた主成分ごとの累積寄与率を説明するための図である。 正常度算出部による正常度の算出処理を説明するための図である。 異常学習データを生成するために用いられる異常学習データ生成装置を示すブロック図である。 異常度算出部による異常度の算出処理を説明するための図である。 図１の総合判定部を示す詳細ブロック図である。 （ａ）（ｂ）は総合判定テーブルの例を説明するための図である。 図１の異常検知装置の動作例を説明するためのフローチャートである。 正常判定部の動作例を説明するためのフローチャートである。 異常判定部の動作例を説明するためのフローチャートである。 特徴量算出部の動作例を説明するためのフローチャートである。 正常学習データ生成装置の動作例を説明するためのフローチャートである。 異常学習データ生成装置の動作例を説明するためのフローチャートである。 本発明の第二の実施形態に係る異常検知装置を示すブロック図である。 本発明の第三の実施形態に係る異常検知装置の要部を示すブロック図である。 本発明の第三の実施形態に係る異常検知装置の要部を示すブロック図である。 本発明の第四の実施形態に係る異常検知装置の要部を示すブロック図である。

符号の説明

２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ 異常検知装置
２１ 撮像データ取得部
２２Ａ，２２Ｂ，２２Ｃ１，２２Ｃ２ 正常学習データ記憶部
２３Ａ，２３Ｂ，２３Ｃ 正常判定部
２４Ａ，２２Ｂ，２２Ｃ１，２２Ｃ２ 異常学習データ記憶部
２５Ａ，２５Ｂ，２５Ｃ 異常判定部
２６Ａ，２６Ｄ 総合判定部

Claims (15)

1. 監視対象の撮像データを取得する撮像データ取得部と、
   正常な前記監視対象の行動を予め学習した正常学習データを記憶する正常学習データ記憶部と、
   前記撮像データと前記正常学習データとに基づいて、前記撮像データに含まれる監視対象の行動が正常であるか否かを判定する正常判定部と、
   異常な前記監視対象の行動を予め学習した異常学習データを記憶する異常学習データ記憶部と、
   前記撮像データと前記異常学習データとに基づいて、前記撮像データに含まれる監視対象の行動が異常であるか否かを判定する異常判定部と、
   前記正常判定部の判定結果と前記異常判定部の判定結果とに基づいて、前記撮像データに含まれる監視対象の行動が正常であるか異常であるかを判定する総合判定部と、
   を備えている異常検知装置であって、
   前記正常学習データ記憶部を複数備え、
   前記正常判定部は、複数の前記正常学習データ記憶部から一つのみを選択して判定に用いる
   ことを特徴とする異常検知装置。
2. 前記正常判定部は、時刻に基づいて複数の前記正常学習データ記憶部から一つのみを選択する
   ことを特徴とする請求項１に記載の異常検知装置。
3. 前記異常学習データ記憶部を複数備え、
   前記異常判定部は、複数の前記異常学習データ記憶部から一つのみを選択して判定に用いる
   ことを特徴とする請求項１又は請求項２に記載の異常検知装置。
4. 前記異常判定部は、時刻に基づいて複数の前記異常学習データ記憶部から一つのみを選択する
   ことを特徴とする請求項３に記載の異常検知装置。
5. 監視対象の撮像データを取得する撮像データ取得部と、
   正常な前記監視対象の行動を予め学習した正常学習データを記憶する正常学習データ記憶部と、
   前記撮像データと前記正常学習データとに基づいて、前記撮像データに含まれる監視対象の行動が正常であるか否かを判定する正常判定部と、
   異常な前記監視対象の行動を予め学習した異常学習データを記憶する異常学習データ記憶部と、
   前記撮像データと前記異常学習データとに基づいて、前記撮像データに含まれる監視対象の行動が異常であるか否かを判定する異常判定部と、
   前記正常判定部の判定結果と前記異常判定部の判定結果とに基づいて、前記撮像データに含まれる監視対象の行動が正常であるか異常であるかを判定する総合判定部と、
   を備えている異常検知装置であって、
   前記異常学習データ記憶部を複数備え、
   前記異常判定部は、複数の前記異常学習データ記憶部から一つのみを選択して判定に用いる
   ことを特徴とする異常検知装置。
6. 前記異常判定部は、時刻に基づいて複数の前記異常学習データ記憶部から一つのみを選択する
   ことを特徴とする請求項５に記載の異常検知装置。
7. 前記総合判定部は、前記正常判定部の判定結果が正常であり、かつ、前記異常判定部の判定結果が非異常である場合に、前記撮像データに含まれる監視対象の行動が正常であると判定し、前記正常判定部の判定結果が非正常である、又は、前記異常判定部の判定結果が異常である場合に、前記撮像データに含まれる監視対象の行動が異常であると判定する
   ことを特徴とする請求項１から請求項６のいずれか一項に記載の異常検知装置。
8. 前記総合判定部は、前記正常判定部の判定結果が正常である、又は、前記異常判定部の判定結果が非異常である場合に、前記撮像データに含まれる監視対象の行動が正常であると判定し、前記正常判定部の判定結果が非正常であり、かつ、前記異常判定部の判定結果が異常である場合に、前記撮像データに含まれる監視対象の行動が異常であると判定する
   ことを特徴とする請求項１から請求項６のいずれか一項に記載の異常検知装置。
9. 前記正常学習データ記憶部は、正常学習データを種別ごとに記憶する複数の正常学習データ記憶ユニットを備え、
   前記正常判定部は、前記複数の正常学習データ記憶ユニットに対応し、当該正常学習データ記憶ユニットに記憶された正常学習データの種別に基づいて、前記撮像データに含まれる監視対象の行動が正常であるか否かを判定する複数の正常判定ユニットを備えており、
   前記総合判定部は、前記複数の正常判定ユニットの判定結果が全て非正常である場合に、前記正常判定部の判定結果が非正常であるとする
   ことを特徴とする請求項１から請求項８のいずれか一項に記載の異常検知装置。
10. 前記異常学習データ記憶部は、異常学習データを種別ごとに記憶する複数の異常学習データ記憶ユニットを備え、
    前記異常判定部は、前記複数の異常学習データ記憶ユニットに対応し、当該異常学習データ記憶ユニットに記憶された異常学習データの種別に基づいて、前記撮像データに含まれる監視対象の行動が異常であるか否かを判定する複数の異常判定ユニットを備えており、
    前記総合判定部は、前記複数の異常判定ユニットの判定結果の少なくとも一つが異常である場合に、前記異常判定部の判定結果が異常であるとする
    ことを特徴とする請求項１から請求項９のいずれか一項に記載の異常検知装置。
11. 前記総合判定部は、
    前記正常判定部の判定結果及び前記異常判定部の判定結果と当該総合判定部の判定結果とを関連付けた総合判定テーブルを記憶する総合判定テーブル記憶部と、
    前記正常判定部の判定結果、前記異常判定部の判定結果及び前記総合判定テーブルに基づいて、前記撮像データに含まれる監視対象の行動が正常であるか異常であるかを判定する正常／異常判定部と、
    を備えていることを特徴とする請求項１から請求項１０のいずれか一項に記載の異常検知装置。
12. 前記総合判定テーブル記憶部は、複数の前記総合判定テーブルを備えており、
    前記複数の総合判定テーブルから一つを選択する総合判定テーブル選択部をさらに備え、
    前記正常／異常判定部は、前記総合判定テーブル選択部により選択された総合判定テーブルを用いて判定する
    ことを特徴とする請求項１１に記載の異常検知装置。
13. 前記総合判定テーブル選択部は、時刻に基づいて前記複数の総合判定テーブルから一つのみを選択する
    ことを特徴とする請求項１２に記載の異常検知装置。
14. コンピュータを、
    監視対象の撮像データを取得する撮像データ取得部、
    予め記憶されている正常な前記監視対象の行動を予め学習した正常学習データと前記撮像データとに基づいて、前記撮像データに含まれる監視対象の行動が正常であるか否かを判定する正常判定部、
    予め記憶されている異常な前記監視対象の行動を予め学習した異常学習データと前記撮像データとに基づいて、前記撮像データに含まれる監視対象の行動が異常であるか否かを判定する異常判定部、及び、
    前記正常判定部の判定結果と前記異常判定部の判定結果とに基づいて、前記撮像データに含まれる監視対象の行動が正常であるか異常であるかを判定する総合判定部、
    として機能させる異常検知プログラムであって、
    前記コンピュータには、前記正常学習データが記憶された正常学習データ記憶部が複数備えられており、
    前記正常判定部に、複数の前記正常学習データ記憶部から一つのみを選択させて判定に用いさせる
    ことを特徴とする異常検知プログラム。
15. コンピュータを、
    監視対象の撮像データを取得する撮像データ取得部、
    予め記憶されている正常な前記監視対象の行動を予め学習した正常学習データと前記撮像データとに基づいて、前記撮像データに含まれる監視対象の行動が正常であるか否かを判定する正常判定部、
    予め記憶されている異常な前記監視対象の行動を予め学習した異常学習データと前記撮像データとに基づいて、前記撮像データに含まれる監視対象の行動が異常であるか否かを判定する異常判定部、及び、
    前記正常判定部の判定結果と前記異常判定部の判定結果とに基づいて、前記撮像データに含まれる監視対象の行動が正常であるか異常であるかを判定する総合判定部、
    として機能させる異常検知プログラムであって、
    前記コンピュータには、前記異常学習データが記憶された異常学習データ記憶部が複数備えられており、
    前記異常判定部に、複数の前記異常学習データ記憶部から一つのみを選択させて判定に用いさせる
    ことを特徴とする異常検知プログラム。

Images