JP5647627B2

JP5647627B2 - 異常パターンの発見

Info

Publication number: JP5647627B2
Application number: JP2012006989A
Authority: JP
Inventors: ユン・チャイ; バラマノアール・パルリ; アンクール・ダッタ; シャラスチャンドラ・ウマパシラオ・パンカンティ
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2011-03-16
Filing date: 2012-01-17
Publication date: 2015-01-07
Anticipated expiration: 2032-01-17
Also published as: US20120237081A1; JP2012194967A; US8660368B2

Description

本発明は、視覚画像データにおける動き活動（motion activity）の異常パターン又は普通でないパターンを発見することに関する。

視覚画像データにおける動き活動の異常パターンを判定し、認識することは、特定の活動又は事象の発生又は不存在を判断するのに有用である。例えば、標準から逸脱する事象及び行動（例えば、構造成分の直接の又は潜在的な損傷、又は通常の安全性又は他の活動プロセス及びポリシーを遵守しない人間の活動）を示す、予期される又は正常な視覚データ・パターンの変化について、構造体の画像データを監視することができる。人間の分析で容易に区別できる場合には、そのような動きの異常パターンは、後の分析又は同時分析のために静止画像及びビデオ・システムを通じて視覚データを取り込み、記録することによって識別することができる。しかしながら、人間による視覚データの点検及び分析は困難で、時間がかかり、又は効率が悪い場合があり、さらに大量のデータでは実行不可能である。幾つかの異常パターンは、僅かなものであるか、それとも視覚データのコンピュータ分析によってのみ発見可能であり得る。

コンピュータ又は他のプログラム可能デバイスがビデオ・データを直接分析し、コンピュータ・ビジョン・アプリケーションを介して異常な動きパターンを識別することにより、オブジェクト、人々、事象、又は関心のある活動等を認識しようと試みる自動化ビデオ・システム及び方法が知られている。

しかしながら、自動化ビデオ監視システム及び方法システムによる、正常パターン、事象等からの異常な動きパターンの識別は、様々な要因のために、実際的な実世界の環境及び用途においては、信頼できないことが多い。例えば、視覚画像データは、クラッタ、不十分な又は変化する照明及びオブジェクト解像度、気を散らすような競合する視覚情報等のために、分析することが困難な場合があり、又は時間と共に変動する場合がある。誤った警告又は事象認識の見逃しも許容可能なレベルで起るはずである。

本発明の一実施形態において、異常パターンの発見方法は、複数の異なるグリッドに分割されたビデオ・データ画像フィールド内の軌跡（trajectory）におけるオブジェクトの移動を追跡することを含む。ビデオ・データから追跡されるオブジェクト軌跡に関する大域的（グローバル）画像特徴（global image feature）を抽出し、これを学習軌跡モデルと比較し、学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成する。オブジェクト軌跡を含む画像フィールド・グリッドの各々についての局所的（ローカル）画像特徴（local image feature）も抽出し、これをグリッドについての学習特徴モデルと比較して、グリッドについての学習特徴モデルへの適合性の関数として、局所的異常検出信頼度判定値を生成する。大域的異常検出信頼度判定値及びグリッドについての局所的異常信頼度判定値は、追跡されるオブジェクトに関する融合異常判定になる。

別の実施形態において、システムは、複数の異なるグリッドに分割されたビデオ・データ画像フィールド内の軌跡におけるオブジェクトの移動を追跡するためのプログラム命令と共に、処理ユニット、コンピュータ可読メモリ、及びコンピュータ可読ストレージ媒体デバイスを有する。ビデオ・データから追跡されるオブジェクト軌跡に関する大域的画像特徴を抽出し、これを学習軌跡モデルと比較して、学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成する。オブジェクト軌跡を含む画像フィールド・グリッドの各々についての局所的画像特徴も抽出し、これをグリッドについての学習特徴モデルと比較して、グリッドについての学習特徴モデルへの適合性の関数として各グリッドについての局所的異常検出信頼度判定値を生成する。大域的異常検出信頼度判定値及びグリッドについての局所的異常検出信頼度判定値は、追跡されるオブジェクトに関する融合異常判定になる。

別の実施形態において、製造物品が、それにより具体化されたコンピュータ可読プログラム・コードを有するコンピュータ可読ストレージ媒体デバイスを有し、このコンピュータ可読プログラム・コードは、コンピュータ・プロセッサによって実行されるとき、コンピュータ・プロセッサに、複数の異なるグリッドに分割されたビデオ・データ画像フィールド内の軌跡におけるオブジェクトの移動を追跡させる。ビデオ・データから、追跡されるオブジェクト軌跡に関する大域的画像特徴を抽出し、これを学習軌跡モデルと比較して、学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成する。オブジェクト軌跡を含む画像フィールド・グリッドの各々についての局所的画像特徴を抽出し、これをグリッドについての学習特徴モデルと比較して、グリッドについての学習特徴モデルへの適合性の関数として各グリッドに関する局所的異常検出信頼度判定値を生成する。大域的異常検出信頼度判定値及びグリッドについての局所的異常検出信頼度判定値は、追跡されるオブジェクトに関する融合異常判定になる。

別の実施形態において、異常パターン発見のためのサービスを提供する方法が、複数の異なるグリッドに分割されたビデオ・データ画像フィールド内の軌跡におけるオブジェクトの移動を追跡する検出追跡器を準備することを含む。大域的軌跡特徴抽出器は、ビデオ・データ画像フィールドから、オブジェクト軌跡に関する大域的画像特徴を抽出し、大域的異常判定器は、抽出された大域的特徴を学習軌跡モデルと比較し、学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成する。局所的グリッド特徴抽出器は、ビデオ・データから、オブジェクト軌跡を含む画像フィールド・グリッドの各々についての特徴を抽出し、局所的異常判定器は、グリッドの各々についての抽出された局所的画像特徴を学習特徴モデルと比較し、グリッドの学習特徴モデルへの適合性の関数としてグリッドについての局所的異常検出信頼度判定値を生成する。局所的−大域的判定融合器は、大域的異常検出信頼度判定値をグリッドの局所的異常検出信頼度判定値と融合して、追跡されるオブジェクトに関する融合異常判定とする。

本発明のこれら及び他の特徴は、添付図面に関連して解釈される、本発明の種々の態様についての以下の詳細な説明からより容易に理解されるであろう。

本発明による、局所的及び大域的モジュールからの出力を結合することにより異常を検出するための方法又はシステムの一実施形態のフローチャート図である。本発明の実施形態による、分割された画像フィールドを通るオブジェクトの追跡の概略図である。本発明による、局所的異常検出方法又はプロセスの一実施形態のフローチャート図である。本発明による、大域的異常検出方法又はプロセスの一実施形態のフローチャート図である。本発明の一実施形態のコンピュータ化された実施のブロック図である。局所的及び大域的モジュールからの出力を結合することにより画像データ内の異常を検出する、本発明による物品のブロック図である。

図面は必ずしも縮尺通りには描かれていない。図面は、単なる概略的表示であり、本発明の特定のパラメータを表すことを意図したものではない。図面は、本発明の典型的な実施形態のみを示すことを意図したものであり、本発明の範囲を限定するものと考えるべきではない。図面においては、同様の番号は同様の要素を表す。

当業者であれば認識するように、本発明の態様は、システム、方法、又はコンピュータ・プログラムとして具体化することができる。従って、本発明の態様は、全体がハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、又は、ソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形を取ることができ、本明細書においてはこれらの全てを一般に、「回路」、「モジュール」、又は「システム」と呼ぶことができる。さらに、本発明の態様は、（コンピュータ可読プログラム・コードが組み入れられた１つ又は複数のコンピュータ可読媒体内に具体化された）コンピュータ・プログムの形を取ることができる。

１つ又は複数のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読ストレージ媒体とすることができる。コンピュータ可読ストレージ媒体は、例えば、これらに限られるものではないが、電子、磁気、光学、電磁気、赤外線若しくは半導体のシステム、装置若しくはデバイス、又は上記のいずれかの適切な組み合わせとすることができる。コンピュータ可読ストレージ媒体のより具体的な例（非網羅的なリスト）として、１つ又は複数の配線を有する電気的接続、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ）、光ファイバ、ポータブル・コンパクト・ディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記のいずれかの適切な組み合わせが挙げられる。本明細書の文脈では、コンピュータ可読ストレージ媒体とは、命令実行システム、装置又はデバイスによって又はこれらと接続して用いるために、プログラムを収容又は格納することができるいずれかの有形媒体とすることができる。

コンピュータ可読信号媒体は、コンピュータ可読プログラム・コードがその中で具体化された、例えばベースバンド内の又は搬送波の一部としての、伝搬されたデータ信号を含むことができる。こうした伝搬信号は、これらに限られるものではないが、電磁気、光、又はこれらのいずれかの適切な組み合わせを含む、種々の形態のいずれかを取ることができる。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体ではなく、命令実行システム、装置又はデバイスによって又はこれらと接続して用いるために、プログラムを通信し、伝搬し、又は転送することができる、いずれかのコンピュータ可読媒体とすることができる。

コンピュータ可読媒体上に具体化されたプログラム・コードは、これらに限られるものではないが、無線、有線、光ファイバ・ケーブル、ＲＦ等、又は上記のいずれかの適切な組み合わせを含む、いずれかの適切な媒体を用いて伝送することができる。

本発明の態様に関する動作を実行するためのプログラム・コードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び、「Ｃ」プログラミング言語又は同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。プログラム・コードは、ユーザのコンピュータ上で完全に実行される場合もあり、ユーザのコンピュータ上で部分的に実行される場合もあり、独立したソフトウェア・パッケージとして実行される場合もあり、ユーザのコンピュータ上で部分的に実行され、遠隔コンピュータ上で部分的に実行される場合もあり、又は遠隔コンピュータ若しくはサーバ上で完全に実行される場合もある。一番最後のシナリオの場合、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部のコンピュータへの接続がなされる場合もある（例えば、インタネット・サービス・プロバイダを用いたインターネットを通じて）。

本発明の態様は、本発明の実施形態による方法、装置（システム）、及びコンピュータ・プログラムのフローチャート図及び／又はブロック図を参照して、後述される。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図内のブロックの組み合わせは、コンピュータ・プログラム命令によって実装できることが理解されるであろう。これらのコンピュータ・プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを生産し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実装するための手段を生成するようにすることができる。

コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイスに特定の方式で機能させるように指示することができるコンピュータ可読媒体内に格納して、それにより、そのコンピュータ可読媒体内に格納された命令が、フローチャート及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実装するための命令を含む製品を製造するようにすることもできる。

コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイスにロードし、一連の動作ステップをコンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上で実行させて、コンピュータ実施プロセスを生成し、それにより、コンピュータ又は他のプログラム可能データ処理装置上で実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実装するためのプロセスを提供するようにすることもできる。

ここで図１を参照すると、本発明による異常パターン発見のための方法、プロセス又はシステムの一実施形態が示されている。局所的異常検出モジュール１０１において、ビデオ・データ入力１０２の画像フィールドが複数の異なるグリッドに分割され、ここで１０４において局所的検出器が、各グリッドに関する画像特徴を抽出する。１０６において、各グリッドについて局所的検出器によって抽出された画像特徴を、各グリッドについての学習モデル１０８と比較し、１１０において、グリッドの各々についての、より特定的には、抽出された特徴が、各グリッド内のオブジェクトの動きが正常である若しくは予期されたものであるか、又はその代わりに異常である（正常でない又は予期されていない）かを示す、局所的異常検出信頼度判定値を生成する。

大域的異常検出モジュール１０３においては、１１２において、プロセスは、ビデオ・データ入力１０２の画像フィールド内のオブジェクトの存在を検出し、動きの軌跡を通じて経時的に画像フィールドを通る検出されたオブジェクトの移動を追跡する。例証ではあるが網羅的ではない追跡される移動の例として、人のオブジェクトが、階段オブジェクトに対して移動し（例えば、上に移動し）、折り返し廊下オブジェクトを下りること、並びに組立体又は要素の構造的変化を示すことができる組立体内の２つの構造的要素の間の分離値（separation value）の変化を経時的に観測することが挙げられる。１１４において、大域的特徴抽出器は、ビデオ・データから、画像フィールドを通るオブジェクトの軌跡に関する、例えば画像フィールドの全て又は一部分に関する画像特徴を抽出する。１１８において、大域的異常検出器は、抽出された軌跡特徴を学習軌跡モデル１１６と比較して、オブジェクト軌跡（例えば、画像フィールド全体又はその一部分を通る）についての大域的異常検出信頼度判定値１２０を生成し、１２０における判定値は、オブジェクト軌跡が正常であるか、又はその代わりに異常であるかの尤度の客観的尺度を与える。

１２２において、オブジェクトがその軌跡内を通過するグリッドの各々について、１１０で生成された個々のグリッドの局所的異常検出信頼度判定値を、軌跡に対して１２０で生成された大域的判定値と融合して、オブジェクトに関する融合異常判定１２４とする。より具体的には、図２は、経時的に動き（例えば、人が画像フィールド４０２内のコンコースに沿って移動する）の軌跡４０６を記述するオブジェクトの画像を含む入力ビデオ・データ１０２の画像フィールド４０２を示す。本発明の一実施形態によると、画像フィールド４０２は、グリッド４０４のマトリックスに分割される。オブジェクト軌跡４０６は、グリッド４０４ａの一部を通って移動するが、他のグリッド４０４ｂには入らないので、オブジェクトの移動が正常であるか又は異常であるかを判断するために、追跡される軌跡４０６を含むグリッド４０４ａの局所的異常判定が、大域的異常判定と結合又は融合される。

従って、この例において、オブジェクト軌跡を含む画像フィールド・グリッド４０４ａの総数は、分割（partition）グリッド（当該グリッド４０４ａ及び他のグリッド４０４ｂを含めて）の総計よりも少なく、グリッド４０４のあらゆるものについての特徴を抽出する場合がある他の従来技術のシステムに優る効率をもたらす。（しかしながら、別の軌跡（図示せず）がグリッド４０４の全てを通過する可能性もあり、その場合には分割グリッド４０４の全ての局所的異常判定を考慮する）。一実施形態において、局所的及び／又は大域的異常検出信頼度判定値は、バイナリ（２値）の正常値又は異常値（すなわち、「イエス」若しくは「ノー」、又は「１」若しくは「ゼロ」）であるが、本発明の他の実施形態においては、異常値は、段階的な値又は他の非バイナリ値を与えることができる。

本発明の実施形態はまた、１２６において、局所的及び／又は大域的学習モデル１０８、１１６を、融合異常判定１２４の関数として更新することもできる。例えば、本発明の実施形態は、ビデオ画像データ入力１０２からの活動パターンを自動的に分析して、正常又は異常な行動（例えば、ラッシュアワー中の主要な通行方向に対する）についてのモデルを構築し、改良し、又は更新することができる。１２６における分析は、異なるスケールで、ビデオの局所的レベル及び大域的レベルの両方で、並びに空間領域及び時間領域の両方で行うことができる。幾つかの実施形態において、新しいビデオの異常パターンは、それらの抽出された特徴を、構築された正常パターン・モデルと比較することによって発見することができる。さらに、ビデオ・データ１０２内のオブジェクトの新しい活動又は次回の活動を用いて、正常又は異常パターンをオンラインで繰り返し適合させることができる。

教師あり学習（supervised learning）に依存する従来技術の方法及びシステムは、特に既知の所定の異常に対して設計された検出アルゴリズム（例えば、厳戒態勢地域の用途に用いられる仕掛け線横断警告システム）により、事前の異常知識を必要とする。しかしながら、従来技術のシステムにおいて、全ての可能な異常を検出するのに十分に包括的な検出器を構築することは実行可能でなく、可能でさえない。他の従来技術の方法及びシステムは、異常が既知であることも又は事前に定められることも必要としない半教師あり学習（semi-supervised learning）を用いることができる。しかしながら、標準からの逸脱によって異常を認識するために、標準を定めること又は知ることが依然として必要である。特定の用途においては、そのような半教師あり学習システムは、教師あり学習の手法よりも良好に機能するが、それらは依然として事前に標準的行動を知る必要があり、幾つかの例では、正常パターンは、異なる条件において、変化することがあり、互いに衝突し合うことさえもある。これとは対照的に、本発明の実施形態は、正常パターン又は異常パターンのいずれにおいても事前の知識も必要とせず、代わりに、主要な行動を学習することによって正常パターンを自動的に学習することができる。

図３は、図１及び図２の局所的異常検出モジュール１０１の一実施形態を示す。学習又は訓練プロセスにおいては、２０８において、入力訓練ビデオ・データ２０６の画像フィールドは、空間時間領域内の小さいグリッド４０４のマトリックスに分割される。２１０において、各グリッド４０４からテクスチャ特徴を抽出し、次元縮小（dimension reduction）技術によりさらに改良する。２１２において、抽出された特徴の主要な分布を見出し、これを用いて「正常」パターンを定義し、稀なパターン（rare pattern）は「異常」すなわち「正常でない」パターンを定義する。２１４において、学習特徴の分布についてのパラメトリック・モデル（例えば、ガウス分布）又は非パラメトリック・モデル（例えば、カーネル密度推定）を構築することによって、学習モデルを構成する。

従って、局所的異常検出モジュール１０１は、検出プロセスにおいて、１つ又は複数の局所的検出器を用いてグリッド４０４の各々に関して入力ビデオ１０２からの１０４における画像特徴の抽出によって学習モデル１０８を用いる。１０６において、抽出されたグリッドの局所的画像特徴を学習モデル１０８に適合させて、例えば類似性を取得する。このようにして、１１０において、個々のグリッド適合性信頼度に基づいて、異常検出判定を行い、２２８において、各グリッドについて異常判定を行う。

本発明の実施形態は、特徴の検出及び抽出のための様々な方法及びプロセスを用いることができる。一実施形態において、８次元が方向成分のためであり、２次元が水平方向及び垂直方向の速度のためである、１０次元から構成される特徴ベクトルが用いられ、空間時間特徴ベクトルがそこから導かれ（例えば、多数のビデオ画像フレームにわたる方向ベクトルを連結させることにより）、ここで次元を減らすために、Ｍａｔｌａｂ（商標）又は主成分分析（Principle Component Analysis、ＰＣＡ）が用いられ、特徴ベクトルの凝集クラスタリング（agglomerative clustering）が用いられる（一態様において、階層の提供を助ける）。ＭＡＴＬＡＢは、米国又は他の国におけるＭａｔｈＷｏｒｋｓ，Ｉｎｃ．社の商標である。

図４は、図１及び図２の大域的異常検出モジュール１０３の一実施形態を示す。３０４において、学習（又は訓練）訓練ビデオ・データ３０２に対してプロセスのオブジェクト追跡を行い、動きの軌跡又はトラックを取得する。３０６において、取得された軌跡をパラメータ化し、分析パラメータが、３０４で決定されたトラックを表すように取得される。一実施形態において、決定されたトラックを均一の長さに分離又は切断し、２次多項式の係数を用いて各々の長さをモデル化し、係数の組のグループにより各々のトラックを表す。３０８において、クラスタ化技術を用いてトラックの係数をグループ化し、１１６の学習モデルを生成することによって、学習モデルを構築する。

検出プロセスにおいて、本実施形態の大域的異常検出モジュール１０３は、入力ビデオ１０２において、１１２においてオブジェクトを検出し、追跡する。１１４において追跡されるオブジェクトの特徴を抽出し、パラメータ化し、１１８において、抽出されたトラック・パラメータを学習モデル１１６に当てはめて（適合して）、学習正常トラック・モデル又は学習異常トラック・モデルのいずれかに対する類似性を見出す。１１８における適合プロセスの関数として、モジュールは、１２０においてオブジェクト・トラックが正常であるか又は異常であるかを判定し、これに応じて、３１８においてオブジェクト・トラックに関する大域的異常判定を行う。

部分セグメントに基づいて動きの軌跡をパラメータ化する前述の実施形態に加えて、本発明の実施形態による大域的モデルの他の実施形態は、軌跡全体の特性を利用する。１つの例は、Ｍ次多項式の係数の組（例えば、２次元の３次曲線）を用いて、軌跡をパラメータ化する。前述の実施形態と同様に、パラメータを訓練プロセスに与え、かつ、異常検出モジュールにおいて用いる。本発明のさらに別の実施形態において、軌跡は、例えば軌跡上の空間時間的特徴点（interest point）を用いるなど、非パラメトリック情報を用いて全体的に表すことができる。

本発明の実施形態では、局所的及び大域的異常判定出力２２８及び３１８を融合して又は他の方法で結合して（図１の１２２において）、最終的な異常判定を得る（図１の１２４において）。一例においては、異常判定出力は、以下のように結合される。

（ａ）｛Ｃ_Ｌ｝を局所的異常判定出力２２８として定義し、｛Ｃ_Ｇ｝を大域的異常判定出力３１８として定義する。

（ｂ）入力ビデオ・データ１０２内の入力移動軌跡｛Ｊ｝が与えられ、オブジェクトが通過する全てのビデオ・グリッド（４０４、図２）を一組のグリッド（４０４ａ、図２）｛Ｇ_１,．．．,Ｇ_ｎ｝として見出し、これらのグリッドの全ての局所的異常検出信頼度の正規化和：｛Ｓｕｍ_Ｌ（Ｊ）｝を見出す。

（ｃ）オブジェクト・トラックに関する合計した局所的異常尺度をその大域的信頼度に適用し、動的加重結合｛Ｆｉｎａｌ（Ｊ）＝ａ_ＬＳｕｍ_Ｌ（Ｊ）＋ａ_ＧＣ_Ｇ｝に従って全体的な異常検出信頼度を取得し、ここで係数｛ａ_Ｌ｝及び｛ａ_Ｇ｝は動的に求められ、それらの値は２つの学習モデルの分散に逆相関し、｛ａ_Ｌ＋ａ_Ｇ＝１｝を満たす。

当業者であれば、種々のプロセスを用いて局所的及び大域的異常判定出力を結合できることを認識するであろう。例証的であるが非網羅的な例は、線形加重和として又は対数変換の和等として値を結合するものであるが、本発明はここで説明された例に限定されると解釈されるべきではない。

従来技術の局所的特徴の異常発見方法は、一般に、生の特徴（例えば、オプティカル・フローの特徴、動的テクスチャ等）を直接抽出するものであり、これは意味論的意味をもたらすものではなく、多くの場合、特徴は空間的なものだけであり、動きのパターンの時間的変化をコード化しない。単一又は２つの連続したフレーム（このような従来技術において典型的であるような）から特徴を抽出するのとは対照的に、本発明の実施形態は、時間ウィンドウ内の動きの特徴を抽出し、これにより抽出された特徴における時間的変化を捕捉することが可能になる。さらに、低レベルの特徴に加えて、本発明の実施形態はまた、特徴を低次元空間に投影し、その結果、新しく得られた特徴はより多くの意味論的意味を有し、処理時間を短くすることができる。

さらに、従来技術の大域的特徴の異常発見方法は、一般に、トラック内の各点の座標を比較する、明示的なトラック表現による直接比較を行う。さらに、幾つかの従来技術の方法は、サブサンプリングされたバージョンを比較し、例えば、軌跡内の特定の「キー・ポイント」のみを比較する。これとは対照的に、本発明の実施形態は、軌跡のパラメトリック表現に対して、任意の長さ及び任意の形状を有するトラックを表すことができる２次係数の（又は他の適用可能な）組のグループを与える。

ここで図５を参照すると、本発明の実施形態の例示的なコンピュータ化された実施が、他のデバイス５０６（例えば、ビデオ・カメラ若しくはビデオ・サーバ、又は画像のデータベースを備えた記憶デバイス等）と通信するコンピュータ又は他のプログラム可能デバイス５２２を含み、このデバイス５０６は、例えば、コンピュータ・メモリ５１６、又はストレージ・システム５３２、或いはコンピュータ・ネットワーク・インフラストラクチャ５２６を通じてアクセスできる別のデバイス５０６若しくは他のコンピュータ可読ストレージ媒体内に常駐するコンピュータ可読コード内の命令５４２に応答して、画像を検索し、検索された画像を、図１乃至図４に関連して前述したようにクエリ属性に対して分類ランク付けする。従って、その命令が実施されるとき、図１乃至図４に関連して前述したように、処理ユニット（ＣＰＵ）５３８は、局所的及び大域的モジュールからの出力を組み合せることにより異常を検出することができる。

コンピュータ５２２は、種々のコンポーネントを含み、その一部がコンピュータ５２２内に示される。より具体的には、図示するように、コンピュータ５２２は、１つ又は複数の外部Ｉ／Ｏデバイス／リソース５２４、ストレージ・システム５３２、又は他のデバイス５２０と通信する処理ユニット（ＣＰＵ）５３８を含む。さらに、処理ユニット（ＣＰＵ）５３８は、単一の処理ユニットを含んでもよく、或いは、例えばクライアント及びサーバ上など、１つ又は複数の場所の１つ又は複数の処理ユニットにわたって分散させてもよい。同様に、メモリ５１６及び／又はストレージ・システム５３２は、１つ又は複数の物理的な場所に存在する様々なタイプのデータ・ストレージ及び／又は伝送媒体の任意の組み合わせを含むことができる。さらに、Ｉ／Ｏインターフェース５２４は、外部サーバ及び／又はクライアント（図示せず）のうちの１つ又は複数と情報を交換するための任意のシステムを含むこともできる。さらにまた、１つ又は複数の付加的なコンポーネント（例えば、システム・ソフトウェア、マス・コプロセッシング・ユニット（mass co-processing unit）等）（図示せず）をコンピュータ５２２内に含ませることもできることが理解される。

図６は、局所的及び大域的モジュールからの出力を組み合せることにより画像データにおける異常を検出する、本発明による物品６０１（例えば、プログラム可能デバイス、システムなど）を示す。従って、図１−図５及び上記の関連した説明資料を参照することにより理解されるように、オブジェクト検出器及び追跡器６１２は、ビデオ・データ画像フィールド内の軌跡におけるオブジェクトの移動を追跡する。軌跡特徴抽出器６１４は、ビデオ・データ画像フィールドから、オブジェクト軌跡に関する大域的画像特徴を抽出する。大域的異常判定器６１０は、オブジェクト軌跡に関する抽出された大域的画像特徴を学習軌跡モデルと比較して、抽出された大域的画像特徴の学習軌跡モデルへの適合性の関数として、大域的異常検出信頼度判定値を生成する。局所的グリッド特徴抽出器６０８は、ビデオ・データから、オブジェクト軌跡を含む画像フィールド・グリッドの各々についての特徴を抽出する。局所的異常判定器６１６は、オブジェクト軌跡を含むグリッドの各々についての抽出された局所的画像特徴を、オブジェクト軌跡を含むグリッドの各々についての学習特徴モデルと比較して、各グリッドに関する抽出された局所的画像特徴の学習特徴モデルへの適合性の関数として、オブジェクト軌跡を含むグリッドの各々についての局所的異常検出信頼度判定値を生成する。局所的−大域的判定融合器６１８は、局所的及び大域的異常検出信頼度判定値を融合して、追跡されるオブジェクトに対する融合異常判定を行う。画像フィールドを、空間時間領域内のグリッドのマトリックスとしてグリッドに分割するビデオ・フィールド分割器（segmenter）６０４をさらに設けることもできる。抽出された特徴の主要な分布から、正常パターン又は異常パターンのいずれかを定める学習特徴モデルを構築し、或いはパラメータ化された軌跡トラックの主要な分布から、正常パターン又は異常パターンのいずれかを定める学習軌跡モデルを構築し、融合異常判定の関数としてモデルを更新することができる、モデル構築器／更新器６０２を設けることもできる。

本発明の実施形態はまた、本発明のプロセス・ステップを、加入ベース、広告ベース、及び／又は料金ベースで実行することもできる。つまり、サービス提供者は、図１、図３又は図４に関連して前述したように、局所的及び大域的モジュールからの出力を組み合せることにより画像データにおける異常を検出するよう提案することができる。従って、サービス提供者は、ネットワーク・コンピュータ・システム５２２、ネットワーク環境５２６、及び／又は、１又は複数の顧客のために本発明のプロセス・ステップを実行する物品６０１（又はその一部）のようなコンピュータ・インフラストラクチャを作成し、維持し、サポートすることなどが可能である。その見返りとして、サービス提供者は、加入及び／又は料金契約の下で顧客から報酬を受け取ることができ、及び／又は、サービス提供者は、１又は複数の第三者への広告コンテンツの販売から報酬を受け取ることができる。サービスは、（１）コンピュータ可読媒体デバイス５１６、５２０又は５０６から、コンピュータ／デバイス５２２のようなコンピュータ・デバイス上にプログラム・コードをインストールすること、（２）１つ又は複数のコンピュータ・デバイスをコンピュータ・インフラストラクチャに付加すること、及び（３）コンピュータ・インフラストラクチャの１つ又は複数の既存システムを組み込み及び／又は変更し、コンピュータ・インフラストラクチャが本発明のプロセス・ステップを実行するのを可能にすること、のうちの１つ又は複数を含むことができる。

本明細書で用いられる用語は、特定の実施形態を説明する目的のためのものにすぎず、本発明を限定することを意図するものではない。本明細書で用いられるとき、単数形「１つの（ａ）」、「１つの（ａｎ）」及び「その（ｔｈｅ）」は、そうでないことが示されていない限り、複数形も含むことが意図されている。本明細書で用いられるとき、「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、提示された特徴、整数、ステップ、動作、要素、及び／又はコンポーネントの存在を特定するものであるが、１つ又は複数の他の特徴、整数、ステップ、動作、要素、コンポーネント、及び／又はそれらのグループの存在又は追加を排除するものではないことがさらに理解されるであろう。特許請求の範囲の請求項及び図に示されるようなものを含む、本明細書において説明された特定の例及び要素は、一意の形容詞によって他のものと区別すること又は他の方法で識別することができる（例えば、「第１の」要素は、複数の要素のうちの別の「第２の」又は「第３の」のものと区別され、「一次」は「二次」と区別され、又はある項目は「別の」項目と区別されるなど）。そのような識別形容詞は、一般に、混乱又は不確実性を減らすために用いられるものであり、特許請求の範囲をいずれかの特定の示される要素又は実施形態に限定するもの、又はいずれかの特許請求された要素、制限又はプロセス・ステップの何らかの優先度、順序付け又はランク付けを意味するものと解釈されるべきではない。

特許請求の範囲における全ての「手段又はステップと機能との組合せ（ミーンズ又はステップ・プラス・ファンクション）」要素の対応する構造、材料、動作及び均等物は、その機能を、明確に特許請求されているように他の特許請求された要素と組み合わせて実行するための、いかなる構造、材料又は動作をも含むことが意図される。本発明の説明は、例示及び説明の目的で提示されたものであるが、網羅的であることを意図するものではなく、本発明を開示された形態に限定することを意図するものでもない。本発明の範囲及び精神から逸脱することのない多くの変更及び変形が、当業者には明らかであろう。実施形態は、本発明の原理及び実際の用途を最も良く説明するため、及び、当業者が本発明を種々の変更を有する種々の実施形態について企図される特定の使用に適したものとして理解することを可能にするために、選択及び記載された。

１０１：局所的異常検出モジュール
１０２：ビデオ・データ入力
１０３：大域的異常検出モジュール
１０８、１２６：学習モデル
１１０：局所的異常検出信頼度判定値
１１６：学習軌跡モデル
１２０：大域的異常検出信頼度判定値
１２４：融合異常判定
２０６、３０２：訓練ビデオ・データ
２２８：局所的異常判定出力
３１８：大域的異常判定出力
４０２：画像フィールド
４０４、４０４ａ、４０４ｂ：グリッド
４０６：オブジェクトの軌跡
５０６、５２０：他のデバイス
５１６：コンピュータ・メモリ
５２０：コンピュータ可読媒体デバイス
５２２：コンピュータ又は他のプログラム可能デバイス
５２４：外部Ｉ／Ｏデバイス／リソース
５２６：コンピュータ・ネットワーク・インフラストラクチャ
５３２：記憶システム
５３８：処理ユニット（ＣＰＵ）
５４２：命令
６０１：物品
６０２：モデル構築器／更新器
６０４：ビデオ・フィールド分割器
６０８：局所的グリッド特徴抽出器
６１０：大域的異常判定器
６１２：オブジェクト検出追跡器
６１４：軌跡特徴抽出器
６１６：局所的異常判定器
６１８：局所的−大域的判定融合器

Claims

異常パターンの発見方法であって、
入力ビデオ・データ画像フィールド内の入力オブジェクトの移動を追跡して入力オブジェクト軌跡を決定するステップであって、入力ビデオ・データ画像フィールドは、マトリックスを規定する複数の異なるグリッドに分割され、入力オブジェクト軌跡は、複数の入力オブジェクト軌跡のグリッドを通過する、ステップと、
入力ビデオ・データの画像フィールドの入力オブジェクト軌跡のグリッドそれぞれから、軌跡に関する大域的な画像特徴及び局所的な画像特徴を抽出するステップと、
抽出された局所的な画像特徴を、グリッドのために定義される正常なパターンの分布又は異常なパターンの分布に適合させる関数として、入力オブジェクト軌跡のグリッドそれぞれについて異常分布検出信頼度判定値を生成するステップと、
正常な軌跡又は異常な軌跡を表す学習軌跡モデルに対する、抽出された大域的な画像特徴のパラメータ化された表現の類似性を導出する関数として、入力オブジェクト軌跡の軌跡類似値を生成するステップと、
追跡されるオブジェクト軌跡を含むグリッドについて、前記生成された異常分布検出信頼度判定値の正規化和を見出すステップと、
前記正規化和及び局所的係数の積と、前記軌跡類似値及び大域的係数の積との動的な重み付きの組み合わせとして、追跡されるオブジェクトの融合異常判定値を決定するステップであって、前記局所的係数及び大域的係数は、学習特徴モデル及び学習軌跡モデルの変動に逆相関する値から動的に求められ、前記局所的係数及び大域的係数の和は１である、ステップと
を含む方法。
訓練ビデオ・データの画像フィールドを、マトリックスを規定する複数のグリッドに分割するステップと、
複数のグリッドを介して訓練ビデオの画像フィールド内の訓練オブジェクトを経時的に追跡して、訓練オブジェクトの軌跡を決定するステップと、
分割された訓練ビデオ・データの画像フィールドの各グリッドから、訓練オブジェクト軌跡に関する大域的な訓練ビデオの画像特徴と、局所的な訓練ビデオの画像特徴とを経時的に抽出するステップと、
正常なパターンの分布を表す学習特徴モデルとして、各グリッドにおいて経時的に抽出された局所的な訓練ビデオの画像特徴の主要な分布を定義し、または、異常なパターンの分布を表す学習特徴モデルとして、各グリッドにおいて経時的に抽出された局所的な訓練ビデオの画像特徴の稀な分布を定義するステップと、
正常な軌跡又は異常な軌跡を表す学習軌跡モデルを構築するステップと
をさらに含む、請求項１に記載の方法。
異常分布検出信頼度判定値及び軌跡類似値のうちの少なくとも１つは、正常又は異常を示すバイナリ値である、請求項１に記載の方法。
前記複数の異なるグリッドは、空間時間領域において画像フィールドをグリッドのマトリックスに分割したものである、請求項１に記載の方法。
正常な軌跡又は異常な軌跡を表す学習軌跡モデルに対する、抽出された大域的な画像特徴のパラメータ化された表現の類似性を導出する関数として、入力オブジェクト軌跡の軌跡類似値を生成するステップは、
追跡されるオブジェクト軌跡を、均一の長さを有する複数の追跡されるオブジェクト軌跡トラックに分離するステップと、
２次多項式係数を用いて、前記追跡されるオブジェクト軌跡トラックをモデル化するステップと
を含む、請求項１に記載の方法。
学習軌跡モデルを構築するステップは、
訓練ビデオ入力内の訓練オブジェクト軌跡を、均一の長さを有する複数の訓練ビデオ・トラックに分離するステップと、
２次多項式係数を用いて、訓練ビデオ・トラックをモデル化するステップと、
訓練ビデオ・トラックからモデル化された２次多項式係数のクラスタ化されたグループとして、学習軌跡モデルを構築するステップと、
を含む、請求項２に記載の方法。
訓練ビデオ入力内で追跡される訓練オブジェクト軌跡の全体を表す順序付けられた多項式係数の組から学習軌跡モデルを構築するステップをさらに含み、
訓練オブジェクト軌跡に関する大域的な訓練ビデオ画像特徴を抽出するステップは、別の順序付けられた多項式係数の組を用いて、前記追跡される訓練オブジェクト軌跡の全体を表すステップを含む、請求項２に記載の方法。
訓練ビデオ入力内で追跡される訓練オブジェクト軌跡上の空間時間的特徴点から学習軌跡モデルを構築するステップをさらに含み、
訓練オブジェクト軌跡に関する大域的な訓練ビデオの画像特徴を抽出するステップは、追跡されるオブジェクト軌跡上の空間時間的特徴点を用いて、追跡されるオブジェクト軌跡を表すステップを含む、請求項２に記載の方法。
正常なパターンの分布及び異常なパターンの分布を表す学習特徴モデルの少なくとも１つを更新するステップをさらに含み、
学習軌跡モデルは、融合異常判定値の関数として、正常な軌跡又は異常な軌跡を表す、
請求項２に記載の方法。
プロセッサと、コンピュータ可読メモリと、コンピュータ可読ストレージ媒体とを備えるシステムであって、
前記プロセッサは、前記コンピュータ可読メモリを介して、前記コンピュータ可読ストレージ媒体に保存されたプログラム命令を実行した場合に、
入力ビデオ・データ画像フィールド内の入力オブジェクトの移動を追跡して入力オブジェクト軌跡を決定し、入力ビデオ・データ画像フィールドは、マトリックスを規定する複数の異なるグリッドに分割され、入力オブジェクト軌跡は、複数の入力オブジェクト軌跡のグリッドを通過し、
入力ビデオ・データの画像フィールドの入力オブジェクト軌跡のグリッドそれぞれから、軌跡に関する大域的な画像特徴及び局所的な画像特徴を抽出し、
抽出された局所的な画像特徴を、グリッドのために定義される正常なパターンの分布又は異常なパターンの分布に適合させる関数として、入力オブジェクト軌跡のグリッドそれぞれについて異常分布検出信頼度判定値を生成し、
正常な軌跡又は異常な軌跡を表す学習軌跡モデルに対する、抽出された大域的な画像特徴のパラメータ化された表現の類似性を導出する関数として、入力オブジェクト軌跡の軌跡類似値を生成し、
追跡されるオブジェクト軌跡を含むグリッドについて、前記生成された異常分布検出信頼度判定値の正規化和を見出し、
前記正規化和及び局所的係数の積と、前記軌跡類似値及び大域的係数の積との動的な重み付きの組み合わせとして、追跡されるオブジェクトの融合異常判定値を決定し、
前記局所的係数及び大域的係数は、学習特徴モデル及び学習軌跡モデルの変動に逆相関する値から動的に求められ、前記局所的係数及び大域的係数の和は１である、システム。
前記プロセッサはさらに、
追跡されるオブジェクト軌跡を、均一の長さを有する複数の追跡されるオブジェクト軌跡トラックに分離し、
２次多項式係数を用いて、前記追跡されるオブジェクト軌跡トラックをモデル化することにより、
正常な軌跡又は異常な軌跡を表す学習軌跡モデルに対する、抽出された大域的な画像特徴のパラメータ化された表現の類似性を導出する関数として、入力オブジェクト軌跡の軌跡類似値を生成する、請求項１０に記載のシステム。
前記プロセッサはさらに、
訓練ビデオ・データの画像フィールドを、マトリックスを規定する複数のグリッドに分割し、
複数のグリッドを介して訓練ビデオの画像フィールド内の訓練オブジェクトを経時的に追跡して、訓練オブジェクトの軌跡を決定し、
分割された訓練ビデオ・データの画像フィールドの各グリッドから、訓練オブジェクト軌跡に関する大域的な訓練ビデオの画像特徴と、局所的な訓練ビデオの画像特徴とを経時的に抽出し、
正常なパターンの分布を表す学習特徴モデルとして、各グリッドにおいて経時的に抽出された局所的な訓練ビデオの画像特徴の主要な分布を定義し、または、異常なパターンの分布を表す学習特徴モデルとして、各グリッドにおいて経時的に抽出された局所的な訓練ビデオの画像特徴の稀な分布を定義し、
正常な軌跡又は異常な軌跡を表す学習軌跡モデルを構築する、請求項１０に記載のシステム。
前記プロセッサはさらに、
訓練ビデオ入力内の訓練オブジェクト軌跡を、均一の長さを有する複数の訓練ビデオ・トラックに分離し、
２次多項式係数を用いて訓練ビデオ・トラックをモデル化し、
訓練ビデオ・トラックからモデル化された２次多項式係数のクラスタ化されたグループとして、学習軌跡モデルを構築することにより、
学習軌跡モデルを構築する、請求項１２に記載のシステム。
前記プロセッサはさらに、
訓練ビデオ入力内の訓練オブジェクト軌跡の全体を表す順序付けられた多項式係数の組から学習軌跡モデルを構築し、
訓練オブジェクト軌跡に関する大域的な訓練ビデオの画像特徴を抽出することは、別の順序付けられた多項式係数の組を用いて、前記追跡される訓練オブジェクト軌跡の全体を表すことを含む、請求項１２に記載のシステム。
前記プロセッサはさらに、
前記融合異常判定値の関数として、正常なパターンの分布又は異常なパターンの分布を表す学習特徴モデル、及び正常な軌跡又は異常な軌跡を表す学習軌跡モデルのうちの少なくとも１つを更新する、請求項１２に記載のシステム。
異常パターンを発見するコンピュータ可読プログラムコードを有し、プロセッサによって実行された場合に、前記プロセッサに対して、
入力ビデオ・データ画像フィールド内の入力オブジェクトの移動を追跡して入力オブジェクト軌跡を決定し、入力ビデオ・データ画像フィールドは、マトリックスを規定する複数の異なるグリッドに分割され、入力オブジェクト軌跡は、複数の入力オブジェクト軌跡のグリッドを通過させ、
入力ビデオ・データの画像フィールドの入力オブジェクト軌跡のグリッドそれぞれから、軌跡に関する大域的な画像特徴及び局所的な画像特徴を抽出させ、
抽出された局所的な画像特徴を、グリッドのために定義される正常なパターンの分布又は異常なパターンを表す学習特徴モデルに適合させる関数として、入力オブジェクト軌跡のグリッドそれぞれについて異常分布検出信頼度判定値を生成させ、
正常な軌跡又は異常な軌跡を表す学習軌跡モデルに対する、抽出された大域的な画像特徴のパラメータ化された表現の類似性を導出する関数として、入力オブジェクト軌跡の軌跡類似値を生成させ、
追跡されるオブジェクト軌跡を含むグリッドについて、前記生成された異常分布検出信頼度判定値の正規化和を見出させ、
前記正規化和及び局所的係数の積と、前記軌跡類似値及び大域的係数の積との動的な重み付きの組み合わせとして、前記追跡されるオブジェクトの融合異常判定値を決定させ、
前記局所的係数及び大域的係数は、学習特徴モデル及び学習軌跡モデルの変動に逆相関する値から動的に求められ、前記局所的係数及び大域的係数の和は１である、プログラム。
前記プロセッサに対してさらに
前記追跡されるオブジェクト軌跡を、均一の長さを有する複数の追跡されるオブジェクト軌跡トラックに分離させ、
２次多項式係数を用いて前記追跡されるオブジェクト軌跡トラックをモデル化させることにより、
正常な軌跡又は異常な軌跡を表す学習軌跡モデルに対する、抽出された大域的な画像特徴のパラメータ化された表現の類似性を導出する関数として、入力オブジェクト軌跡の軌跡類似値を生成させる、請求項１６に記載のプログラム。
前記プロセッサに対してさらに、
訓練ビデオ・データの画像フィールドを、マトリックスを規定する複数のグリッドに分割させ、
複数のグリッドを介して訓練ビデオの画像フィールド内の訓練オブジェクトを経時的に追跡させて、訓練オブジェクトの軌跡を決定させ、
分割された訓練ビデオ・データの画像フィールドの各グリッドから、訓練オブジェクト軌跡に関する大域的な訓練ビデオの画像特徴と、局所的な訓練ビデオの画像特徴とを経時的に抽出させ、
正常なパターンの分布を表す学習特徴モデルとして、各グリッドにおいて経時的に抽出された局所的な訓練ビデオの画像特徴の主要な分布を定義させ、または、異常なパターンの分布を表す学習特徴モデルとして、各グリッドにおいて経時的に抽出された局所的な訓練ビデオの画像特徴の稀な分布を定義させ、
正常な軌跡又は異常な軌跡を表す学習軌跡モデルを構築させる、請求項１６に記載のプログラム。
前記プロセッサに対してさらに、
訓練ビデオ入力内の訓練オブジェクト軌跡を、均一の長さを有する複数の訓練ビデオ・トラックに分離させ、
２次多項式係数を用いて訓練ビデオ・トラックをモデル化させ、
訓練ビデオ・トラックからモデル化された２次多項式係数のクラスタ化されたグループとして、学習軌跡モデルを構築させることにより、
学習軌跡モデルを構築させる、請求項１８に記載のプログラム。
前記プロセッサに対してさらに、
訓練ビデオ入力内の訓練オブジェクト軌跡の全体を表す順序付けられた多項式係数の組から学習軌跡モデルを構築させ、
訓練オブジェクト軌跡に関する大域的な訓練ビデオの画像特徴を抽出することは、別の順序付けられた多項式係数の組を用いて、前記追跡される訓練オブジェクト軌跡の全体を表すことを含む、請求項１８に記載のプログラム。
前記プロセッサに対してさらに、
前記融合異常判定値の関数として、正常なパターンの分布又は異常なパターンの分布を表す学習特徴モデル、及び正常な軌跡又は異常な軌跡を表す学習軌跡モデルのうちの少なくとも１つを更新させる、請求項１８に記載のプログラム。