JP5224401B2 - 監視システムおよび方法 - Google Patents

Description

本発明は、リアルタイムのマルチセンサ環境における挙動の進行および脅威パターンの自動化された検出および予測のための方法およびシステムに関する。

このセクション内の陳述は、本件開示に関係する背景情報を単に提供し、従来技術を構成していないこともあり得る。

ビデオ監視システムにおける最近の傾向は、生のストリーミング・ビデオ監視データから潜在的脅威を検出することが可能なビデオ解析コンポーネントの提供である。潜在的脅威の検出は、多くのカメラからの生のフィードをモニタして実際の脅威を検出する保安員を補助する。

従来の監視システムは、あらかじめ定義済みのパターンに基づいて潜在的脅威を検出する。動作するために、それぞれのカメラは、異常な挙動の検出特徴を操作員が手作業で構成することを必要とする。あらかじめ決定済みの異常パターンが検出されると、システムがアラームを生成する。これは、速度違反、流れに逆らう、異常な流れといった特定の異常パターンを検出するべく定義された複数の検出規則の感度調整において実質的な労力をしばしば必要とする。

その種のシステムは、それらの動作において効率的ではない。たとえば、それぞれのカメラの適正な構成には時間を要し、専門的な補助を必要とし、かつ展開コストを増加させる。加えて、可能性のあるあらゆる異常な挙動の定義および構成は、すべての可能性のある情況において列挙し、研究し、満足のいく解決策を開発することがあまりにも多くなり得るという事実に起因して現実的に可能ではない。

したがって、監視システムが提供されている。監視システムは、概して、センサ・データを収集するデータ取り込みモジュールを含む。スコアリング・エンジン・モジュールが、センサ・データを受信し、当該センサ・データ、少なくとも１つの動的にロードされる学習済みのデータ・モデル、および学習済みのスコアリング・メソッドに基づいて異常性スコアおよび正常性スコアのうちの少なくとも１つを計算する。意志決定モジュールが、異常性スコアおよび正常性スコアのうちの少なくとも１つを受信し、異常性スコアおよび正常性スコアのうちの当該少なくとも１つ、および学習済みの意志決定メソッドに基づいて、進行性の挙動および脅威検出をもたらすべくアラート・メッセージを生成する。

そのほかの適用性の分野は、ここに提供されている説明から明らかになるであろう。理解されるものとするが、説明および特定の例は、例証の目的だけのために意図されており、本件開示の範囲を限定する意図ではない。

この中で説明されている図面は、例証の目的だけのためのものであり、いかなる形においても本件教示の範囲を限定する意図はない。

本件教示の多様な態様に従った例示的な監視システムを図解したブロック図である。 本件教示の多様な態様に従った監視システムの例示的なコンポーネントを図解したデータフロー図である。 本件教示の多様な態様に従った監視システムの例示的なモデル・ビルダ・モジュールを図解したデータフロー図である。 本件教示の多様な態様に従った監視システムの例示的なモデルを図解した説明図である。 本件教示の多様な態様に従った監視システムの例示的なカメラを図解したデータフロー図である。 本件教示の多様な態様に従ったカメラの例示的な意志決定モジュールを図解したデータフロー図である。 本件教示の多様な態様に従ったカメラの別の例示的な意志決定モジュールを図解したデータフロー図である。 本件教示の多様な態様に従った監視システムの例示的なアラーム取り扱いモジュールを図解したデータフロー図である。 本件教示の多様な態様に従った監視システムの例示的な学習モジュールを図解したデータフロー図である。 本件教示の多様な態様に従った監視システムの例示的なシステム構成モジュールを図解したデータフロー図である。

以下の説明は、本質的に例示に過ぎず、本件教示、それらの応用、または用途を限定することは意図されていない。理解されるものとするが、図面全体を通じて対応する参照番号は、類似または対応する部品および特徴を示す。ここで使用されるとき、用語のモジュールまたはサブ−モジュールは、１つまたは複数のソフトウエアまたはファームウエア・プログラムを実行するプロセッサ（共有、専用、またはグループ）およびメモリ、および／または説明されている機能を提供可能なそのほかの適切なコンポーネント、および／またはそれらの組み合わせを言うことができる。

ここで図１を参照するが、図１は、本件教示の多様な態様に従って実装される例示的な監視システム１０を図示する。例示的な監視システム１０は、１つまたは複数のセンサ・デバイス１２ａ〜１２ｎを含む。センサ・デバイス１２ａ〜１２ｎは、センサ・デバイス１２ａ〜１２ｎによって検知された情報に対応するセンサ・データ１４ａ〜１４ｎを生成する。監視モジュール１６がセンサ・データ１４ａ〜１４ｎを受信し、本件教示の多様な態様に従ってセンサ・データ１４ａ〜１４ｎを処理する。概して言えば、監視モジュール１６は、センサ・データ１４ａ〜１４ｎから疑わしい挙動を自動的に認識し、異常性スコアの予測に基づいてアラーム・メッセージ１８をユーザに対して生成する。

本件教示の多様な態様においては、図１に示されているとおり、単一の監視モジュール１６が実装され、それぞれのセンサ・デバイス１２ａ〜１２ｎから隔てて配置されることが可能である。本件教示の多様なそのほかの態様においては、複数の監視モジュール（図示せず）を、それぞれのセンサ・デバイス１２ａ〜１２ｎについて１つとして実装することができる。本件教示の多様なそのほかの態様においては、監視モジュール１６の機能がサブ−モジュールに分割されることがあり、それにおいては、図２に示されているとおり、いくつかのサブ−モジュールがセンサ・デバイス１２ａ〜１２ｎ上に実装され、そのほかのサブ−モジュールがセンサ・デバイス１２ａ〜１２ｎから隔てて実装される。

ここで図２を参照すると、データフロー図が、本件教示の多様な態様に従って実装される、より詳細な例示的な監視システム１０を図解している。例示目的のために、この開示の残りの部分を、１つまたは複数のカメラ２０ａ〜２０ｎのセンサ・デバイス１２ａ〜１
２ｎ（図１）としての使用に関連して論ずる。図２に示されているとおり、それぞれのカメラ２０ａ〜２０ｎは、画像取り込みモジュール２２、ビデオ解析モジュール８０、スコアリング・エンジン・モジュール２４、意志決定モジュール２６、およびデバイス構成モジュール２８を含む。

画像取り込みモジュール２２は、シーンに対応する画像データとしてセンサ・データ１４ａ〜１４ｎを収集し、ビデオ解析モジュール８０が当該画像データを処理してそのシーンから物体メタデータ３０を抽出する。スコアリング・エンジン・モジュール２４は、物体メタデータ３０を受信し、スコア３４とも呼ばれる異常性または正常性の測度を、学習済みのモデル３２に基づいて作り出す。

意志決定モジュール２６は、スコア３４を収集し、物体データ３０のためのアラート・レベルを決定する。意志決定モジュール２６は、当該アラート・レベルを含むアラート・メッセージ３６ｎを、その先の処理のための外部コンポーネントに送信する。意志決定モジュール２６は、ほかのカメラ２０ａ、２０ｂの意志決定モジュール２６とスコア３４および物体データ３０を交換して動きのある物体についての予測を生成することが可能である。デバイス構成モジュール２８は、カメラ２０ｎに関連付け可能な多様なモデル３２、スコアリング・エンジン・メソッド５２、意志決定メソッド５０、および／または意志決定パラメータ５１をロードし、管理する。

監視システム１０は、アラーム取り扱いモジュール３８、監視グラフィカル・ユーザ・インターフェース（ＧＵＩ）４０、システム構成モジュール４２、学習モジュール４４、およびモデル・ビルダ・モジュール４６も含むことが可能である。示されているとおり、その種のコンポーネントは、カメラ２０ａ〜２０ｎから隔てて配置されることが可能である。アラーム取り扱いモジュール３８は、カメラ２０ａ〜２０ｎからのアラート・メッセージ３６ａ〜３６ｎを再評価し、アラーム・メッセージ１８をディスパッチする。アラーム取り扱いモジュール３８は、監視ＧＵＩ４０を介してユーザとインタラクションしてアラーム・メッセージ１８をディスパッチするか、かつ／またはアラーム確認応答動作の間に分類誤りデータ４８を収集する。

学習モジュール４４は、意志決定メソッド５０およびパラメータ５１、および／またはスコアリング・エンジン・メソッド５２を、ユーザから収集された分類誤りデータ４８を使用することによって、それぞれのカメラ２０ａ〜２０ｎのために適合させる。さらに進んだ議論を後述するように、意志決定メソッド５０は、それぞれのスコアリング・エンジンメソッド５２のために自動的に学習および最適化され、潜在的な出来事の予測をサポートし、検出の正確さを増加し、偽アラームの数を低減する。意志決定メソッド５０は、スコア３４をはじめ、以前のスコアリング結果、物体履歴データ等を融合させて最終アラート決定に到達する。

モデル・ビルダ・モジュール４６は、正常および／または異常状態を表すモデル３２を、収集した物体データ３０に基づいて構築する。システム構成モジュール４２は、カメラ２０ａ〜２０ｎについてモデル３２、意志決定メソッド５０およびパラメータ５１、およびスコアリング・エンジン・メソッド５２を管理し、メソッドおよびデータ３２、５０、５１、５２を適切なカメラ２０ａ〜２０ｎにアップロードする。

ここで図３〜１０を参照するが、それぞれ図は、監視システム１０のコンポーネントの、より詳細な例示的な図解を提供する。より詳細に述べれば、図３は、本件教示の多様な態様に従った、より詳細な例示的なモデル・ビルダ・モジュール４６である。示されているとおり、モデル・ビルダ・モジュール４６は、モデル初期化モジュール６０、モデル初期化グラフィカル・ユーザ・インターフェース６２、モデル学習モジュール６４、画像デ
ータ・データストア６６、モデル・メソッド・データストア６８、およびモデル・データ・データストア７０を含む。

モデル初期化モジュール６０は、ユーザからドメイン知識を取り込み、システム・コンポーネントの初期構成（すなわち、最適化されたモデル、最適化されたスコアリング関数、最適化された意志決定関数等）を提供する。特にモデル初期化モジュール６０は、モデル初期化ＧＵＩ６２を介してユーザから受信される入力７４に基づいて、それぞれのカメラ２０ａ〜２０ｎ（図２）のための初期モデル３２を構築する。たとえば、モデル初期化ＧＵＩ６２がカメラからの画像データに基づいてシーンを表示し、したがってカメラ視野内の物体の期待される動きを記述するユーザが理解容易な情況を提供する。画像データは、画像データ・データストア６６から受け取ることができる。モデル初期化ＧＵＩ６２を使用し、ユーザは、所定のシーン内の移動物体のランダムな軌跡をシミュレーションする動きパラメータ７２を入力できる。軌跡は、正常または異常状態を表すことができる。その後、モデル初期化モジュール６０が軌跡をシミュレーションし、シーン内のシミュレーションされた軌跡からデータを抽出してモデル３２を構築する。生成されたシミュレーションによるメタデータは、選択されたビデオ解析モジュール８０（図２）の期待出力に対応する。

モデル初期化モジュール６０は、モデル・メソッド・データストア６８内にストアされたあらかじめ定義済みのモデル・ビルダ・メソッドから最適化されたモデル３２を構築する。本件教示の多様な態様においては、特定の意志決定メソッド５０（図２）、意志決定メソッド５０の構成パラメータ５１（図２）、スコアリング・エンジン・メソッド５２のセット（図２）、および／またはスコアリング・エンジン・メソッドの構成パラメータを選択するモデル・ビルダ・メソッドに従って、モデル初期化モジュール６０が最適構成を構築する。

本件教示の多様な態様においては、表示されたシーン内にあらかじめ定義済みの物体を挿入するオプションをモデル初期化ＧＵＩ６２がユーザに提供できる。その後モデル初期化モジュール６０が、そのあらかじめ定義済みの物体を、検証目的のための軌跡経路に沿ってシミュレーションする。ユーザがその軌跡経路に満足した場合には、そのモデル３２が、モデル・データ・データストア７０内にストアされる。そうでない場合にユーザは、シミュレーションにユーザが満足するまで軌跡パラメータを、したがってモデル３２を反復的に調整することができる。

その後、モデル学習モジュール６４が、収集された物体データ３０を使用し、かつモデル・メソッド・データストア６８内にストアされている多様なモデル・ビルダ・メソッドを基礎とすることによって、それぞれのカメラ２０ａ〜２０ｎ（図２）のためのモデル３２を自動的に適合させることができる。モデル学習モジュール６４は、適合させたモデル３２をモデル・データ・データストア７０内にストアする。

認識できるとおり、多様なモデル構築メソッドをモデル・メソッド・データストア６８内にストアし、モデル・ビルダ・モジュール４６が、モデル・タイプに基づいてそれぞれの物体についての多数のモデル３２を構築することを可能にすることができる。たとえば、限定ではないが多様なモデルは、速度モデル、加速度モデル、発生モデル、入口／出口ゾーン・モデル、方向性速度プロファイル・モデル、および軌跡モデルを含むことができる。これらのモデルは、すべての観察される物体をはじめ、種々のタイプの物体のために構築が可能である。図４に示されているとおり、それぞれのモデル３２のためのデータは、多次元配列構造７１（すなわち、データ・キューブ）として表現されることが可能であり、それにおいてはそれぞれの要素が固有空間直方体（３Ｄにおいては超直方体）および時間区間を参照する。本件教示の多様な態様においては、モデル３２が、予測モデル・マ
ークアップ言語（ＰＭＭＬ）および監視システムのためのそれの拡張形式に従って表される。

本件教示の多様な態様においては、発生モデルが、空間および時間の次元における物体の検出確率を記述する。発生データ・キューブのそれぞれの要素が、特定の時間区間においてシーン内の特定の場所で物体を検出する確率を表す。認識できるとおり、時間を加えた３次元の発生データ・キューブは、複数のカメラ２０ａ〜２０ｎ（図２）から獲得が可能である。速度モデルは類似に構築が可能であり、それにおいては、速度データ・キューブのそれぞれのセルが、（ｄｘ，ｄｙ）のガウス分布またはガウス分布の混合を表すことができる。これらのパラメータは、帰納式を用いて学習可能である。速度データ・キューブと同様に、加速度データ・キューブのそれぞれのセルは、（（ｄｘ）’，（ｄｙ）’）のガウス分布をストアする。入口／出口ゾーン・モデルは、シーンの、物体が最初に検出される領域および最後に検出される領域をモデリングする。これらのエリアは、ガウス・モデルの混合によってモデリング可能である。それらの場所は、Ｋ−平均法、期待値最大化（ＥＭ）法等のクラスタリング法の適用によって、それぞれの検出された物体の最初と最後の通過跡ポイントから生成できる。

軌跡モデルは、ビデオ解析モジュール８０（図２）から獲得された物体メタデータ３０を伴う入口および出口領域を使用することによって構築することが可能である。多様な態様においては、それぞれの入口−出口領域が、観察された動いている物体によって使用されるサイト内のセグメントを定義する。それぞれのセグメントの表現は、曲線の当て嵌め、回帰等の方法を、リアルタイムでカメラから収集されるか、またはシミュレーションによる物体データに使用することによって獲得できる。それぞれの入口および出口領域が時間区間を含むことから、セグメントもまた関連する時間区間を含む。

方向性モデルは、物体の動きをサイト内の領域に関して表す。特に、それぞれのセルが、そのセル内の特定の方向に従う確率、速度および加速度等の空間時間的領域（セル）内における測定の統計的表現を含む。セルは、入口領域、出口領域、軌跡モデル、および監視下にあるサイトのグローバル・データ・キューブ・モデルへの特定のリンクを含むことができる。セルは、空間時間的領域固有の最適化されたスコアリング・エンジン・メソッドをはじめユーザ指定のスコアリング・エンジン・メソッドを含むことができる。データ・キューブの次元は一様なグリッド構造で図示されているが、非一様な区間が最適モデル表現に重要となり得ることが認識される。可変長区間をはじめ、クラスタ化／セグメント化された非剛性空間時間的形状記述子（すなわち、３Ｄ／４Ｄ形状記述）をモデル縮小のために使用することが可能である。さらにまた、セルへの効率的なアクセスのために多次元インデクス設定方法（Ｒ−ツリー、Ｘ−ツリー、ＳＲ−ツリー、等）を使用してモデル３２をストアすることができる。

認識できるとおり、データ・キューブ構造は、それぞれのセル内の統計的属性の予測モデリングを、データ・キューブ内にストアされている速度および加速度属性に基づいて観察される物体の移動軌跡が予測可能となるようにサポートする。たとえば、移動物体の過去の履歴の統計的解析を基礎として、場所（Ｘ１，Ｙ１）内において検出された任意の物体が、Ｔ秒後に場所（Ｘ２，Ｙ２）に移動することが履歴データに基づくと非常にありがちなことがある。場所（Ｘ１，Ｙ１）内において新しい物体が観察されるとき、それがＴ秒後に場所（Ｘ２，Ｙ２）に移動することはありがちである。

ここで図５を参照すると、本件教示の多様な態様に従った監視システム１０の、より詳細な例示的なカメラ２０が図解されている。カメラ２０は、示されているとおり、画像取り込みモジュール２２、ビデオ解析モジュール８０、スコアリング・エンジン・モジュール２４、意志決定モジュール２６、デバイス構成モジュール２８、物体履歴データストア
８２、カメラ・モデル・データストア９２、スコアリング・エンジン・スコア履歴データストア８４、パラメータ・データストア９０、決定メソッド・データストア８８、およびスコアリング・メソッド・データストア８６を含む。

上で論じたとおり、画像取り込みモジュール２２は、センサ・データ１４から画像データ９３を取り込む。画像データ９３は、物体およびその物体の性状を抽出するためにビデオ解析モジュール８０に渡される。より詳細に述べれば、ビデオ解析モジュール８０は、物体検出ベクトル

（以下、本明細書では当該ベクトルを「ｏ⁻」とも記載する。）
の形式で物体データ３０を作り出すことが可能であり、それが、物体識別子（物体ごとの一意的なキー値）、画像平面内における物体の中心位置（ｘ，ｙ）、タイムスタンプ、画像平面内における最小バウンディング・ボックス（ＭＢＢ）（ｘ．ｌｏｗ，ｙ．ｌｏｗ，ｘ．ｕｐｐｅｒ，ｙ．ｕｐｐｅｒ）、検出された物体に属するピクセルを指定するバイナリ・マスク・マトリクス、検出された物体の画像データ、および／または検出された物体のそのほかの何らかの性状、たとえばメタデータ・フォーマット（すなわち、ＭＰＥＧ７標準および監視のためのそれの拡張形式）によって指定される視覚的記述子等を含む。物体データ３０は、スコアリング・エンジン（ＳＥ）モジュール２４に送られ、物体履歴データストア８２内に保存されることが可能である。

本件教示の多様な態様においては、ビデオ解析モジュール８０が、カメラ・モデル・データストア９２のモデル３２に、たとえば物体追跡方法の正確さを向上させるためにアクセスすることができる。上で論じたとおり、モデル３２は、デバイス構成モジュール２８を介してカメラ２０のカメラ・モデル・データストア９２にロードされる。デバイス構成モジュールはまた、スコアリング・エンジン・モジュール２４、意志決定モジュール２６をインスタンス生成し、進行性の挙動および脅威検出のための物体データ３０の処理に関係するモジュールの間の通信チャンネルを準備する。

スコアリング・エンジン・モジュール２４は、特定の物体の、シーン内におけるその物体の発生、その物体の速度、およびその物体の加速度といった特徴について１つまたは複数のスコア３４を生成する。多様な態様においては、スコアリング・エンジン・モジュールが、次の機能を実行する複数のスコアリング・エンジン・サブ−モジュールを含む。スコアリング・エンジン・モジュール２４は、特定のスコアリング・エンジン・メソッド５２をスコアリング・メソッド・データストア８６から、モデル・タイプおよびスコア付けされることになる物体の特徴に基づいて選択する。多様な例示的なスコアリング・エンジン・メソッド５２を、添付の付録Ａ内に見つけることができる。それらのスコアリング・エンジン・メソッド５２は、デバイス構成モジュール２８を介してスコアリング・メソッド・データストア８６にロードされる。

それぞれの検出された物体のスコア３４は、蓄積されて場所（Ｘ０，Ｙ０）における進行性の脅威またはアラート・レベルをリアルタイムで獲得することができる。さらに、データ・キューブ内にストアされている予測モデルを使用して、最初に物体の移動軌跡を予測し、その軌跡に沿ってその物体のスコアを計算することによって前もって物体のスコア３４を計算することが可能である。その結果としてシステムは、脅威のレベルの変化を、それが起きる前に予測し、予防的なアラート・メッセージ生成をサポートすることができる。この前方予測は、近い将来に予測される物体の性状（場所、速度等）をはじめ、スコアリング結果の傾向解析を含むことができる。

スコア３４の決定は、モデル３２、物体データ３０、スコア履歴データ３４、およびいくつかの場合における物体履歴データストア８２からの物体履歴データ、いくつかの関心領域（ユーザによって定義される）、およびそれらの多様な組み合わせに基づくことができる。認識できるとおり、スコア３４は、異常性の測度を表すスカラー値とすることができる。本件教示の多様なそのほかの態様においては、スコア３４が２つまたはそれより多くのスカラー値を含むことが可能である。たとえばスコア３４が、正常性の測度および／または信頼性レベル、および／または異常性の測度および／または信頼性レベルを含むことができる。スコア・データ３４は、意志決定モジュール２６に渡されるか、かつ／またはタイムスタンプとともにＳＥスコア履歴データストア８４にストアされる。

その後、意志決定モジュール２６が、所定の物体検出イベント・データ（ｏ⁻）についてのスコアリング・エンジン・モジュール２４からのスコア３４の融合に基づいてアラート・メッセージ３６を生成する。意志決定モジュールは、履歴のスコア・データ３４および物体データ３０を、融合の間に使用することができる。意志決定モジュール２６は、決定メソッド・データストア８８にストアされる多様な意志決定メソッド５０に従って実装することが可能である。その種の意志決定メソッド５０は、デバイス構成モジュール２８を介してカメラ２０にロードできる。本件教示の多様な態様においては、図６に示されているとおり、アラート・メッセージ３６が、次式によって示されるところの重み付けされたスコアの和の関数として計算される。

これにおいてｗは、時間（ｔ）および空間次元（ＸＹ）に基づくそれぞれのスコアのための重みを表す。本件教示の多様な態様においては、データ・キューブの次元が数において多様化可能であり、たとえばＸＹＺ空間次元とし得る。重み（ｗ）は、あらかじめ構成されるか、または適応的に学習されて、デバイス構成モジュール２８を介してパラメータ・データストア９０にロードされることが可能である。本件教示の多様なそのほかの態様においては、アラート・メッセージ３６が、図７に示されているとおり、決定ツリー・ベースの方法に基づいて決定される。この決定ツリー・ベースの方法は、監視プロセス全体を通じて適応的に学習させることが可能である。

意志決定モジュール２６が多様な意志決定メソッド５０に従って実装可能であることから、意志決定モジュールは、たとえば予測モデル・マークアップ言語の拡張形式等のＸＭＬベースの表現を使用することによって宣言形式で好ましく定義される。これは、学習モジュール４４が多様なパラメータ（上で説明したところの重みおよび決定ツリー等）を変更し、意志決定メソッドもまた然りであることから、学習モジュール４４が意志決定モジュールの正確さを向上させることを可能にする。

本件教示の多様な態様においては、意志決定モジュール２６が、進行性の挙動および脅威検出のために早期警告アラート・メッセージの生成が可能な予測を生成することができる。たとえば意志決定モジュール２６は、軌跡モデル３２に基づいて、動いている物体についての予測を生成することができる。動いている物体の将来の場所の予測は、意志決定モジュール２６が、動いている２つの物体が衝突するか否かを識別することを可能にする。衝突がもっともらしい場合には、意志決定モジュール２６が、物体がどこで衝突することになるか、物体がいつ衝突することになるかを予測することをはじめ、アラート・メッセージ３６を生成して可能性のある事故を防止することが可能である。

上で論じたとおり、監視システム１０内のカメラ２０ａ〜２０ｎの間における協働的な
意志決定を可能にするために、意志決定モジュール２６は、ほかのカメラ２０ａ、２０ｂ（図２）またはデバイス内で動作する意志決定モジュール２６等の、ほかの意志決定モジュール２６とデータを交換することができる。ほかのカメラ２０ａ、２０ｂ（図２）によって検出された疑わしい物体の物体データ３０およびスコア３４は、それぞれ物体履歴データストア８２およびＳＥスコア履歴データストア８４にストアすることができる。したがって、疑わしい物体の履歴を提供し、意志決定モジュール２６による解析を向上させる。

ここで図８を参照すると、データフロー図が、本件教示の多様な態様に従った監視システム１０の、より詳細な例示的なアラーム取り扱いモジュール３８を図解している。アラーム取り扱いモジュール３８は、アラート・メッセージ３６を収集し、それぞれの新しく検出された物体の『脅威』構造を作る。脅威構造は、検出された物体に関連付けされた時間的性状の維持をはじめ、検出された物体とそのほかのあらかじめストアされた性状、および獲得された性状（顔認識の結果等）の関連付けを行う。アラーム取り扱いモジュール３８は、受信したアラート・メッセージ３６を、脅威構造内の物体の収集済み性状および追加のシステム構成を使用することによって再評価し、アラームのレベルを決定する。アラーム取り扱いモジュールは、アラームを生成することなくアラート・メッセージをフィルタリングすることをはじめ、望ましい場合にはアラーム・レベルを増加することができる。

より詳細に述べれば、アラーム取り扱いモジュール３８は、脅威データ・データストア９８、規則ベースの異常性評価モジュール９４、規則データストア１００、および動的規則ベースのアラーム取り扱いモジュール９６を含むことができる。認識できるとおり、規則ベースの異常性評価モジュール９４は、センサ・デバイス内に定義される意志決定モジュール２６（図２）の別の形式であると考えることが可能である。したがって、意志決定モジュール２６に関連付けされたすべての説明／動作は、規則ベースの異常性評価モジュール９４に適用可能である。たとえば、規則ベースの異常性評価モジュール９４のための意志決定は、監視のための予測モデル・マークアップ言語の拡張された形式で宣言的に定義することが可能である。脅威データ・データストア９８は、物体データ・スコア３４、および識別された物体に関連付けが可能な追加の性状をストアする。その種の追加の性状は、特定の脅威の識別に適用できるとすることが可能であり、かつ限定ではないが、顔認識特性またはナンバー・プレートの番号等の人またはアイテムのアイデンティティ認識特性、および雇用地位または犯罪者アイデンティティ等の物体の属性を含むことができる。

規則データストア１００は、動的に構成可能かつ検出された物体の追加の評価に使用可能な規則をストアする。その種の評価規則は、たとえば、限定ではないが、許容可能な物体を、たとえ疑わしいとしてそれらが識別されたとしても、識別する規則、より高いアラート・レベルを認識済み物体に関連付けする規則、および物体が同時に２つの異なるシーン内に存在するときに疑わしいとしてその物体を認識する規則を含むことができる。

規則ベースの異常性評価モジュール９４は、追加の性状と検出された物体を、脅威データ・データストア９８からの物体データに基づいて関連付けする。規則ベースの異常性評価モジュール９４は、その後、この追加の情報および評価規則を使用して潜在的脅威および対応するアラート・レベルを再評価する。たとえば、規則ベースの異常性評価モジュール９４が、その物体を勤務時間外の間にシーン内を横切る保安監視員として識別することができる。構成可能な規則および動作に基づいて、規則ベースの異常性評価モジュール９４は、たとえ勤務時間外における人の検出が疑わしいとしても、アラート・メッセージ３６を無視してアラーム・メッセージ１８がディスパッチされることを妨げることが可能である。

動的規則ベースのアラーム取り扱いモジュール９６は、アラート・イベント１０２をアラーム・メッセージ１８およびそれの追加のデータの形式で、監視ＧＵＩ４０（図２）および／またはアラーム・ロギング・モジュール（図示せず）等の関心モジュールに対してディスパッチする。動的規則ベースのアラーム取り扱いモジュール９６が監視ＧＵＩ ４０を介してアラーム・メッセージ１８をディスパッチするときには、ユーザが、当該アラームへの同意または不同意によって追加のフィードバックを提供することができる。フィードバックは、ユーザによって分類誤りデータ４８として、同意されたケースまたは同意されなかったケースの形式で学習モジュール４４（図２）に提供される。これは、監視システム１０が、システム・コンポーネント（すなわち、モデル３２、スコアリング・エンジン・メソッド５２、意志決定メソッド５０、規則等（図２））をさらに最適化するためにデータのセットを収集することを可能にする。

ここで図９を参照するが、データフロー図が、本件教示の多様な態様に従った監視システム１０の、より詳細な例示的な学習モジュール４４を図解している。学習モジュール４４は、スコアリング・エンジン・メソッド５２、意志決定メソッド５０、および関連する、空間時間的重み等のパラメータ５１を、学習済みの分類誤りデータ４８に基づいて最適化する。

たとえば学習モジュール４４は、意志決定メソッド５０、モデル３２、スコアリング・エンジン・メソッド５２、パラメータ５１を、システム構成モジュール４２から検索する。学習モジュール４４は、学習メソッド・データストア１０６から１つまたは複数の適切な学習メソッドを選択する。学習メソッドは、特定の意志決定メソッド５０との関連付けが可能である。学習メソッドに基づいて、学習モジュール４４は、意志決定メソッド５０およびカメラからの物体データ３０を、分類誤りデータ４８に照らして再検査する。学習モジュールは、意志決定動作における誤りを最小化するべくパラメータ５１を調整することができる。認識できるとおり、１を超える学習メソッドが意志決定メソッド５０に関連付けされている場合には、学習モジュール４４が、それぞれのメソッド５０について上記の再検査を実行し、最良結果またはそれらの何らかの組み合わせを使用してパラメータ５１を調整する。

ここで図１０を参照するが、データフロー図が、本件教示の多様な態様に従った監視システム１０の、より詳細な例示的なシステム構成モジュール４２を図解している。システム構成モジュール４２は、示されているとおり、カメラ構成モジュール１１０、情報アップロード・モジュール１１２、およびカメラ構成データストア１１４を含む。

カメラ構成モジュール１１０は、モデル３２、スコアリング・エンジン・メソッド５２、および意志決定メソッド５０およびパラメータ５１を、監視システム１０内のカメラ２０ａ〜２０ｎ（図２）のそれぞれと関連付けする。カメラ構成モジュール１１０は、システム内のデバイス（カメラ、エンコーダ、レコーダ、虹彩認識デバイス等）についてのネットワーク・レベル情報およびユーザ・アカウントといった、カメラ構成データストア１１４からの追加のシステム構成データを受け入れ、かつ関連付けすることができる。カメラ構成モジュール１１０は、結合データ１１６を生成する。

情報アップロード・モジュール１１２は、要求時に、カメラ２０ａ〜２０ｎ（図２）の結合データ１１６に基づいてモデル３２、スコアリング・エンジン・メソッド５２、および意志決定メソッド５０およびパラメータ５１をデバイス構成モジュール２８（図２）に提供する。本件教示の多様な態様においては、スケジュールされた間隔で、カメラ２０ａ〜２０ｎのデバイス構成モジュール２８（図２）に、モデル３２、スコアリング・エンジン・メソッド５２、意志決定メソッド５０およびパラメータ５１を提供するべく情報アップロード・モジュール１１２を構成することが可能である。

当業者は、この開示の広い教示が多様な形式で実装され得ることを以上の説明から認識できよう。したがって、この開示がそれの特定の例に関連して述べられているが、開示の真の範囲は、このほかの修正が、図面、明細書、および以下の特許請求の範囲を研究したときに当業者に明らかになることから、そのように限定されるべきではない。

（付録Ａ）
１． 発生ベースのスコアリング・メソッド
発生モデルは、［ｔ，ｘ，ｙ］（時間および空間）における物体の検出が期待されるか否かを要約する。
期待される結果
１． セル［ｔ，ｘ，ｙ］においてその種の活動があるべきではない場合に、場所（［ｔ，ｘ，ｙ］）において物体が検出される。
２． 同じ物体の通過跡が２つの異なる時間で使用される（１つの時間区間はＯＫとし、別の時間区間はＯＫとしないか、または少なくとも人員によるその活動の調査を必要とする）。
ＳＥ＿ＡＬＧ１
メソッド：
物体の現在の場所に関連付けされた現在の発生確率と、最後の３つの時間スライスから獲得された発生確率の平均値を比較する。
物体の現在の場所に関連付けされた発生確率が発生確率の平均値より小さいときには、アルゴリズムが、当該平均値からの距離を使用することによって異常性スコアを割り当てる。
入力：ｏ⁻＝［ｏｉｄ，ｔ，ｘ，ｙ］
出力：［０．．ＭＡＸ＿ＴＨＲＥＡＴ＿ＳＣＯＲＥ］内の脅威スコア
ｏ⁻＝［ｏｉｄ，ｔ，ｘ，ｙ］についての組み合わせ発生モデルの計算
データ・キューブ（Ｏ_{（ｔ−２）}，Ｏ_{（ｔ−ｉ）}，Ｏ_ｔ）から（ｔ−２）、（ｔ−１）、およびｔについての発生時間スライスを選択する。

ｏ⁻＝［ｏｉｄ，ｔ，ｘ，ｙ］についての平均発生確率の計算
ＣｏｍｂｉｎｅｄＯｃｃｕｒｅｎｃｅから非ゼロのエントリの平均値を求める

１．１ ＳＥ＿ＯＳＥ１
メソッド：
物体の現在の場所に関連付けされた現在の発生確率と、現在の時間スライスにおける発生確率の平均値を比較する。
物体の現在の場所に関連付けされた発生確率が発生確率の平均値より小さいときには、アルゴリズムが、発生確率の標準偏差によって除した当該平均値からの距離を使用することによって異常性スコアを割り当てる。
入力：ｏ⁻＝［ｏｉｄ，ｔ，ｘ，ｙ］
出力：［０．．ＭＡＸ＿ＴＨＲＥＡＴ＿ＳＣＯＲＥ］内の脅威スコア

１．２ ＳＥ＿ＯＳＥ３
メソッド：
物体の現在の場所に関連付けされた現在の発生確率と、現在の時間スライスにおける発生確率の平均値を比較する。
物体の現在の場所に関連付けされた発生確率が発生確率の平均値より小さいときには、アルゴリズムが、発生確率の標準偏差によって除した当該平均値からの距離を使用することによって脅威スコアを割り当てる。
ＯＳＥ１との比較：ＯＳＥ３は、ＯＳＥ１で使用された平均計算アルゴリズムを使用するが、脅威スコアの割り当てに異なるアルゴリズムを使用する。
入力：ｏ⁻＝［ｏｉｄ，ｔ，ｘ，ｙ］
出力：［０．．ＭＡＸ＿ＴＨＲＥＡＴ＿ＳＣＯＲＥ］内の脅威スコア

代替スレッショルド値をｍｏｄｅ（）、ｍｅｄｉａｎ（）、（ｍｏｄｅ（）＋ｍｅａｎ（））／２、ｍｅａｎ−ｋ＊ｓｔｄ等とすることができる。

１．３ ＳＥ＿ＯＳＥ６
メソッド：
物体の現在の場所に関連付けされた現在の発生確率と、現在の時間スライスにおける発生確率から得られたスレッショルド値を比較する。
スレッショルド（Ｔｈｒｅｓｈｏｌｄ）＝平均（Ｍｅａｎ）−標準偏差（Ｓｔｄ）
物体の現在の場所に関連付けされた発生確率がスレッショルドより小さいときには、アルゴリズムが、発生確率の標準偏差によって除した当該平均値からの距離を使用することによって脅威スコアを割り当てる。
ＯＳＥ３との比較：ＯＳＥ６は、異なるスレッショルド値を使用する。
入力：ｏ⁻＝［ｏｉｄ，ｔ，ｘ，ｙ］
出力：［０．．ＭＡＸ＿ＴＨＲＥＡＴ＿ＳＣＯＲＥ］内の脅威スコア

２． 速度プロファイル・ベースのスコアリング・メソッド
２．１ ＳＥ＿ＶＳＥ１
メソッド：
物体の現在の場所に関連付けされた現在の速度プロファイルと、現在の時間スライスにおける速度プロファイルから得られたスレッショルド値を比較する。
入力：
ｏ⁻＝［ｏｉｄ，ｔ，ｘ，ｙ，Δｘ，Δｙ］は、現在の時間ｔにおける物体のフロー・ベクトルを示す。
ｋ＝スレッショルド・コントロール・パラメータ（ｋ＊ｓｔｄ）
出力：［０．．ＭＡＸ＿ＴＨＲＥＡＴ＿ＳＣＯＲＥ］内の脅威スコア

脅威スコア値は、２Ｄガウス関数からも獲得することが可能である。

２．２ ＳＥ＿ＶＳＥ１Ｎ
メソッド：
最後のｎ個の標本を速度モデルとともに使用することによって脅威スコアを決定する。
入力：
Ｏｂｊ＝｛［ｏｉｄ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ，Δｘ_ｉ，Δｙ_ｉ］，［ｏｉｄ，ｔ_{（ｉ−１）}， ，ｘ_{（ｉ−１）}，ｙ_{（ｉ−１）}，Δｘ_{（ｉ−１）}，Δｙ_{（ｉ−１）}］，．．，［ｏｉｄ，ｔ_{（ｉ−ｎ＋１）}， ，ｘ_{（ｉ−ｎ＋１）}，ｙ_{（ｉ−ｎ＋１）}，Δｘ_{（ｉ−ｎ＋１）}，Δｙ_{（ｉ−ｎ＋１）}］｝は、物体の最後のｎ個のフロー・ベクトルを示し、ｔ_ｉは現在の時間である。
ｋ＝スレッショルド・コントロール・パラメータ（ｋ＊ｓｔｄ）
出力：［０．．ＭＡＸ＿ＴＨＲＥＡＴ＿ＳＣＯＲＥ］内の脅威スコア

上記のアルゴリズムは、最終脅威スコアの獲得にｍａｘ（）関数を使用している。脅威スコアの割り当てには、以下のような多くの異なる方法がある。
ＴｈｒｅａｔＳｃｏｒｅ＝ａｖｅｒａｇｅ（Ｐ（：，２））；
ＴｈｒｅａｔＳｃｏｒｅ＝ｍｅｄｉａｎ（Ｐ（：，２））；
ＴｈｒｅａｔＳｃｏｒｅ＝ｍｏｄｅ（Ｐ（：，２））；
ＴｈｒｅａｔＳｃｏｒｅ＝（ａｖｅｒａｇｅ（Ｐ（：２））＋ｍｏｄｅ（Ｐ（：２）））／２；
ＴｈｒｅａｔＳｃｏｒｅ＝（ａｖｅｒａｇｅ（Ｐ（：２））＋ｍｅｄｉａｎ（Ｐ（：２）））／２；
ＴｈｒｅａｔＳｃｏｒｅ＝（ｍｅｄｉａｎ（Ｐ（：２））＋ｍｏｄｅ（Ｐ（：２）））／２；
それぞれの以前のポイントについての個別のスコアは、重みを使用することによって組み合わせることができる。ｔｓ（ｉ）をｉ番目の物体のフロー・ベクトルのタイムスタンプとし、物体のフロー・ベクトルがタイムスタンプ順で減少すると仮定する（ｔｓ（１）＞ｔｓ（２）＞．．．＞ｔｓ（ｎ−１）＞ｔｓ（ｎ））。ｓｃｏｒｅ（ｉ）を、ｉ番目の物体のフロー・ベクトルに関連付けされる脅威スコアとする。所定のｎについての最終脅威スコアは、次のとおりとなる。

これにおいてΔｔ_ｉ＝ｔｓ（ｉ）−ｔｓ（ｎ），Δｔ＝ｔｓ（１）−ｔｓ（ｎ）、かつｗ（Δｔ_ｉ，Δｔ）＝Δｔ_ｉ／Δｔ
それぞれのスコアの重みは、現在の時間とインスタンスのタイムスタンプの間の（時間
次元における）距離に依存する。重みは、当該（時間次元における）距離に関して線形である。
非線形重み割り当ては、現在の時間に対するそれらの距離に基づいて重みを表現するべく、Ｓ字状関数、二重Ｓ字状関数、指数減衰関数、論理関数、ガウス分布関数等を使用することができる。それらのパラメータは、微調整のための学習アルゴリズムによって調整できる。

２．３ ＳＥ＿ＶＳＥ＿Ｘ
メソッド：
物体の観察された速度を構成済み速度スレッショルドと比較する。
入力
● ｏ＝［ｏｉｄ，ｔ，ｘ，ｙ］は、現在の時間ｔにおける物体の検出ベクトルを示す。
● Ｏｆｉｒｓｔは、関心物体に関連付けされた最初の検出ベクトルを示す。
● Ｖａｖｅｒａｇｅは、期待される平均速度（スレッショルドとして使用される）を示す。
出力：［０．．ＭＡＸ＿ＴＨＲＥＡＴ＿ＳＣＯＲＥ］内の脅威スコア

このアルゴリズムは、物体がうろついている（あまり動かないか、または非常にゆっくりと動いている）ことを検出する。
物体の速度の計算は、最初の位置および現在の位置を使用する。代替として、以下によって物体の速度を計算することが可能である。
● すべての物体検出ベクトル（平均、メジアン、モード）から速度を獲得する。
● 重み付け平均とともに最後のｎ個の物体検出ベクトルから速度を獲得する。

３． 加速度プロファイル・ベースのスコアリング・メソッド
３．１ ＳＥ＿ＡＳＥ０
メソッド：
物体の現在の場所に関連付けされた現在の加速度プロファイルと、現在の時間スライスにおける加速度プロファイルから得られたスレッショルド値を比較する。
入力：
● ｏ⁻＝［ｏｉｄ，ｔ，ｘ，ｙ，ａｘ，ａｙ］は、物体の加速度フロー・ベクトルを示す。
● ｋ＝スレッショルド・コントロール・パラメータ（ｋ＊ｓｔｄ）
出力：［０．．ＭＡＸ＿ＴＨＲＥＡＴ＿ＳＣＯＲＥ］内の脅威スコア
ＡＭＤＣ（ｔ，ｘ，ｙ）が加速度モデルを示すものとし、ｏ⁻＝［ｏｉｄ，ｔ，ｘ，ｙ，ａｘ，ａｙ］が物体の加速度フロー・ベクトルを示すものとし、物体ｏは、時間ｔに場所（ｘ，ｙ）において検出される。この観察についての脅威スコアは、次のとおりとなる。

３．２ ＳＥ＿ＡＳＥ１Ｎ
メソッド：
最後のｎ個の標本を加速度モデルとともに使用することによって脅威スコアを決定する。
入力：
● Ｏｂｊ＝｛［ｏｉｄ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ，ａｘ_ｉ，ａｙ_ｉ］，［ｏｉｄ，ｔ_{（ｉ−１）}， ，ｘ_{（ｉ−１）}，ｙ_{（ｉ−１）}，ａｘ_{（ｉ−１）}，ａｙ_{（ｉ−１）}］，．．，［ｏｉｄ，ｔ_{（ｉ−ｎ＋１）}， ，ｘ_{（ｉ−ｎ＋１）}，ｙ_{（ｉ−ｎ＋１）}，ａｘ_{（ｉ−ｎ＋１）}，ａｙ_{（ｉ−ｎ＋１）}］｝は、物体の最後のｎ個の加速度フロー・ベクトルを示し、ｔ_ｉは現在の時間である。
● ｋ＝スレッショルド・コントロール・パラメータ（ｋ＊ｓｔｄ）
● ｎ＝使用されることになる最後の観察の数
出力：［０．．ＭＡＸ＿ＴＨＲＥＡＴ＿ＳＣＯＲＥ］内の脅威スコア

上記のアルゴリズムは、最終脅威スコアの獲得にｍａｘ（）関数を使用している。脅威スコアの割り当てには、以下のような多くの異なる方法がある。
ＴｈｒｅａｔＳｃｏｒｅ＝ａｖｅｒａｇｅ（Ｐ（：，２））；
ＴｈｒｅａｔＳｃｏｒｅ＝ｍｅｄｉａｎ（Ｐ（：，２））；
ＴｈｒｅａｔＳｃｏｒｅ＝ｍｏｄｅ（Ｐ（：，２））；
ＴｈｒｅａｔＳｃｏｒｅ＝（ａｖｅｒａｇｅ（Ｐ（：２））＋ｍｏｄｅ（Ｐ（：２）））／２；
ＴｈｒｅａｔＳｃｏｒｅ＝（ａｖｅｒａｇｅ（Ｐ（：２））＋ｍｅｄｉａｎ（Ｐ（：２）））／２；
ＴｈｒｅａｔＳｃｏｒｅ＝（ｍｅｄｉａｎ（Ｐ（：２））＋ｍｏｄｅ（Ｐ（：２）））／２；

４． 速度プロファイル・ベースのアルゴリズム
４．１ ＳＥ＿ＳＳＥ１
メソッド：
物体の観察された速度と速度プロファイルを比較する。
入力：
ｏ⁻＝［ｏｉｄ，ｔ，ｘ，ｙ，Δｘ，Δｙ］は、現在の時間ｔにおける物体の速度ベクトルを示す。
出力：［０．．ＭＡＸ＿ＴＨＲＥＡＴ＿ＳＣＯＲＥ］内の脅威スコア

注意：これは「遅い」および「速い」の両方を脅威として検出することになる。

５． 方向性速度プロファイル・ベースのメソッド
方向性速度プロファイル・データ・キューブを使用するスコアリング・アルゴリズムは、物体検出ベクトル（｛（ｏ，ｔｉ，ｘｉ，ｙｉ），（ｏ，ｔ（ｉ−１）．Ｘ（ｉ−１），ｙ（ｉ−１）），．．．｝）を受け入れる。
（１） 最後の場所を使用することによってモデル内でＭ_ｔｘｙセルを見つけ出し、当該セル内で入口スライス（ｉ）および出口スライス（ｊ）を見つけ出す。
（２） 物体の速度を［μ_ｉｊ±σ_ｉｊ］区間に対して比較する。
（３） 値がこの区間の内側であれば脅威は存在しないので戻る。
（４） 値がこの区間の外側であれば脅威が存在し、次式によって脅威レベルが計算される。
ＴｈｒｅａｔＬｅｖｅｌ＝ａｂｓ（ＯｂｓｅｒｖｅｄＳｐｅｅｄ−μ_ｉｊ）／σ_ｉｊ
上記の関数は、物体に関連付けされた脅威レベルを獲得する１つの例である。脅威レベル決定関数は、ＯｂｓｅｒｖｅｄＳｐｅｅｄと期待される速度の間の距離に関して非線形の脅威測度をもたらす指数関数の使用によって記述することができる。
方向性速度プロファイル・データ・キューブを使用する別のスコアリング・アルゴリズムは、物体の最近のいくつかの位置を使用し、重み付けされた合計の式を用いてその種の測度を獲得することができる。その種のアルゴリズムの変形は、すべての通過跡データを使用し、脅威レベル・データについての正規分布Ｎ（μ，σ）を組み立てることが可能である。

６． 関心目標についてのスコアリング・メソッド
６．１ ＳＥ＿ＣＲＯＳＳＯＶＥＲ１
メソッド：
物体の観察された場所と関心目標領域を比較する。
入力：
ｏ⁻＝［ｏｉｄ，ｔ，ｘ，ｙ］は、現在の時間ｔにおける物体の検出ベクトルを示す。
ＴａｒｇｅｔＤｅｆ＝［［ｘ_０，ｙ_０］，［ｘ_１，ｙ_１］］は、カメラ視野内の領域を
指定する（カメラ画像座標）。
出力：［０．．ＭＡＸ＿ＴＨＲＥＡＴ＿ＳＣＯＲＥ］内の脅威スコア

図Ｂにおいては、関心目標領域がカメラ視野で定義されている。スコアリング・アルゴリズムは、物体と目標領域の中心の間における距離に基づいて脅威スコアを生成する。

変形
（１） 目標の記述は、円（中心および半径によって記述）をはじめ、多角形表現によって定義される任意形状（ＭＰＥＧ７領域記述子の使用が可能）とすることができる。
（２） カメラ当たり１を超える数の目標記述が存在し得る。
（３） 目標記述は、それの使用が可能となる時間区間［ｔ_{ｂｅｇｉｎ}．ｔ_ｅｎｄ］に関連付けすることができる。
（４） 脅威の距離は、線形モデルを用いて計算される。脅威の距離は、（ｘ_ｃ，ｙ_ｃ）を中心とする２Ｄガウス関数の使用によって計算できる。

６．２ ＳＥ＿ＣＲＯＳＳＯＶＥＲ２
メソッド：
物体の観察された場所と関心目標領域および発生モデルを比較する。
入力：
ｏ⁻＝［ｏｉｄ，ｔ，ｘ，ｙ］は、現在の時間ｔにおける物体の検出ベクトルを示す。
ＴａｒｇｅｔＤｅｆ＝［［ｘ_０，ｙ_０］，［ｘ_１，ｙ_１］］は、カメラ視野内の領域を指定する（カメラ画像座標）。
出力：［０．．ＭＡＸ＿ＴＨＲＥＡＴ＿ＳＣＯＲＥ］内の脅威スコア
ＴｈｒｅａｔＳｃｏｒｅ＝（１−ｎｏｒｍａｌｉｚｅｄ＿ｄｉｓｔａｎｃｅ）＊（１−ＯｃｃｕｒｅｎｃｅＰｒｏｂ）
これにおいてｎｏｒｍａｌｉｚｅｄ＿ｄｉｓｔａｎｃｅ＝（目標と物体の間のユークリッド距離）／（目標と物体の間の最大可能ユークリッド距離）

脅威スコア計算が、発生確率と目標に対する近接測度の組み合わせを使用して最終脅威スコアを見つけ出していることに注意する必要がある。物体が近すぎるが、頻繁に訪れる場所内であるときには、脅威スコアが減じられる。物体が近すぎ、頻繁に訪れる場所外であるときには、脅威スコアが増加される。

６．３ ＳＥ＿ＡＰＰＲＯＡＣＨ１
メソッド：
物体の観察された速度および方向を関心目標領域に関して比較する。
入力：
ｏ⁻＝［ｏｉｄ，ｔ，ｘ，ｙ，Δｘ，Δｙ］は、現在の時間ｔにおける物体の速度フロー・ベクトルを示す。
ＴａｒｇｅｔＤｅｆ＝［［ｘ_０，ｙ_０］，［ｘ_１，ｙ_１］］は、カメラ視野内の領域を指定する（カメラ画像座標）。
出力：［０．．ＭＡＸ＿ＴＨＲＥＡＴ＿ＳＣＯＲＥ］内の脅威スコア
物体が目標に近づいて行く場合には、この成分が正になる。目標から離れて行く物体については、この成分が負になる。この情報は、近づいている物体による脅威の決定に使用されることになる。ＡｐｐｒｏａｃｈＴｈｒｅａｔ＝｜｜（ｄｘ／ｄｔ）ｉ＋（ｄｙ／ｄｔ）ｊ｜｜．ｃｏｓ（θ）
これにおいて
（ｄｘ／ｄｔ）は、ｘ方向における瞬時速度であり、
（ｄｙ／ｄｔ）は、ｙ方向における瞬時速度であり、
θは、速度の方向と、目標と物体を結ぶ線の間の角度である。

７． 物体の動きデータについてのスコアリング・メソッド
７．１ ＳＥ＿ＷＡＮＤＥＲ１
メソッド：
物体の観察された場所を比較し、所定数のフレームにわたって特定の領域内に物体がとどまっているか否かを判定する。
入力：
● Ｏｂｊ＝｛［ｏｉｄ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ］，［ｏｉｄ，ｔ_{（ｉ−１）}， ，ｘ_{（ｉ−１）}，ｙ_{（ｉ−１）}］，．．，［ｏｉｄ，ｔ_{（ｉ−ｎ＋１）}， ，ｘ_{（ｉ−ｎ＋１）}，ｙ_{（ｉ−ｎ＋１）}］｝は、物体の最後のｎ個の検出ベクトルを示し、ｔ_ｉは現在の時間である。
出力：［０．．ＭＡＸ＿ＴＨＲＥＡＴ＿ＳＣＯＲＥ］内の脅威スコア
ＷａｎｄｅｒＲａｔｉｏ＝Ｎｒ／Ｎ （３）
これにおいて、
Ｎｒは、現在ポイントの半径Ｒ（ＷＡＮＤＥＲ＿ＲＡＤＩＵＳ）内にあるポイント数である。
Ｎは、ＷＡＮＤＥＲＩＮＧ＿ＯＲＤＥＲである。これは、うろつきがあるか否かの決定に使用される過去の標本の数である。

１０ 監視システム
１４ センサ・データ
１６ 監視モジュール
１８ アラーム・メッセージ
２０ カメラ
２０ｂ カメラ
２２ 画像取り込みモジュール
２４ スコアリング・エンジン・モジュール
２６ 意志決定モジュール
２８ デバイス構成モジュール
３０ 物体メタデータ、物体データ
３２ モデル
３４ スコア、スコア・データ、物体データ・スコア
３６ アラート・メッセージ
３６ｎ アラート・メッセージ
３８ アラーム取り扱いモジュール
４０ 監視ＧＵＩ
４２ システム構成モジュール
４４ 学習モジュール
４６ モデル・ビルダ・モジュール
４８ 分類誤りデータ
５０ 意志決定メソッド
５１ 意志決定パラメータ、パラメータ
５２ スコアリング・エンジン・メソッド
６０ モデル初期化モジュール
６２ モデル初期化ＧＵＩ
６４ モデル学習モジュール
６６ 画像データ・データストア
６８ モデル・メソッド・データストア
７０ モデル・データ・データストア
７２ 動きパラメータ
７４ 入力
８０ ビデオ解析モジュール
８２ 物体履歴データストア
８４ スコアリング・エンジン・スコア履歴データストア、ＳＥスコア履歴データストア
８６ スコアリング・メソッド・データストア
８８ 決定メソッド・データストア
９０ パラメータ・データストア
９２ カメラ・モデル・データストア
９３ 画像データ
９４ 規則ベースの異常性評価モジュール
９６ 動的規則ベースのアラーム取り扱いモジュール
９８ 脅威データ・データストア
１００ 規則データストア
１０２ アラート・イベント
１０６ 学習メソッド・データストア
１１０ カメラ構成モジュール
１１２ 情報アップロード・モジュール
１１４ カメラ構成データストア
１１６ 結合データ
１２ａ〜１２ｎ センサ・デバイス
１４ａ〜１４ｎ センサ・データ
２０ａ〜２０ｎ カメラ
３６ａ〜３６ｎ アラート・メッセージ

Claims (15)

1. 監視システムであって、
   センサ・データを収集する所定のカメラ上に常駐するデータ取り込みモジュールと、
   前記所定のカメラ上に常駐し、前記センサ・データを受信し、前記センサ・データについて、前記所定のカメラ上に常駐する１つまたは複数のデータ・モデルに基づいて選択されたスコアリング・エンジン・メソッドに従って異常性スコアおよび正常性スコアのうちの少なくとも１つを計算するスコアリング・エンジン・モジュールと、
   前記所定のカメラ上に常駐する、前記異常性スコアおよび前記正常性スコアのうちの前記少なくとも１つを受信し、かつ前記異常性スコアおよび前記正常性スコアのうちの前記少なくとも１つに基づいて、かつ、意志決定メソッドに従って進行性の挙動および脅威検出をもたらすべくアラート・メッセージを生成する意志決定モジュールと、
   前記所定のカメラから隔てて配置される、前記所定のカメラから前記センサ・データを受信し、かつ前記センサ・データを使用して前記所定のカメラのために前記データ・モデルを適合させるモデル・ビルダと、
   前記所定のカメラから隔てて配置される、前記モデル・ビルダによって適合された前記データ・モデルにアクセスし、かつ前記所定のカメラのために適合されたデータ・モデルを用いて前記所定のカメラを構成するシステム構成モジュールと、
   を有する監視システム。
2. さらに、前記センサ・データのシミュレーションおよび蓄積されたセンサ・データのうちの少なくとも１つに基づいて前記データ・モデルを構築するモデル・ビルダ・モジュールを有する、請求項１に記載の監視システム。
3. 前記スコアリング・メソッドは、動いている物体の観察された性状をデータ・キューブ内にストアされた前記データ・モデルに照らして計算し、動いている物体と前記データ・モデルの間における正常性および異常性スコアのうちの少なくとも１つを表すスコアを獲得する、請求項１に記載の監視システム。
4. さらに、ユーザからパラメータを受け入れ、前記シミュレーションを生成するグラフィカル・ユーザ・インターフェースを有する、請求項２に記載の監視システム。
5. さらに、前記スコアリング・メソッド、前記意志決定メソッドのうちの少なくとも１つを学習済みの分類誤りデータに基づいて学習させる学習モジュールを有する、請求項１に記載の監視システム。
6. さらに、前記アラート・メッセージを受信し、かつ前記アラート・メッセージの追加の吟味に基づいてアラーム・メッセージを生成するアラーム取り扱いモジュールを有する、請求項１に記載の監視システム。
7. 前記データ取り込みモジュールは、画像センサからセンサ・データを収集し、かつ前記センサ・データから物体データを抽出し、前記スコアリング・エンジン・モジュールは、前記物体データに基づいて前記異常性スコアおよび前記正常性スコアのうちの前記少なくとも１つを計算する、請求項１に記載の監視システム。
8. 前記意志決定モジュールは、ほかのセンサ・データから生成された異常性スコアおよび
   正常性スコアのうちの少なくとも１つを受信し、前記ほかのセンサ・データから生成された前記異常性スコアおよび前記正常性スコアのうちの前記少なくとも１つに基づいてアラート・メッセージを生成する、請求項１に記載の監視システム。
9. 監視システムであって、
   複数の画像検知デバイスであって、それぞれが、センサ・データを収集するデータ取り込みモジュールと、前記センサ・データを受信し、前記センサ・データに基づいて、前記画像検知デバイス上に常駐する１つまたは複数のデータ・モデルに基づいて選択されたスコアリング・エンジン・メソッドに従って異常性スコアおよび正常性スコアのうちの少なくとも１つを計算するスコアリング・エンジン・モジュールと、前記異常性スコアおよび前記正常性スコアのうちの前記少なくとも１つを受信し、かつ前記異常性スコアおよび前記正常性スコアのうちの前記少なくとも１つに基づいて、かつ、学習済みの意志決定メソッドに従って進行性の挙動および脅威検出をもたらすべくアラート・メッセージを生成する意志決定モジュールと、を含む画像検知デバイスと、
   前記複数の画像検知デバイスから隔てて配置される、所定の画像検知デバイスからセンサ・データを受信し、前記所定の画像検知デバイスからの前記センサ・データを使用して前記所定の画像検知デバイスのために前記データ・モデルを適合させるモデル・ビルダと、
   前記複数の画像検知デバイスから隔てて配置される、前記モデル・ビルダによって適合された前記データ・モデルにアクセスし、かつ前記所定の画像検知デバイスのために適合された前記データ・モデルを用いて前記所定の画像検知デバイスを構成するシステム構成モジュールと、
   を有する監視システム。
10. 第１の画像検知デバイスの前記意志決定モジュールは、第２の画像検知デバイスから前記異常性スコアおよび前記正常性スコアのうちの前記少なくとも１つを受信し、前記第１の画像検知デバイスの前記意志決定モジュールは、前記第２の画像検知デバイスからの前記異常性スコアおよび前記正常性スコアのうちの前記少なくとも１つに基づいて前記アラート・メッセージを生成する、請求項９に記載の監視システム。
11. 前記画像検知デバイスは、それぞれ、更新済みのスコアリング・メソッド、意志決定メソッド、および前記データ・モデルを前記画像検知デバイスに自動的にロードするデバイス構成モジュールをさらに含む、請求項９に記載の監視システム。
12. 前記モデル・ビルダ・モジュールは、前記センサ・データのシミュレーションおよび蓄積された現実のセンサ・データに基づいてデータ・モデルを構築する、請求項９に記載の監視システム。
13. さらに、ユーザから動きパラメータを受け入れ、前記シミュレーションを生成するグラフィカル・ユーザ・インターフェースを有する、請求項１２に記載の監視システム。
14. さらに、意志決定メソッドを学習済みの分類誤りデータに基づいて学習させる学習モジュールを有し、前記意志決定メソッドは、前記複数の画像検知デバイスのうちの少なくとも１つに選択的にロードされる、請求項９に記載の監視システム。
15. さらに、前記複数の画像検知デバイスから前記アラート・メッセージを受信し、かつ前記アラート・メッセージの追加の吟味に基づいてアラーム・メッセージを生成するアラーム取り扱いモジュールを有する、請求項９に記載の監視システム。
    
    

Images