JP5400138B2 - 電子的監視のためのシステム、方法、コンピュータプログラム及びコンピュータ読み取り可能な媒体 - Google Patents

Description

本発明は電子的可視監視の分野に関し、詳細には同じカメラからの画像を使用した、異常な行為の検出、及び異常な行為の対象の識別に関する。

電子的監視は、ますます重要になり、より普及してきている。多くの道路、建物、橋、空港、工場、及び軍事施設が電子的監視システムにより保護される。

電子的監視は通常リアルタイムで連続的に行われる必要がある。疑わしい物体が、動いている人又は乗り物のことも、或いは同様に、シーンに出現する又はシーンから消える静止物体のこともあり得る。すべての監視システムを用いる課題が、同時に検出処理を継続しながら、効果的に異常な行為を検出し、次に識別処理を行うことである。

検出には、シーンの広角の視界を必要とする。しかし、識別のためには、識別されるべき物体のクローズアップした眺めを必要とする。

この問題に対する１つの公知の手法が、パン、チルト、及びズーム（ＰＴＺ）カメラを使用することである。カメラが出来事を検出したとき、カメラは物体にズームインし、物体を識別することができる。当然、ズーミングでは、カメラは元のシーンをもはや見ることができず、したがって、カメラがさらに出来事を検出する能力が失われる。

この問題に対する別の手法が、２台のカメラを使用することである。第１のカメラがシーンを観察して疑わしい物体を検出する。そのような物体が検出されると、第１のカメラは広角の視界を観察し続けるが、一方で第２のカメラがズームインし物体を識別するために使用される。第２のカメラはパン、チルト、及びズームの能力を有しなければならない。多数の出来事が検出されるときでさえ、第２のカメラは一度に１つの出来事にしかズームされることができないので、関心のある人／物体の１つだけしか識別されることができない。

いずれの手法も、ＰＴＺカメラの限界を熟知している人間がおとりを送りこむことができるので、彼により打ち破られることができる。ＰＴＺカメラはおとりにズームインするが、一方で真の侵入者が別の側でシーンに入る。

本発明の第１の態様によれば、少なくとも２つの画像ストリームを介してシーンを取り込むステップと、行為(act)、出来事(event)、又は物体(object)を検出するために２つの画像ストリームのうち第１のストリームを処理するステップと、行為、出来事、又は物体が検出されたとき、第１の画像ストリームとは無関係に行為、出来事、又は物体に対応する第２の画像ストリームの部分を記憶するステップとを含むシーンの監視方法が提供される。

第１の態様の一実施形態、すなわち第１の態様による方法では、第１の画像ストリームの解像度が、第２の画像ストリームの解像度よりも低い。

第１の態様の一実施形態では、少なくとも２つの画像ストリームが単一の装置を利用して取り込まれる。

第１の態様の一実施形態では、第１の画像ストリームは、第２の画像ストリームからの各画像のｎピクセルから１ピクセルを抽出することにより生成される。

第１の態様の一実施形態では、ｎは整数値２、３、４、５、６、７、８、９、及び１０のうちの任意の１つである。

第１の態様の一実施形態では、第２の画像ストリームがバッファ内に記憶される。

第１の態様の一実施形態では、検出された行為、出来事、又は物体に対応する第２の画像ストリームの少なくとも１つの部分がバッファから抽出される。

第１の態様の一実施形態では、バッファは、バッファ内に記憶される古くなった画像ストリームに最新の取り込まれた画像ストリームを上書きするように構成されるサーキュラバッファである。

第１の態様の一実施形態では、第２の画像ストリームを使用することにより出来事又は物体を識別するステップがさらに提供される。

第１の態様の一実施形態では、シーンは少なくとも１つのサブエリアに分割される。

第１の態様の一実施形態では、行為、出来事、又は物体を検出するステップは、少なくとも１つのサブエリアに対して作動する。

第１の態様の一実施形態では、行為、出来事、又は物体を検出するステップは、動き検出、又は非動き検出の処理のうちの１つである。

第１の態様の一実施形態では、行為、出来事、又は物体を識別するステップは、少なくとも１つのサブエリア上で作動される。

第１の態様の一実施形態では、物体は人、乗り物、標識、荷物、動物、装置、又はそれらの組合せのうちの任意の１つである。

第１の態様の一実施形態では、第１の画像ストリーム又は第２の画像ストリームの少なくとも１つがインタフェース上に表示される。

第１の態様の一実施形態では、出来事又は物体が検出された場合、警報（alarm）が生成される。

第１の態様の一実施形態では、警報は可視アラート（alert）及び可聴アラートのうちの少なくとも１つである。

第１の態様の一実施形態では、警報は遠隔装置に伝達される。

第１の態様の一実施形態では、識別された行為、出来事、又は物体が、インタフェース上で強調表示される。

本発明の第２の態様によれば、少なくとも２つの画像ストリームを介してシーンを取り込むように構成される少なくとも１つのカメラと、行為、出来事、又は物体を検出するために２つの画像ストリームのうちの第１の画像ストリームを処理するように構成されるプロセッサと、行為、出来事、又は物体が検出されたとき、第１の画像ストリームとは無関係に行為、出来事、又は物体に対応する第２の画像ストリームの部分を記憶することとを含むシーンの監視システムが提供される。

本発明の第３の態様によれば、比較的低い方の解像度の画像データ、及び比較的高い方の解像度の画像データを利用する電子的可視監視方法が提供され、この方法は、異常な行為の発生を検出するために関心のあるエリアの低い方の解像度の画像データを連続的に処理するステップと、異常な行為が検出された関心のある上記エリアのサブエリアを規定する場所データを生成するステップと、各上記検出された異常な行為に対して、上記サブエリアに対応する高い方の解像度データから対象を識別するステップと、上記サブエリアの画像の記憶及び伝送とを含む。

本発明の第４の態様によれば、関心のあるエリアの比較的低い方の解像度の画像データ、及び比較的高い方の解像度の画像データを出力するカメラと、異常な行為の発生を検出するために上記低い方の解像度の画像データを処理し、且つ異常な行為が検出された関心のある上記エリアのサブエリアを規定する場所データを生成し、且つ各検出された異常な行為に対して上記サブエリアに対応する比較的高い方の解像度のデータから対象を識別するためのプロセッサとを含む、電子的監視システムが提供される。

本発明の第５の態様によれば、プログラム制御可能な装置上にロードされたとき、プログラム制御可能な装置に本発明の第１の態様による方法ステップを実行させる少なくとも１つの命令を含むコンピュータプログラムが提供される。

本発明の第６の態様によれば、本発明の第５の態様によるコンピューティングプログラムを組み込むコンピュータ読み取り可能な媒体が提供される。

本発明の第７の態様によれば、本発明の第５の態様によるコンピュータプログラムを含むデータ信号の送信及び受信が提供される。

一実施形態では、本発明は、多数の検出及び関連する識別が単一のメガ・ピクセル・カメラで同時に行われることができるようにするソフトウェアを提供する。ソフトウェアは、検出のために低解像度画像を、及び識別のために高解像度画像を使用することにより、コンピューティング資源の使用を最適化しながら上記のことを行う。

既存の動き検出及び非動き検出の技術が、検出するために使用され、低解像度画像を使用して、必要とされるコンピューティング資源を低減させる。検出の出来事が発生したとき、出来事自体の高解像度画像が画像から切り出され、物体が識別されることができる識別ソフトウェアに送られる。

この技術を使用して、ほぼ同じ時間に発生する多数の出来事に対して多数の物体が識別されることができる。

ここで、本発明の好ましい実施形態が、添付の図面を参照して例示のみを目的として説明される。
本発明の一実施形態の概略構成図である。 図１の実施形態による電子的監視システムの作動の流れ図である。 図１の実施形態によるデータ管理サーバの作動の流れ図である。 本発明の別の実施形態の概略構成図である。 本発明のさらに別の実施形態の概略構成図である。 本発明の一実施形態による検出エンジン及び警報生成モジュールの流れ図である。 本発明の一実施形態によるクライアントのインタフェースのスクリーンショットである。 本発明の一実施形態によるクライアントのインタフェースのスクリーンショットである。 本発明の一実施形態によるクライアントのインタフェースのスクリーンショットである。 本発明の一実施形態の取り込まれた画像及び結果の一例である。

定義
この明細書では、「異常な行為、出来事、又は物体」という用語は大まかに使用され、限定することなく少なくとも以下を含む。
・入ることを許可されていないエリアに入る侵入者、
・交通が一方向に許可されているエリアで誤った方向に進む人又は乗り物、
・特定の行動をする人、例えば走る、滑って倒れる、ぶらつく、落書きをする、又は破壊の行為を犯す人だけでなく、落書き自体、及び破壊行為をされた物体、
・捨てられたバッグ、及びそれを置き忘れた人、
・盗まれた物体、及びそれを盗んだ人、
・駐車してはいけない場所に駐車される乗り物、又は許可されていない期間に駐車される乗り物、
・危険と考えられる又は許可されていないやり方又は方向に進行方向を変えた又は動いた乗り物、及び／或いは
・特定のエリアに入る又はそこを去る乗り物。

「対象」という用語は、人、乗り物、又は物体を意味するように意図されている。

「検出」という用語は、異常な行為を見る、検出する、又はフラグを立てることを意味するように意図されている。

「識別」という用語は、対象が誰か又は何かを知る、識別する、分析する、又は記録することを意味するように意図されている。
概要

本発明の第１の態様では、シーンを第１の画像ストリーム、及び対応する第２の画像ストリームの中に取り込むステップであって、第１の画像ストリーム及び第２の画像ストリームそれぞれがシーンを表すステップと、行為、出来事、又は物体を検出するために第１の画像ストリームを処理するステップと、行為、出来事、又は物体が検出されたとき、第１の画像ストリームとは無関係に行為、出来事、又は物体に対応する第２の画像ストリームの部分を記憶するステップとを含む、シーンの監視方法が提供される。
システム実装

図１を参照すると、電子的監視システムの一実施形態が示されている。この実施形態では、システムは、監視下にある一般的シーンを取り込むように構成される監視カメラ１０２を有する。監視カメラ１０２は、デジタル又はアナログの画像ストリームを生成するように構成される任意の種類の電子カメラとすることができる。監視カメラ１０２がアナログ画像ストリームを出力する例では、画像ストリームはＡＤ変換器によりデジタル出力に変換される。

この実施形態では、カメラにより取り込まれる監視下にあるエリア１０４の一般的シーンは、異常な行為、出来事、又は物体に関して具体的に監視されるエリアを規定する関心のある少なくとも１つのエリア１０６を有する。例えば、これらのエリアは交差点、国境、駐車禁止ゾーン、通路、カウンタ、入口、出口、或いは異常な行為、出来事、又は物体が検出されることがある任意の別のエリアとすることができる。

好ましくは、作動時、監視下にある関心のあるエリアを増やすために、特定のシーン１０４内部に多数の関心のあるエリアがあってもよい。関心のあるエリア１０６に対して、カメラ（１０２）は関心のあるエリア１０６の画像データ１０７を生成する。次に、データ１０７は、処理するために検出・識別エンジン１０９に送られる。

生成されたデータ１０７は、２つの形式をとることがあり、第１の形式が関心のあるエリア１０６の高解像度画像ストリームであり、第２の形式が関心のあるエリア１０６の低解像度画像ストリームである。カメラ１０２が少なくとも１メガピクセルの解像度を生成することができるメガ・ピクセル・カメラである一部の例では、高い方の解像度の画像ストリームが、カメラ１０２により生成される最大解像度である１メガピクセル又はそれ以上の解像度であるのに対して、低い方の解像度の画像ストリームが、ほぼ２８８×３８４ピクセルであるＣＩＦ解像度の１／４（４分の１）である。したがって、ＣＩＦ解像度の４分の１はほぼ１４４×１９２ピクセルである。これら２つの画像ストリームを生成するために、この例では、カメラ１０２は、第１のチャネルの出力として第１の高解像度画像ストリームを取り込むように構成される。これが行われた後、次に、カメラは続いて、画像ストリームの各画像フレームからｎピクセルごとに１つだけを取り込むことにより別個のチャネルの出力として低い方の解像度の画像ストリームを同時に生成し、ここで、ｎは高解像度画像のサイズが低減される割合を決定する因数である。当業者が理解するように、画像ストリームをどれだけ高解像度にすべきか、又はどれだけ低解像度にすべきかの決定は、システムが実装され展開されるとき、当業者により決定されることができるハードウェアの制約及び使用要件に依存する。

画像データ１０７が検出・識別エンジン１０９に送られると、データは、どんな異常な行為、出来事、又は物体でも検出し、且つ異常な行為、出来事、又は物体の対象を識別するためにさらに処理される。検出・識別エンジン１０９は、ソフトウェア、ファームウェア、ハードウェア回路、又は３つすべての組合せの形態で実装されることができる。この実施形態では、エンジン１０９は、カメラ１０２と接続されるコンピュータ上で動作するソフトウェアとして実装される。別の例では、エンジン１０９は、カメラ１０２内部のハードウェア、又はプログラム制御可能なハードウェア回路内に一体化されることができる。データ１０７がエンジン１０９に提供されると、エンジンは図２の流れ図に示されるような検出及び識別の処理を実行する。

図２を参照すると、監視下にあるエリアに対して、低解像度画像データがカメラ１０２により取り込まれる（２０２）。エリアは個々の関心のあるエリア１０６に分割され、検出処理が関心のある各エリアに対して実行される（２０４）。

検出処理が、関心のあるエリア１０６のいずれかで発生する異常な行為、出来事、又は物体を検出すると、対象サブエリアが識別される（２０６）。サブエリアは、一部の例では、異常な行為、出来事、又は物体が検出された関心のあるエリア１０６内部で識別された異常な行為、出来事、又は物体の場所情報又は座標により規定される。この場所情報を使用することにより、低解像度画像ストリームのこのサブエリアに対応する高解像度画像ストリームからの高い方の解像度のデータが、対象サブエリアに対して取り出され（２０８）、サブエリア内部の対象を識別するために識別エンジンに提供される（２１０）。この例では、高い方の解像度データは、短期記憶装置内に記憶され、又は低い方の解像度データに対して独立したデータストリームとして利用可能であり、対応する高い方の解像度データは長期データベース上に記憶されるために取り出された。

一部の例では、２つ又はそれ以上の異常な行為が時間的に任意の所与の時点で関心のある１つ又はそれ以上のエリア内部であることも、場合によっては、多数の異常な行為が時間的に非常に近接して一緒に発生することもある。これらの多数の異常な行為は、監視のエリアに対して、関心のある多数のエリア内部で検出され識別されることがある。この実施形態では、システムは、監視下に保たれることができる関心のあるエリアの数に制限がないように構成されるが、必要とされる処理を実行する十分なコンピューティング能力があることを保証するために、計算能力が増強される必要がある。

この実施形態では、エンジン１０９が、異常な行為、出来事、又は物体があることを検出すると、次に、画像データ１０７の関連する部分だけでなく識別処理からのどんな識別結果も、処理、提示、及び記憶のためにデータ管理サーバ１１４に送られる。

データ管理サーバ１１４は、検出・識別エンジン１０９から受け取られるデータを記憶し照合する。この実施形態では、サーバ１１４は、異常な行為が検出されたとしてフラグを立てられた画像データを、識別された対象に関連する任意の特定のデータだけでなく検出された異常な行為のタイムスタンプにマッピングされるデータベースの中に記憶する。サーバ１１４は、いくつかのクライアントコンピュータ、又は電子装置、例えば携帯電話、警報システム、又はアラート送信装置１１６、１１８、１２０と通信する。クライアントコンピュータ又は電子装置１１６、１１８、１２０は、異常な行為及び識別された対象の検出に関する情報をサーバ１１４から受け取り、それに従ってこの情報に対して動作する。一部の例では、この動作は単にクライアントコンピュータのユーザへ警報をトリガすることも、遠隔装置へ検出の特徴を送ることもある。クライアントコンピュータ１１６、１１８、１２０はまた、所望のシーン、及び関心のあるエリアを指定する要求を管理サーバ１１４に送ることができる。

図１では、関心のあるエリア１０６からの１つの入力がサーバ１１４に送られることだけが示されているが、サーバ１１４は同時に多数のカメラによる監視下にあるいくつかのそのようなエリアにサービスを提供することができることが容易に理解される。さらに、サーバ１１４に接続される各クライアント又は装置は、同時に多数のサーバ例えば１１４から入力を受け取ることができる。

図３を参照すると、データ管理サーバ１１４の一実施形態が動作について示されている。検出・識別エンジンによりデータが提供されると（３００）、データは出来事が検出されたかどうかについて処理される。出来事が検出されなかった場合、異常な行為が検出されなかったことを意味し、次に、低解像度画像が圧縮され、監視データの長期記憶の一部として一般的なバックアップ内に記憶される（３０４）。

しかし、出来事が検出された場合（３０６）、異常な行為が検出エンジン１０９により検出されたことを意味し、識別エンジン１０９が、その行為に関係する高解像度画像を処理して、人又は物体の識別から生じたどんなデータも得る。この例では、この場合、検出・識別エンジン１０９により提供される情報が圧縮され、再検討のためにデータベース上にレコードの形で記憶される。このレコードは、識別された対象のインスタンスを表す。一部の例では、画像データの圧縮は公知の標準的圧縮方法、例えばＭＪＰＥＧ、ＭＰＥＧ４、Ｈ．２６４、又は適切な別の方法に従って行われることができる。

この実施形態では、データ管理サーバ１１４がクライアント機器１１８に接続されたとき、異常な出来事の検出がない場合、カメラ画像全体１０４に相当する低い方の解像度のデータが圧縮され、クライアントに送られる（３０８）。このことにより、ユーザがクライアント３１８で監視データを調査することができるようになる。

異常な出来事、及び異常な出来事の対象の識別があった場合、対象に関係する識別エンジン１０９の結果と共に、検出された異常な出来事に関連する高解像度画像（人の名前又は属性、乗り物の登録番号など）が圧縮され、観察のためにクライアント機器１１８に送られる。

この実施形態では、異常な行為又は出来事が検出されなければ、クライアント１１８へのデータの送信は、低解像度画像の送信を伴う。異常な行為、出来事、又は物体が検出された場合、関連する高解像度画像の部分だけがクライアント１１８に送信される。この構成により、システムに送られシステムにより処理されるデータが、高解像度画像全体が送信され処理される場合よりもかなり少なくなる。

ある種の実施形態では、カメラ１０２、検出・識別エンジン１０９、及びデータ管理サーバ１１４が、可視監視のために遠隔の場所に完全なユニットとして展開されることができる第２のユニット１１０の中に実装される。別の実施形態では、カメラ１０２、検出・識別エンジン１０９、又はデータ管理サーバが、システムが展開される場所に適した別の場所に配置されることがある。これらの実施形態では、各構成要素がデータの転送を容易にするために通信リンクにより接続される。

図４を参照すると、本発明の別の実施形態の概略構成図が示されている。この実施形態では、カメラ１０２が、１メガピクセルを超えるピクセル解像度を有するＭｏｂｉｔｉｘ社、ＡＸＩＳ社、又はＡｎａｌｙｔｉｃｓＲｅａｄｙ社のカメラでもよいが、別の種類のカメラの可能性がある。カメラ１０２からの出力データ１０７が、カメラ１０２からの出力データ１０７を連続的に記録し上書きするサーキュラバッファ４０２に提供される。サーキュラバッファはまた、データ１０７を２つの出力に分割するように構成される。これらの出力は以下のとおりである。
（ｉ）ほぼ１／４ＣＩＦ（１４４×１９２ピクセル）の解像度を与えるデシメーション（decimation）の処理により達成される、より低い方の解像度の出力ストリーム４０４、
（ｉｉ）カメラ１０２の最大出力解像度と実質上同じ解像度の高い方の解像度の出力４０６。

低い方の解像度のデータ４０４は、関心のあるエリア１０６内のどんな異常な行為も検出するように構成される検出器エンジン４０８に入力される。検出器エンジン４０８は、関心のあるエリア１０６内の異常な行為を検出するためのいくつかの公知のアルゴリズムの任意の１つの実装を行うように構成される。この例では、検出アルゴリズムは（ｉ）動き検出、及び（ｉｉ）非動き検出の機能を提供する。

動き検出アルゴリズムの例が以下の論文で教示され、本明細書に参照として提供される。
・Ahmed Elgammal, et al, Background and Foreground Modeling Using Non-parametre Kernal Density Estimation for Visual Surveillance, Proc. IEEE, Vol 90, No. 7, July 2002。
・K-P Karmann and A. von Brandt, Moving Object recognition using and adaptive background memory in Time Varying Image Processing and Moving Object Recognition, Elsevier Science Publishers BV 1990。
・C R Wern, et al, Pfinder: Real-time tracking of human body, IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997。

これらの参考文献は、監視下にある物体の動きに関係する特定の出来事の検出を可能にするように構成される動き検出アルゴリズムを実装するやり方を教示する。この実施形態では、これらのアルゴリズムのいずれかを使ってプログラムされたコンピューティングハードウェアを使って検出エンジンが実装される。作動については、検出エンジンが低解像度画像データ４０４を提供され、アルゴリズムが、カメラ１０２により取り込まれるどんな異常な出来事でも処理し検出するように実行される。

非動き検出の一例が、その内容が参照により本明細書に組み込まれる、米国特許出願第１０／４９６，４２４号明細書に対応する、Non-motion Detectionと題するＷＯ ０３／０４４７５２号パンフレットで教示されている。この実施形態では、検出器エンジン４０８はまた、入力される低解像度画像データ４０４を処理するように構成される非動き検出プログラムを使って実装される。当業者が理解するように、本発明の実施形態は、検出器エンジン４０８内部に実装される任意の種類の動き検出アルゴリズム又は非動き検出アルゴリズムを使って動作する。

作動については、検出器エンジン４０８が、どんな異常な行為でも検出するために低い方の解像度データ４０４に対してリアルタイムに作動する。その解像度データ４０４で異常な行為が検出されると、次に、検出器エンジン４０８は、検出された異常な行為に対する場所データを得る。場所データは、異常な行為が検出された画像ストリーム１０７の部分を参照するように構成される。この例では、異常な行為が検出されると同時に、検出器エンジン４０８が、関心のあるエリア１０６全体のサブエリアを識別し、次に続けて、異常な行為が検出された関心のあるエリア１０６に対応する任意の１フレームに対するピクセルの対応するサブセットを識別する。サブエリアは、関心のあるエリア１０６全体の１×１ピクセルから最大のｎ×ｍピクセルまで変動することがある。

一部の別の例では、サブエリアは関心のあるエリア１０６のサイズよりも大きくなるように拡張されることがあり、この場合、対象のサイズが、関心のあるエリア１０６よりも大きいとして予め指定されていた。このことは、例えば関心のあるエリア１０６が、システムの導入過程でカースペースとして指定されたが、カースペースよりもかなりかなり大きいトラックがそのスペースに侵入する場合に発生することがある。自動車よりもかなり大きいトラックという対象が導入過程で事前に指定されたので、トラックを捕捉するために検出器エンジン４０８がサブエリアを容易に拡張してカースペースにトラックが侵入していることが検出される。

好ましくは、サブエリアは最大解像度で識別された物体を表示するような大きさに作られる。この実施形態では、異常な行為が検出されると、検出器エンジン４０８が制御信号４１０をサーキュラバッファ４０２に送り、別の制御信号４１２を識別エンジン４１４に送る。制御信号４１０及び４１２は上記のサブエリア場所データを含み、制御信号４１０は、識別エンジン４１４に提供されるように、サーキュラバッファ４０２に出力ライン４０６上のサブエリアに対応する高い方の解像度データだけを出力させる。

識別エンジン４１４は、検出された異常な行為をトリガした可能性がある対象を識別するために、画像データ４０６をデータベースと相互参照することにより特定の物体を識別するように構成される。この実施形態では、識別処理エンジン４１４は、異常な行為に対応する対象を識別するためにいくつかのアルゴリズムの任意の１つを実装する、プログラムされたソフトウェア又は具体的にコード化されたハードウェアを有する電子装置又はコンピューティング装置である。これらの例では、識別技術は、（ｉ）顔認識、又は（ｉｉ）乗り物のナンバプレート認識、又は（ｉｉｉ）物体認識のいずれかを対象とするが、別の形態の識別アルゴリズムもあり得る。

顔認識は人の顔の画像から人を識別するために使用される。

乗り物のナンバプレート認識は、光学的文字認識能力を使用して実際の番号を読み取ることにより乗り物を識別するために使用される。

物体認識は、ある種の重要な特徴に基づき物体が何かを決定することを伴う。例えば、かばんがその重要な特徴に基づき手荷物ワゴンと区別されることができる。手荷物ワゴンには基部に車輪、フレームを構成する多数の垂直の構成要素があり、手荷物ワゴンに荷物が積み込まれていないとき、手荷物ワゴンを通して見ることができる。かばんにはこれらの特徴がない。

検出される異常な行為それぞれに対して、関係する検出器処理エンジン出力データ４１６、及び識別処理エンジン出力データ４１８が、データ管理サーバ４２０を通過し、そこからクライアント３１６、３１８、及び３２０に進む。

代わりに、サーキュラバッファ４０２が、高い方の解像度データを低い方の解像度データと同時に出力することがあり、その場合、制御信号４１０は必要とされない。

ある種の実施形態では、検出エンジン４０８及び識別エンジン４１４は、同じ物理的コンピュータ又はチップ上で実行されることがある。しかし、好ましくは、各エンジン４０８、４１４はまた、異なる物理的コンピュータ又はチップ上に実装されることができる。このことは、各エンジンに対して負荷をかけられる計算が別個のハードウェアに分散されることができるという点で別の有利な点を有する。

本発明の一実施形態の利点の１つが、少なくとも一実施形態では、異常な出来事の検出がカメラ１０２から送られる低い方の解像度データに対して行われることができることである。このことが、送られる又は処理されるのに必要とされるデータの量を最小にし、したがって計算上の利点を提供する。この実施形態では、カメラ１０２からの高い方の解像度データが、異常な行為又は出来事が検出されたときだけデータ管理サーバ１１４に送られ、そこに記憶される必要がある。その後ずっと、高解像度データは、具体的にはメガ・ピクセル・カメラからの高解像度データは、高い記憶能力及びかなりより多くの処理時間を必要とする。電子的監視システム１１０は、異常な行為が検出された場合だけ高解像度画像を記憶し、処理するように構成され、それにより、記憶空間及び処理能力の使用を最小にする。

この利点の一例として、１メガピクセルでの高解像度画像の画像が、約１００ｋバイトの記憶空間を必要とする。この記憶空間は、低解像度画像、例えば典型的には２０ｋバイト未満である１ＣＩＦ画像（２８８×３８４ピクセル）に必要とされる記憶装置又は伝送帯域幅の５倍である。大きなネットワーク帯域幅容量がより容易に利用可能になり、価格が低下しているとしても、高解像度画像のサイズが特に問題となる。高い方の解像度データのサブセットだけに対して作動する方法は、かなり低減された量のデータだけしか送られる必要がないことを意味する。１０の又はたとえ１００のそのような監視システムがある場合でも、しばしば制限されたネットワーク帯域幅に直面してそのようなデータ容量節約は重要であり、これらのネットワークでは、データが既存の公衆ネットワーク基盤上を送られる。

これらの実施形態では、上記で説明されるシステム１００、４００はまた、検出処理が連続的に行われることができ、且つ中断して識別処理が行われる必要がないように実装されることができ、これらのシステムは、別の方法ではかなり異常な行為が検出されない結果となる可能性がある。さらに、いくつかの別の異常な行為が同時に検出され、識別が事実上同時に行われることができる。

高い方の解像度データの小さな部分（サブエリアに対応する）だけしかシステムが記憶しないこれらの実施形態では、コンピュータのハードディスク上に必要とされる記憶容量はより少ない。

図５を参照すると、システムの別の実施形態５００が示されている。この実施形態では、カメラ１０２が２つの出力チャネルを提供するように構成される。すなわち
（ｉ）低い方の解像度のチャネル５０４、及び
（ｉｉ）高い方の解像度のチャネル５０６。
低い方の解像度のチャネル５０４は、検出器処理エンジン４０８に入力される。高い方の解像度の出力チャネル５０６は、識別エンジン４１４’に直接入力される。

検出器処理エンジン４０８は、異常な行為又は出来事の検出のフラグを立て、且つ関心のあるサブエリアを識別する場所データを提供する識別エンジン４１４に単一の制御出力５０８があることを除いて、前の実施形態（すなわち、検出器エンジン４０８）と本質的に同じ機能を実行する。この実施形態では、識別エンジン４１４は、高解像度データの連続ストリームを受け取るが、検出器処理エンジン４０８により制御線５０８上に信号を送られたときだけ識別処理を実行する。

図６から図８を参照すると、本発明の例示的実施形態が示されている。この例示的実施形態では、カメラ１０２が画像を取り込み（６００）、画像を検出エンジン１０９、４０８に送る（６０４）。必要な場合、画像データは、検出エンジンでの処理負荷を軽減するために、取り込まれた画像の解像度を低減するようにサイズを変更される。検出エンジン１０９、４０８は、カメラ１０２により取り込まれた異常な出来事又は活動があるかどうかを決定するために画像データの行動を分析するように進む（６０６）。議論されたように、取り込まれた画像の各フレーム、又はフレームのシーケンスに対するどんな変化も監視することにより、行動分析が行われる。変化が決定されると、検出エンジンはこれらの変化を比較して、その変化が検出規則の１つに含まれるかどうか確認する（６０８）。

これらの検出規則は、異常な行為又は出来事が検出されたと考えられる前に、画像データ内の変化の種別を指定することがある。例えば、背景の変化した色が、単に１日の時間、又は天候変化による空の色の変化であることがあり、したがって、異常な出来事と考えられない。しかし、画像が人の輪郭とマッチする場合、特定の線又は境界を通って動き、通過することが、異常な出来事と考えられることがある。したがって、検出規則は、点を通過する人の形と一致する画像データの変化の決定が、異常な出来事として考えられ、したがって警報を生成する（６１０）と明言することがある。

警報が生成されると（６１０）、次に、異常な行為、出来事、又は物体に対応する関連する画像データが中央サーバ上に記憶され、クライアント１１８に提示される。識別エンジンはまた、検出された異常な出来事を招いた人又は物体を識別しようとするために、取り込まれた画像の高解像度部分を作り上げるように呼び出されることがある。

警報及び取り込まれた画像はまた、クライアント機器上のユーザインタフェースに提示されることがある（６１４）。このことにより、ユーザが出来事を識別し観察し、その出来事を処理するために必要とされることを決定することができるようになる。

図７Ａから図７Ｃを参照すると、クライアント３１８のユーザインタフェースの一例が示されている。図７Ａでは、カメラ１０２により取り込まれた低解像度画像が、インタフェース上に表示される。画像は、この例では、２つの別個の関心のあるエリア７０２及び７０４に分割される。関心のある第１のエリア７０２は、背景内の扉を規定し、動き検出を検出するための関心のあるエリアである。関心のある第２のエリア７０４はテーブルの上面を規定し、非動き検出を検出するための関心のあるエリアとして選択される。

この構成は、単に境界線７０６を引いて、関心のある各エリアを規定し、且つ次に、関心のあるエリアに適した対応する検出を選択するユーザにより実現される。多数の検出種別が、関心のある同じエリアに対して選択されることがあり、関心のある多数のエリアがユーザにより確定されることができる。これらの設定が確定されると、システムは、関連する取り込まれた画像に対して電子的監視を行う準備ができている。

図７Ｂに示されるように、人７０８が扉を開け、監視のエリアに入る。この時点で、検出エンジンは、関心のある第１のエリア７０２で動きが確定されたことを検出することができ、警報を生成する。警報が生成される一方で、次に、検出された人又は物体を識別するために、カメラ１０２からの高解像度画像が処理される。高解像度画像７１０がクライアントに表示される一方で、識別エンジンの出力を使ってメッセージボックス７１２も表示される。

図８を参照すると、本発明の一実施形態が作動で示されている。カメラの取込み８００が示され、電子的監視システムにより処理され、２つの特定の異常な出来事が画像内で検出される。第１の出来事８０２が、乗り物の１つの近くにいる侵入者の存在であり、一方で第２の出来事８０４が駐車禁止ゾーン内の乗り物の存在である。示されるように、本実施形態の利点は、２つ又はそれ以上の異常な出来事がいつでも一度に検出されることができ、それにより、検出を第１の異常な出来事に限定する一方で、第２の異常な出来事を検出しない既存のカメラ監視構成の欠点を克服することである。

この実施形態では、検出された人８０６及び乗り物８０８の高解像度画像が、異常な出来事をトリガした人又は物体を識別するさらなる処理のために、データ管理サーバ１１４の中にも記録される。この例では、識別目的のために侵入者の顔が記録される一方で、乗り物の登録番号も高解像度画像から記録される。

要求されていないが、図を参照して説明される実施形態は、アプリケーション・プログラミング・インタフェース（ＡＰＩ）を整理するために、又は開発者により使用するための一連のライブラリとして実装されても、別のソフトウェアアプリケーション例えば端末又はパーソナルコンピュータのオペレーティングシステム、或いは携帯型コンピューティング装置のオペレーティングシステム内部に含まれてもよい。一般に、プログラムモジュールはルーチン、プログラム、オブジェクト、コンポーネント、及びデータファイルを含むので、特定の機能の性能を手助けする当業者には、同じ機能を達成するために、ソフトウェアアプリケーションの機能がいくつかのルーチン、オブジェクト、又はコンポーネントにわたり分散されることがあることが理解されよう。

本発明のシステム及び方法は、任意の適切なコンピューティング・システム・アーキテクチャが利用されることがある以外に、コンピューティングシステムにより実装される、又はコンピューティングシステムにより部分的に実装されることも理解されよう。コンピューティングシステムはスタンドアロンのコンピュータ、ネットワークコンピュータ、及び専用コンピューティング装置を含む。「コンピューティングシステム」及び「コンピューティング装置」という用語が使用されるとき、これらの用語は、説明される機能を実装するためのコンピュータハードウェアのどんな適切な構成も包含するように意図される。

広く説明される本発明の精神又は範囲を逸脱することなく、特定の実施形態で示されるような数多くの変更及び／又は修正が本発明に行われることがあることが当業者により理解されよう。したがって、本実施形態は、あらゆる点で例示的として考えられるべきであり、制限的として考えられるべきでない。

本明細書に含まれる従来技術へのどんな参照も、特に別の方法で示されていない限り、その情報が広く行きわたった一般知識であるという承認として捉えられるべきではない。

Claims (42)

1. シーンの監視方法であって、
   シーンの高解像度画像ストリーム、及び前記シーンの低解像度画像ストリームを取り込むステップと、
   行為、出来事、又は物体を検出するために、前記低解像度画像ストリームを処理するステップと、
   １つ以上の行為、出来事、又は物体が検出されたとき、前記低解像度画像ストリームとは無関係に前記行為、出来事、又は物体に対応する前記高解像度画像ストリームの部分を記憶するステップとを備え、
   １つ以上の前記行為、出来事、又は物体の識別が、前記高解像度画像ストリームの使用によって実行される、方法。
2. 前記高解像度画像ストリーム及び前記低解像度画像ストリームが単一の装置を利用して取り込まれる、請求項１に記載の方法。
3. 前記低解像度画像ストリームが、前記高解像度画像ストリームからの各画像のｎピクセルから１ピクセルを抽出することにより生成される、請求項１又は２に記載の方法。
4. ｎが整数値２、３、４、５、６、７、８、９、及び１０のうちの任意の１つである、請求項３に記載の方法。
5. 前記高解像度画像ストリームがバッファ内に記憶される、請求項１から４のいずれか１項に記載の方法。
6. 検出された１つ以上の前記行為、出来事、又は物体に対応する前記高解像度画像ストリームの少なくとも１つの部分が前記バッファから抽出される、請求項５に記載の方法。
7. 前記バッファが、前記バッファ内に記憶される古くなった画像ストリームに、最新の取り込まれた画像ストリームを上書きするように構成されるサーキュラバッファである、請求項５又は６に記載の方法。
8. 前記シーンが少なくとも１つのサブエリアに分割される、請求項１から７のいずれか１項に記載の方法。
9. １つ以上の前記行為、出来事、又は物体を検出する前記ステップが、少なくとも１つのサブエリアに対して行われる、請求項８に記載の方法。
10. １つ以上の前記行為、出来事、又は物体を検出する前記ステップが、動き検出処理又は非動き検出処理のうちの１つである、請求項９に記載の方法。
11. １つ以上の前記行為、出来事、又は物体を識別する前記ステップが、少なくとも１つのサブエリアに対して行われる、請求項９又は１０に記載の方法。
12. 前記物体が、人、乗り物、標識、荷物、動物、装置、又はそれらの組合せのうちの任意の１つである、請求項１１に記載の方法。
13. 前記高解像度画像ストリーム又は前記低解像度画像ストリームの少なくとも１つがインタフェース上に表示される、請求項１から１２のいずれか１項に記載の方法。
14. １つ以上の前記出来事、又は物体が検出された場合、警報が生成される、請求項１から１３のいずれか１項に記載の方法。
15. 前記警報が可視アラート及び可聴アラートの少なくとも１つである、請求項１４に記載の方法。
16. 前記警報が遠隔装置に伝達される、請求項１４又は１５に記載の方法。
17. 前記識別された１つ以上の行為、出来事、又は物体が前記インタフェース上で強調表示される、請求項１３に記載の方法。
18. シーンの監視システムであって、
    シーンの高解像度画像ストリーム及び前記シーンの低解像度画像ストリームを取り込むように構成される少なくとも１つのカメラと、
    １つ以上の行為、出来事、又は物体を検出するために、前記低解像度画像ストリームを処理するように構成されるプロセッサであって、１つ以上の前記行為、出来事、又は物体が検出されたとき、前記低解像度画像ストリームとは無関係に前記行為、出来事、又は物体に対応する前記高解像度画像ストリームの部分を記憶するように構成されるプロセッサと、
    前記高解像度画像ストリームの使用によって、１つ以上の行為、出来事、又は物体を識別するように構成されたモジュールとを含む、システム。
19. 前記高解像度画像ストリーム及び前記低解像度画像ストリームが単一の装置を利用して取り込まれる、請求項１８に記載のシステム。
20. 前記低解像度画像ストリームが、前記高解像度画像ストリームからの各画像のｎピクセルから１ピクセルを抽出することにより生成される、請求項１８又は１９に記載のシステム。
21. ｎが整数値２、３、４、５、６、７、８、９、及び１０のうちの任意の１つである、請求項２０に記載のシステム。
22. 前記高解像度画像ストリームがバッファ内に記憶される、請求項１８から２１のいずれか１項に記載のシステム。
23. 検出された１つ以上の前記行為、出来事、又は物体に対応する前記高解像度画像ストリームの少なくとも１つの部分が前記バッファから抽出される、請求項２２に記載のシステム。
24. 前記バッファが、前記バッファ内に記憶される古くなった画像ストリームに、最新の取り込まれた画像ストリームを上書きするように構成されるサーキュラバッファである、請求項２２又は２３に記載のシステム。
25. 前記シーンが少なくとも１つのサブエリアに分割される、請求項１８から２４のいずれか１項に記載のシステム。
26. １つ以上の前記行為、出来事、又は物体を検出するように構成される前記プロセッサが、前記少なくとも１つのサブエリアに対して作動する、請求項２５に記載のシステム。
27. 前記行為、出来事、又は物体を検出するように構成される前記プロセッサが、動き検出又は非動き検出のうちの１つを実施する、請求項２６に記載のシステム。
28. １つ以上の前記行為、出来事、又は物体を識別するように構成される前記モジュールが、少なくとも１つのサブエリアに対して作動する、請求項２６又は２７に記載のシステム。
29. 前記物体が、人、乗り物、標識、荷物、動物、装置、又はそれらの組合せのうちの任意の１つである、請求項２８に記載のシステム。
30. 前記低解像度画像ストリーム又は前記高解像度画像ストリームの少なくとも１つがインタフェース上に表示される、請求項１８から２９のいずれか１項に記載のシステム。
31. 前記出来事又は物体が検出された場合、警報が生成される、請求項１８から３０のいずれか１項に記載のシステム。
32. 前記警報が可視アラート及び可聴アラートの少なくとも１つである、請求項３１に記載のシステム。
33. 前記警報が遠隔装置に伝達される、請求項３１又は３２に記載のシステム。
34. 前記識別された行為、出来事、又は物体が前記インタフェース上で強調表示される、請求項３０のいずれか１項に記載のシステム。
35. 関心のあるエリア用の低い方の解像度の画像データ、及び前記関心のあるエリア用の高い方の解像度の画像データを利用する電子的可視監視方法であって、
    １つ以上の異常な行為の発生を検出するために、前記関心のあるエリア用の前記低い方の解像度の画像データを連続的に処理するステップと、
    １つ以上の前記異常な行為が検出された場合、前記関心のあるエリアのサブエリアを規定する場所データを生成するステップと、
    １つ以上の前記検出された異常な行為それぞれのために、前記サブエリアに対応するとともに前記関心のあるエリア用の前記高い方の解像度データから対象を識別するステップと、
    前記サブエリア内の画像を記憶及び／又は伝送するステップとを含む、方法。
36. 前記サブエリアに対応する前記高い方の解像度の画像データの部分だけが、前記識別するステップで使用される、請求項３５に記載の方法。
37. 前記関心のあるエリアに対する前記高い方の解像度の画像データを一時的に記憶するステップと、前記連続的に処理するステップで使用するために前記高い方の解像度のデータをデシメート（decimate）するステップとをさらに含み、さらに、前記識別するステップで使用するために、前記サブエリアに対応する前記記憶された高い方の解像度の画像データの部分だけが抽出される、請求項３５に記載の方法。
38. 別個のソースから前記低い方及び高い方の解像度の画像データを受け取るステップをさらに含み、前記サブエリアに対応する前記高い方の解像度の画像データの部分だけが前記識別するステップで使用される、請求項３５に記載の方法。
39. 電子的監視システムであって、
    関心のあるエリア用の低い方の解像度の画像データ、及び前記関心のあるエリア用の高い方の解像度の画像データを出力するカメラと、
    １つ以上の異常な行為の発生を検出するために、前記関心のあるエリア用の前記低い方の解像度の画像データを処理するプロセッサであって、異常な行為が検出された前記関心のあるエリアのサブエリアを規定する場所データを生成し、及び検出された１つ以上の異常な行為それぞれのために、前記サブエリアに対応すると共に、前記関心のあるエリア用である、前記高い方の解像度画像のデータから対象を識別するためのプロセッサと、
    を含む、システム。
40. プログラム制御可能な装置上にロードされたときに、前記プログラム制御可能な装置に請求項１から１７のいずれか１項に記載される方法のステップを実行させる少なくとも１つの命令を含む、コンピュータプログラム。
41. 請求項４０に記載されたコンピュータプログラムを記録した、コンピュータ読み取り可能な媒体。
42. 請求項４０に記載された前記コンピュータプログラムを含むデータ信号を送信及び受信する方法。

Images