JP6424163B2 - ビデオ内の対象物を検出するための方法、装置及びシステム - Google Patents

Description

本出願は、２０１３年３月１５日付で出願された米国特許出願第１３／８３８、５１１号及び２０１２年９月１２日付で出願された米国仮出願第６１／７００、０３３号の優先権の利益を主張するものであり、これらの開示内容はそのまま本願の一部を構成するものである。

本開示は、ビデオ監視方法及びシステム、ビデオ検証方法及びシステム等のビデオ監視に関する。人間を検出することができるビデオ監視システム、装置及び方法が開示されている。ビデオ監視システム、装置及び方法は、ビデオストリームにおいて人間の数をカウントすること及び／又は人間の群集シナリオを監視することができる。

インテリジェントビデオ監視（ＩＶＳ）システムは、ビデオのフィードにおいて対象イベントをリアルタイム又はオフラインで（例えば、以前に録画されて記録されたビデオをレビューすることにより）検出するのに使用することができる。通常、このタスクは、対象ターゲットを検出及び追跡することによって達成される。これは、現場が混雑していない場合、通常はうまく機能する。しかしながら、そのようなシステムの性能は、現場が混雑している場合には著しく低下することがある。実際には、そのような混雑した場面が頻繁に発生するため、このように、群衆の中において人間を検出することができることへの関心は非常に高い。そのような人間の検出は、群集密度、群集の形成及び群集の消散等の計数や他の群集分析として使用することができる。

従来の群集の分析作業は、特定のスポーツや宗教的なイベント等のいくつかの特定の非常に混雑した場面に対応するものである。しかしながら、大群衆が時折形成される、より一般的な監視シナリオに焦点を当てる必要もある。これらには、街路、ショッピングセンター、空港、バス停及び鉄道の駅等の公共の場所が含まれる。

最近では、群集密度の推定又は群衆における人数を数える問題は、研究コミュニティだけでなく、産業界においても非常に注目されている。既存のアプローチには、主にマップベース（間接）のアプローチ及び／又は検出ベース（直接）のアプローチが含まれる。

マップベースのアプローチは、人間ターゲットの数をモーションピクセルの量、フォアグラウンドブロブサイズ、フォアグラウンドエッジ、フォアグラウンドコーナーのグループ、及び他の画像特徴等のような、抽出された画像特徴にマッピングすることを試みることができる。マップベースのアプローチにおいては、通常、さまざまな種類のビデオシナリオのトレーニングが必要である。研究は、主に、人数のカウントと上手く一致する信頼性のある特徴を探すこと、及び影やカメラ視野の奥行などの幾つかの特殊な問題にどう対処するかに焦点を当てている。多くのシナリオにおいて、マップベースのアプローチは、十分なトレーニングビデオが与えられると、かなり正確な人間の計数の推定値を提供することができる。しかしながら、パフォーマンスは、通常、シーンに依存するものであり、各個人の実際の場所が得られない場合がある。

検出ベースのアプローチにおいては、それぞれの個々の人間ターゲットを識別することにより、シーン内の人数をカウントすることができる。研究は、人間の検出、人間のパーツの検出、及び検出と追跡の共同検討に焦点を当ててきた。これらのアプローチは、軽く混雑するシナリオにおいて、より正確な検出及びカウントを提供することができる。各個人の位置が得られる場合、局部的群衆密度を計算することが可能である。これらのアプローチの主要な課題は、高い計算コスト、視点依存性の学習及び比較的大きな人間画像サイズの要件である。

ここで説明する実施形態は、既存システムのこれらの問題の一部に対処するものである。

米国特許第７、８６８、９１２号明細書 米国特許第７、９３２、９２３号明細書 米国特許第７、８２５、９５４号明細書 米国特許第７、８０１、３３０号明細書

Ｚ.チャン、ＰＬ ベニチアナとＡＪリプトン著「堅牢な人間の検出と追跡システムは、人間モデルベースカメラキャリブレーションを使用する」（第８回国際ワークショップビジュアルサーベイランス、２００８年）

開示された実施形態は、人間対象物等の対象物を検出するためのビデオ画像の知能型解析のための方法、装置及びシステムを提供する。

幾つかの実施形態では、ビデオ内の人間対象を検出する方法は、以下を含む。ビデオ画像の特定のピクセルがフォアグラウンドピクセルであると決定すること。フォアグラウンドピクセルのグループは、ビデオ画像内のＮ位置のそれぞれについて、１又はそれ以上のフォアグラウンドブロブのフォアグラウンドブロブセットを構成するものであり、Ｎは整数である。所定の形をフォアグラウンドブロブセットと比較してその位置における人間の対応する確率を得、それによってＮ位置に対応するＮ確率を得ること。そして、Ｎ確立を用いて、Ｘ人間が前記フォアグラウンドブロブセットによって表わされることを決定すること。但し、Ｘは整数である。

ビデオ内の人間対象を検出する方法は、以下を含むものであってもよい。現実世界のシーンのビデオ画像のピクセルがフォアグラウンドピクセルであることを決定すること。そのフォアグラウンドピクセルのグループは、1又はそれ以上のフォアグラウンドブロブのフォアグラウンドブロブセットを構成するものである。ビデオ画像の内のＮ位置（Ｎは整数）のそれぞれについて、所定の形をフォアグラウンドブロブセットと比較して、Ｘ人間（Ｘは整数）がそのフォアグラウンドブロブセットによって表されることを決定すること。

方法には、そのＸ人間のそれぞれの位置を決定することを含んでもよい。そのＸ人間のそれぞれの位置は、現実世界の物理的な地面上の位置のような、現実世界の水平面内の位置として決定しても良い。

人間対象物の検出は、群衆解析及び他のイベント検出のために、人間をカウントするために使用される。

システム及びデバイスは、そのような方法を実行するように構成されるように開示されている。

本明細書に記載の動作をコンピュータに実行させるように構成されたソフトウエアを含むコンピュータ読取可能媒体は、本発明の更なる実施形態を含む。

例示的な実施形態は、添付図面と併せて以下の詳細な説明から、より明確に理解される。図面は、本明細書に記載された非限定的な例示的実施形態を表すものである。

図１は、本発明の例示的実施形態に係る例示的なビデオ監視システムを示す。 図２は、本発明の例示的実施形態に係るビデオ監視システムからのビデオストリームからの例示的なフレームを示す。 図３Ａは、本発明の例示的実施形態に係るターゲット検出及び計数の例示的なフロー図である。 図３Ｂは、いくつかの人間モデルが二次元ビデオ画像を占める例を示すものであり、それぞれの人間モデルが二次元ビデオ画像に対して異なる位置に対応している。 図３Ｃは、対応する人間モデル３２０にそれぞれ関連付けられた（ｘ、ｙ）識別座標３２１の単一の行を示す。 図３Ｄは、人間確率マップを計算するための例示的な方法を示す。 図３Ｅは、ビデオ画像内の人間モデルのベスト数を見出す一部としての確率マップの単一のパスを実行する例示的な方法を示す。 図３Ｆは、ビデオ画像内の人間モデルのベスト数を見出すための確率マップの複数のパスを実行する方法を示す。 図４は、３Ｄシリンダーモデルと、それに相当する２Ｄ凸ハルモデルとを含む一般的な人間モデルを示す。 図５は、幾つかの人間画像サンプルを使用して測定される一般的なフラットアースカメラモデルを示す。 図６Ａは、例示的な検出結果を示す。 図６Ｂは、例示的な検出結果を示す。 図６Ｃは、例示的な検出結果を示す。 図７Ａは、人間の検出結果に基づく人間群衆密度に関する一例を示す。 図７Ｂは、人間の検出結果に基づく人間群衆密度に関する一例を示す。 図７Ｃは、人間の検出結果に基づく人間群衆密度に関する一例を示す。 図８は、様々な群衆関連イベントを検出するための例示的な実施例を示す。 図９は、混雑領域を定義し検出する方法の例示的な方法を示す。 図１０は、各検出された人間ターゲットに関する例示的なプロセスを示す。 図１１は、各群集領域に関する例示的なプロセスを示す。 図１２は、群衆の「集合」及び「消散」を定義し検出するために用い得る方法を示す。 図１３は、群衆集合スポットの定義の一例を示す。 図１４Ａは、群衆集合スポットの一例を示す。 図１４Ｂは、群衆集合スポットの一例を示す。 図１５は、群集集合スポットを検出する例示的な方法を示す。 図１６は、群衆集合スポットを更新して群衆の「集合」及び「消散」イベントを検出する方法の例示的な例を示す。 図１７は、複数のビデオカメラを使用する例示的な実施例を示す。

種々の例示的な実施形態は、いくつかの例示的な実施形態が示される添付図面を参照して、より詳細に説明される。しかし、本発明は、多くの異なった形態で具現化され得るものであり、本明細書に記載の例示的実施形態に限定されるものであると解釈されるべきではない。これらの例示的な実施形態は、単に例示であり、本明細書に提供される詳細情報を必要としない多くの実施形態及び変形形態が可能である。また、本開示は、代替実施例の詳細を提供するが、それらの代替案のリストは網羅的ではないことが強調されるべきである。さらに、本明細書に記載の全ての特徴のあらゆる可能な変形を一覧表示するのは実行不可能であるため、様々な例の間における詳細の一貫性は、そのような詳細が必要とされると解釈されるべきではない。特許請求の範囲の表現は、本発明の要件を決定する際に参照されるべきである。図面において、レイヤ及び領域のサイズ及び相対的なサイズは、明確にするために誇張されることがある。同様の要素には同様の番号が付与される。

また、第一、第二、第三などの用語が様々な要素を説明するために使用されることがあるが、それらの要素はこれらの用語によって限定されるべきではないと理解されなければならない。これらの用語は、ある要素を別の要素から区別するために使用される。したがって、以下において論じられる第１の要素は、本発明の概念の教示から逸脱することなく第２の要素と呼ぶことができる。本明細書において、「及び／又は」という用語は、列挙された関連項目の一つ又は複数のあらゆる組合せを含む。

また、要素が別の要素に「接続」又は「結合」されると言及される場合、直接接続されるか、他の要素に結合されるか、あるいは他の要素が介在し得る。対照的に、要素が別の要素に「直接接続」又は「直接結合」されると記載される場合、介在する要素は存在しない。要素間の関係を説明するために使用される他の用語は、（例えば、「の間」に対し「間に直接」、「隣接」に対し「直接隣接」等）同様に解釈されるべきである。

本明細書で使用される用語は、特定の例示的な実施形態を説明する目的のためであり、本発明の概念を限定することを意図するものではない。本明細書で使用する場合、単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、文脈が明確に示さない限り、複数形も含むことを意図している。さらに、本明細書で使用される場合、「含む」という用語は、「含む」及び／又は、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を特定することが理解されるであろうが、１つ又は複数の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらの群の付加の存在を排除するものではない。

他に定義しない限り、本明細書で使用される（技術用語及び科学用語を含む）全ての用語は、一般に本発明の概念が属する技術分野の当業者に理解されるのと同じ意味を有する。このような一般的に使用される辞書に定義されるような用語は、関連技術の文脈におけるそれらの意味と一致する意味を有すると解釈されるべきであり、明確に定義されない限り、理想化又は過度に形式的な意味に解釈されるべきでないと理解されるべきである。

定義
本発明を説明する際に、以下の定義（上記を含む）が全体を通じて適用される。

「ビデオ」は、アナログ及び／又はデジタル形式で表わされる動画に言及することもある。ビデオの例としては、以下のものが含まれ得る。テレビ、映画、ビデオカメラや他のオブザーバーからの画像シーケンス、ライブフィードからの画像シーケンス、コンピュータ生成画像シーケンス、コンピュータグラフィックスエンジンからの画像シーケンス、コンピュータ読取可能媒体、デジタルビデオディスク（ＤＶＤ）、又は高精細ディスク（ＨＤＤ）等の記憶装置からの画像シーケンス、 ＩＥＥＥ １３９４ベースのインタフェースからの画像シーケンス、ビデオデジタイザからの画像シーケンス、あるいはネットワークからの画像シーケンス。

「ビデオシーケンス」は、ビデオの一部又は全てに言及する場合がある。

「ビデオカメラ」は、ビジュアル記録用の装置に言及する場合がある。ビデオカメラの例としては、以下の１つ又はそれ以上を含むことがある。ビデオ撮像装置及びレンズ装置、ビデオカメラ、デジタルビデオカメラ、カラーカメラ、白黒カメラ、カメラ、カムコーダ、ＰＣカメラ、ウェブカメラ、赤外線（ＩＲ）ビデオカメラ、低照度ビデオカメラ、熱ビデオカメラ、有線方式テレビ（ＣＣＴＶ）カメラ、パン・チルト・ズーム（ＰＴＺ）カメラ、ビデオ検知装置。ビデオカメラは、関心領域の監視を実行するように配置することができる。

「ビデオ処理」は、例えば、圧縮、編集、監視、及び／又は検証を含むビデオの任意の操作及び／又は分析のことを言う場合がある。

「フレーム」は、ビデオ内の特定の画像やその他の個別のユニットを言う場合がある。

「コンピュータ」は、構造化された入力を受け付け、所定のルールに従って構造化入力を処理し、出力として処理結果を生成することができる、1又はそれ以上の装置及び／又は１つ又はそれ以上のシステムのことを言う場合がある。コンピュータの例には、以下のものが含まれ得る。コンピュータ、固定及び／又はポータブルコンピュータ、並列及び／又は非並列に作動する、単一のプロセッサ、複数のプロセッサ、又はマルチコアプロセッサを有するコンピュータ、汎用コンピュータ、スーパーコンピュータ、メインフレーム、スーパーミニコンピュータ、ミニコンピュータ、ワークステーション、マイクロコンピュータ、サーバー、クライアント、双方向テレビ、ウェブアプライアンス、インターネット回線付きの電気通信装置、コンピュータと双方向テレビのハイブリッド組み合わせ、ポータブルコンピュータ、タブレットパーソナルコンピュータ（ＰＣ）、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、例えば、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、アプリケーション固有命令がセットされたプロセッサ（ＡＳＩＰ）、チップ、チップス、又はチップセットのような、コンピュータ及び／又はソフトウェアをエミュレートするための、アプリケーション固有ハードウェア、チップ（ＳｏＣ）上のシステム、又はマルチプロセッサシステムオンチップ（ＭＰＳｏＣ）、光コンピュータ、量子コンピュータ、生物学的なコンピュータ、１つ又は複数の格納されたソフトウェアプログラムに従ってデータを受け取り、処理し、結果を生成する装置、典型的には、入力、出力、ストレージ、算術、論理、及び制御ユニット。

「ソフトウェア」は、コンピュータを動作させるための所定のルールのことを言う。ソフトウェアの例としては、以下のものがある。ソフトウェア、コードセグメント、命令、アプレット、プリコンパイルされたコード、コンパイルされたコード、解釈されたコード、コンピュータプログラム、プログラムされたロジック。

「コンピュータ読取可能媒体」は、コンピュータによってアクセス可能なデータを格納するために使用される任意のストレージデバイスのことを言うことがある。コンピュータ読取可能媒体の例としては、以下のものがある。磁気ハードディスク、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭやＤＶＤなどの光学ディスク、磁気テープ、フラッシュリムーバブルメモリ、メモリチップ、及び／又は機械可読命令を格納できる他のタイプの媒体。

「コンピュータシステム」とは、コンピュータを動作させるためのソフトウエアを具現化するコンピュータ読取可能媒体を備えた、１つ又は複数のコンピュータを有するシステムのことを言うことがある。コンピュータシステムの例としては、以下のものがある。ネットワークによってリンクされたコンピュータシステムを介して情報を処理するための分散コンピュータシステム、コンピュータシステム間で情報を送信及び／又は受信するためのネットワークを介して互いに接続された２つ以上のコンピュータシステム、及びデータを受け入れることができ、１つ又はそれ以上の格納されたソフトウェアプログラムに従ってデータを処理することができ、結果を生成することができる、１つ又はそれ以上の装置及び／又はシステム、典型的には、入力、出力、ストレージ、算術、論理、及び制御ユニットを含む。

「ネットワーク」は、通信設備によって接続された多数のコンピュータ及び関連デバイスのことを言う場合がある。ネットワークには、ケーブルや、電話又は他の通信リンクを介して行われるような一時的な接続などの恒久的な接続を含む場合がある。ネットワークは、さらに、ハードワイヤード接続（例えば、同軸ケーブル、ツイストペア、光ファイバ、光導波路など）及び／又は無線接続を含む場合がある（例えば、無線周波数波形、自由空間光波形、音響波形等）。ネットワークの例としては、以下のものが含まれる。インターネットやイントラネット等のインターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネットとイントラネット等のネットワークの組み合わせ。例示的なネットワークは、インターネットプロトコル（ＩＰ）、非同期転送モード（ＡＴＭ）、及び／又は同期光ネットワーク（ＳＯＮＥＴ）、ユーザデータグラムプロトコル（ＵＤＰ）、ＩＥＥＥ ８０２.Ｘなどの多数のプロトコルのうちのいずれかで動作することができる。

いくつかの実施形態では、群衆密度推定方法、システム及び装置は、既存のビデオコンテンツ解析方法、システム及び装置に基づくものがある。基本的な推定精度要件に加えて、このアプローチは、以下の1又はそれ以上を含む場合がある。
カメラビューの独立性は、カメラの位置、画角、ターゲット上のピクセルの数などにかかわらず、広い範囲のばらつきのアプリケーションシナリオで動作する実施形態を許容する。
リアルタイムで実行し得る比較的低い計算コスト。実施形態では、組込みシステムで実施されても良い。
複雑な初期設定及びトレーニングが低減され及び／又は除去され、より利便性と所有コストの削減が可能になる。

本明細書に開示されたいくつかの例は、検出ベースのアプローチを含み、トレーニングの必要はない。その例は、一般的なＩＶＳシステムで実施することができ、それは既に基本検出及び追跡のタスクを実行し、信頼性の高いフォアグラウンドマスクを提供している。凸領域人間画像モデルは、それぞれのフォアグラウンド領域における人間ターゲットの数を推定するために使用することができる、全ての画像ピクセルについて計算されてもよい。カメラキャリブレーションデータは、カメラの視野内の領域において実際の群衆密度の測定値を提供するために使用される、物理的な世界における地上面への画像面からのマッピングを提供することができる。実際の群衆密度測定（複数可）を使用して、関心のある他のイベント、例えば、「群衆ホットスポット」、「群衆集合」「群衆消散」等を検出してもよい。

図１は、本発明の実施形態に係るビデオ監視システム１０１を示している。このビデオ監視システムは、ビデオストリームにおける人間群集活動を検出し、監視するように構成してもよい。ビデオ監視システム１０１は、群衆密度を分析するために使用する場合のような、人間の検出に関心がある様々な用途に使用することができる。例えば、実施形態は、不審な人々の集まりの検出、歩行者の交通統計収集、異常な群衆の形成及び／又は消散の検出等に適用され得る。このビデオ監視システム１０１は、ビデオソース１０２（例えば、記録されたビデオを備えたビデオカメラや、ハードドライブ等のようなメモリ）、変化検出モジュール１０３、動き検出モジュール１０４、フォアグラウンドブロブ検出モジュール１０５、人間検出モジュール１０６、ターゲット追跡モジュール１０７、イベント検出モジュール１０８を含むことができる。この実施形態では、ビデオソース（例えば、ビデオカメラ）は静止している。しかしながら、当業者であれば、本発明は、更に、モバイルビデオソースにも適用されるものであると認識するであろう。この実施形態では、ビデオソースが単一のビデオストリームを提供している。しかし、本発明は、複数のビデオストリームを使用して処理することをも企図している。

このビデオ監視システムは、一般的な静止プラットフォームＩＶＳシステムで実施することができる。一例として、ベネティアナー等に発行された米国特許第７、８６８、９１２号、リプトン等に発行された米国特許第７、９３２、９２３号を挙げることができ、これらはそれら全体が参照により本明細書に組み込まれるものであり、ＩＶＳシステムの例示的な詳細は、ここに記載された実施形態を実施するためにも使用され得るものである。米国特許第７、８６８、９１２号明細書及び米国特許第７、９３２、９２３号明細書は、本明細書に開示された実施形態で使用することができる、生成されたビデオプリミティブを使用して、イベント検出のような、ビデオからの情報を取得する（リアルタイム処理又は以降の処理であってもよい）ビデオプリミティブ（又はメタデータ）の生成及び下流の処理の例示的な詳細のために参照により援用される。各モジュール１０３乃至１０８、ならびにそれらの個々の成分は、単独で、又は他のモジュール／部品と組み合わせて、専用のハードウェア（回路）、ソフトウェア及び／又はファームウェアによって実施することができる。例えば、ソフトウェアでプログラムされた汎用コンピュータは、それら全てのモジュールを実行することができる。このように、本明細書に記載の動作を実行するようにコンピュータを構成するために使用することができるソフトウェアを含むコンピュータ読取可能媒体は、本発明の更なる実施形態もを含む。別の例として、本明細書に記載のシステム、装置及び方法を実行するために、様々なコンピューティング、光学構成要素は、以下の1又はそれ以上を使用することができる。汎用コンピュータ、スーパーコンピュータ、メインフレーム、スーパーミニコンピュータ、ミニコンピュータ、ワークステーション、マイクロコンピュータ、サーバー、双方向テレビ、コンピュータと双方向テレビのハイブリッド組み合わせ、スマートフォン、タブレット、コンピュータ及び／又はソフトウェアをエミュレートするアプリケーション固有のハードウェア。これらには、１つ又は複数のプロセッサ、複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）のいずれか、コンピュータメモリ、コンピュータによってアクセス可能なデータを格納するために使用される任意のストレージデバイスのようなコンピュータ読取可能媒体（例えば、プロセッサは、カメラ装置から受信したデータに様々なアルゴリズムを実行してもよいし、コンピュータメモリは、その後、様々なピクセルに関する情報を格納することができ、ブロブ検出、目標検出、及びイベント検出の結果を格納することができる）を含むものであっても良い。コンピュータ読取可能媒体の例には、磁気ハードディスク、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭやＤＶＤなどの光学ディスク、磁気テープ、メモリチップ、ソリッドステートストレージデバイス、電子メールの送受信や、ネットワークにアクセスする際に使用されるもののような、コンピュータ可読電子データを搬送するために使用される搬送波が含まれる。具体的なコンピュータ読取可能媒体は、物理的に有形である、上述したようなコンピュータ読取可能媒体を含む。さらに、ソフトウェアは、本明細書に記載の方法を実行するためにコンピューティング及び／又は光学部品と組み合わせて使用することができる。ソフトウェアは、コンピュータを動作させるためのルール及び／又はアルゴリズムを含むことができ、例えば、コードセグメント、命令、コンピュータプログラム、及びプログラムされたロジックを含むことができる。ビデオソース１０２とモジュール１０３乃至１０８は、単一のシステム内であってもよいし、分散させてもよい。例えば、ビデオソース１０２は、監視すべき領域に配置されたビデオカメラであっても良い。ビデオソース１０２は、モジュール１０３乃至１０７が配置されているモニタリング位置（例えば、監視する位置とは別の第二の位置）にビデオストリームを提供する。イベント検出モジュール１０８は、監視場所と第二場所とは別の第三の位置（例えば、中央局）に設けられてもよい。本明細書に記載の種々のモジュール、コンピュータ、カメラ、及び他の映像機器は、ネットワークを介して接続することができ、それらは電話や他の通信リンクを介して行われるようなケーブル又は一時的な接続などの恒久的な接続であっても良く、また無線通信リンクであっても良い。ネットワークの例には、インターネットのようなインターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネットやイントラネットなどのネットワークの組み合わせが含まれる。上述した様々なハードウェア及びソフトウェアの例はまた、本明細書に参照により組み込まれた特許文献に詳細に記載されている。

変更ピクセルは、以前に得られた背景画像とは異なる、ビデオソース１０２によって提供されるビデオ画像のピクセルとして変化検出モジュール１０３によって検出することができる。背景画像は動的であってもよい。動的背景画像モデルは、連続的に構築され、入力ビデオフレームから更新されてもよい。したがって、ビデオ画像を変更する照明、天候の変化は、背景画像において考慮することができる。１０４において、フレーム差分は、移動ピクセルを検出するために使用され得る。１０５において、モジュール１０３からの変更ピクセル及びモジュール１０４からの移動ピクセルの一方又は両方が、空間的にフォアグラウンドブロブにグループ化されるフォアグラウンドピクセルを決定するために考慮される。ビデオ画像は、既存のビデオコンテンツ分析システム及び方法によって処理することができ、２０１０年１１月２日に公開され、チャン等に付与された米国特許第７、８２５、９５４号明細書に記載され、その内容は全体として参照により本明細書に組み込まれたように、フォアグラウンド、フォアグラウンドブロブ、関心のフォアグラウンドブロブ（例えば、人フォアグラウンドブロブ等）が抽出される。深度センサ情報は、必要に応じて潜在的な人間として検出された各オブジェクトの現実世界の高さや大きさを推定するために使用することができ、その結果、潜在的な人間ターゲット（対象ではないブロブとは対照的に）に対応するブロブは、より正確に同定される。深度センサ情報は、必要に応じて、影、鏡面反射、関心領域外と検出された物体、遠すぎる（例えば、それが正確な分析を可能にするのに十分に近くない）オブジェクト、又はビデオ画像の不良解析のリスクを増加させることのあるビデオ画像の他の要素を排除するのに使用することができる。奥行き情報の使用の例示的な詳細は、チャン等の米国特許出願第１３／７４４、２５４号明細書に見出すことができ、その内容は全体として参照により組み込まれる。ブロブは、ターゲット追跡モジュール１０７において時空ターゲットを形成するために経時的に追跡され、そして最後に、イベント検出モジュール１０８は、ターゲット検出と追跡処理の出力を使用してユーザによって定義された関心のあるイベントを検出する。ブロブへのフォアグラウンドピクセルの単純な空間的なグループ分けに代えて又は加えて、人間検出モジュール１０６は、キャリブレーション情報、さらに混雑したシナリオで人間を検知する凸領域形人間モデルを使用する。いくつかの例では、全く必要ない又は最小限のトレーニングは、シーン内の人間オブジェクトを検出するために事前に必要とされる。そして、イベント検出モジュール１０８では、いくつかの新規イベント検出手法を実施することができ、人検出部１０６で人間検出結果を使用してもよい。

図２は、屋外広場、通り、観光スポット、鉄道の駅、ショッピングモール、メトロの駅等を含むＩＶＳシステム１０１のためのいくつかの一般的なアプリケーションシナリオに対応するビデオ画像を示す。見ればわかるように、ビデオ撮影されているシーンに対するカメラの位置に応じて、ビデオ画像を占有する人間の相対的な大きさや形状が異なる。

図３Ａは、ビデオ監視システム１０１の複数の例示的な詳細を提供するブロック図を示す。フォアグラウンドブロブ検出モジュール１０５は、図１におけるものと同じであってもよい。モジュール３０１、３０２、３０３、３０４、３０５及び３０６は、図１の人検知モジュール１０６の構成要素であってもよい。人体ピクセル検出モジュール３０１は、変化検出部１０３からの変化ピクセルの結果に基づいて、人体ピクセルを検出する。これらのピクセルは、（例えば、輝度差及び／又は色差がそれぞれの閾値を超える）背景画像モデルと非常に異なるか、又は高コンフィデントフォアグラウンドエッジピクセルの間に位置している。これらは、画像内の正当な人体ピクセルである可能性が最も高いと考えられている。検出された人体ピクセルの一例として、例えば、図６Ａの３０１ａを挙げることができる。それらはほとんどの場合、影や反射を表しているので、他の変化ピクセルは、さらに、人間検出処理から除外してもよい。フォアグラウンドブロブの境界が現在のビデオフレームの画像のエッジと整列する場合、人間境界ピクセル検出モジュール３０２は、人間境界ピクセルを検出する。検出された人間境界ピクセルの一例として、例えば、図６Ａの３０２ａを挙げることができる。人間検出を行う際に、他の分析は、人体が検出されたことの決定を支援するために（上記のもののに代えて、又は加えて）実施されてもよい。例えば、それぞれの潜在的人間ブロブが境界フォアグラウンドエッジピクセルの特定の数を含まなければならないことを必要とすることができる。他の例として、他の処理はブロブを、人間以外の対象物（例えば車両）と関連付けて認識しても良く、更に人間検出処理からそのようなブロブを排除しても良い。潜在的な人間であるとみなされない他のフォアグラウンドブロブは、フォアグラウンドブロブセットから除外しても良い。あるいは、任意の検出されたブロブは、フォアグラウンドブロブセットの一部であってもよい。

一般的な人間モデルモジュール３０３は、一般的な人間の３Ｄ及び２Ｄモデルを提供する。例えば、一般的な人間モデルモジュール３０３は、現実世界の３次元人間モデルをビデオ画像の２次元画像平面にマッピング又は投影することによって、２次元人間モデルを３次元人間モデルに変換しても良い。図４は、画像平面３３０上に対応する二次元人間モデル３０３ｂにマッピングされた例示的な３Ｄモデル３０３ａを示している。３Ｄ人間モデル３０３ａは、シリンダのグループ（例えば、脚が１つのシリンダ、胴体が１つのシリンダ、頭が１つのシリンダ）のような単純な３Ｄ形状のセットであってもよい。地面（現実の世界の地面）に対するビデオカメラの異なる角度がビデオカメラの画像平面における異なった形状の２Ｄ人間モデル３０３ｂを得るために使われるように、同じ三次元人間モデル３０３ａ（例えば、シリンダモデル）が、種々のビデオカメラの位置で使用することができる。例えば、一例としての３Ｄシリンダ人間モデルを考慮して、特定の場所のトップダウンビューを提供するカメラアングルは、２Ｄ画像平面内の円にマッピングしても良く、同じ位置の斜視図を有するカメラ角度が３Ｄシリンダー人間モデルを細長い形を有する異なる形状にマッピングしても良い。図１７に示す例では、カメラ１７０２と比較して３Ｄ人間モデル３０３ａのより多くの側面を有することができるカメラ１７０４と比較して、カメラ１７０２は、３Ｄ人間モデル３０３のより多くのトップダウンビューを有することができる。もし３Ｄ人間モデル３０３ａからカメラ１７０２及び１７０４の距離が同じであれば、カメラ１７０２の画像平面にマッピングされる対応する２Ｄ人間モデルは、カメラ１７０４の画像平面にマッピングされた２Ｄ人間モデルよりもコンパクトである（例えば、短い）。２Ｄ人間モデルは、２Ｄ画像平面への３Ｄ人間モデルの投影の外部エッジの点を補間することにより得ることができる凸形状を有していてもよい。

図４は、２Ｄ画像平面３３０にマッピングされた３Ｄシリンダモデル３０３ａと、それに対応する２Ｄ凸ハルモデル３０３ｂとを含む一般的な人間モデルを示す。３Ｄ人間モデル３０３は、脚シリンダーと、胴体シリンダと、頭シリンダとで構成されている。各シリンダの長さ及び半径は、典型的な普通の人間の典型的な寸法を表す物理統計データに対応することができる。図４に示すように、これらの３つのシリンダーは、頭部面と、肩面と、尻面と、足面との４つの主要な面を有する。特定の位置における対応する２Ｄ人間モデルを得るために、均一に、４つの主要面の周囲に沿ってサンプリングし、カメラキャリブレーションパラメータを使用して、各３Ｄサンプル点を２Ｄ画像平面上へ投影し、２Ｄ画像空間内の特定の位置に対して適切な大きさ及び向きを決定する。これらの対応する画像のサンプル点は、次いで２Ｄ画像人間モデルとして使用することができる凸形成方法で、画像上の凸ハルを形成するために用いることができる。

図５は、いくつかの人間の画像サンプルを使用して測定することができる、一般的なフラットアースカメラモデルを示している。このカメラモデルは、３つのパラメータのみが含まれる場合がある。即ち、地面に対するカメラの高さ、カメラのチルトアップ角度、及び焦点距離である。これらのパラメータは、記載内容全体がいずれも参照により本明細書に組み込まれる、「堅牢な人間の検出と追跡システムは、人間モデルベースカメラキャリブレーションを使用する」（第８回国際ワークショップビジュアルサーベイランス、２００８年、Ｚ.チャン、ＰＬ ベニチアナとＡＪリプトン）及び２０１０年９月２１日に公開されたチャン等の米国特許第７、８０１、３３０号に記載されているように、ビデオフレームから三つ以上の人間サンプルを用いて推定することができる。

代替的に、又はそれに加えて、一般的な人間モデルモジュール３０３は、ビデオ画像を撮影するビデオカメラのカメラアングルに応じて修正（例えば、２Ｄ画像平面の垂直軸に対して延伸、収縮、傾斜）される所定の２Ｄモデルを有するものであってもよい。いくつかの一般的な人間モデルは、一般的な人間モデルモジュール３０３によって提供され得る。人間モデルは、また、例示的な付属品のためのモデリングを含むものであっても良い。屋外でシステムを使用する場合、例えば、第１の人間モデルを、暖かい天候時用として使用し、第２の大きな人間モデルを、寒い天候時用として使用し（コートが着用されることが予測され、それが人間モデルの一部とみなされる）、第三の人間モデルは、雨天時用として使用する（傘が使用されることが予測され、それが人間モデルの一部とみなされる）ことができる。

一般的な人間モデルモジュール３０３は、画像空間内の対応する位置で２Ｄ人間モデルの様々な大きさの推定値をも提供する。画像空間は、ビデオソース１０２によって提供されたビデオのフレーム内の画像の二次元空間に対応してもよい。画像空間は、画像空間内の位置がピクセル座標によって識別されるように、ピクセル単位で測定しても良い。ビデオカメラは、三次元の現実世界の２次元画像を含むビデオ画像をとることができる。人間が現実世界内の特定の場所に存在する場合、その人間は、二次元ビデオ画像内の特定の場所に、フォアグラウンドの一定量を占めることが予想される。もし人間がビデオカメラから遠い場合は、人間の画像サイズは、ビデオカメラに近い人間の画像サイズに比べて相対的に小さいことが予測される。二次元ビデオ画像空間内の複数の位置のそれぞれについて、一般的な人間モデルモジュール３０３は、２次元画像空間内の位置に対応するサイズを有する人間モデルを提供してもよい。各位置に対して、２Ｄ人間モデルは、２次元ビデオ画像の画像空間内の各位置に応じた寸法及び／又はサイズを有することができる。これらの人間モデルの向きも、２次元画像空間内の位置に対応するものであっても良い。例えば、一部のカメラレンズ（例えば、広角レンズ）が、第１方向がビデオ画像フレームの一側であり、第２方向が第１の方向と異なる、ビデオ画像フレームの第２側として、現実の世界で鉛直方向を表してもよい。２Ｄ人間モデルは、現実世界の垂直方向の異なる表現に対応して、ビデオ画像フレームの異なる側（及び他の場所）で異なる向きを有するものであっても良い。

２Ｄビデオ画像空間内の複数の人間モデルのそれぞれの位置は、２Ｄビデオ画像空間内の識別座標に関連付けられてもよい。識別座標は、２Ｄビデオ画像空間を有するビデオ画像のピクセル位置に対応することができる。例えば、ピクセル配列の第１０行、第２２列に対応する位置は、（１０、２２）の識別座標をに対応することができる。２Ｄビデオ画像空間内の複数の位置のそれぞれについて、一般的な人間モデルモジュール３０３は、人間モデルの特定のポイントを、関連する識別座標にマッピングすることができる。例えば、人間モデルの特定の点は、人間の頭に対応する人間モデルの最上部であってもよく、人間の足に対応する人間モデルの底部であってもよく、人間の中心に対応する人間モデルの形状の重心であっても良い。人間モデルの残りの部分は、人間モデルの特定の点と人間モデルの残りの部分との間の固定された関係に基づいて、人間モデルの関連付けられた識別座標及びサイズに対する２Ｄビデオビデオ画像空間にマッピングすることができる。例えば、ヒトモデルを円であると仮定する。２Ｄビデオ画像空間内の各ピクセルに対して、対応する円の中心がマッピングされ（例えば、２Ｄビデオ画像空間の座標（ｘ、ｙ）に関連付けられ、）、円形の残りは、円の対応サイズ（及びその円の中心に対する既知の関係）考慮して、２Ｄビデオ画像空間にマッピングされる。３次元現実世界における人間の特定の部分の位置（例えば、ヒトの頭の最上部、人間の足の底部、人間の中心等）は、２次元ビデオ画像内の位置に固有の対応関係を有することがあり、従って、２次元ビデオ画像内の人間のこの特定の点の存在は、三次元の現実世界の中で人間の位置を決定するために使用され得る。

一般的な人間モデルモジュール３０３も、２次元画像空間内の各特定の場所のための人間モデルのサイズを決定することができる。人体モデルのサイズは、ビデオ監視システム１０１のキャリブレーションから得ることができる。たとえば、ビデオ監視システム１０１がキャリブレーションの目的のためにビデオを取りながら、既知のサイズのキャリブレーションモデルが監視すべきエリアを動き回るようにしても良い。キャリブレーションモデルは、監視エリアを歩き回る既知の高さの人間でも良い。キャリブレーション中、システムは、フォアグラウンドブロブとしてビデオ内にキャリブレーションモデルを特定してもよいし、フォアグラウンドブロブが所定の大きさ（例えば、所定の高さ）に対応しているものであると（例えば、キャリブレーションモデルのサイズに関するビデオ監視システム１０１に提供されるキャリブレーション情報にアクセスすることによって）認識しても良い。キャリブレーションモデルが、ビデオキャリブレーション中にモニターされるべき領域内を移動するにつれて、ビデオ画像内の様々な位置で、システムは、２Ｄビデオ画像のサイズにキャリブレーションモデルの既知の高さを相関させても良い。例えば、キャリブレーションモデルの中心が（ｘ１、ｙ１）の位置にあるとき、キャリブレーションモデルの高さは１５ピクセルであってもよい（又はいくつかの他の測定で測定することができる）。キャリブレーションモデルの中心が、位置（ｘ２、ｙ２）である場合、キャリブレーションモデルは、高さ２７ピクセルであってもよい。キャリブレーションモデルの中心が、位置（ｘ２、ｙ２）である場合、キャリブレーションモデルは、高さ２７ピクセルであってもよい。このように、ビデオ監視システム１０１は、２Ｄビデオ画像を相関させることによって、２Ｄビデオ画像の大きさをキャリブレーションモデルの既知のサイズ（例えば、高さ）に相関させることによって、２Ｄビデオ画像内の特定の場所（例えば、（ｘ、ｙ）座標））での２Ｄビデオ画像の寸法を現実世界での大きさ（例えば、高さ）に相関させても良い。現実世界のサイズと二次元画像内の特定の場所（例えば、（ｘ、ｙ）座標））で２Ｄビデオ画像内の寸法の間（この較正によって得られた）既知の相関に基づいて、２Ｄビデオ画像空間内の人間モデルの２Ｄサイズは、リアルな３Ｄ世界内で平均的な人間のサイズに対応して、２Ｄビデオ画像内の様々な位置（（ｘ、ｙ）の座標））のそれぞれについて計算されてもよい。

キャリブレーション手法の例については、リプトン等に発行された米国特許第７、９３２、９２３号明細書、チャン等に発行された米国特許第７、８０１、３３０号明細書をご参照頂きたい。各々の内容はその全体が参照により本明細書に組み込まれる。一般的に、カメラの高さ（Ｈ）、検出されたオブジェクトの外側の境界（例えば、人間の上部及び底部）のような、視野角（ΘΗ、θν）の垂直方向と水平方向のカメラの視野、及びカメラのチルト角（α）及びその他の情報のような、入力された、あるいはキャリブレーション手法を介して得られたパラメータを用いて、カメラシステムは、一般に、識別をする目的でオブジェクトの現実世界サイズと形状を決定することができる。

人間ベースのカメラキャリブレーションモデル３０４は、ビデオ画像空間内の適切な対応する場所と一緒に、一般的な人間モデルモジュール３０３から適切なサイズの人間モデルを受信して格納することができる。これらの人間モデルと対応する位置は、ルックアップテーブルに格納しても良い。例えば、ビデオ画像空間内と外の複数（ｘ、ｙ）座標のそれぞれは、対応する人間モデルを識別するために使用され得る。例えば、（ｘ、ｙ）識別座標が人間モデルの重心に対応するとき、位置（ｘ１、ｙ１）を中心としたビデオ画像内の人間オブジェクトの存在を推定する際に、人間ベースのカメラキャリブレーションモデル３０４のルックアップテーブルは、入力として位置（ｘ１、ｙ１）を受信し、（サイズと２Ｄ画像空間内の位置とを含む）対応する人間モデルを提供してもよい。例えば、出力は、２Ｄ画像空間内の境界を含んでも良く、又は対応する人間モデルを記述するために、画像空間内のピクセルの完全なセット（例えば、全てのピクセルの座標（ｘ、ｙ））を含んでもよい。

図３Ｂは、いくつかの人間モデルが、二次元ビデオ画像を占める例を示しており、それぞれが二次元ビデオ画像に対して異なる位置に対応している。図示のように、４つの人間モデル３２０ａ、３２０ｂ、３２０ｃ、３２０ｄは、二次元ビデオ画像に対する、異なる（ｘ、ｙ）識別座標と関連付けられている。人間モデル３２０ａは、三次元実世界においてビデオソースから最も遠い位置に対応し、最も小さい。人間モデル３２０ｂ、３２０ｃ及び３２０ｄは、ビデオソースに順次近い３次元の現実世界内の位置に対応する。人間モデル３２０ａ、３２０ｂ、３２０ｃ、３２０ｄは、全て同じ完全人間形状モデルから得られる。しかし、完全な人間形状モデルの一部のみが、特定の位置での二次元ビデオ画像を占有することが推定されてもよい。ここでは、完全な人間の形状モデルは、二次元ビデオ画像空間３３０を部分的にのみ占有している人間形状３２０ｃと３２０ｄに対応するものと推定され、人間モデル３２０ｃは、完全人間形モデルの胴部と頭部との組み合わせであると推定され、人間モデル３２０ｄは完全な人間形状モデルの頭部のみに対応すると推定される。

各人間モデル３２０ａ、３２０ｂ、３２０ｃ及び３２０ｄは、２次元ビデオ画像に対して（ｘ、ｙ）識別座標に関連付けられる。この例では、特定人の人間モデル３２０ａ、３２０ｂ、３２０ｃの識別座標は、人間モデルの重心に対応している。推定形状３２０ａ、３２０ｂは及び３２０ｃに関連付けられた（ｘ、ｙ）識別座標は、それぞれ３２１ａ、３２１ｂ、及び３２１ｃであり、ビデオ画像の座標（ｘ、ｙ）に含まれる。推定形状３２０ｄに関連付けられた（ｘ、ｙ）識別座標は、ビデオ画像の座標（ｘ、ｙ）から外れている。つまり、この例では、３２０ｄと関連付けられた人間形状の重心モデルは、ビデオ画像の下に位置し、したがって、その識別（ｘ、ｙ）座標は、この例では、ビデオ画像の座標の外側にある負のｙ軸の値を有する（図３Ｂに示されていない）。計算を簡単にするために、（ｘ、ｙ）識別座標は、特定する座標３２１ａ、３２１ｂ、及び３２１ｃもビデオ画像のピクセルを識別するように、ピクセル単位で増分してもよい。

図３Ｂは、説明を容易にする目的のために、４つのそれぞれの識別座標に関連付けられている４人だけのモデルを示している。しかし、人間ベースのカメラキャリブレーションモデル３０４は、人間モデルが互いに重複するような多数の（ｘ、ｙ）識別座標の人間モデルを格納しても良い。図３Ｃは、説明を容易にするために、対応する人間モデル３２０にそれぞれ関連付けられた（ｘ、ｙ）識別座標３２１の単一の行を示す。理解を容易にする目的で、単一の行のみが示されているが、人間モデルは、画像領域３３０の上に、ｘ方向及びｙ方向に規則的に分布され得る、複数列の（ｘ、ｙ）識別座標を設けてもよい。既に述べたように、形状のサイズは、（図３Ｃでは同じ大きさを有するものとして示されているが）異なる位置で異なっても良い。例えば、人間ベースのカメラキャリブレーションモデル３０４は、２Ｄ画像空間３３０の（ｘ、ｙ）識別座標として２Ｄ画像空間３３０内のピクセル毎に、また２Ｄ画像空間３３０内に少なくとも部分的に位置する人間のモデルに関連付けられた２Ｄ画像空間３３０の外における（ｘ、ｙ）座標として、人間の形状を記憶しても良い。例えば、ビデオ画像空間３３０内の全ての（ｘ、ｙ）のピクセル座標について、人間ベースのカメラキャリブレーションモデル３０４は、人体モデルの重心がビデオ画像のビデオ画像空間３３０内の（ｘ、ｙ）識別座標に位置しているときに、人間によって占有されることが期待されるビデオ画像空間３３０内のサブ空間の（ｘ、ｙ）識別座標と関連する人間モデル（境界又はピクセルのセットを含んでもよい）を記憶してもよい。ビデオ画像空間３３０内のサブ空間内の人体モデルに関連付けられたビデオ画像空間３３０の外側の全ての（ｘ、ｙ）識別座標を含んでいてもよい（即ち、完全な人間モデルの一部が、ビデオ画像空間３３０のサブ空間内に位置しても良い）。いくつかの状況では、サブ空間に言及した上記は、全体のビデオ画像空間３３０を含むことができる（人間が完全にビデオ画像を占めるように配置されたときの推定値に相当する）。人間ベースのカメラキャリブレーションモデル３０４は、ルックアップテーブルとして、（ｘ、ｙ）識別座標と関連する人間モデルを記憶してもよい。この例では、完全な人間形状モデルの重心は、人間モデルの（ｘ、ｙ）識別座標に対応するが、人間の形状モデルの他の識別ポイントを使用することができる（例えば、目、鼻、頭の中心、頭の頂部、足指、足底等）。

人間確率マップ計算モジュール３０５は、フォアグラウンドブロブ検出モジュール１０５によって出力されたビデオ画像出力の特定のフレームのセットフォアグラウンドブロブと、人間ベースカメラキャリブレーションモデル３０４から出力された対応する識別座標出力を備えた人間モデルとを使い、各画像ピクセル位置毎のように、二次元ビデオ画像内の複数の場所のそれぞれについて人間ターゲット確率を計算する。複数の計算された確率は、確率マップを作成するために複数の場所に関連付けられてもよい。複数の場所は、人間モデルの（ｘ、ｙ）識別座標と同じであってもよい。

各（ｘ、ｙ）識別座標について、計算して、ビデオ画像内に人間のターゲットが存在する対応する確率が決定される。（ｘ、ｙ）識別座標が、ビデオ画像のピクセルと１対１で対応している場合、確率計算は、ビデオ画像のピクセル毎に行われる。例えば、各画像ピクセルに対して、対応する人間確率を、画像中心が検討中のピクセルにある人間ターゲットが存在する可能性として計算することができる。確率マップは、各（ｘ、ｙ）識別座標に確率計算の各々にマッピングして作成することができる。確率マップは、関連する計算された確率に（入力としての）各（ｘ、ｙ）座標を関連付けて、ルックアップテーブルに格納することができる。このルックアップテーブルは、人間ベースのカメラキャリブレーションモデルモジュール３０４のルックアップテーブルと同じであってもよく（エントリとして人間モデルを格納する）、又は第二の別個のルックアップテーブルであってもよい。

上記したように、識別座標はビデオ画像空間から外れるかもしれず、従って、計算して、（これらの識別座標と関連した画像空間（人間モデル）に入っている対応する完全な人間の２Ｄモデルの部分に関する）ビデオ画像内の人間オブジェクトの存在の対応する可能性を決定する。たとえば、２Ｄ完全人間モデルの重心が識別座標と一致するならば、それはビデオ画像空間の外側に位置するかもしれないが、完全な人間モデルの一部であるビデオ画像空間内の２Ｄ人間モデルと一致するかもしれない。たとえば、たとえこの完全な人間モデル（例えば、完全な人間モデルのおへそに近い）の重心が画像空間（対応する肩／頭２Ｄ人間モデルを確認するのに用いられる識別座標と一致している重心）から外れるとしても、完全な人間モデルの肩と頭は２Ｄ人間モデル（型と頭は画像空間に入っている）を構成するかもしれない。幾つかの例では、完全な人間の２Ｄモデルの特定のパーセンテージは、なされる（又は考慮される）確率計算のために、画像空間内に入らなければならない。たとえば、完全な人間の２Ｄモデルの１０％未満又は２０％未満が画像空間（又は、人間モデルが完全な人間の２Ｄモデルの１０％又は２０％未満未満であるとき）内にあるとき、識別座標と関連した確率値はゼロにセットされ、あるいは無視しても良い。幾つかの例では、完全な人間の２Ｄモデルの４０％未満が画像空間内であるとき、識別座標と関連した確率値はゼロにセットしても良い。（ｘ, ｙ）識別座標に関する確率計算は、対応する（ｘ, ｙ）識別座標とフォアグラウンドブロブセットに関連した人間モデルのリコールである場合がある。たとえば、各（ｘ, ｙ）識別座標についての確率計算は、人体ピクセルのリコール及び対応する（ｘ, ｙ）識別座標と関連した人間モデル内の人間の境界線ピクセルであっても良い。対応する（ｘ, ｙ）識別座標に関連した人間モデルは、人間ベースのカメラキャリブレーションモデルモジュール３０４から出力され（例えば、モジュール３０４のルックアップテーブルに保存され）ても良い。セットされたフォアグラウンドブロブは、フォアグラウンドブロブ検出モジュール１０５から出力されても良い。フォアグラウンドブロブセットを有する推定された形のリコールは、人間モデル領域にセットされたフォアグラウンドブロブと重なる人間モデル域の比率として計算されても良い。特定の閾値を超えない確率計算は、無視しても良い。たとえば、０.４未満（０〜１のスケールで）の計算された可能性は、その場所を中心として人間ターゲットがないことを示しても良い。リコール計算以外の計算は、複数推定された形の各々に対応するビデオ画像内に人間オブジェクトが存在する可能性を決定しても良い。計算された可能性は推定であることが理解されよう。このように、（０から１のスケールで）１である計算された可能性は、関連した対応する場所で人間が存在する絶対的な確実性を示すものではない。

各（ｘ, ｙ）識別座標についての可能性計算は、対応する（ｘ, ｙ）識別座標とフォアグラウンドブロブセットと関連した人間モデルのリコールであっても良い。たとえば、各（ｘ, ｙ）識別座標についての可能性計算は、対応する（ｘ, ｙ）識別座標と関連した人間モデルの内の人体ピクセルのリコールと人間の境界線ピクセルであっても良い。対応する（ｘ, ｙ）識別座標と関連した人間モデルは、人間ベースのカメラキャリブレーションモデルモジュール３０４からの出力であっても良い（例えば、モジュール３０４のルックアップテーブルに保存される）。フォアグラウンドブロブセットは、フォアグラウンドブロブ検出モジュール１０５からの出力であっても良い。フォアグラウンドブロブセットを有する推定された形のリコールは、フォアグラウンドブロブセットと重なる人間モデル域と人間モデル領域との比率として計算しても良い。特定の閾値を超えない可能性計算は、無視しても良い。たとえば、計算された確率０.４未満（０〜１のスケールで）は、その場所を中心に人間ターゲットがないことを示す可能性がある。リコール計算以外の計算は、複数推定された形の各々と一致しているビデオ画像内に人間オブジェクトが存在する可能性を決定しても良い。計算された確率が推定であることが理解されよう。このように、１（０〜１のスケールで）の計算された確率は、関連した対応する場所における人間の存在の絶対的な確実性を示すものではない。

図３Ｄは人間の確率マップを計算する例示的な方法を例示するものであり、それは図３Ａのシステムによって実行される。ステップＳ３４０で、３０４のキャリブレートされたカメラモデルは、２Ｄ画像空間のイメージ面を現実の世界の地表面にマップするのに用い得る。ステップＳ３４２で、人間モデルは、２Ｄ画像空間においてＮ箇所（Ｎは、整数であり２又はそれ以上）で得られる。キャリブレートされたカメラモデル３０４は、２Ｄ画像空間の画像ピクセル位置ごとの人間モデルとして対応する凸ハル形人間モデルを得るのに用いることができる。人間モデルの各々は、２Ｄ画像空間における識別座標と関連付けられても良い。たとえば、マッピングを識別座標に実行するとき、人間モデルの人間の重心点を参照点として使っても良い。２Ｄ画像空間の識別座標が画像空間内の人間の重心であるとすれば、現実の世界の地表面上のその対応する身体的な足跡位置は、キャリブレートされたカメラモデル（例えば、図５で示すように）を通して計算することができる。それから、一般的な３Ｄ（例えば、複数のシリンダーを有する）人間モデルは、その足跡位置に配置される。３Ｄモデルのサイズは、前に得られたキャリブレーションデータと一致しても良い。一般的な３Ｄ人間モデルは、２Ｄ画像空間で人間モデルを得るために、２Ｄ画像面に投射され、あるいはマップされても良い。たとえば、３Ｄ多シリンダー人間モデルの投射は、関連識別座標（例えば、考慮中の画像点）に重心があるイメージ人間モデルとして、対応する２Ｄ画像凸ハルを作成するのに用いることができる。このように、あらゆる有効な画像ピクセルは、その画像位置でおよその人間のサイズと形状を示す、対応する凸領域形人間モデル（人間モデルとして）を有しても良い。計算コストを下げるために、凸領域形人間モデルは、システムの初期化で事前計算しても良く、人間の凸面モデルの長方形の境界箱は、インテグラルイメージを用いたおよその人間リコール比を得るのに用いられることができる。ステップＳ３４４で、フォアグラウンドブロブセットは、ビデオ画像から抽出され得る。フォアグラウンドブロブセットは、モジュール３０１よって抽出された人間フォアグラウンドピクセルブロブ及び／又はモジュール３０２で抽出された人間境界ピクセルを用いて検出される一又は複数のフォアグラウンドブロブからなるものであっても良い。ステップＳ３４６において、Ｎ箇所の各々について、その位置の人間の存在の確率が計算されて、確率マップが得られる。十分な人間境界ピクセルが画像人間凸モデルにある場合、人間確率測定は人間リコール比として定義され得る。この例における人間リコール比は、この人間凸モデルの総面積を超える、イメージ人間凸モデルで３０１において計算された人間フォアグラウンドピクセルの数である。図３Ｄのプロセスのステップの順序は、示された順序以外の順序で実行されても良い。たとえば、ステップ３４４は、ステップ３４０と３４２の一方又は両方の前に実行されても良い。

図３Ａを参照して、３０５で計算された人間確率マップに基づいて、人間ターゲット推定モジュール３０６は、ビデオ画像とそれらの位置で人間モデル（例えば、人間オブジェクト）のベスト数を見出すことができる。グローバル最適化方法は、人間モデルとそれらの位置のベスト数を見出すのに用いることができる。もし、ｍ（ｍ１、．．．、ｍＭ）が画像空間内の全ての潜在的人間モデルからの人間モデルのＭセットを意味するならば、目的は、基準関数ｆ（ｎ＊）が全体の最大に達するように、最適なセットｎ＊を見つけることである。つまり、目的は、以下を見つけることである。

ｎは、画像空間における複数人間モデルの特定のセットであり、ｆ（ｎ）はその人間モデルのセットのために計算される関数である。

さらに以下で議論されるように、関数ｆ（ｎ）は人間モデルの選ばれた数セットの各々のために計算され、各々のセットが、確率マップからｍｉ位置（ｍｉ位置は、各パスごとに選ばれ、数ｍｉはこれらのパスの各々毎に異なっても良い）を選択する。各々のパス毎に変えられる位置を選ぶのに用いられる特定の抑圧的な基準で、人間モデルの各セットは、確率マップのパス（又はスキャン）で選ばれても良い。ここで、関数ｆ（ｎ）は、以下のとおり、定義される。

ここに、Ｒは人間リコール比であり、これは、ｎの選択された人間モデルのグループの全域の上の人間のフォアグラウンド領域のパーセンテージとして定義される。Ｐは、人間の精度であり、ｎの選択された人間モデルのグループと重なっているフォアグラウンド領域のパーセンテージである。Ｏは、人間重複比率であり、それはｎの互いに選択された人間モデルのいずれかの重複の領域の、全てのｎの選択された人間モデルによって占められた領域に対する比率である。ｗＲ、ｗＰ及びｗＯは、重さである。あまりに多くの人間の重複なしでフォアグラウンド領域（フォアグラウンドブロブセット）と人間モデル（ｍ人間モデルのセット）のユニオンとの間のベストマッチングを発見することが有利な場合がある。実際には、上記３つの重さを決定することは、検出結果にかなり影響を与えることがあり、例えば、もしより多くの重さが人間重複比率を減らすようになされれば、より少ない人間の集計の結果となる。

ｍｉの選択された人間モデルの各々は、人間確率マップ計算モジュール３０５で出力された確率マップを参照することによって選択されても良い。いくつかのパスは、計算ｆ（ｎ）を実行させられることがあり、各パスは、一般的な人間モデルモジュール３０３によって提供され、人間ベースのカメラキャリブレーションモデル３０４（例えば、ルックアップテーブルの（ｘ, ｙ）識別座標に関連付けられた２Ｄ人間モデルからのｍｉ人間モデルのサブセットを選択する。前述のように、ｍｉの値は、これらのパスの各々で異なることがある。人間モデルの選択基準は、異なる人間モデルが異なるパスで選ばれるようにパスごとに異なることがある（おそらく、人間モデルの異なる数ｍｉが異なるパス毎に選ばれる）。選択基準は、確率マップによって示されるように、確率閾値Ｐｔｈと関連付けられる選択された人間モデルを要求することを含むでも良い。選択基準は、どんな以前に選択された２Ｄ人間モデルから離れた最小限の距離Ｄｍｉｎである、次に選択された２Ｄ人間モデルを含む場合もある。最小限の距離Ｄｍｉｎは、現実世界の地面上の距離であっても良い。たとえば、２Ｄ人間モデルの重心は、３Ｄ現実世界の内の位置にマップされ、あるいは翻訳されることがあり、それらの間の距離は計算されることがある。最小限の距離Ｄｍｉｎは２Ｄ画像面内で計算されても良いが、ビデオ画像ソースの近くの人間モデルにとって、より大きな分離が、より遠い人間モデルより２Ｄ画像面で要求されることがあるように、２Ｄ画像面内の距離は対応する３Ｄ位置を反映しても良い。

幾つかの例示的な実施形態において、確率マップの１又は複数の速い１パススキャンが、人間のカウントと、対応する位置を決定するのに用いられる。図３Ｅは、ビデオ画像内でベスト数の人間モデルを見つけることの一部として確率マップの一回のパスを実行する方法を示す。図３Ｅの方法は、人間ターゲット推定モジュール３０６によって実施されても良い。ステップＳ３５０で、確率マップは、局部的最大（特定の選択基準によって資格を与えられるかもしれない）を見つけるためにスキャンされる。確率マップは、ビデオソースに最も近い現実世界における位置と一致する利用可能未選択局部的最大を見つけるためにスキャンされても良い。確率マップの底は、ビデオ画像の底と一致しても良い。多くの実施例では、監視機能を実行するビデオカメラは、モニターされる地域内における人間の頭のレベルより高い位置に取り付けられても良い。このように、ビデオ画像の底は、ビデオソースに最も近い位置に対応しても良い。この例においてボトムトップから確率マップをスキャニングすることは、ビデオ画像内の閉塞対象物に一致しそうにない人間モデルの選択を許す。

確率マップは局部的最大点を見つけるために底からトップまでスキャンされたることがあり、画像空間内の複数位置の各々について（確率マップに保存された）以前に計算された確率の局部的最大を示します。局部的最大は、すぐ近隣の（ｘ, ｙ）識別座標（例えば、すぐに近隣のピクセル）の各々の確率値より高い確率値を有する（ｘ, ｙ）識別座標（例えば、ピクセル）であっても良い。局部的最大点が見つかったら、その識別座標としてこの局部的最大点と関連付けられた人間モデルが、ステップＳ３５２のｍｉ人間モデルのセットの１つとして選ばれる。ステップＳ３５４で、この選択されたモデルの内部領域（例えば、２Ｄ人間モデルの境界線内）内のピクセルの全て、及びこの選択されたモデルから離れた最小距離Ｄｍｉｎと一致しているピクセル（例えば、現実世界の地面上で最小距離を表しているビデオ画像のピクセル）はこのパスにおいて更なる考慮から除外される（そして、一時的にこのパスのために確率マップから取り除かれても良い）。この実施例では、ピクセルが人間モデルの識別座標に対応し、この説明が、ピクセル位置でない識別座標に等しく適用できる点に注意して頂きたい。幾つかの実施例において、ビデオ画像自体は現段階でさらに分析される必要はない。そして、ピクセルは確率マップから一時的に単に除去することによって、更なる考慮から除外されても良い。この確率マップは、確率閾値Ｐｈより大きく除外されていないピクセルに関連付けられた人間確率マップの確率の他の局部的最大点を選択するために、再びスキャンされる。ステップＳ３５６において、有効なピクセルが考慮されたかどうかが決定される。即ち、その確率は、その選択基準によって排除されておらず、確率マップのスキャンにける他の人間モデルの選択によっても排除されていない値についてリビューされる。全ての有効なピクセルが考慮されて地図から取り外されるまで、確率マップのスキャンは続けられる。このようにして、ｍｉ人間モデルは、確率マップのこのスキャンで選択される。このパスについて、関数ｆ（ｍｉ）がｍｉ人間モデルのこのセットのために計算される。

各オンパススキャンが選択基準の異なるセットで、確率マップの追加のスキャンを実行しても良い。図３Ｆは、ビデオ画像内の人間モデルのベスト数を見出すように、確率マップの複数のパスを実行する方法を示す。図３Ｆの方法は、人間ターゲット推定モジュール３０６によって実施することができる。ここでは、Ｄｍｉｎ（最小距離）とＰｔｈ（確率閾値）の少なくとも１つの値は、各走査で異なっても良い。ステップＳ３６０で、選択基準は、特定のオンパススキャンについて設定される。選択基準がどれくらい変更されるか（どれくらいスキャンされるか）は、望ましい正確さと計算オーバーヘッドを考慮して、ケースバイケースで決定され得る。ステップＳ３６２で、確率マップのスキャンが行われて、選択基準に従ってｍ人間モデルのセットを選択される。値ｍは０又はそれ以上の整数であり、選択（例えば、ステップＳ３６２を実行している図３Ｆの各ループごとに）ごとに異なる。ステップＳ３６２は、図３Ｅの方法に対応しても良い。ステップＳ３６４で、基準関数が選択されたｍｉ人間モデルについて計算され、例えば、対応するｆ（ｍｉ）は、この走査において選択されたｍｉ人間モデルについて計算される。追加のスキャンが、新しい選択基準（Ｓ３６６）で実行されても良い。確率マップの全てのスキャンが完了したとき、スキャンのグループのｆ（ｎ）、ｎε｛ｍ１、．．．ｍＭ｝が決定される。この最大値に対応する人間モデルのセットは、ビデオ画像（Ｓ３６８）内の人間オブジェクトに対応すると決定される。ビデオ画像内で人間オブジェクトを代表すると決定された人間モデルの（ｘ,ｙ）識別座標（例えば、ピクセル位置）を使って、地面上の本当の世界位置を決定しても良い。

他の実施形態において、ｍが画像空間内の全ての潜在的人間モデルからの人間モデルのセットを意味するならば、目的は、基準関数ｇ（ｍ＊）がグローバル最大に達するように、最適にセットされたｍ＊を見つけることである。つまり、目的は、以下の最大限を見つけることである。

ここに、ｎは、画像空間内の複数の人間モデルの特定の一つであり、ｍは、選択された人間モデルの数（これは、異なる要約計算で異なることがある）であり、ｆ（ｎ）は、モデルのグループではなく、ｍ人間モデルの各々について計算される関数である。

ここで、関数ｆ（ｎ）は以下のとおり定義される。

ここに、Ｒは人間リコール比であり、それは選択された人間モデルの全領域上の人間フォアグラウンド領域のパーセンテージとして定義される。Ｐは、人間精度であり、それは選択された人間モデルと重なっているフォアグラウンド領域のパーセンテージである。Ｏは、人間重複比率であり、それは第１ないしｎ−１番の人間モデルによって占めされる領域［シグマｆ（ｎ）を計算する際に現在のパスで以前に選択ｋされた人間モデルによって示された領域］選択されたｎ番目の人間モデルの重複である。ｗＲ、ｗＰとｗＯは、重さである。上述の確率マップをスキャンするパスの各々は、各パスについて確率マップの局部的最大を選択する際の選択基準の異なる制約で、シグマｆ（ｎ）を計算することと関連付けられても良い。ここに記載されたもの以外の他の関数ｆ（ｎ）を用いても良い。

図６Ａ、６Ｂと６Ｃは、１つの実施例に係るビデオ監視システム１０１の検出結果を示すものである。１つの入力フレームについては、図６Ａは人体検出モジュール３０１と人体境界ピクセル検出モジュール３０２の出力であり、ピクセル３０１ａは検出された人体ピクセルであり、ピクセル３０２ａは人体境界ピクセルを示している。フォアグラウンドブロブセットは、検出された人体ピクセル３０１ａと人体境界ピクセル３０２ａの組合せとして、図６Ａに示される。検出された人体ピクセルと人体境界ピクセルは、ビデオ画像空間３３０を定めているオリジナルビデオ画像フレーム上で重ねあわされる。この実施例では、このビデオ画像フレーム（フォアグラウンドブロブセット以外）内のビデオ画像の残りは、背景画像の一部である。

図６Ｂは、図６Ａから計算された人間確率マップを示すものである。この例では、確率０に対応する黒と、確率１に対応する白とで、人間確率マップは、グレイスケール上で計算された確率を表している。計算された確率の各々は、対応する人間モデルの識別座標に対応するピクセルに対応する画像空間３３０内で、位置が表わされる。

図６Ｃは最終的な人間の検出結果を示すものであり、検出された人間に対応する複数の人間モデル３２０（ピンクの凸形アウトライン）を示す。これらの人間モデルの各々は、３Ｄ現実世界における検出された人間の位置を特定し得る識別座標（例えば重心）によって関連付けられ、現実世界（図示せず）の地面にマップされても良い。

図７Ａ、７Ｂ及び７Ｃは、人間検出結果に基づく人間群衆密度を測定する例を示すものである。図７Ａは、ビデオ監視システム１０１検出結果の例示的な結果を示すものであり、複数の２Ｄ人間モデル３２０（ピンクの凸ハル）を示し、各々が検出された人間に対応するものでオリジナルビデオ画像に示されている。図７Ｂは、検出された人間を現実の物理的地面にマップしたものを示し、図７Ａのビデオ画像を上下逆にして表しており、丸のそれぞれは現実世界の物理的地面にマップした人間モデル３２０を示し、従って現実世界における検出された人間の位置を特定するものである。キャリブレーションが、較正モデルの既知の寸法、２Ｄイメージ内の位置、画像スペース内の対応する寸法間の相関関係を提供するので、検出された人間ターゲットは、物理的な地面上にマップすることができる。既知の位置で、計算して、所定の特定された（例えば、ユーザーによって選択された）地域内で、又は、全ての地域内で人々の数を数える。計算は、単位面積あたりの人の数を決定するためになされても良い。各地上位置での真の群衆密度測定は、直接計算されることもある。群衆密度測定の実際の定義は、真のアプリケーション、特に、モニターされる群衆のサイズに依存する場合もある。たとえば、図６Ａ、６Ｂ及び６Ｃに示されるシナリオにおいて、群衆密度測定として半径２メートル内における人の数を使うこともある。図７Ａ、７Ｂと７Ｃにおけるシナリオでは、ある位置における群衆密度は、半径６メートル内における人の数として定義されることがある。図７Ｃは、半径６メートルで明度が高い程、群衆密度が高いことを示す群衆密度マップを示す。

ビデオフレームごとの群衆密度測定に基づいて、図８に示すような多くの群衆関連イベントを検出することができ、その群衆関連イベントには、群衆検知、群衆集合及び群衆消散があり、それらは図１のイベント検出モジュール１０８のモジュール８０１、８０２及び８０３でそれぞれ検知することができる。図９は、混雑した領域をどのように定義し、検出するかの例示的な方法を示す。ブロック９０１は、群衆領域イベントを定義する方法を示す。ユーザーは、先ず（例えば、画像空間内の）画像に関して、関心の領域を最初に選ぶ。次いで、幾つかの群衆密度閾値を、群衆がどれぐらいかを決定するのに用いても良い。閾値は、特定の半径内の面積内における人の数であっても良い。ヒステリシス閾値が、よりロバストなパフォーマンスのために使われることもある。たとえば、群衆密度を半径３メートル内の人の数であると定義するならば、２つの群衆密度閾値：Ｔｈｉｇｈ＝１０とＴｌｏｗ＝８をセットしても良い。対応する群衆密度がＴｈｉｇｈと等しいかそれより大きい場合だけ、群衆領域は、混雑領域となる。対応する群衆密度がＴｌｏｗと同じかそれより少ない場合だけ、群衆領域は非混雑領域となる。群衆領域は特定された群衆によって定義されても良く、フレームからフレームに位置や形を変えても良い。群衆領域の重心は、群衆位置を記述するのに用いても良い。最小期間閾値は、群衆領域がイベント検出を誘発する前の群衆として保たなければならない最小限の時間期間を定めても良い。新しいビデオフレーム入力については、ブロック９０２は、全ての検出された人間ターゲットが群衆領域に属しているかどうかを見、次いでブロック９０３が全ての検出された人間ターゲットをチェックして、そのステータスを更新する。一旦検知されると、群衆及びそれらの位置は、ビデオ画像のフレーム毎に、追跡されても良い。たとえば、群衆が検出され、最小閾値に適合し続ける限り、その領域に関連付けられた人間モデルは、それらが最少群衆密度に適合する領域にある限り、ビデオ画像の以降のフレーム内の群衆を定義するものとしても良い。追加の群衆モデルは、それらが検出された群衆領域内に移動するとき、その検出されたた群衆領域に加えられても良い。

図１０は、各検出された人間ターゲットに関する例示的なプロセスを示す。ブロック１００１は、現在のターゲットが既存の群衆地域内であるか或いはその近くであるかどうか調べる。もし「イエス」であるなら、ブロック１００１はその地域について人数を更新する。もし「ノー」であるなら、ブロック１００２は、現在のターゲットの位置上の群衆密度を計算し、次いでブロック１００４が、群衆密度値が閾値値Ｔｈｉｇｈと同じかそれ以上であるかをチェックする。もし、「イエス」であるなら、新しい群衆地域が、現在のターゲットを中心に作られる。もし「ノー」であるなら、次の人間ターゲットを処理し続ける。

図１１は、各群衆領域での例示的なプロセスを示す。ブロック１１０１は、ターゲットプロセス結果に基づいて領域面積及び群衆数を更新する。 ブロック１１０２は、密度数がユーザーが定めた閾値よりも更に大きいかどうかをチェックし、もし「ノー」であるなら、群衆領域をモニタリングリストから取り除く。ブロック１１０４は、更に、プロセス中の群衆領域の群衆期間が、ユーザー定義の閾値と等しいかそれより長いかどうかチェックし、「イエス」であるなら、ブロック１１０５は、更に、対応する群衆イベントが報告されたかどうかチェックし、もし報告されていなければ、ブロック１１０６は、群衆イベントを報告し、その群衆領域を「報告済み」とするような、措置をとる。

図１２は、群衆の「集合」及び「消散」イベントを定義し、検出するのに用いられ得る方法を示す。ここに、「集合」、「消散」は、群衆集合スポットの形成及び終了の２つのプロセスに言及するものである。この実施例では、群衆集合スポットは、局部的に静止群衆密度が高い領域に言及するものであり、例えばパレードのような移動する群衆とは異なる。しかし、本発明はそれに制限されるものではなく、この方法は移動する群衆の集合スポットの定義にも適用され得る。ブロック１２０１は、群衆集合スポットがどのように定義されるかについて説明している。ユーザーは、先ず画像について、関心地域を最初に選んでも良く、ついで、幾つかの群衆密度閾値が、群衆が有効な集合スポットとして考慮される群衆として保持されなければならない最少期間閾値を定義しても良い。ブロック１２０２は、群衆集合スポットを検出する。ブロック１２０３は、検出された群衆集合スポットを更新しモニターし、群衆の「集合」及び「消散」イベントを検出する。

図１３は、群衆集合スポットを定義する１例を示す。それは、１３０１として示される内側領域と、１３０２として示される外側地域とを有する。２つの領域は、中心点Ｏ、短い半径ｒ、及び長い半径Ｒによって定義され得る。この例では、群衆集合スポットは、以下の２つの基準を満たすものとしても良い。
＊内側の領域の群衆密度は、あらかじめ定められた閾値と等しいかそれより大きくなければならない。
＊外側領域内の人数は、内側領域内の人数より少なくなければならない（例えば、２倍、４倍、１０倍以上小さい）。あるいは、外側領域の群衆密度は、内側領域の群衆密度より少なくなければならない（例えば、２倍、４倍、１０倍以上少ない）。

上記２つの基準は、内側の領域が群衆集合スポットであって、大群衆内の領域ではないことを示すこともある。

図１４Ａ及び１４Ｂは、群衆集合スポットの例を示す。図１４Ａと図１４Ｂとは、それぞれビデオフレームと、現実世界の物理的な地面にマップされた検出された人間ターゲットを示す。図１４Ａは、より多くの人間ターゲットを有するが、図１４Ｂだけが上で定義した群衆集合スポットを含む。

図１５は、群衆集合スポットを検出する例示的な方法を示す。各検出された人間ターゲットについて、それが既存の群衆集合スポットに属しているかどうかを、ブロック１５０１がチェックする。もし、「イエス」であるなら、それはブロック１５０２において、対応する群衆集合スポットの現状を更新するのに用いられる。もし、「ノー」であるなら、ブロック１５０３は、現在のターゲットが新しい群衆集合スポットの中心であるかどうかチェックする。もし、「イエス」であるなら、ブロック１５０４は、更なるモニタリングのために新しい群衆集合スポットを始める。もし「ノー」であるなら、モジュールは次の人間検出チェックを続ける。

図１６は、群衆集合スポットを更新し、また群衆の「集合」及び「消散」を検出する例示的な方法を示す。ブロック１６０１は、考慮中のビデオフレーム上の新しい人間検出結果を用いてた群衆集合スポットの位置と面積を更新する。ブロック１６０２は、群衆「集合」イベントが現在の群衆集合スポットから検出されたかどうかをチェックする。もし「ノー」であるなら、ブロック１６０３は、群衆集合スポットが所定の期間でうまく更新されたかどうかチェックすることによって「集合」イベントを検出し続ける。この期間閾値は、ルール定義時間でユーザーによってセットされても良い。群衆集合スポットが「集合」イベントを一旦生成すると、ブロック１６０４は、更に、「消散」イベントを検出するために集合スポットをモニターする。ここで、群衆「消散」イベントは、群衆集合スポットが短期間で空のスポット或いは低密度のスポット（例えば、最小群衆密度閾値Ｔｌｏｗより低い）になるものとして、定義される。ブロック１６０４は、群衆集合スポットの２つの特別な瞬間、すなわち混雑しなくなる時及び空あるいは密度が低くなる時とを検出する。これらの２つの瞬間の間の時間が、ユーザーが定義した閾値よりも短い場合、群衆「消散」イベントが検出される。

図１７は、本発明が適用され得るマルチカメラシステムの例を示す。この実施例では、２台のカメラ１７０２と１７０４が、異なる視点から目的とする場面のビデオ画像を別々に撮影する。ここに記述されるビデオ監視システム１０１と方法は、変化検出モジュール１０３、動き検出モジュール１０４、フォアグラウンドブロブ検出モジュール１０５、一般的な人間モデルモジュール３０３、人間ベースのカメラキャリブレーションモデル３０４、及び人間の確率マップ計算モジュール３０５用の各カメラ１７０２と１７０４ごとここに記載されたものと同じであっても良い。つまり、各カメラは、これらモジュールのためのそれ自体のモジュール又はモジュール機能（回路が共有されるならば）を有するものであっても良い。

各ビデオカメラ１７０２、１７０４の人間ベースのカメラキャリブレーションモジュール３０４により提供されるそれぞれの画像空間への２Ｄ人間モデルは、現実世界の物理的な地面の座標と関連付けられることがある。たとえば、カメラごとの人間ベースのカメラキャリブレーションモデルモジュール３０４については、追加のエントリが対応する物理的な地面座標のためになされ、それによってＮ人間モデルを同じものと関連付ける。カメラ１７０２、１７０４の各々について人間の確率マップを計算する際に、各々の確率マップの確率は、２Ｄ画像空間よりもむしろ物理的な地面にマップされても良い。

１つの実施例では、人間のベスト数を検出する人間ターゲット推定モジュール３０６は、上述したような方法で、１台のカメラの最初の確率マップのスキャンを実行しても良い。つまり、検索基準の制約のなかで、最初の確率マップの局部的最大を検知する。人間モデルｍ（ｍ１、...ｍＭ）のＭセットの最大を決定するために基準関数を計算する際に、目的は、以下を見つけることである。

ｎは、複数３Ｄ人間モデルの特定のセットであり、確率が２つの人間確率マップの各々にマップされた物理的な地面で識別座標を持つことがある。つまり、モデルセットごとに人間モデルと関連付けられるように現実の世界で点を選択すると、この点と関連した２Ｄ画像空間人間モデルは、各カメラシステムごとに特定され、一つの人間モデルはｆ１（ｎ）を計算するため、他の一つはｆ２（ｎ）と他を計算するのに用いられる。ｆ１（ｎ）及びｆ２（ｎ）は、ここに記述された関数と同じであっても良い（適切なビデオ画像から抽出された人間フォアグラウンドブロブセット又は人間のフォアグラウンド領域）。

ここで（ビデオ画像とそのビデオ画像の人間フォアグラウンド領域に関連付けられたそれぞれのｎ選択された２Ｄ人間モデルについて）、Ｒは、人間リコール比であり、ｎの選択された人間モデルのグループの全領域上の人間フォアグラウンド領域のパーセンテージとして定義される。Ｐは、人間の精度であり、ｎの選択された人間モデルのグループと重複するフォアグラウンド領域のパーセンテージである。Ｏは人間重複比率であり、１番目からｎ−１番目の人間モデルによって占められた領域［ｆ（ｎ）を計算する際に、現在のパスにおいて以前に選択された人間モデルによって占められた領域］を有する選択された第ｎ番目の人間モデルが全てのｎの人間モデルによって占められた領域に対する、ｎ選択された人間モデルのいずれかの重複の領域の比率である。ｗＲ、ｗＰ、ｗＯは、重さである。重さは、関数ｆｉ（ｎ）とｆ２（ｎ）との間で異なることがあることに注意すべきである。次の局部的最大を選択する際に更に考慮するピクセルの除外は、前に選択された人間モデルバックの地面座標に関連付けられた３Ｄ人間モデルを、それぞれのイメージ面における２つの確率マップへ投影しても良い。

更なる選択肢として、単一確率マップを、複数のカメラに使用しても良い。図１７の実施例では、確率計算を、ここに記載したように２Ｄビデオ画像の各々について行い、それぞれが２Ｄ画像面に一致する２つの画像面確率マップを作成しても良い。特定の閾値（画像面確率マップ毎に同じ又は異なっても良い）を超えなければ、画像面確率マップの確率は、ゼロにセットされても良い。各画像面確率マップ内の識別座標は、画像面確率マップの各々について現実の世界の地面座標に翻訳されても良く、各々のビデオ画像について地面確率マップを作成する。２つの地面確率マップは、同じ地面座標を共有する確率を増やすことによって合併して、合併された確率マップを作成しても良い。合併された地面確率マップは、局部的最大を見い出すためにスキャンされても良い。各見い出された局部的最大は、それぞれの画像空間内のビデオ画像のそれぞれについて別々の人間モデルを特定するものであり、適切であれば（上述した）ｆ１（ｎ）又はｆ２（ｎ）を計算するのに用いられても良い。複数の局部的最大についての合併された地面確率マップの複数のスキャンを実行することは、以降の人間モデル（ビデオ画像のそれぞれにつき１つ）を見い出し、次の計算をするために行われても良い。

選択制約（例えば３Ｄ現実世界内の最小確率閾値と最小距離）は変えても良く、新スキャンパスがｍ人間３Ｄモデル（この実施例では２ｍの２Ｄ人間モデルと一致）の最適のセットを見い出すために実行されます。

もう一つの実施例において、人間のベスト数を見い出す人間ターゲット推定モジュール３０６は、上述した方法で、１台のカメラの最初の確率マップのスキャン、つまり、検索基準の制約の中で、最初の確率マップの局部的最大の検索を実行しても良い。ｍ人間モデルのセットについて、最大を決定するために基準関数を計算する際、目的は、以下の最大を見い出すことである。

Ｎは、確率が２つの人間の確率マップの各々にマップされた物理的な地面の識別座標である。つまり、現実の世界でポイントを選ぶと、そのポイントに関連付けられた２Ｄ画像空間人間モデルは、一つの人間モデルはｆ１（ｎ）を計算するのに用いられ、他の人間モデルはｆ２（ｎ）を計算するのに用いられ、各カメラシステムごとに特定される。ｆ１（ｎ）及びｆ２（ｎ）は、上述の関数と同じであっても良い（それぞれの適切なビデオ画像から抽出された人間フォアグラウンドブロブセット又は人間のフォアグラウンド領域）。

ここで、Ｒは、人間リコール比であり、それは選択された人間モデルの全領域上の人間フォアグラウンド領域のパーセンテージとして定義される。Ｐは人間精度であり、それは選択された人間モデルと重複しているフォアグラウンド領域のパーセンテージである。Ｏは人間重複比率であり、それは第１番目から第ｎ−１番目までの人間モデルによって占められた領域［シグマｆ（ｎ）を計算する際に現在のパスで以前に選択された人間モデルによって占められた領域］を有する、選択された第ｎ番目の人間モデルの重複である。ｗＲ、ｗＰ及びｗＯは、重さである。重さは、関数ｆ１（ｎ）とｆ２（ｎ）との間で異なることがある点に注意されたい。次の局部的最大を選択する際に更なに考慮するピクセルの除外は、以前に選択された人間モデルバックの地面座標と関連付けられた３Ｄ人間モデルを、それぞれのイメージ面で２つの確率マップの各々に投影しても良い。

あるいは別の変形例として、単一の確率マップを、複数のカメラのために使用されても良い。図１７の実施例において、確率計算は、ここに記載されたように２Ｄビデオ画像の各々についてなされ、それぞれの２Ｄ画像面に対応する２つの画像面確率マップを作成しても良い。画像面確率マップの確率は、もし特定の閾値（各画像面確率マップ毎に同じ又は異なる）を超えなければ、ゼロにセットしても良い。各画像面確率マップ内の識別座標は、画像面確率マップの各々について現実世界の地面座標に翻訳されても良く、各ビデオ画像について地面確率マップが作成される。２つの地面確率マップは、同じ地面座標を共有する確率を増やすことによって合併されて、合併された確率マップを作成しても良い。合併された地面確率マップは、局部的最大を見い出すためにスキャンされても良い。各局部最大は、適切であれば、ｆ１（ｎ）又はｆ２（ｎ）（前述）を計算するのに用いら得るそれぞれの画像空間内で、ビデオ画像の各々について、別々の人間モデルを特定しても良い。複数の局部的最大のために合併された地面確率マップの複数のスキャンを実行することは、以降の人間モデル（ビデオ画像の各々のため）を見い出して、以下を計算するためになされても良い。

選択制約（例えば３Ｄ現実世界内の最小確率閾値と最小距離）は変えても良く、新しいスキャンパスがｍ人間３Ｄモデル（この実施例では２ｍの２Ｄ人間モデルと一致）の最適のセットを見い出すために実行される。

以上、実施形態を説明したが、それらに限定されるものとして解釈されてはならない。幾つかの実施形態を記述したが、当業者は、本開示の新規な教示と長所から実質的に離れる実施形態において様々な変更が可能であることを容易に認識するであろう。たとえば、本開示は、ビデオ画像内における人間オブジェクトの検出について記述したが、本発明はそれに限定されるものではなく、また他の対象物を検出しても良い。

Claims (29)

1. ビデオ内で人間オブジェクトを見つける方法であって、
   ビデオ画像の複数のピクセルについて、フォアグラウンドピクセルであると決定すること、ここで、一群の前記フォアグラウンドピクセルは、一又は複数のフォアグラウンドブロブからなるフォアグラウンドブロブセットを構成し、
   前記ビデオ画像内に規則的に分布しているＮ個の所定位置（Ｎは１を超える正の整数）のそれぞれに対応するＮ個の所定形状のそれぞれについて、対応する前記所定形状と前記フォアグラウンドブロブセットとを比較することによって第１の値を算出すること、ここで、前記第１の値は、対応する前記所定位置における人間の確率を得て、それによって前記Ｎ個の位置に対応するＮ個の確率を得るために用いられ、
   前記Ｎ個の確率を用いて、前記フォアグラウンドブロブセットによってＸ人の人間（Ｘは非負の整数）が表わされることを決定すること、及び
   前記Ｘ人の人間が表わされていることについての前記決定を用いて、レポート、アラーム、及びイベント検出のうちの少なくとも一つを提供すること、を含み、
   前記Ｎ個の位置のそれぞれに対応する前記所定形状のサイズは、ビデオシステムのキャリブレーションに応答して決定され、
   前記Ｎ個の所定形状のそれぞれについての、対応する前記所定形状と前記フォアグラウンドブロブセットとの前記比較は、対応する前記所定形状と前記フォアグラウンドブロブセットとの重複領域の量を分析することを含む、方法。
2. 前記Ｘ人の人間のそれぞれの位置を決定するために前記Ｎ個の確率を使うことをさらに含む、
   請求項１に記載の方法。
3. 前記Ｘ人の人間のそれぞれについて前記決定された位置は、前記ビデオ画像に対応する画像面内の位置である、
   請求項２に記載の方法。
4. 前記Ｘ人の人間のそれぞれについて前記決定された位置は、現実の世界に対応する物理的地面についての位置である、
   請求項２に記載の方法。
5. 前記ビデオ画像の複数のフォアグラウンドピクセルを決定することは、フォアグラウンドオブジェクトの無いビデオ画像の第１フレームと、前記フォアグラウンドオブジェクトを含むビデオ画像の第２フレームとの比較を含む、
   請求項１に記載の方法。
6. 前記所定形状は、前記Ｎ個の位置のそれぞれについて同じである、
   請求項１に記載の方法。
7. 前記Ｎ個の位置のうちの少なくとも幾つかについての前記所定形状は、異なるサイズを有する、
   請求項１に記載の方法。
8. 前記ビデオシステムの前記キャリブレーションは、前記Ｎ個の位置のそれぞれにおける平均的な人間サイズに対応する前記ビデオ画像の一部の画像サイズを決定することを含み、
   前記Ｎ個の位置のそれぞれについての前記所定形状のサイズは、対応する前記画像サイズに応答して決定される、
   請求項１に記載の方法。
9. フォアグラウンドピクセルである前記ビデオ画像の複数のピクセルの決定に先立ち、前記Ｎ個の位置のそれぞれについて、対応する前記位置に人間が存在するときに前記ビデオ画像内において占められるフォアグラウンド画像部分を推定することによって、対応する前記所定形状を決定することをさらに含む、
   請求項１に記載の方法。
10. 前記Ｎ個の位置のそれぞれについての前記フォアグラウンド画像部分の前記推定は、前記ビデオ画像の画像面上への現実世界における人間のモデルの投影に基づく、
    請求項９に記載の方法。
11. 前記ビデオ画像は複数の画像フレームを有し、各画像フレームは、前記Ｎ個の位置を有する２次元画像を含み、前記Ｎ個の位置のそれぞれは、前記二次元画像内の対応するｘ，ｙ座標によって特定される、
    請求項１に記載の方法。
12. 前記Ｎ個の位置のそれぞれは、前記ビデオ画像に対応する画像面に関して、前記Ｎ個の所定形状のうちの対応する１つに関連付けられる、
    請求項１１に記載の方法。
13. 前記Ｎ個の位置のそれぞれについて、関連する確率を求めるために、対応する前記所定形状及び前記フォアグラウンドブロブセットのリコール比を計算することをさらに含む、
    請求項１に記載の方法。
14. 前記Ｎ個の位置のそれぞれについて、前記リコール比の計算は、（ａ）前記所定形状によって占められた領域と前記フォアグラウンドブロブセットの重複からなる領域と、（ｂ）前記所定形状によって占められた前記領域と、の比を決定することを含む、
    請求項１３に記載の方法。
15. 前記Ｎ個の確率を有する確率マップを作成すること、及び
    前記確率マップの確率の極大値を決定すること、
    をさらに含む、請求項１に記載の方法。
16. 前記確率マップの極大値に対応して前記Ｎ個の位置のうちの第１の位置を選択すること、
    前記第１の位置に対応する第１の所定形状を得ること、及び
    前記第１の所定形状によって占められた領域と前記フォアグラウンドブロブセットの重複の量を分析すること、
    をさらに含む、請求項１に記載の方法。
17. （ａ）前記第１の所定形状によって占められた領域と前記フォアグラウンドブロブセットの重複からなる領域と、（ｂ）前記所定形状によって占められた前記領域との第１の比を計算することをさらに含み、
    前記第１の比は、前記フォアグラウンドブロブセットによってＸ人の人間が表されることを決定するために用いられる、
    請求項１６に記載の方法。
18. 前記Ｎ個の位置のうちのｍ個の位置（ｍは整数）のそれぞれについて、精度値及びリコール値を計算することをさらに含み、
    前記ｍ個の位置のそれぞれは前記確率マップの極大値に対応する、
    請求項１５に記載の方法。
19. 前記Ｎ個の確率に基づいて、前記Ｎ個の所定形状のサブセットを選択すること、及び
    前記Ｎ個の所定形状の選択されたサブセットによって占められた領域と前記フォアグラウンドブロブセットによって占められた領域との重複を分析すること、
    をさらに含む、請求項１に記載の方法。
20. 前記Ｎ個の位置の１番目からｍ番目を順に選択することをさらに含み、
    （ｍ−１）番目の位置の選択は、前記（ｍ−１）番目の位置から第１の所定距離内にある、前記Ｎ個の位置のうちの後続する１つの選択を排除する、
    請求項１に記載の方法。
21. 前記Ｎ個の位置の１番目からｍ番目を順に選択することをさらに含み、
    前記Ｎ個の位置のうちの次の位置の選択は、前記ビデオ画像の底縁に近い位置を選択すること、
    請求項１に記載の方法。
22. ビデオ内で人間オブジェクトを見つける方法であって、
    現実世界のシーンのビデオ画像の複数のピクセルについて、フォアグラウンドピクセルであると決定すること、ここで、一群の前記フォアグラウンドピクセルは、一又は複数のフォアグラウンドブロブからなるフォアグラウンドブロブセットを構成し、
    前記ビデオ画像内に規則的に分布しているＮ個の所定位置（Ｎは１を超える正の整数）のそれぞれに対応するＮ個の所定形状のそれぞれについて、対応する前記所定形状と前記フォアグラウンドブロブセットとを比較することによって第１の値を算出すること、ここで、前記第１の値は、前記フォアグラウンドブロブセットによって表されるＸ人の人間（Ｘは非負の整数）を決定するために用いられ、前記Ｘ人の人間のそれぞれの位置は、前記現実世界の水平面内の位置として決定され、及び
    前記Ｘ人の人間が表わされていることについての前記決定を用いて、群衆密度が閾値を超える場合に、レポート、アラーム及びイベント検出のうちの少なくとも一つを提供すること、を含み、
    前記Ｎ個の位置のそれぞれに対応する前記所定形状のサイズは、ビデオシステムのキャリブレーションに応答して決定され、
    前記ビデオシステムは前記ビデオ画像を得るために用いられ、
    前記Ｎ個の所定形状のそれぞれについての、対応する前記所定形状と前記フォアグラウンドブロブセットとの前記比較は、対応する前記所定形状と前記フォアグラウンドブロブセットとの重複領域の量を分析することを含む、方法。
23. 前記Ｘ人の人間の位置の少なくとも幾つかをレビューすることによって、群衆の存在を検出することをさらに含む、
    請求項２２に記載の方法。
24. Ｘ人の人間のうちのＹ人が前記現実世界の前記水平面の領域内に位置すると決定されたときに、群衆の存在を決定することをさらに含む、
    請求項２２に記載の方法。
25. 前記現実世界の前記水平面の前記領域は、前記現実世界内に所定の領域サイズを有する所定の地理的形状を含む、
    請求項２４に記載の方法。
26. 前記現実世界の前記水平面の前記領域は、円によって定義される領域を含む、
    請求項２４に記載の方法。
27. 前記ビデオ画像の第１フレームに対応する第１領域内の第１群衆密度を決定すること、
    前記ビデオ画像の第２フレームに対応する前記第１領域内の第２群衆密度を決定すること、及び
    前記第１群衆密度及び前記第２群衆密度に応じて群衆集合イベントを決定すること、
    をさらに含む、請求項２２に記載の方法。
28. 前記ビデオ画像の第１フレームに対応する第１領域内の第１群衆密度を決定すること、
    前記ビデオ画像の第２フレームに対応する前記第１領域内の第２群衆密度を決定すること、及び
    前記第１群衆密度及び前記第２群衆密度に応じて群衆消散イベントを決定すること、
    をさらに含む、請求項２２に記載の方法。
29. 現実世界のシーンのビデオ画像を提供するよう構成されたビデオソースと、
    前記ビデオ画像のフォアグラウンドピクセルを検出するよう構成されたコンピュータとを備え、
    一群の前記フォアグラウンドピクセルは、一又は複数のフォアグラウンドブロブからなるフォアグラウンドブロブセットを構成し、
    前記ビデオ画像内に規則的に分布しているＮ個の所定位置（Ｎは１を超える正の整数）のそれぞれに対応するＮ個の所定形状のそれぞれについて、対応する前記所定形状と前記フォアグラウンドブロブセットとを比較することによって第１の値を算出するよう構成され、
    前記第１の値を用いて前記フォアグラウンドブロブセットによって表されるＸ人の人間（Ｘは非負の整数）を決定するよう構成され、
    対応する前記所定形状と前記フォアグラウンドブロブセットとの重複領域の量を分析することによって、前記Ｎ個の所定形状のそれぞれについて、対応する前記所定形状と前記フォアグラウンドブロブセットとを比較するよう構成され、
    前記Ｘ人の人間が表わされていることについての前記決定を用いて、群衆密度が閾値を超える場合に、レポート、アラーム及びイベント検出のうちの少なくとも一つを提供するよう構成される、
    ビデオ監視システム。