JP6185919B2 - 人物検出モダリティ結果を融合して人物カウンティングを向上させる方法及びシステム - Google Patents

Description

本発明は、一般に画像処理の分野に関し、詳細には、画像内の人物をリアルタイムにカウントする精度を高めるための方法及びシステムに関する。

画像またはビデオ内の人物の活動を検出することは非常に重要であり、自動人体検出が重要な成功要因である適用分野、たとえばセキュリティ及び監視、ロボット工学、監視及び高速道路交通システム、自律車両及び自動運転者支援システムなどのために人物の存在を検出することが重要である。同様に、コンピュータ・ビジョン・システムでは、各セグメント内の物体を検出する、及び他の物体から人物を区別するための画像のセグメント化は、依然として難題である。

画像内に出現する多数の視覚的パターンが、複雑さを増大させる。人物検出は、画像内の人物の存在を検出するハードウェア及びソフトウェアの能力を要する。現在、画像内の人物の検出は、さまざまな人物検出技法及びアルゴリズムを使用することにより実現される。このような技法及びアルゴリズムは広く使用されているが、前記技法及びアルゴリズムによりもたらされる結果は、多くの場合、多数の間違った予測を含む。

人物検出及び追跡技法に関連する間違った予測またはエラーを低減することに関連する問題に対処するために、多くの解決策が提案された。人物を検出するためにしばしば取られる技法の１つが、人物をリアルタイムに検出するために、複数の人物検出技法を組み合わせることである。しかしながら、組合せの成功は、各検出技法に関連するエラーにより影響を受ける。このような解決策の１つが、ベイズの融合分類器技法（Ｂａｙｅｓｉａｎ ｆｕｓｉｏｎ Ｃｌａｓｓｉｆｉｅｒ ｔｅｃｈｎｉｑｕｅ）を使用して処理されたＤＦＡベクトルから、解析される画像を表現するベクトルを教示する、Ｃｈｅｎｇｊｕｎ Ｌｉｕの特許文献１で開示された。この方法は、比較的低いエラーの確率及び誤検出率の顔検出を開示するが、２つ以上の技法またはアルゴリズムが関与するとき、解決策の精度の決定に関して依然として言及していない。

米国特許第７，１６２，０７６号明細書 インド特許出願第１３５９／ＭＵＭ／２０１１号明細書

したがって、画像内の人物を検出するために適用されるすべての技法の精度を決定することにより、人物検出のために利用可能な複数の技法の間違った予測を低減することができる解決策の技術が必要である。

なお、人物検出モダリティで人物カウントの精度を高めるシステム及び方法を提案することも、本発明の目的となりうる。

また、人物検出モダリティに関連する、信頼できない要因を低減するシステム及び方法を提案することも、本発明の目的となりうる。

また、取り込まれた画像のフレーム中の人物をカウントするための、最も正確な人物検出モダリティを選択するシステム及び方法を提案することも、本発明の目的となりうる。

一様態では、本発明は、事前定義表示エリア内でリアルタイムに取り込まれた画像の少なくとも１つのフレーム中の人物カウンティングの精度を高める方法であって、前記取り込まれた画像の特徴的結果を得るために少なくとも１つの人物検出モダリティを使用することにより、１つまたは複数のフレーム中の人物を検出する、プロセッサに実装されたステップと、人物検出モダリティの得られた特徴的結果間を切り替えることにより、及び事前に計算された活動確率を使用することにより、精度確率を計算する、プロセッサに実装されたステップとを備える方法を開示する。活動確率は、各フレーム中で検出された人物カウントの分散を決定するように適合される。前記方法は、事前定義表示エリア内の人物の場所を検出するための選択技法を使用することにより、人物検出モダリティと活動確率の組合せから、各フレームに対して得られた特徴的結果を選択的に統合する、プロセッサに実装されたステップをさらに備える。人物検出モダリティの組合せは、ベイズの融合技法（Ｂａｙｅｓｉａｎ ｆｕｓｉｏｎ ｔｅｃｈｎｉｑｕｅ）に基づく。

他の様態では、本発明はまた、事前定義表示エリア内でリアルタイムに取り込まれた画像の少なくとも１つのフレーム中の人物カウンティングの精度を高めるシステムであって、少なくとも１つのモダリティ構成要素が埋め込まれた検出ユニットを備えるシステムを開示する。検出ユニットは、少なくとも１つの人物検出モダリティと協調して人物を検出して、前記取り込まれた画像に関連する特徴的結果を得るように構成される。システムは、各人物検出モダリティに関連する活動確率を計算するように適合された計算モジュールをさらに備える。活動確率は、各フレーム中で検出された人物カウントの分散を決定する。システムは、各フレームに対する各人物検出モダリティから得られた複数の特徴的結果を選択的に統合するように適合された融合プロセッサをさらに備える。

本発明の一実施形態によるシステムのアーキテクチャ 本発明の代替の一実施形態による人物カウント機構を示す説明図 本発明の代替の一実施形態による精度計算のプロセスフロー 本発明の代表的一実施形態を示す説明図 本発明の代表的一実施形態による検出精度の結果を示す説明図 本発明の代表的一実施形態による信頼できない要因に関する結果を示す説明図

次に、本発明の特徴を例示する、本発明のいくつかの実施形態について説明する。

「備える」、「有する」、「含有する」、及び「含む」という用語、ならびにこれらの他の形態は、意味が同等であることが意図され、これらの用語の任意の１つに続く１つまたは複数の項目が、このような１つまたは複数の項目の網羅的列挙であることを意味することも、列挙した１つまたは複数の項目だけに限定されることを意味することもないという点で非限定的である。

また、本明細書及び添付の特許請求の範囲で使用するとき、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈において特に明記しない限り、複数の指示対象も含む。本明細書で説明するシステム、方法、装置、及びデバイスに類似する、または等価な任意のシステム、方法、装置、及びデバイスを、本発明の実施形態の実現及び試験で使用することができるが、次に、好ましいシステム及び部分について説明する。

開示する実施形態は、本発明の代表的実施形態でしかなく、本発明はさまざまな形態で具体化されてもよい。

本発明は、人物カウンティングの精度を高めるための方法及びシステムに関する。人物カウンティングは、通常、複数の人物検出モダリティを使用することにより実現される。複数の人物検出モダリティ、たとえば、勾配方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ、ＨＯＧ）、Ｈａａｒ（ハール）、及び背景差分（Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ、ＢＧ）は、人物画像を検出及び追跡して、人物の数を決定する。複数の人物検出モダリティのうちの各人物検出モダリティは、特定の信頼できない要因に関連づけられる。信頼できない要因の例は、ビデオフレームの変動、不適切な人物検出、誤検出などを含む。本発明は、信頼できない要因を低減するために、各人物検出モダリティの精度を計算する。信頼できない要因を低減することにより、人物カウントの精度が高まり、さらに、最も高い精度の人物検出モダリティを選択することが可能になる。

本発明のさまざまな様態及び実施形態によれば、本明細書で説明する方法は、コンピュータプロセッサ上で実行されるソフトウェアプログラム（１組のプログラムされた命令）として動作することが意図される。

一様態によれば、図１を参照すると、システム（１００）は、複数のフレーム中の画像を取り込むための画像取込デバイス（１０２）を備える。システム（１００）は、人物を検出するように構成された検出ユニット（１０４）をさらに備える。検出ユニット（１０４）は、少なくとも１つのフレーム中の人物を検出するために、少なくとも１つの人物検出モダリティを適用するための少なくとも１つのモダリティ構成要素（１０６）をさらに埋め込まれる。人物検出モダリティは、このように取り込まれた画像（取り込まれた画像と呼ぶ場合がある）に関連する特徴的結果を得るために適用される。特徴的結果は、人物のグレースケール画像の人物カウント値を含む。人物検出モダリティは、Ｈａａｒ、勾配方向ヒストグラム（ＨＯＧ）、背景差分（ＢＧＳ）、またはこれらの組合せを含んでもよいが、これらに限定されない。

本発明の一実施形態によれば、システム（１００）は、１つまたは複数のフレーム中の人物を追跡するための追跡モジュール（図示せず）をさらに備える。追跡モジュールは、人物を追跡するために、画像内に存在する信頼できない要因で人物を差別化することにより、人物画像をさらに処理する。

システム（１００）は、各人物検出モダリティに関連する活動確率を計算するように適合された計算モジュール（１０８）をさらに備える。活動確率は、各フレーム中で検出された人物カウントの分散を決定するための、取り込まれた画像の各フレーム中の変動の値を提供する。計算モジュール（１０８）はまた、各人物検出モダリティの精度を決定するための精度確率を計算する。

システム（１００）は、検出ユニット（１０４）及び計算モジュール（１０８）と通信する融合プロセッサ（１１０）をさらに備え、画像取込デバイス（１０２）により取り込まれた画像に関連する特徴的結果、及び各人物検出モダリティに関連する活動確率を選択的に統合するように適合される。

一実施形態によれば、システム（１００）は、融合プロセッサ（１１０）に通信可能に連結された精度エンハンサ（１１２）をさらに備える。精度エンハンサ（１１２）は、画像内の人物カウントの精度を高めるために、融合プロセッサ（１１０）と共に機能する。精度エンハンサ（１１２）は、回帰モデルを使用することにより、各人物検出モダリティの各々に関連する特徴的結果、及び各人物検出モダリティに関連する活動確率を選択的に統合するモジュール（１１６）をさらに備える。選択的統合は、最も正確な人物検出モダリティ、または選択された人物検出モダリティを選択するように実現される。

システム（１００）は、精度エンハンサ（１１２）と通信する人物カウンタ（１１４）をさらに備える。人物カウンタ（１１４）は、選択された人物検出モダリティに従って人物をカウントするように適合される。好適な人物検出モダリティ（または選択された人物検出モダリティ）は、選択的統合が実現された後に、精度エンハンサ（１１２）により選択された最も正確な人物検出モダリティである。

一実施形態によれば、図２を参照すると、画像取込デバイス（１０２）は、現在のフレーム及び先行するフレーム中の人物の画像を取り込む。複数のフレーム中の抽出された画像の１つまたは複数の特徴が、閾値と比較される。閾値は手作業で選択される。閾値は、画像が活動状態の画像であるかどうかを決定するのに役立つ。活動状態の画像は、固定していないフレームで取り込まれた画像である。活動状態は、活動確率に関して計算モジュール（１０８）により計算される。

次いで、検出ユニット（１０４）により、少なくとも１つの人物検出モダリティを使用することにより、１つまたは複数のフレーム中で人物が検出される。図２をさらに参照すると、ステップ２０２に示すように、検出ユニット（１０４）は、人物を検出するために、前景抽出を適用する。検出ユニット（１０４）は、人体を検出するために、勾配方向ヒストグラム（ＨＯＧ）をさらに適用する。高速物体を検出するために、線形ＳＶＭのカスケーディングが行われる。この場合、物体は人物を指す。検出ユニット（１０４）は、人物の顔を検出するために、Ｈａａｒ特徴抽出をさらに適用する。背景差分（ＢＧＳ）を使用することにより、背景変化が検出される（特許文献２参照）。

図１を再度参照すると、計算モジュール（１０８）は活動確率を計算する。計算モジュール（１０８）は、人物検出モダリティから得られた特徴的結果の間を切り替えることにより、及び事前計算された活動確率の値を使用することにより、各人物検出モダリティの精度確率をさらに計算する。活動確率は、各ビデオフレーム中で検出された人物カウントの分散を決定する。

図２を参照すると、ステップ２０４に示すように、融合プロセッサ（１１０）は、選択技法を使用することにより、人物検出モダリティの各々から得られた特徴的結果の組合せを生成する。人物の場所を検出するために、及び各人物検出モダリティに関連する信頼できない要因を低減するために、上記の組合せ（すなわち、ＨＯＧ、ＨＡＡＲ、勾配方向ヒストグラム、及びＢＧＳ）の特徴的結果を選択的に統合することが実現される。

一実施形態によれば、１つまたは複数の人物検出モダリティの組合せを実現するために使用される選択技法は、ベイズの融合技法である。ベイズの融合により、人物検出モダリティの分類成果が改善される。個々の人物検出モダリティ（Ｈａａｒ、勾配方向ヒストグラム（ＨＯＧ）、背景差分（ＢＧＳ））が、それ自体の特徴的結果を提供する。分類システムは、各人物検出モダリティに関連する活動確率を観察することにより、物体が人物クラス（Ｈ）に属するかどうかを決定する。ベイズの融合技法のベイズ分類器は、特徴的結果を任意の事前ｐ（Ｈ）と融合して、大域コンセンサス事後確率ｐ（Ｈ／Ｚ）に至り、ここで、Ｚ＝∪_ｉ｛Ｚ_ｉ｝∀ｉである。ｐ（Ｈ）は、クラスタイプＨの事前確率であり、Ｚ＝｛ＨＯＧ、ＢＧＳ、Ｈａａｒ｝である。勾配方向ヒストグラム（ＨＯＧ）分類器は、ｐ（Ｈ／Ｚ_ＨＯＧ）により人物クラスＨに属する物体の事後確率について記述する。同様に、ｐ（Ｈ／Ｚ_ＢＧＳ）及びｐ（Ｈ／Ｚ_Ｈａａｒ）は、その他の２つの人物検出モダリティにより与えられる。同じ重要性の、すなわち同じ検出信頼水準の、これらの情報キューが、情報融合過程で与えられるべきであると仮定する。情報融合は、ベイズのモデル化手法を使用して対処される。

一実施形態によれば、図３を参照すると、画像取込デバイス（１０２）は、複数のフレーム中の、たとえば、古いフレーム及び新しいフレーム中の画像を取り込む。ステップ２０８に示すように、両フレームの特徴値の差を取った後に、マトリックスを準備する。特徴値は、画像の画素値である。マトリックスを使用して、画素値の標準偏差及び平均を計算する。ステップ２０２に示すように、検出ユニット（１０４）は、人物検出モダリティのうち少なくとも１つを１つまたは複数の組合せでさらに適用する。具体的な例では、組合せは、勾配方向ヒストグラム（ＨＯＧ）、背景差分、及びＨａａｒの組合せ、または勾配方向ヒストグラム（ＨＯＧ）及び背景差分（ＢＧ）の組合せを含む。

同時分布から開始して、結合規則を再帰的に適用して、分解を得る。

式（１）は、異なる人物検出モダリティから得られる観察結果が独立であると仮定する。多感覚応用システムでは、各情報源が共通に有する唯一のパラメータが状態であるので、各情報源の尤度ｐ（Ｚ_ｉ／Ｈ）、ｉ＝１，…，ｎが独立であるという主張は合理的である。情報融合を定義する条件付き確率を（２）のように書くことができる。

図３を再度参照すると、各人物検出モダリティから得られる特徴的結果は、グレースケール画像の人物カウント値を含む。特徴的結果を計算する間に、１組のマトリックスを形成してもよく、マトリックスでは、成分が、グレースケール画像の画素値を含んでもよい。ステップ２１０に示すように、マトリックスは、顕著な活動が発生したフレームを識別するために、融合プロセッサ（１１０）及び精度エンハンサ（１１２）により処理される。これにより、各フレームの活動の尺度が与えられる。先行するフレームから画素値が大きく変化する場合に、顕著な活動が出現する。このとき、マトリックスは、画素値の異なる成分を有し、処理される。

図３を再度参照すると、ステップ２１２及び２１４に示すように、精度エンハンサ（１１２）は、１つまたは複数の人物検出モダリティにより得られた特徴的結果、及び各人物検出モダリティに関連する活動確率に回帰モデルを適用することにより、精度を高める。第１のステップは、情報源として画素値の平均及び標準偏差を選ぶことである。平均及び標準偏差の値は、活動確率に回帰モデルを適用するための入力共変量（少なくとも２つの変数の組合せ）とみなされ、精度確率は、活動確率の値を使用することにより計算される。

共変量（共変量ベクトル）ＣＶ＝［平均，分散］に対して、Ｖ＝［１，平均，分散］とし、ロジスティック回帰ｙの値が以下の分布を有する。

であり、ここで、αは推定されるモデルのベクトルパラメータである。

出力値が事前に決められている、サイズｋのサンプルが存在するとする。この事前決定は、手作業による決定であってもよい。ｙ_ｉは、ｉ＝１，２，３，…，ｋに対して既知である。αの関数である尤度関数Ｌ（α）は、次式で与えられる。

αに対して尤度関数Ｌ（α）を最大にして、Ｌ（α）を最大にするαの値として、以下の推定値を得る。

これらのパラメータの助けを借りて、活動確率の値を計算する。これらの値は、活動状態の尺度を提供する。具体的な例として、０．７より大きな確率値が、所望の、固定していないフレームを示す。この活動確率の助けを借りて、計算モジュール（１０８）は、各人物検出モダリティの精度を決定するための精度確率を計算する。

図３を再度参照すると、ステップ２１２に示すように、回帰モデルの入力として、人物検出モダリティの出力が存在する。具体的な例として、フレームレベルで、３つの人物検出モダリティの出力が存在する。各フレームに対して、出力Ｘ_１＝Ｈａａｒ、Ｘ_２＝ＨＯＧ＋ＢＧ、及びＸ_３＝ＨＯＧ＋ＢＧ＋Ｈａａｒがあるとする。これらのＸ_ｉのすべてが、整数の値を取るカテゴリ変数である。

その他の入力が、各人物検出モダリティに対して計算された活動確率Ｐである。

共変量として、１組の独立した対照が入力に基づき入念に選ばれ、活動確率は、共変量として変化しないとみなされる。

換言すれば、共変量は以下である。
ＣＶ_１＝Ｘ_２−Ｘ_１、
ＣＶ_２＝Ｘ_３−Ｘ_１、
ＣＶ_３＝Ｐ。

次式を考えてみる。

モデルが、関数

である。これらの関数のクラスの中の最良の要素を選ぶ。しかし、このクラスの中の最良の要素が、確率値１を有するグラウンド・トルース・データに出力が最も近い回帰モデルであることは明らかである（手作業で決定されたグラウンドトルースが、小さなサンプルで利用可能である）。

特殊なクラスの関数ｆ（ＣＶ）＝ｇ（α’Ｖ）を考えてみる。ここで、Ｖは、ＣＶ上の初等変換である。利用可能な観察されたデータ、またはサンプルから、回帰モデルが最良の成果を与える、マトリックスαの最適値を決定する。ｇが平滑な凸関数（一定次数までゼロではない正の導関数を有する関数を意味する）、たとえば、α’Ｖの個々の行に対する論理関数のベクトルであることが一般に考えられる。

ＣＶ_ｉがｎ_ｉの値

を取るとして、ｉ番目の共変量に対して、ｎ_ｉ−１の指標変数

を、ｉ＝１，２；ｊ＝１，２，３，…，ｎ_ｉに対してＩ_ｉ，ｊ＝Ｉｎｄ（ＣＶ_ｉ＝ｋ_ｉ，ｊ）として導入する。このとき、この変換されたベクトルは、以下のように定義される。

グラウンド・トルース・データは、所望の出力ベクトルＹ＝（ｙ_１，ｙ_２，ｙ_３）のサンプルをもたらす。ｙ_ｉのうち１つが１であり、残りがゼロである。回帰モデルを得るために、フレームレベルの値から、パラメータの関数が構築され、パラメータに対して最大化される。

ｇが論理関数のベクトルであるとする。Ｖがｍの要素を有するとする。α＝［α_１，α_２］について考えてみる、ここで、α_１及びα_２は長さｍのベクトルである。

このとき、ｇ（α’Ｖ）＝ｇ（［α_１，α_２］’Ｖ）＝［ｐ_１（α’Ｖ），ｐ_２（α’Ｖ），ｐ_３（α’Ｖ）］’であり、ここで、ｐ_ｉは、
ｐ_１（α’Ｖ）＝ｅｘｐ（α_１’Ｖ）／［１＋ｅｘｐ（α_１’Ｖ）＋ｅｘｐ（α_２’Ｖ）］、
ｐ_２（α’Ｖ）＝ｅｘｐ（α_２’Ｖ）／［１＋ｅｘｐ（α_１’Ｖ）＋ｅｘｐ（α_２’Ｖ）］、及び
ｐ_３（α’Ｖ）＝（１−［ｐ_１（α’Ｖ）＋ｐ_２（α’Ｖ）］）
のように定義される。

サイズｋのサンプルがあるとする。このとき、尤度関数は次式となる。

Ｆｉｓｈｅｒのスコアリング法を使用して、αの最尤推定値と呼ばれる推定値

を得ることにより、αに関して尤度関数Ｌ（α）を最大化する。

図３を参照すると、ステップ２１４に示すように、パラメータを導出した後、回帰モデルを使用して計算した、事前に計算された活動確率を使用することにより、計算モジュール（１０８）により精度確率を計算する。ステップ２１６に示すように、信頼できない要因を低減するために、最大確率を有する人物検出モダリティを選択する。最大確率を有する人物検出モダリティが２つ以上あるときには、ランダムに選択する。

図２及び図３を参照すると、ステップ２０６に示すように、このとき、人物カウンタ（１１４）は、変動のないフレームを考慮すると共に、窓の中で最大確率を有する人物検出モダリティを使用することにより、人物をカウントする。

本発明を機能させるための最良の形態／実施例：
図４を参照すると、人物を検出及びカウントするために、複数の人物検出モダリティがグループで、または個別に使用される。これらをアルゴリズムと呼ぶ。これらのアルゴリズムは、トレーニング及び試験のために使用される。グラウンド・トルース・データは、手作業で選択された参照用データを含む。人物検出モダリティの選択を以下に示す。
Ａｌｇｏ１−Ｈａａｒ、
Ａｌｇｏ２−勾配方向ヒストグラム（ＨＯＧ）＋背景差分（ＢＧ）
Ａｌｇｏ３−Ｈａａｒ＋勾配方向ヒストグラム（ＨＯＧ）＋背景差分（ＢＧ）、
であり、Ａｌｇｏはアルゴリズムを意味する。

所定のグラウンド・トルース・データの助けを借りて、所望のパラメータを手作業で生成する。Ａｌｇｏ１、Ａｌｇｏ２、及びＡｌｇｏ３について、計算モジュール（１０８）が活動確率を計算し、活動確率をそれぞれＰｒｏｂ１、Ｐｒｏｂ２、及びＰｒｏｂ３とする。融合プロセッサ（１１０）及び精度エンハンサ（１１２）を用いて、回帰モデルを適用することにより、これらのアルゴリズムの選択的統合を実現する。Ａｌｇｏ１、Ａｌｇｏ２、及びＡｌｇｏ３について計算した検出率及び誤検出を以下の表に示す。

表１及び表２：検出率及び誤検出

図５及び図６は、それぞれ検出率及び誤検出を示すために、表１及び表２から得られた結果のグラフ表示を示す。

上述の表で、最大精度確率を有するアルゴリズムが選択される。

上記の手法を使って、検出精度を維持しながら、信頼できない要因または誤検出の低減が、４０％から２０％以下まで達成される。

さまざまな様態及び実施形態に関連して説明した方法論及び技法は、１組の命令が、実行されたときに、上記で説明した方法論のうち任意の１つまたは複数を機械に実現させてもよい機械または他のコンピューティングデバイスを使用して実現されることができる。機械は、バスを介して互いに通信するプロセッサ（たとえば、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、または両方）、メインメモリ、及びスタティックメモリを含んでもよい。ディスク・ドライブ・ユニットが、上記で例示したこれらの方法を含む、本明細書で説明する方法論または機能のうち任意の１つまたは複数を具体化する１つまたは複数の組のプログラムされた命令（たとえば、ソフトウェア）が記憶された機械可読媒体を含んでもよい。命令はまた、メインメモリ、スタティックメモリ内部に、及び／または機械により命令が実行される間にプロセッサ内部に、全部または少なくとも一部、存在してもよい。メインメモリ及びプロセッサはまた、機械可読媒体を構成してもよい。

さまざまな様態、実施形態、及び図面を参照して、上記の説明を提示した。説明した動作の構造及び方法の代替形態及び変更形態が、原理及び範囲を有意に逸脱することなく実施することができる。

Claims (15)

1. 事前定義表示エリア内で取り込まれた画像の少なくとも１つのフレーム中のリアルタイム人物カウンティングの精度を高める方法であって、プロセッサにより、
   複数の人物検出モダリティのうちの少なくとも２つの人物検出モダリティを使用することにより、前記取り込まれた画像の１つまたは複数のフレーム中の少なくとも１人の人物を検出して、検出された前記少なくとも１人の人物を含む前記取り込まれた画像に対する人物カウント値を、前記人物検出モダリティの各々に対して計算するステップと、
   前記人物検出モダリティの各々に関する各フレーム中の前記人物カウント値の分散を決定するために使用される、前記取り込まれた画像の各フレーム中の人物画像の変動の値を提供すると共に、各フレーム中の活動の尺度を示す活動確率を計算するステップと、
   前記人物の場所を検出するために、回帰モデルを適用することにより、各フレームに対する前記人物検出モダリティの各々の前記人物カウント値、及び前記活動確率を選択的に統合すると共に、修正された人物カウント値を導出するために、前記取り込まれた画像における前記少なくとも１人の人物の検出に関して信頼できない要因を低減するステップと、を有する
   ことを特徴とする方法。
2. 前記人物カウント値に基づき、各人物検出モダリティの精度を示す精度確率が最大である最大精度確率を有する前記少なくとも２つの人物検出モダリティを選択することにより、各フレーム内部の前記人物カウント値の精度を高めるステップを有する
   請求項１に記載の方法。
3. 前記精度は、各人物検出モダリティの前記精度確率を計算するために、前記画像の各フレーム内部の前記活動確率及び前記人物カウント値に前記回帰モデルを適用することにより高められる
   請求項２に記載の方法。
4. 前記人物検出モダリティの各々に対して計算された活動確率は、前記画像の入力共変量を比較するための所定の値を含むグラウンド・トルース・データに近い値を提供する
   請求項１に記載の方法。
5. 前記検出ステップは、少なくとも１つの画像取込デバイスの前記事前定義表示エリア内部で前記少なくとも１人の人物をリアルタイムに追跡することを有する
   請求項１に記載の方法。
6. 前記少なくとも１人の人物を検出する前記ステップは、
   Ｈａａｒを使用して人物の顔を検出すること、
   勾配方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ、ＨＯＧ）を使用して人体を検出すること、並びに、
   背景差分（Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ、ＢＧＳ）、またはＨａａｒ、ＨＯＧ、及びＢＧＳの組合せを使用して前記人体に関連する背景の変化を検出することのうち少なくとも１つを有する
   請求項１に記載の方法。
7. 前記人物カウント値は、前記少なくとも１人の人物を含むグレースケール画像に関する
   請求項１に記載の方法。
8. 前記人物カウント値及び前記活動確率を選択的に統合するために使用される融合技法は、選択技法である
   請求項１に記載の方法。
9. Ｈａａｒ、ＨＯＧ、及びＢＧＳの前記組合せは、ベイズの融合技法に基づく
   請求項６に記載の方法。
10. 事前定義表示エリア内で取り込まれた画像の少なくとも１つのフレーム中のリアルタイム人物カウンティングの精度を高めるシステムであって、
    複数の人物検出モダリティのうちの少なくとも２つの人物検出モダリティと協調して、前記取り込まれた画像の複数の人物検出モダリティから少なくとも１人の人物を検出して、検出された少なくとも１人の人物を含む前記取り込まれた画像に対して、前記人物検出モダリティの各々に対して計算された人物カウント値を得るように構成される、複数のモダリティが埋め込まれた検出ユニットと、
    前記取り込まれた画像の各フレーム中の人物画像の変動の値であって、前記人物検出モダリティの各々に関連する各フレーム中の前記人物カウント値の分散を決定するために使用される変動の値を提供すると共に、各フレーム中の活動の尺度を示す活動確率を計算するように適合された計算モジュールと、
    前記人物の場所を正確に検出するために、回帰モデルを適用することにより、各フレームに対する前記人物検出モダリティの各々の前記人物カウント値、及び前記活動確率を選択的に統合すると共に、修正された人物カウント値を導出するために、前記取り込まれた画像における前記少なくとも１人の人物の検出に関して信頼できない要因を低減するように適合された融合プロセッサと、を備える
    ことを特徴とするシステム。
11. 前記活動確率に基づき、前記人物検出モダリティの各々により、前記人物カウント値を得る際の精度を示す精度確率を計算すると共に、前記人物カウント値に基づき、前記少なくとも２つの人物検出モダリティを選択する精度エンハンサを備える
    請求項１０に記載のシステム。
12. 前記人物検出モダリティは、Ｈａａｒ、勾配方向ヒストグラム（ＨＯＧ）、背景差分（ＢＧＳ）、またはこれらの組合せを有する
    請求項１０に記載のシステム。
13. 前記少なくとも１人の人物を検出することは、
    Ｈａａｒを使用して人物の顔を検出すること、
    勾配方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ、ＨＯＧ）を使用して人体を検出すること、並びに、
    背景差分（Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ、ＢＧＳ）、またはＨａａｒ、ＨＯＧ、及びＢＧＳの組合せを使用して前記人体に関連する背景の変化を検出することのうち少なくとも１つを有する
    請求項１０に記載のシステム。
14. 前記人物カウント値は、前記少なくとも１人の人物を含むグレースケール画像に関する
    請求項１０に記載のシステム。
15. Ｈａａｒ、ＨＯＧ、及びＢＧＳの前記組合せは、ベイズの融合技法に基づく
    請求項１３に記載のシステム。

Images