JP4668921B2 - 画像中のオブジェクト検出 - Google Patents

Description

本発明は、画像の中のオブジェクトを検出するための方法とシステムに関し、より詳細には、それらのオブジェクトの照明の影及びハイライトを考慮に入れて移動するオブジェクトを検出する方法とシステムに関するが、これらに限定されない。

ある場面のビデオ画像の中の人や車等の移動するオブジェクトの自動的な検出は多くの研究者の目標であり、自動化された分類アプリケーション又はトラッキングアプリケーションの提供の前触れである。加えて、自動オブジェクト検出システムはそれ自体、監視アプリケーションと検出アプリケーションにとって有効である。フォアグラウンド又は関心のある移動するオブジェクトバックグラウンドの場面を表現する画像の中のピクチャエレメント（ピクセル）とを区別する実際のステップは当技術分野において概して公知であり、ここでは「セグメンテーション」として知られている。

オブジェクトの自動検出に関係する当技術分野において公知の問題の１つは、照明条件の変化をどのようにして補償するのか、特に実際のオブジェクトと、そのオブジェクトが投げかけるあるいは含む可能性がある影又はハイライトを、どのようにして見分けるのかである。特にオブジェクト分類システム又はトラッキングシステムの中では、それが検出されたオブジェクトであり、その影ではないと無理なく確信する必要性は以後のマッチングステップにとって重要であるため、影とハイライトにより引き起こされるセグメント化されたピクセルを検出し、削除する技法が当技術分野において提案されてきた。

さらに詳細には、「人の集団を追跡調査すること（Ｔｒａｃｋｉｎｇ Ｇｒｏｕｐｓ ｏｆ Ｐｅｏｐｌｅ）」、コンピュータビジョンと画像の理解、８０、４２−５６、２０００の中でＭｃＫｅｎｎａらは、（オブジェクトの移動に比較して低速であると仮定される）照明の変化を考慮に入れるためにバックグラウンド画像を再帰的に適応する適応バックグラウンド画像が利用される、ピクセルセグメンテーション技法を説明している。次にカラーチャネルバックグラウンド除去技法が実行され、任意の特定の入力画像について、入力画像ピクセルのＲＧＢチャネルが適応バックグラウンドと比較され、それぞれの入力とバックグラウンドＲ値、Ｇ値又はＢ値の論理的な比較の結果に応じて、ピクセルは「フォアグラウンド」又は「バックグラウンド」のどちらかとして設定される。「フォアグラウンド」ピクセルのマップは、以後、追加の処理のために使用されるマスクを構成する。

それが色差バックグラウンド除去技法を使用して生成されたために、フォアグラウンドピクセルのマスクは、オブジェクトの影及び／又はハイライトを表すピクセルを含んでいる。したがって、ＭｃＫｅｎｎａらは、ピクセルの傾きとクロミナンス情報を使用して影が検出される第２のピクセルセグメンテーション技法も説明する。さらに詳細には、及びＨｏｒｐｒａｓｅｔらの「リアルタイムのロバストなバックグラウンド除去技法及び陰影検出のための統計的な手法（Ａ Ｓｔａｔｉｓｔｉｃａｌ Ａｐｐｒｏａｃｈ ｆｏｒ Ｒｅａｌ−ｔｉｍｅ Ｒｏｂｕｓｔ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ ａｎｄ Ｓｈａｄｏｗ Ｄｅｔｅｃｔｉｏｎ）」、ＩＥＥＥ ＩＣＣＶ’９９ ＦＲＡＭＥ＿ＲＡＴＥワークショップに説明されているように、影の中にあるピクセルの色度が、それが影の中にないときにその同じピクセルの色度と大きく異ならないという点で、色の恒常性特性を示していることが公知である。代わりに、唯一の変化はピクセルの輝度にある。したがって、バックグラウンドと比較して大きな輝度の変化があるが、大きな色度の変化はない任意のピクセルが影によって引き起こされてきたと仮定する点で、ＭｃＫｅｎｎａらによって、この色の恒常性は第１の弁別器として使用されている。

しかしながら、ＭｃＫｅｎｎａらは、黒のズボンが灰色の小道を横切るとき等、フォアグラウンドオブジェクトがバックグラウンドと同じ色度であるときに、前記色の恒常性の弁別器が失敗することにも留意する。したがって、ＭｃＫｅｎｎａらは、入力ピクセルが影のピクセルである場合には、そのテクスチャ情報はそのバックグラウンド値から大きく変化したはずがないことに基づいて、入力画像とバックグラウンド画像のピクセル傾き情報を、その間で比較を実行するために使用することも説明している。したがって、ピクセルは、色度又は傾きのどちらかの情報がその分類をサポートする場合にフォアグラウンドとしてフラグを立てられる。

ＭｃＫｅｎｎａらは前記技法を使用してピクセルセグメンテーションを実行した後に、連結されたオブジェクトを識別するために連結成分分析を実行する。彼らは、色度と傾きの弁別のために、連結されたオブジェクトが、連結されたピクセルの境界内に全体的に位置し、フォアグラウンドとしてセグメント化されたはずであるピクセルが誤ってバックグラウンドとしてセグメント化され、したがって連結されたオブジェクトの一部ではないという点で、ピクセルが「穴」を含むことがあることに留意する。これを矯正するために、連結オブジェクトの穴の一部である各「バックグラウンド」ピクセルが、ＲＧＢ除去からのマスクが、それがフォアグラウンドであることを示す場合にフォアグラウンドに設定されるという点で、前述されたＲＧＢ除去方法により生じる「マスク」が参照される。このようにして連結オブジェクトの中の穴は削除されてよく、影を考慮に入れるフォアグラウンドとバックグラウンドのセグメンテーションが実行されてよい。

ＭｃＫｅｎｎａらによって説明されている色の恒常性の技法と傾きの技法が、フォアグラウンド−バックグラウンドピクセルセグメンテーションのために影を識別するときに有効である一方、ＭｃＫｅｎｎａらによって説明されている前記技法は、セグメンテーションのための「穴」を考慮に入れる前に実行される連結成分分析のために実際の状況で使用されるときに、いくつかの問題を呈する。例えば、セグメンテーションのための「穴」が実際に重複し、完全にオブジェクトを二分する場合には、連結成分分析は２つのブロブを単一のオブジェクトとしてではなく、代わりに２つの別個のオブジェクトとして認識するであろう。結果として、重複する「穴」はそのようなものとして認識されないため、ＲＧＢ除去マスクを参照して塗りつぶすことができない。逆に、連結成分分析が実行されるまで「穴」自体は識別されないため、塗りつぶされる。この逆理の結果は、いくつかの状況では、現実にはただ１つのオブジェクトが存在する場合に、２つのより小さな連結オブジェクトが識別される可能性があるという点である。

第１の態様において、本発明は、ピクチャエレメントから構成されている入力画像の中でオブジェクトを検出するための画像処理方法を提供し、前記方法は、
ａ）第１のセグメンテーション技法を使用して画像バックグラウンドを形成するそれらのピクチャエレメントから、前記入力画像の中のフォアグラウンドオブジェクトを表現するピクチャエレメントをセグメント化することであって、フォアグラウンドとしてセグメント化された前記ピクチャエレメントが、前記オブジェクトの影又はハイライトを表現するエレメントを含むことと、
ｂ）影及び／又はハイライトを検出するように適応された少なくとも１つの他のセグメンテーション技法を使用して、前記フォアグラウンドオブジェクトを表現するピクチャエレメントから、オブジェクトの影又はハイライトの特性を有するピクチャエレメントをセグメント化することと、
を備え、前記方法は、
ｃ）すでにフォアグラウンドとしてセグメント化されているピクチャエレメントに、周囲のピクチャエレメントをフォアグラウントとしてセグメント化することと、
ｄ）ステップａ）の後にフォアグラウンドとしてセグメント化されなかったピクチャエレメントが、フォアグラウンドとしてセグメント化されるであろう、又はセグメントされるまでステップｃ）を繰り返すことと、
ｅ）フォアグラウンドとしてセグメント化された隣接するピクチャエレメントのグループをオブジェクトとして検出することと、
の各ステップをさらに備えることにより、特徴付けられる。

連結成分分析等を使用してあらゆるオブジェクトの検出の前に、追加のセグメント化ステップｃ）を実行することにより、影除去処理のために生じたオブジェクトを表す隣接するセグメント化されたピクセルのグループの中の穴、交差点等のあらゆるアーチファクトは、除去により補償できる。実際には、セグメント化ステップｃ）は、ブロブが（交差点の場合には）１つのブロブに融合され直す、あるいはブロブ内のあらゆる穴がオブジェクト検出ステップの前に塗りつぶされるように、影除去動作の後に残るスケルトンブロブを「成長させる」形態学的な拡張演算である。したがって、本発明の全体的な効果は、オブジェクト検出ステップが実行されるときに、場面の中のオブジェクトごとに単一のオブジェクトが検出されるが、オブジェクトの中のあらゆる影又はハイライトはオブジェクト検出に影響を及ぼさないことを確実にすることである。したがって、本発明のオブジェクト検出技法は、影を引き起こす照明の変化に対して強い(robust)。

本発明の好ましい実施形態では、セグメント化ステップａ）は好ましくは以下を備える。

フォアグラウンドとしてセグメント化されなければならない、入力画像のピクチャエレメントごとに、周囲のピクチャエレメントに関係する確率モデルとのピクチャエレメントの比較によってフォアグラウンドセグメンテーションを確証し、モデルの少なくとも半分が、ピクチャエレメントがフォアグラウンドであることを示す場合に、前記フォアグラウンドセグメンテーションが確認されることである。これは、入力画像の中の雑音によって、又は不安定であるカメラ等の画像捕捉手段によって引き起こされることのある、ピクセルの「偽のフォアグラウンド」セグメンテーションを防止するのに役立つ。

第２の態様から、本発明は、コンピュータシステム上での実行時に、プログラム又はプログラムの組によってコンピュータシステムが第１の態様の方法を実行させるように構成される、１つのコンピュータプログラム又はプログラムの組も提供する。さらに、追加の態様から、第３の態様に従って１つのコンピュータプログラム又はプログラムの組を記憶する、コンピュータ読み取り可能記憶媒体も提供される。コンピュータ読み取り可能記憶媒体は、限定されない例として、磁気ディスク、ＤＶＤ、ソリッドステートメモリ、光ディスク、光磁気ディスク等のいずれか等の当技術分野において公知の任意の適切なデータ記憶装置又は媒体であってよい。

第４の態様から、本発明は、ピクチャエレメントから構成されている入力画像の中でオブジェクトを検出するための画像処理システムも提供し、前記システムは、
処理される入力画像を受信し、以下の
ａ）一般的なバックグラウンド画像との入力画像の差異を検出するように適応されている第１のセグメンテーション技法を使用して、入力画像の中のフォアグラウンド又は移動するオブジェクトを表すピクチャエレメントを、画像バックグラウンドを形成するそれらのピクチャエレメントからセグメント化し、フォアグラウンドとしてセグメント化されたピクチャエレメントが、オブジェクトの影又はハイライトを表すエレメントを含む、
ｂ）影及び／又はハイライトを検出するように適応される少なくとも１つの他のセグメンテーション技法を使用して、フォアグラウンドオブジェクトを表すそれらのピクチャエレメントから、オブジェクトの影又はハイライトの特徴を有するピクチャエレメントをセグメント化する、
画像処理演算をそれに適用するように構成された、画像処理手段を備え、以下の、
ｃ）ステップａ）の後にフォアグラウンドとしてセグメント化されなかったピクチャエレメントが、フォアグラウンドとしてセグメントされるであろう、又はセグメント化されるまでフォアグラウンドとしてすでにセグメント化されたそれらのピクチャエレメントに、周囲のピクチャエレメントをフォアグラウンドとして繰り返しセグメント化する、
ｄ）フォアグラウンドとしてセグメント化されていた隣接するピクチャエレメントのグループをオブジェクトとして検出する、
演算をさらに適用することにより、特徴付けられている。

第４の態様の中では、第１の態様に関して前述されたのと同じ利点と同じ追加の特徴と利点が得られる。

本発明の実施形態は、連結されたオブジェクトを識別するために連結成分分析を実行する前に影の処理のためにセグメンテーションで残された「穴」を考慮する、改善されたピクセルセグメンテーション技法を提供することによって、前述された従来の技術をよりよいものにする。これは、あらゆるセグメント化されたブロブ（「ブロブ」は隣接するセグメント化されたピクセルの集合である）の境界のために「マスク」を与えるために当技術分野において公知であるようなフォアグラウンドセグメンテーション技法を適用し、入力画像の中で影とハイライトを識別するためにＭｃＫｅｎｎａらによって説明された技法に類似する影処理技法を適用することにより、達成される。またＭｃＫｅｎｎａらによって言及されたように、影処理は「スケルトン」のセグメント化されたブロブを残す結果となり、ブロブはバックグラウンド除去から得られるブロブに比較して穴を含み、サイズが縮小される、あるいは二分されていることもある。連結オブジェクトを検出するためにブロブに連結成分分析を適用する前に、形態学的な拡張演算がその中のピクセルを拡張するためにスケルトンブロブに適用され、前記拡張演算は、再構築されたブロブがバックグラウンド除去から得られる（再構築される１つ又は複数のブロブとして画像内で実質的に同じ位置に位置する）対応するブロブのマスクのそれぞれの境界に接するまで、スケルトンブロブを再構築するために繰り返し適用される。形態学的な拡張演算を使用してブロブを「成長させる」ことによって、影処理から得られる「スケルトン」ブロブの中のあらゆる穴又は交差点は、オブジェクトとしてブロブを識別するために連結成分分析が実行される前に、再構築されたブロブを示すために概して埋めることができる。影は一般的には特定の方向に沿った元のオブジェクト形状の拡張された領域であるため、さらにバックグラウンド除去ステップからのそれぞれのブロブマスクが触れられる、又は単に重複されるまでだけに任意のブロブに拡張演算を条件付で実行することによって、再構築されたブロブには影が含まれないことが保証できる。

本発明の追加の特徴及び利点は、例証としてのみ提示されているその実施形態の以下の説明から、及び添付図面を参照することにより明らかになるであろう。

本発明の実施形態は、図、及び示されている実施形態の動作の例に関してここで説明される。

図１は、本発明の実施形態を提供する例のシステムアーキテクチャを描いている。さらに詳細には、本発明は概して入力画像の中でオブジェクトを検出するための画像処理技法に関するため、本発明は主にコンピュータ上で実行されるソフトウェアとして具現化されている。したがって、本発明のシステムアーキテクチャは、当技術分野において周知であるように汎用コンピュータ１６を備える。コンピュータ１６には、コンピュータによって生成される出力画像がユーザに表示されるディスプレイ２０が備えられ、キーボード、マウス等の多様なユーザ入力装置１８がさらに備えられている。汎用コンピュータ１６には、プログラムとデータが記憶される、ハードディスク、メモリ、光ディスク等のデータ記憶媒体２２も備えられている。

さらに詳細には、データ記憶媒体２２上には、適応バックグラウンド画像に対応する記憶されているデータ２４、入力画像に対応するデータ２８、及び画像データ、本発明の動作中に中間記憶装置として使用されるセグメンテーションマップ等の作業データに対応するデータ３０が記憶されている。さらに、データ記憶媒体２２上には、制御プログラム３１、バックグラウンド適応プログラム３２、フォアグラウンドセグメンテーションプログラム３６、連結成分プログラム２６、影検出プログラム３４及びブロブ再構築プログラム３８等のプログラムの形を取る、実行可能なプログラムコードが記憶されている。これらのプログラムのそれぞれの動作は順に後述される。

コンピュータ１６は、カメラ等の画像キャプチャ装置１２から画像を受信するように構成されている。画像キャプチャ装置１２はコンピュータ１６に直接的に接続されてよい、あるいは代わりに、インターネット等のネットワーク１４を介してコンピュータ１６に論理的に接続されてよい。画像キャプチャ装置１２は、オブジェクトが検出されなければならない場面の連続ビデオ画像を提供するように構成され、前記ビデオ画像は、特定の輝度特性とクロミナンス特性を有するために特定の値を取るピクチャエレメント（ピクセル）から構成されている。画像キャプチャ装置１２から出力されるピクセルのために使用されるカラーモデルは、ＲＧＢ、ＹＵＶ等、当技術分野において公知のいずれかであってよい。

作動中、汎用コンピュータ１６はネットワークを介して、又は直接的に画像キャプチャ装置１２から画像を受信し、その中のオブジェクトを検出するために受信された入力画像を処理するように、データ記憶媒体２２に記憶されている多様なプログラムを実行する。本実施形態の動作のさらに詳細な説明は、図２を参照してここで行われる。

図２は、本発明の実施形態の動作の流れ図を描いている。ステップ２．２で開始し、ここでは汎用コンピュータ１６は、ネットワーク１４を介して又は直接的にのどちらかで画像キャプチャ装置１２からの画像から、本発明を使用して分析される入力画像を受信する。次に本発明の実施形態は、その中の関心のあるフォアグラウンドオブジェクトを検出するために受信された入力画像のコンテンツを分析するために作動する。この実施形態の中では、「フォアグラウンド」オブジェクトは移動しているオブジェクト、又は関心のある他のオブジェクトとして解釈されている。フォアグラウンドオブジェクトを検出するプロセスは、フォアグラウンドオブジェクトを表すピクセルを、画像の中の場面のバックグラウンドを表すピクセルから効果的にセグメント化（つまり、区別）してから、それらをオブジェクトとして特徴付けるためにセグメント化されたフォアグラウンド画像に対して連結成分分析を実行することに依存している。

汎用コンピュータは、制御プログラム３１の制御下で受信された画像を処理するために動作する。つまり、制御プログラム３１は受信された入力画像に適用される処理の順序を制御し、そのそれぞれの処理動作を順に実行するために他のプログラムを実行し、入力データをそれらに渡し、適宜にそれらから処理されたデータを受け取る。これを鑑みて、いったん入力画像が受信されると実行される第１の処理は、バックグラウンド場面に属していないそれらの画像のセグメンテーションを実行することである。本実施形態の中では、「リアルタイムトラッキングを使用する活動の学習パターン（Ｌｅａｒｎｉｎｇ Ｐａｔｔｅｒｎｓ ｏｆ Ａｃｔｉｖｉｔｙ Ｕｓｉｎｇ Ｒｅａｌ Ｔｉｍｅ Ｔｒａｃｋｉｎｇ）」、ＩＥＥＥパターン分析とマシンインテリジェンスに関する報告書、２２（８）、２０００年８月の中でＳｔａｕｆｆｅｒ及びＧｒｉｍｓｏｎにより提案された、適応バックグラウンド除去方法が採用された。ここでは、Ｋガウス分布の混合物が、経時的に撮像された場面で、各ピクセル位置で色の変化をモデル化するために使用される。それぞれの入信フレームでガウス分布は更新され、次にどのピクセルがバックグラウンドプロセスの結果生じる可能性が高いのかを判断するために使用される。このモデルにより、風の中で揺らめく木や旗等の瞬間的な変動ではないが、ゆっくりとした照明と場面の変化を経験する背景場面の適切な表現が可能になる。

前記を鑑みて、本実施形態の中では、ステップ２．４でフォアグラウンドピクセルが、ＳｔａｕｆｆｅｒとＧｒｉｍｓｏｎの技法を使用して入力画像２８からセグメント化され、ステップ２．６で、適応バックグラウンド画像２４が受信された入力画像を考慮に入れるために更新され、前記更新された画像はデータ記憶媒体２２に記憶される。ステップ２．４を行うための必要な手順の完全な詳細は、ＳｔａｕｆｆｅｒとＧｒｉｍｓｏｎ、同書、第３．１項と第３．２項に説明されている。ステップ２．６に関して、バックグラウンドピクセルは以下のように得られる。バックグラウンド画像の中のピクセルカラーは、それらがステップ２．４でバックグラウンドとして分類される場合に、入信画像のピクセルカラーの形態をとる。入信ピクセルがフォアグラウンドとして分類された場合には、最低の分散に最大の重みがあるガウス分布の平均（ピクセルの中の最もありそうなバックグラウンドカラー）が、バックグラウンドピクセルカラーとして選ばれる。その結果、更新されたバックグラウンド画像は入信フレームごとに得ることができる。実施形態の中では、ともに制御プログラム２８の制御下で、セグメンテーションステップ２．４はフォアグラウンドセグメンテーションプログラム３６によって実行され、バックグラウンド適応ステップ２．６はバックグラウンド適応プログラム３２により実行される。ここに示されている例の画像を生成するために使用される、入力画像のシーケンスからの例のバックグラウンド画像が図５に示されている。丸で囲まれたオブジェクトによって影が投げかけられた例の入力画像が図６に示されている。

ステップ２．４で実行されるセグメンテーションの結果は、図７に描かれている例の入力画像について、図８に示されているようにセグメント化されたピクセルのマップが得られるということである。しかしながら、このようにして得られたフォアグラウンドピクセルは、バックグラウンドの中、又は揺れるカメラからの雑音のために偽の検出を免れていない。したがって、ステップ２．８では、この問題を緩和するために偽フォアグラウンドピクセル抑制手順が導入される。ここでは、ピクセルが最初に、ステップ２．６で実行されるセグメンテーションによってフォアグラウンドピクセルとして分類されると、その８個の連結された隣接するピクセルモデルが調べられる。これらのモデルの大部分が、このピクセルに適用されるときに、それがバックグラウンドピクセルであることに合意するのであれば、それは偽の検出と見なされ、フォアグラウンドセグメンテーションから削除される。この「偽のフォアグラウンド」試験は、ＳｔａｕｆｆｅｒとＧｒｉｍｓｏｎの技法を使用してステップ２．４でセグメント化された、あらゆるピクセルに適用されるため、これらのピクセルのそれぞれについてフォアグラウンドとしてセグメンテーションが確証される。

「偽のフォアグラウンド」の確証に続き、例えば図８に図示されるようなセグメント化されたピクセルのマップが、後にプロセスでセグメント化されたピクセルの「マスク」として使用するために、ステップ２．１０で記憶される。このセグメント化されたピクセルのマップは、データ記憶媒体２２の作業データ領域３０に記憶される。

いったんフォアグラウンドピクセルが識別されると、追加の検出技法が、これらのフォアグラウンドピクセルのいくつかが、投げかけられた影又はハイライトである可能性がある領域に対応するかどうかを解明するために、適用される。Ｈｏｒｐｒａｓｅｒｔらの「リアルタイムのロバストなバックグラウンド除去及び陰影検出のための統計的な手法（Ａ Ｓｔａｔｉｓｔｉｃａｌ Ａｐｐｒｏａｃｈ ｆｏｒ Ｒｅａｌ ｔｉｍｅ Ｒｏｂｕｓｔ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ ａｎｄ Ｓｈａｄｏｗ Ｄｅｔｅｃｔｉｏｎ）」、ＩＣＣＶ’９９ ＦＲＡＭＥ ＲＡＴＥワークショップの第４．２項で説明されるように、ピクセルは、それがバックグラウンド画像の中の同じピクセルの色度に類似する色度であるが、より低い明度を有する場合に、影のピクセルと見なすことができる、あるいはそれがバックグラウンド画像の中の対応するピクセルに類似する色度であるが、より高い明度を有する場合にハイライトピクセルと見なすことができる。この影のピクセルとハイライトピクセルの特性は、入力画像の中の影ピクセル又はハイライトピクセルの色度がバックグラウンド画像の中の対応するピクセルに類似する、又は同一であり、唯一の差異は入力画像ピクセルの輝度にあるという点で、「色の恒常性」と呼ばれている。したがって、ステップ２．１２で影及び／又はハイライトを検出する上での第１のステップとして、色の歪み（「ＣＤ」）と明度の歪み（「ＢＤ」）が、それぞれのフォアグラウンドピクセルとステップ２．６で記憶された適応バックグラウンド画像の対応するピクセルとの間で、Ｈｏｒｐｒａｓｅｒｔらによって説明されるように、またここで図３に示されるように計算されて、考えられる影が検出される。さらに詳細には、ステップ２．１２では、色の歪みと明度の歪みについてアグレッシブな閾値が使用され、特に以下の論理条件が適用される。

ＩＦ ＣＤ＜１０ ＴＨＥＮ
ＩＦ ０．５ ＜ ＢＤ ＜ １．０−＞影
ＩＦ １．０ ＜ ＢＤ ＜ １．２５−＞ハイライト
さもなければ、フォアグラウンド
本発明の他の実施形態では、閾値は前記に指定されたものと異なる可能性がある。つまり閾値の正確な値は、任意の特定のインプリメンテーションの校正によって検出されるべきである。

前記の論理的な条件により、影ピクセル又はハイライトピクセルのどちらかとして識別されるそれらのセグメント化されたピクセルは、次にフォアグラウンドセグメンテーションマップからの除去のために印を付けられる。本実施形態では、前記ステップが、制御プログラム２８の制御下で影検出プログラム３４によって実行されることに留意されたい。

前記の色の恒常性試験は影を検出する上では効果的であるが、関心のあるオブジェクトが推測される影の色に類似する色を有する場合には、前記手順が効果的ではなかったことが観察された。これを補正するために、セグメント化されたピクセルの領域の傾き／テクスチャを比較する第２のプロセスも、前記に参照されたＭｃＫｅｎｎａらにより彼らの論文「人の集団を追跡調査すること（Ｔｒａｃｋｉｎｇ Ｇｒｏｕｐｓ ｏｆ Ｐｅｏｐｌｅ）」の第３．２項に説明されている方法に類似した方法で使用される。さらに詳細には、本発明の実施形態の中のステップ２．１４では、影検出プログラム３４は、本セグメンテーションマップに従ってセグメント化済みと印されている入力画像のそれらのピクセルの空間傾きを計算するために動作してから、計算された傾きを、ＭｃＫｅｎｎａらによって彼らの論文の第３．２項に説明されるように適応背景から、それぞれの対応するピクセルに相応して計算された傾きと比較する。適応バックグラウンドに類似する傾きを有することが判明している、入力画像のセグメント化されたピクセルは、次にフォアグラウンドセグメンテーションマップからの除去の候補として印を付けられる。

ステップ２．１２とステップ２．１４の動作の結果は、影ピクセルとハイライトピクセルの両方ともセグメンテーションマップからの除去のために印を付けられているが、この段階ではセグメント化されたピクセルは、まだセグメンテーションマップから除去されていないということである。したがって、ステップ２．１６では、影検出プログラム３４が、影ピクセル又はハイライトピクセルの候補であるとして、ステップ２．１２と２．１４両方で識別されたそれらのピクセルを識別し、セグメンテーションマップからそれらのピクセルを除去する。結果として、バックグラウンドと色と傾きの両方の類似性を示したそれらのピクセルは影又はハイライトして検出され、オブジェクトセグメンテーションから除去される。

余談として、好ましい実施形態の中ではピクセルは、それが両方のステップ２．１２と２．１４によって潜在的な影／ハイライトピクセルとして印を付けられていた場合、ステップ２．１６でセグメンテーションから除去されるにすぎないが、代替実施形態ではこれは当てはまる必要がなく、ピクセルは、ステップ２．１２と２．１４で実行される試験の一方又は他方のどちらか、あるいは両方が、ピクセルを影／ハイライトピクセルであると示す場合に、セグメンテーションから除去されてよい。この結果、両方の試験が満たされなければならない好ましい実施形態においてより、なおさらに多くのピクセルが影／ハイライトピクセルとして識別され、フォアグラウンドセグメンテーションから除去される。

主要な実施形態に戻ると、（論理条件のために選ばれる閾値のために）影除去技法のアグレッシブな適用のために、関心のあるオブジェクトを適切に表現する多くのセグメント化されたピクセルも、セグメンテーションマップから除去されたことも判明するであろう。ステップ２．１２から２．１６の適用により作成される例のセグメンテーションマップは、図９に示されており、ステップの実行の前のセグメンテーションマップを描いている対応する図８と比較すると、関心のあるオブジェクトを表すセグメント化されたピクセルがはるかに削減され、オブジェクトを表すセグメント化されたピクセルのグループの中の、及びグループの穴と交差点の両方を示している。しかしながら、図８では非常に目立つ影のピクセルを表すセグメント化されたピクセルが、図９内で完全に除去されていることにも留意されたい。

しかしながら、図９から分かるように、ステップ２．１６で記憶されたセグメント化されたピクセルのマップは、その中に誤ってセグメント化されたピクセルのスペックル(speckle)を含んでいるため、ステップ２．１７では、セグメンテーションマップ上でのスペックル雑音除去が、隔離された雑音のあるフォアグラウンドピクセルを抑制するために実行される。このスペックル雑音除去技法は、式１に示されるような形態学的な演算子を使用して実行され、

ここではＮは図４に示されている構造化要素である。図４から、Ｎが原点の４連結された（ｆｏｕｒ−ｃｏｎｎｅｃｔｅｄ）近傍系を備える３×３の構造化要素であるが、原点が含まれていないことが分かる。さらに、方程式１の項

がＭのピクセルに４連結された、つまり隣であるすべてのピクセルを識別する。したがって

はＭの中にあり、やはり４連結された近傍系を有するすべてのピクセルを識別し、したがってこれらの点は、隔離された点を除きＭ内のすべての点に対応する。このスペックルフィルタリングステップの結果生じる、スペックルのないセグメンテーションマップは、次に記憶媒体２２の作業データ領域３０に記憶される。

オブジェクトを検出するための連結成分分析が、影除去に続き図９のブロブで実行されなければならない場合には、ピクセルのグループ内の多様な穴と交差点のために、多様な誤りのオブジェクトが検出されるであろう。したがって、本発明の実施形態は、ピクセルのセグメント化されたブロブの中の多様な穴と交差点が除去され、これが、現在セグメント化されているピクセルに周囲のピクセルをセグメント化するために、セグメンテーションマップの中のセグメント化されたピクセルに形態学的な拡張演算を繰り返し適用することによって、ステップ２．１８で実行されることを与える。この形態学的な拡張演算は、セグメント化されたブロブがステップ２．４（つまり図８）でセグメンテーションから生じたセグメント化されたピクセルの対応するそれぞれのブロブの境界に触れる又は単に重複するまで、繰り返し実行され、その結果、前記拡張演算は停止される。これの効果は、セグメント化されたピクセルのブロブの中のあらゆる穴又は交差点を埋めるために、影除去プロセス後に残されたセグメント化されたブロブを「成長させる」ことである。

さらに具体的には、ステップ２．１８では、（要素の各ブロックが「１」に設定されている）９×９ブロック構造化要素を使用する拡張演算が、フォアグラウンドピクセルとしてすでにセグメント化されているピクセルに周囲のピクセルをセグメント化するために、ブロブ再構築プログラム３８によって、図９に対応するセグメンテーションマップのフォアグラウンドセグメント化ピクセルで実行される。次に、ステップ２．２０では、このようにして得られたセグメンテーションマップの中のセグメント化されたブロブの領域は、ステップ２．４のセグメンテーションステップ、つまりＳｔａｕｆｆｅｒとＧｒｉｍｓｏｎのセグメンテーションから得られたセグメンテーションマップである、記憶されているマスクの中のセグメント化されたブロブと比較される。ステップ２．２２では、形態学的な拡張の結果として得られたセグメント化されたブロブのいずれかが、マスクセグメンテーションマップのセグメント化されたブロブに触れるのか、あるいは重複するのかを判断するための評価が実行される。この評価が、マスクセグメンテーションブロブの接触又は重複がないと判断すると、処理は再び実行される形態学的な拡張ステップ２．１８にループで戻る。ステップ２．１８、２．２０、及び２．２２を備えるループは、ステップ２．２２の評価が正を戻すまで繰り返し実行され、その場合ループはそれから終了する。したがって、正式には、セグメンテーションマップ内のセグメント化されたブロブは式２に従って再構築される。

ここでは、Ｍ_ｓはステップ２．３のセグメンテーションから得られるマスク画像であり、

はＳ．２．１２から２．１６の影／ハイライト除去ステップ後のセグメント化されたピクセルであり、ＳＥはサイズが通常オブジェクトのサイズに依存する構造化要素である。前述されたように、９×９正方形要素が我々のすべての試験でうまくいくことが証明されたが、拡張を生じさせる他のサイズの構造化要素が使用されてよい。この形態学的な拡張ステップの根底にある考えは、影が除去されたブロブは誤った影除去に対して強い少なくとも多くの点を維持するという点である。これらの強い点は、それらがステップ２．４のセグメンテーションから得られる元のブロブ内のシルエットの一部を形成する限り、近接する点の再構築を先導するために適している。

いったん処理ループが終了すると、ブロブ再構築プログラム３８によって出力される結果として生じるセグメンテーションマップは、図９に比較されるときに、セグメント化されたピクセルブロブが再構築され、その中のあらゆる穴と交差点が削除されたことが分かる図１０に示される例に似ているはずである。さらに、図１０の再構築されたセグメント化されたピクセルブロブが、セグメンテーションの中のあらゆる実質的な影ピクセルを含まないことも分かる。したがって、図１０でこのようにして取得されたセグメント化されたピクセルブロブは、それぞれ検出されたオブジェクトの中に１つのオブジェクトに属すると推定されるすべてのピクセルをリンクするために、伝統的な８接続性連結成分分析アルゴリズムへの入力として使用できる。このようにして、ステップ２．２４では、連結成分分析がセグメンテーションマップ内に含まれているセグメント化されたブロブからオブジェクトを検出するために、連結成分プログラム２６によって処理ループから得られるセグメンテーションマップで実行される。次に検出されたオブジェクトを識別するデータが記憶媒体２２の作業データ領域３０内に記憶され、以後、オブジェクト分類アプリケーション、オブジェクトトラッキングアプリケーション等に対する入力として使用されてよい。代わりに、本発明の実施形態は、オブジェクトを検出し、ディスプレイ２０で前記オブジェクトをユーザに表示するためだけに、単独で使用されてよい。

他の態様では、例えばコンピュータ１６が、出力装置に、オブジェクトの検出の音声又は視覚による表示をユーザに与えさせる等、１つ又は複数のオブジェクトが入力画像の中で検出されると追加のアクションが実行されてよい。したがって、本発明の実施形態は監視アプリケーション等での使用に特に適している。

文脈上明らかに他の意味に解すべきではない場合、説明全体及び請求項では、ワード「備える」「備えている」等は、排他的又は包括的な意味と対照的に含めた意味で、つまり「含むがこれに限定されない」と解釈されなければならない。

本発明の実施形態によるシステムの概略ブロック図である。 本発明の実施形態により実行されるステップを描く流れ図である。 本発明の実施形態で使用される色の恒常性の原理を描くベクトル図である。 本発明の実施形態で使用される形態学的な演算子のマップである。 本発明の実施形態で使用される例の適用されたバックグラウンド画像である。 本発明の実施形態に対する入力として使用されてよい、強調表示された影のある例の入力画像である。 例の中で本発明の実施形態に対する入力として使用されている例のビデオ画像である。 実施形態の中で図７に適用される第１のセグメンテーション技法によって生成されるセグメンテーションマスク画像である。 実施形態による影とハイライトの除去の結果生じるセグメンテーションマップである。 本発明の形態学的な拡張演算が適用された後の、図７の画像に対応するセグメンテーションマップである。

Claims (6)

1. 入力画像の中でオブジェクトを検出するための画像処理方法であって、前記方法はデータプロセッサを有するコンピュータで実行され、前記画像は複数のピクチャエレメントから構成され、該方法は、
   ａ）第１のセグメンテーション技法を使用して画像バックグラウンドを形成する前記複数のピクチャエレメントから、前記入力画像の中でフォアグラウンドオブジェクトを表現する複数のピクチャエレメントをセグメント化するステップであって、フォアグラウンドとしてセグメント化された前記複数のピクチャエレメントが、前記オブジェクトの影又はハイライトを表現する複数のエレメントを含むステップと、
   ｂ）前記フォアグラウンドオブジェクトを表す前記セグメント化された複数のピクチャエレメントの位置を含むセグメンテーションマスクをデータメモリに記憶するステップと、
   ｃ）影又はハイライトを検出するように構成された少なくとも１つの他のセグメンテーション技法を使用して、オブジェクトの影又はハイライトの前記特徴を有する複数のピクチャエレメントを、前記フォアグラウンドオブジェクトを表現する前記複数のピクチャエレメントからセグメント化するステップと、
   ｄ）フォアグラウンドとしてすでにセグメント化されている前記複数のピクチャエレメントの周囲のピクチャエレメントを、形態学的な拡張演算を実行してフォアグラウンドとしてセグメント化するステップと、
   ｅ）ステップｄ）でフォアグラウンドとしてセグメント化された前記周囲のピクチャエレメントを前記記憶されたセグメンテーションマスクと比較するステップと、
   ｆ）ステップｅ）での比較結果により、前記セグメント化された周囲のピクチャエレメントが前記記憶されたセグメンテーションマスクのフォアグラウンドオブジェクトの境界にタッチしないと判断される場合には、ステップｄ）とｅ）を繰り返すステップと、
   ｇ）前記比較結果により、前記セグメント化された周囲のピクチャエレメントが前記記憶されたセグメンテーションマスクのフォアグラウンドオブジェクトの境界にタッチすると判断される場合には、フォアグラウンドとしてセグメント化された隣接するピクチャエレメントのグループをオブジェクトとして検出するステップと、
   を含む画像処理方法。
2. 前記セグメント化ステップａ）は、
   フォアグラウンドとしてセグメント化されなければならない入力画像のピクチャエレメントごとに、周囲のピクチャエレメントに関係する確率モデルと前記ピクチャエレメントとを比較することにより前記フォアグラウンドセグメンテーションを確証するステップを含み、前記確率モデルの少なくとも半分が、前記ピクチャエレメントがフォアグラウンドであることを示すと、前記フォアグラウンドセグメンテーションが確認される、請求項１に記載の画像処理方法。
3. コンピュータによって実行されるときに、それらが請求項１または２に記載の前記方法を実行するために前記コンピュータを制御するように構成された、コンピュータプログラム。
4. 請求項３に記載のコンピュータプログラムを記憶する、コンピュータ読み取り可能記憶媒体。
5. 入力画像の中でオブジェクトを検出するための画像処理システムであって、前記画像は複数のピクチャエレメントから構成され、該システムは、
   データメモリと、
   処理される入力画像を受信する画像プロセッサと、を有し、
   前記画像プロッセサは、以下の動作、
   ａ）一般的なバックグラウンド画像との前記入力画像の差異を検出するように構成された第１のセグメンテーション技法を使用して、前記入力画像の中のフォアグラウンド又は移動するオブジェクトを表現する複数のピクチャエレメントを、前記画像バックグラウンドを形成する前記複数のピクチャエレメントからセグメント化し、フォアグラウンドとしてセグメント化された前記複数のピクチャエレメントが、前記オブジェクトの影又はハイライトを表現するエレメントを含み、
   ｂ）前記フォアグラウンドオブジェクトを表す前記セグメント化された複数のピクチャエレメントの位置を含むセグメンテーションマスクをデータメモリに記憶し、
   ｃ）影又はハイライトを検出するように構成された少なくとも１つの他のセグメンテーション技術を使用して、オブジェクトの影又はハイライトの特徴を有する複数のピクチャエレメントを、前記フォアグラウンドオブジェクトを表現する前記複数のピクチャエレメントからセグメント化し、
   ｄ）フォアグラウンドとしてすでにセグメント化されている前記複数のピクチャエレメントの周囲の複数のピクチャエレメントを、形態学的な拡張演算を実行してフォアグラウンドとして繰り返しセグメント化し、
   ｅ）ステップｄ）でフォアグラウンドとしてセグメント化された前記周囲のピクチャエレメントを前記記憶されたセグメンテーションマスクと比較し、
   ｆ）ステップｅ）の比較結果により、前記セグメント化された周囲のピクチャエレメントが前記記憶されたセグメンテーションマスクのフォアグラウンドオブジェクトの境界にタッチすると判断される場合には、形態学的な拡張演算を中止し、
   ｇ）フォアグラウンドとしてセグメントされたことがある隣接するピクチャエレメントのグループをオブジェクトとして検出する、
   動作を実行する、画像処理システム。
6. 前記画像プロセッサは、前記セグメンテーションａ）の結果としてフォアグラウンドとして既にセグメント化された前記入力画像のピクチャエレメントごとに、周囲のピクチャエレメントに関係する確率モデルと前記ピクチャエレメントとを比較することにより前記フォアグラウンドセグメンテーションを確証するようにさらに構成されていて、
   前記フォアグラウンドセグメンテーションは、前記確率モデルの少なくとも半分が前記ピクチャエレメントがフォアグラウンドであることを示す場合に確認される、請求項５に記載の画像処理システム。

Images