JP4515724B2 - 画像内のオブジェクトを検出するシステムおよび方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、一般的にはコンピュータビジョンおよびパターン認識の分野に関するものであり、より具体的には、画像内の顔などのオブジェクトの検出に関するものである。
【０００２】
【従来の技術】
コンピュータビジョンが使用される用途のすべてについて、顔の検出は、極めて難しい課題を提起する。例えば、監視カメラによって得られた画像では、シーンの照明は通常、粗末で、制御不可能であり、またカメラは低品質であり、通常シーンの重要となり得る部分から遠く離れている。重大な出来事は予測不可能である。多くの場合、重大な出来事はシーンに登場する人物である。人物は通常その顔によって識別される。シーンにおける顔の位置および向きは、通常、制御されていない。換言すると、解析されるはずの画像は、実質的に拘束を受けていない。
【０００３】
多数の画像が解析される用途、または解析をリアルタイムで行う必要がある用途において、実際に顔を含む画像の枚数は、通常、非常に少ない。さらに、顔を含むほとんどの画像では、顔である画像の量も、非常に少ない。したがって、顔を含まない画像または顔を含まない画像の部分を高速に除去することが望まれている。これにより、より多くの処理を、顔を含んでいる可能性のある画像の部分に向けることができる。
【０００４】
顔の検出は、長く豊富な歴史を有する。中には、ニューラルネットワークシステムを使用する技法もある。Rowley他著「Neural network-based face detection」IEEE Patt. Anal. Mach. Intell., Vol. 20, pages 22-38, 1998を参照されたい。他の技法として、ベイズ統計モデルを使用するものがある。Schneiderman他著「A statistical method for 3D object detection applied to faces and cars」Computer Vision and Pattern Recognition, 2000を参照されたい。ニューラルネットワークシステムは高速で、功を奏する一方、ベイズシステムは処理時間が長くなることと引き換えに良好な検出率を有する。
【０００５】
１９９８年１月２０日にMoghaddam他に交付済みの「Detection, recognition and coding of complex objects using probabilistic eigenspace analysis」という米国特許第５，７１０，８３３号は、ディジタル表現されたシーンの選択されたオブジェクトまたはオブジェクトの特徴といったインスタンス、例えば顔を検出するシステムを記載している。彼らの方法は、確率密度の解析を利用して、入力画像またはその一部がこのようなインスタンスを表しているかどうかを判断する。
【０００６】
２００２年１月８日にElad他に交付済みの「Approximated invariant method for pattern detection」という米国特許第６，３３７，９２７号は、ターゲットクラス（顔）および非ターゲットクラス（顔でない）という２つのクラスの１つに、入力された特徴ベクトルを分類するシステムおよび方法を記載している。このシステムは、反復実行される拒否ステージを利用して、最初に、非ターゲットクラスに属する入力ベクトルにラベル付けを行って、残りのラベル付けされていない入力ベクトルをターゲットクラスに属するものと識別するようにする。彼らのシステムの操作は、オフライン（トレーニング）手順とオンライン（実際の分類）手順とに分けられる。
【０００７】
オフライン手順の間、オンライン手順中に使用される投影ベクトルおよびそれらに対応する閾値が、非ターゲットのサンプルおよびターゲットのサンプルのトレーニング用の組を使用して計算される。それぞれの投影ベクトルにより、与えられたターゲットのサンプルおよび非ターゲットのサンプルの組について、非ターゲットのサンプルの大部分を非ターゲットクラスに属するものと識別することが容易になる。
【０００８】
オンライン手順の間、入力ベクトルが、それぞれの計算された投影ベクトルに逐次投影され、一対の対応する閾値と比較されて、入力ベクトルが非ターゲットであるかどうかが判断される。入力ベクトルが、逐次的な投影および閾値比較を行っている間に非ターゲットでないと判断されると、その入力ベクトルはターゲットとして分類される。
【０００９】
不利な点として、彼らの方法によって使用される特徴は、線形投影ならびに上限閾値および下限閾値に限定される。したがって、初期の特徴の結果は、後のテストの結果に影響しない。換言すると、彼らのテストは、最終的な結果に何の影響もなく整理され得る。さらに、分類器は、後に閾値が続く線形投影の結合であるので、その結果、分類関数は、入力空間の凸領域に制限される。これは、彼らのシステムを貧弱な分類器にする強い制限である。
【００１０】
特徴検出のための新しい枠組みが、Viola他によって、「Rapid Object Detection using a Boosted Cascade of Simple Features」Proceedings IEEE Conf. on Computer Vision and Pattern Recognition, 2001に記載されている。彼らは、顔の解析に極めて効率的かつ効果的な画像の特徴の組、アダブーストに基づく特徴選択プロセス、ならびに学習および検出用のカスケード式アーキテクチャの３つの新しい見識を提示している。アダブーストは、効果的な学習アルゴリズムを提供し、一般化された実行において強い制限を提供する。Freund他著「A decision-theoretic generalization of on-line learning and an application to boosting」Computational Learning Theory, Eurocolt '95, pp. 23-37, Springer-Verlag, 1995、Schapire他著「Boosting the margin: A new explanation for the effectiveness of voting methods」Proceedings of the Fourteenth International Conference on Machine Learning, 1997、Tieu他著「Boosting image retrieval」International Conference on Computer Vision, 2000を参照されたい。
【００１１】
しかしながら、彼らのカスケード式アプローチには、いくつかの問題がある。最も単純な問題は、カスケードが、拒否閾値のみを考慮し、受け入れ閾値を持たないことである。これは、受け入れ可能な例および拒否される例の分布がほぼ等しい場合には、性能を低下させる。
【００１２】
彼らの方法の別の不利な点は、カスケードの後のステージが、カスケードの初期ステージの期間に利用可能であった詳細な情報を無視することである。カスケードの初期ステージが、閾値にわずかに近い特徴のみを受け入れる場合には、この有益な情報は、この特徴を拒否するあるいは受け入れる、後の決定において役割を果たさない。例えば、複数のステージは、特徴が拒否閾値を大きく上回るので、与えられたパッチを受け入れ、続いて、特徴が後のステージで拒否閾値を下回ると直ちに、そのパッチを拒否する可能性がある。この場合には、与えられたパッチを受け入れる方が良いことが多い。
【００１３】
別の不利な点は、拒否閾値を設定する彼らのメカニズムである。彼らの拒否閾値は、第１ステージから開始するカスケードのそれぞれのステージに対して設定される。任意の与えられたタスクに対して、彼らの目標は、ある特定のクラスのすべてのオブジェクトを検出することは不可能であるとはいえ、オブジェクトのほとんどを検出することである。顔の検出の場合には、おそらく顔の９０％から９５％が検出される。拒否閾値は、非常に高い割合の例が検出されるように設定される。したがって、初期ステージでは、非常に控えめでなければならず、かつ正しい可能性のあるパッチを廃棄してはならない。有用なパッチが廃棄されないことを確実にするために、カスケードの初期ステージに対しては、オブジェクトの９９％以上が検出されなければならない。
【００１４】
彼らのプロセスは、分類が容易で、かつ最終的には正しく分類されるパッチ例と、分類が非常に困難で、かつ最終的には分類を誤るパッチ例とを区別しない。カスケード全体の終了後、どのパッチ例が最終的には分類を誤るかを判断することができるとするならば、それらのパッチ例は、プロセス全体の正確さに対する損失なしに初めに削除され得る。拒否閾値設定プロセスは、カスケードの初期ステージで開始するので、これら「困難な」例は識別することができないので、拒否閾値はすべての肯定的な例に対して設定される。この結果、拒否閾値は、より低くなり、処理時間の削減効果の少ないものとなる。
【００１５】
【発明が解決しようとする課題】
したがって、本発明の目的は、従来技術を改良したオブジェクト検出システムを提供することである。
【００１６】
【課題を解決するための手段】
画像内の顔などのオブジェクトを検出する方法が提供される。画像は、まず、積分画像（integral image）またはガウシアンピラミッドのいずれかを用いて、さまざまなサイズのパッチに分割される。
【００１７】
それぞれのパッチの特徴は、評価され、累積得点が求められる。この評価は、累積得点が受け入れ閾値と拒否閾値との範囲内にある間、繰り返される。
【００１８】
当該範囲内にない場合には、累積得点が拒否閾値より小さいときは、画像は拒否され、累積得点が受け入れ閾値より大きいときは、画像はオブジェクトを含むものとして受け入れられる。
【００１９】
【発明の実施の形態】
システム構造および動作の概要
図１は、本発明による画像内のオブジェクトを検出するシステムおよび方法１００を示す。ある用途においては、画像内に検出されるオブジェクトは顔である。しかしながら、他のオブジェクトも検出できることは理解されるであろう。システム１００は、トレーニングフェーズ１１０、検証フェーズ１２０、および分類フェーズ１３０の３つの基本フェーズを備えている。
【００２０】
トレーニングフェーズ１１０は、ラベル付けされた画像１１１の第１の組を入力として受け取る。画像１１１内でラベル付けされるものの性質は、どのオブジェクトが検出されるかを決定する。ラベル付けされた画像１１１は、分類器２３１を生成するために処理される。以下でさらに詳述するように、この処理は、機械学習プロセスを用いて、分類器２３１のパラメータ１１２の最適な組を見つけ出す。
【００２１】
パラメータ１１２は、特徴の総体を含んでいる。１つの特徴は、画像パッiに適用されるフィルタν_iの関数ｆ_i()であり、受け入れ得点α_iまたは拒否得点β_iのいずれかを生成するために比較閾値θ_iと比較される。パラメータ１１２は、線形関数または非線形関数とすることができる関数ｆ_i()、フィルタν_i、比較閾値θ_iならびに受け入れ得点α_iおよび拒否得点β_iを含んでいる。フィルタは、ベクトルとして表される入力パッチのベクトルν_iへの線形投影として評価される。分類器２３１を特定するこれらのパラメータｆ_i、ν_i、α_i、β_i、およびθ_iのすべては、ラベル付けされたトレーニング画像１１１に関して最も低いエラーを与えるように、学習プロセスによって求められる。
【００２２】
検証フェーズ１２０は、分類器２３１を用いて、ラベル付けされた画像１２１の第２の組を処理し、分類器２３１の受け入れ閾値Ｔ_ａおよび拒否閾値Ｔ_ｒ１２２を生成する。
【００２３】
分類フェーズ１３０は、そのパラメータ１１２および閾値１２２がトレーニングフェーズ１１０および検証フェーズ１２０で学習された分類器２３１を入力画像に適用して、画像内のオブジェクト（顔）のすべてのインスタンスを見つけ出す。パラメータ１１２および閾値１２２を使用して、分類フェーズ１３０は、テスト画像１３１を所定のクラスに属するものとして受け入れるか、または拒否する（２６０）。例えば、テスト画像は、顔を含むならば受け入れられ、そうでなければ拒否される。これらフェーズ、パラメータおよび閾値の詳細については、以下でさらに詳述する。しかしながら、３つのフェーズのそれぞれの処理の基本的な比較動作は、図２に示すように、同一であることに留意されたい。
【００２４】
前処理
画像内で検出されるオブジェクトは、任意のサイズであり得、かつ任意の位置に存在し得るので、図２に示すように、それぞれの入力画像Ｉ２０１は、まず、さまざまなサイズに倍率変更される「パッチ」（Ｉ_i）２２０に分割される。したがって、詳細には、図１について説明したような画像に対する処理は、実際にはパッチ２２０に対して行われる。パッチ２２０の形状は、正方形、長方形、または他の形状とすることができ、パッチの位置は、重複するようにすることもできるし、または重複しないようにすることもできる。例えば、第１のパッチサイズは画像全体とすることができ、次の小さなパッチはそれぞれ７５％に縮小され、例えば２４×２４ピクセルの所定の最小パッチサイズにされる。
【００２５】
パッチの倍率変更は、多くの方法で行うことができる。ある方法では、積分画像２１１を用いて、それぞれの画像２０１の倍率変更が実行される（上記で引用したViola他を参照）。別の方法では、多重解像度の画像２１２、例えばガウシアンピラミッドまたはラプラシアンピラミッドを用いて、倍率変更が実行される（Burt他著「The Laplacian Pyramid as a Compact Image Code」IEEE Trans. on Communications, 31(4), pp. 532-540, April 1983を参照）。別の方法では、倍率変更が投影を介して提供される。好ましい実施の形態では、パッチは、ラスタ走査を用いて大小順で処理（比較）される。
【００２６】
特徴評価および分類
画像処理中、ラベル付けされているか、またはラベル付けされていないそれぞれのパッチは、分類器２３１によって評価される（２３０）。分類器２３１は、パッチ２２０と一致する形およびサイズに成形される特徴の総体を含んでいる。例えば、ハール基底関数（Haar basis functions）と同様に、長方形の特徴を使用することができる（Papageorgiou他著「A general framework for object detection」International Conference on Computer Vision, 1998および上記Viola他を参照、またWebb 他著「Shape and correspondence」Computer Vision, Graphics, and Image Processing, 21:145-160, 1983も参照）。本発明は、これらのタイプの特徴に限定されるものではないことに留意されたい。好ましい実施の形態では、特徴の個数が、数十万を超え得る。
【００２７】
パッチの１つに対するそれぞれの特徴のそれぞれの評価２３０によって、受け入れ得点αまたは拒否得点βのいずれかの得点２２１が生成される。得点は累積される。入力画像２０１に対して、累積得点２２１は、最初ゼロに設定される。累積得点２２１が、受け入れ閾値と拒否閾値１２２との範囲内にある間、評価２３０は繰り返され（２５０）、当該範囲内にない場合には、画像は受け入れられるか、または拒否される（２６０）。
【００２８】
ステップ２３０のこの評価は、次のように表すことができる。
【００２９】
ｆ(ν_i，Ｉ_i)＞θ_ｉならば、ｈ(i)＝αであり、そうでなければ、ｈ(i)＝β
ここで、ｆ()は、パラメータν_iおよび画像パッチＩ_iの線形関数または非線形関数のいずれかであり、比較閾値はθ_iであり、αおよびβはそれぞれ受け入れ重みおよび拒否重みである。関数ｆ()は、ベクトルとして表されるＩ_iとνの内積とすることもできる。内積の値は、絶対値などの非線形関数によって変更することができる。
【００３０】
ステップ２４０のプロセスは、次のように表すことができる。
【００３１】
Ｔ_ｒ(Ｎ)＜Σ_{i ＝１・・・Ｎ}ｈ(i)＜Ｔ_ａ(Ｎ)ならば、繰り返し処理を行い、そうでなければ、画像の受け入れまたは拒否２６０を行う。
【００３２】
図３は、検証フェーズ１２０の期間中に学習され、分類フェーズの期間中に使用される受け入れおよび拒否の「エンベロープ」３００を示す。ｘ軸３０１は、比較の繰り返し回数を示し、ｙ軸３０２は、累積拒否レベル（０）および累積受け入れレベル（１）を示す。累積得点２２１が、いつ何時、エンベロープ３３０より下になっても、そのパッチが受け入れられる可能性は非常に低いので、さらに別のパッチについて比較を継続する意味はない。同様に、累積得点２２１が、エンベロープ３００より上に上昇すると、拒否の可能性も無視することができる。ここで留意すべきは、この累積統計アプローチは、拒否閾値に達することにのみ基づく従来技術の厳密な２値分類器と対照的であることである。
【００３３】
トレーニング
トレーニング画像１１１は、肯定的および否定的なラベルが付されたパッチを含む。トレーニングプロセスは、ラウンドで進む。それぞれのトレーニングパッチには、初期得点が割り当てられる。この得点は、すべてのパッチに対して等しくすることもできるし、または異なるクラスには、異なる得点を割り当てることもできる。分類器２３１に包含するために選択される最初の特徴は、トレーニングデータ上で最も低い重みエラーを有する特徴である。次のラウンドでは、最初の特徴がラベルを付け間違えたパッチの得点は増加され、正しいパッチの得点は減少される。包含するために選択される次の特徴は、新しい得点が与えられたトレーニングデータで最も低い重みエラーを有する特徴である。この例の組は、所定の値より小さい得点を有する例を削除することにより低減することができる。これにより、分類全体の質を低減させることなく、性能を向上させることができる。
【００３４】
検証
エンベロープ３００を形成する拒否閾値および受け入れ閾値は、処理時間を最小にしつつ分類エラーの確率を最小にするように選択される。例えば、第ｋ番目の拒否閾値は、付加的な処理を行うことなく、所定の割合のパッチを拒否するように作用する。拒否閾値が高くなると、後のステージが評価されないので、拒否の比率が大きくなり、計算時間が短くなる。パッチが誤って拒否されるという危険はある。拒否閾値が低くなると、拒否の比率は低くなり、計算時間は長くなる。
【００３５】
拒否閾値を低くした場合の利点は、パッチが、より多くの分類器によって解析されるので、分類の信頼性が高くなることである。
【００３６】
拒否／受け入れ閾値の選択プロセスは、トレーニングフェーズ１００の期間中、Ｎ個の特徴が選択された後に開始する。最後（第Ｎ番目）の受け入れ閾値および拒否閾値がまず決定される。これら閾値は、所望の性能目標に基づいて設定される。この目標は、検出率または誤った肯定率のいずれかとすることができる。性能目標を達成する拒否／受け入れ閾値は、第Ｎ番目の閾値として選択される。図３に示すように、最後の受け入れ閾値および拒否閾値が、同じであり、この最終閾値３１０と等しいことに留意されたい。これは、受け入れおよび拒否閾値の双方を上回るすべての例は受け入れられ、下回る例はすべて拒否されるからである。
【００３７】
他の閾値を設定するには、トレーニング画像１１１のパッチと同一であり得るラベル付けされた検証パッチの組が必要とされる。すべての他の拒否閾値は、拒否される肯定的な例に対して設定され、最終拒否閾値によって拒絶される。第ｋ番目の拒否閾値は、最終閾値によって拒否される肯定的な例に対してのみ拒否を行うように、最高値とされる。第ｋ番目の受け入れ閾値は、最終閾値によって受け入れられる否定的な例に対してのみ受け入れを行うように最も低い値とされる。
【００３８】
好ましい実施の形態を例にして本発明を説明してきたが、本発明の精神および範囲内で他のさまざまな適合および変更を行い得ることは理解されるであろう。したがって、添付された特許請求の範囲の目的は、本発明の真の精神および範囲内に入るこのようなすべての変形および変更を網羅することである。
【図面の簡単な説明】
【図１】 本発明によるオブジェクト検出システムおよび方法のブロック図である。
【図２】 本発明による比較プロセスのブロック図である。
【図３】 本発明によって使用される受け入れ／拒否エンベロープのグラフである。

Claims (10)

1. 検出対象となる画像を複数の画像パッチに分割し、それぞれの画像パッチ内に含まれる特徴の評価を前記複数の画像パッチごとに規定された比較閾値に基づいて順次行うことで画像内のオブジェクトを検出する方法であって、
   ｆ（ν_ｉ，Ｉ_ｉ）をｉ番目に評価処理を行う画像パッチＩ_ｉと前記画像パッチＩ_ｉの投影として求められるフィルタν_ｉとの関数であり、ベクトルとして表されるν_ｉおよびＩ_ｉの内積であるとし、θ_ｉを比較閾値とし、α_ｉおよびβ_ｉをそれぞれ受け入れ得点および拒否得点とした場合に、ｆ(ν_ｉ，Ｉ_ｉ)＞θ_ｉのときは、α_ｉだけ増加させ、ｆ(ν _ｉ ，Ｉ _ｉ )≦θ _ｉ のときはβ_ｉだけ増加させて累積得点を求めることで、それぞれの画像内の複数の特徴を評価することと、
   前記複数の特徴を評価することを画像パッチごとに順次行う際に、前記累積得点が受け入れ閾値と拒否閾値との範囲内にある間は、次の画像パッチについて前記評価することを繰り返すことと、
   該範囲内にない場合に、前記累積得点が前記拒否閾値より小さいときは、検出対象となる前記画像を拒否し、前記累積得点が前記受け入れ閾値より大きいときは、前記オブジェクトを含むものとして検出対象となる前記画像を受け入れ、その後の画像パッチについて前記評価処理を繰り返さないことと、
   を備えた方法。
2. 前記複数の特徴を評価することは、分割した前記複数の画像パッチを複数のサイズに倍率変更することをさらに含む請求項１に記載の方法。
3. 前記倍率変更することは多重解像度の画像を使用する、請求項２に記載の方法。
4. 前記多重解像度の画像はガウシアンピラミッドである、請求項３に記載の方法。
5. 前記関数ｆ()は非線形である、請求項１に記載の方法。
6. 前記非線形関数は絶対値である、請求項５に記載の方法。
7. 前記パラメータν_ｉ、θ_ｉ、α_ｉおよびβ_ｉは、Ａｄａｂｏｏｓｔ学習アルゴリズムに従うトレーニングフェーズで、ラベル付けされた複数の画像からなる第１の組を用いて求められ、
   前記複数の特徴を評価することは、求められた前記パラメータν_ｉ、θ_ｉ、α_ｉおよびβ_ｉを用いて検出対象となる前記画像の評価処理を行う請求項１に記載の方法。
8. 前記ラベル付けされた複数の画像からなる第１の組は、肯定的および否定的なラベルが付されたパッチを含む、請求項７に記載の方法。
9. 前記受け入れ閾値および前記拒否閾値は、検証フェーズの期間中に、ラベル付けされた複数の画像からなる第２の組を用いて求められる、請求項１に記載の方法。
10. 前記オブジェクトは顔である、請求項１に記載の方法。

Images