JP4970557B2 - デジタル画像取込装置における顔検索及び検出 - Google Patents

Description

本発明は、デジタル画像取込装置における画像処理のための改善された方法及び装置を提供する。特に、本発明は、デジタル画像取込装置における顔検索及び検出の改善された性能及び精度を提供する。

発明者ジョーンズ（Ｊｏｎｅｓ）及びビオラ（Ｖｉｏｌａ）による米国特許出願公開第２００２／０１０２０２４号明細書等の幾つかの出願はデジタル画像における高速顔検出に関し、また、あるアルゴリズムについて記載している。ジョーンズ及びビオラに記載されたアルゴリズムは取込画像内の検出窓に適用され、次第に厳密さの度合いが増す縦続接続の矩形分類器に基づくものである。一般的に、全ての分類器を満足すると顔を検出したとみなされ、これに対して、１つの分類器を満足できないとすぐに窓が顔を含まないと判断される。

他の選択肢としての顔検出用技法が、フローバ（Ｆｒｏｂａ，Ｂ．）、アーンスト（Ｅｒｎｓｔ，Ａ．）、「改良型センサス（ｃｅｎｓｕｓ）変換による顔検出」、第６回ＩＥＥＥ国際会議「自動顔及び身振り認識」に関する議事録、２００４年５月１７日〜１９日、９１〜９６頁に記載されている。これはビオラ／ジョーンズと類似しているが、縦続接続の各分類器が累積確率を生成し、顔は、分類器の単一段を満足できない場合、拒絶されない。我々の見解として言えることは、単一縦続接続型検出器内において両タイプの分類器（即ち、ビオラ／ジョーンズと改良型センサス）の組み合わせには利点があるということである。

図１は、ジョーンズ及びビオラによって記述された内容を示す。取込画像１２の解析の場合、検出窓１０は、顔１４について画像全体を検索するまで、横方向にｄｘ画素及び下方向にｄｙ画素ずつ徐々に動かされる。ドット１６の行（全ては図示しない）は、各顔検出位置における検出窓１０の左上隅の位置を表す。これらの各位置において、鎖状分類器が適用され、顔の存在が検出される。

図２ａ及び２ｂにおいて、現在位置の調査と同様に隣接位置も、現在の検出窓を中心にして小さく振ることによって及び／又は検出窓の縮尺を若干変えることによって、調べることができる。そのような振れは程度及び大きさが変わり、元の窓と第２の窓との間が或る程度重なった状態で、連続窓を生成することができる。第２の窓の大きさもこのように変わり得る。

検索は、線形に実施可能であり、ｄｘ、ｄｙ増分は画像解像度及び検出窓サイズの所定の関数である。従って、検出窓はｘ及びｙ方向において一定の増分で画像中を移動することができる。

線形検索に問題が起こるのは、小さい顔を検出しようとする場合等、窓サイズが減少し、また、解析対象のスライド窓の数が窓サイズの減少に合わせて二次関数的に増加する場合である。これにより、実行時間が遅くなって悪化し、もしそうでなかったら「高速」の顔検出が、リアルタイムの組み込み実装に不適合になる。

２００６年８月１１日出願の米国特許出願第１１／４６４，０８３号明細書は、本出願と同一の譲受人に譲渡され、ジョーンズ及びビオラによって述べられたアルゴリズムに対する改善を開示し、特に、積分画像又はガウス画像等の画像の表現に対応する高精度の解像度を生成して、後続の顔検出を行う際のアルゴリズムの改善を開示する。

画像における顔の検出方法には、第１位置における画像の第１窓内において顔検出を実施することが含まれる。信頼レベル（confidence level）は顔検出から得られ、第１位置又はその付近において画像が顔を含む確率を示す。顔検出は、信頼レベルに基づき決定される第２位置の第２窓内において実施される。

利点として、同じ顔検出品質の場合、解析される窓の数が大幅に減少し、そのため小さな顔の場合でさえ顔検索が高速になる。従って、デジタルカメラ、携帯電話、デジタルビデオカメラ、及び手持ち式コンピュータ等のリアルタイム組み込み実装品における顔検出の条件に合った性能が可能となる。

従来の顔検出プロセスによって処理される画像を示す概略図でる。 図２（ａ）は、初期位置を中心として斜め方向に振れる検出窓を示す図であり、図２（ｂ）は、初期位置を中心として横断的に振れる小規模検出窓を示す図である。 好適な実施形態による顔検索及び検出方法を示すフロー図である。 好適な実施形態により処理される画像を示す概略図である。 顔認識に先立つ検出済み顔領域の後処理を示すフロー図である。

次に、一例として、実施形態について、添付図面を参照して述べる。

検出窓のｘ及び／又はｙ増分を適応可能に計算するデジタル画像取込装置における顔検索及び検出の改善された方法について述べる。

顔検出プロセスでは、検出窓の解析中及び／又は検出窓を中心として振れている間、信頼レベルが蓄積され、検出窓の位置に顔が存在する確率の目安を提供することができる。信頼レベルが検出窓の所定のしきい値に達すると、顔が確認されて検出窓の位置が特定される。

顔検出プロセスが、所定の検出窓位置のそのような信頼レベルを生成する場合、好適な一実施形態において、信頼レベルは所定の位置に顔が存在する確率の指標として取得され、そして記憶される。そのような確率は、窓において顔が検出される信頼度又は検出される顔がない信頼度を反映することが可能である。

他の選択肢として、顔検出プロセスが一連の検定を適用し、各検定がブール代数的な「顔である」又は「顔ではない」という結果を生成する場合、顔検出プロセスがその位置に顔が存在しないと判断する前のシーケンスを進んだ度合いは、信頼レベルと等価であり、また、所定の位置に顔が存在する確率を示すと解釈できる。例えば、縦続接続の分類器が、３２の内の分類器２０における窓位置に顔を検出できない場合、この位置は、縦続接続の分類器が、３２の内の分類器１０における窓位置に顔を検出できない場合より、（おそらく異なる縮尺で又はわずかにシフトして）顔を含む可能性が高いと解釈することができる。

次に、図３を参照すれば、一実施形態による顔検索及び検出は、ステップ３０において最も大きなサイズの検出窓を選択することによって、また、ステップ３２において画像の左上角部に窓を位置合わせすることによって、始まる。

他の選択肢として、画像の特定領域が何らかの前処理を介して顔を含む傾向が高いと識別された場合、検出窓は、１つのそのような領域の適切な角部に配置することができ、また、その実施形態は、画像のそのような各領域に順番に又は並列に適用できる。そのような前処理の例には、候補顔領域として皮膚を含む画像領域を識別する段階が含まれる。

この点において、取込画像の皮膚マップを作成することが可能であり、この場合、皮膚マップ内の画素の値はそれが皮膚の画素である確率によって決定される。

皮膚マップを提供するための可能な技法が多く存在し、例えば、以下のものがある。
（ｉ）ザリト（Ｚａｒｉｔ）らにより、ＩＣＣＶ‘９９＿リアルタイムシステムにおける顔及び身振りの認識、解析、及び追跡の国際研究会にて発表された「皮膚画素分類における５つの色モデル比較」には、皮膚画素の検査についての多くの参考事項が含まれる。
（ｉｉ）タカハシ（Ｔａｋａｈａｓｈｉ）らによる米国特許第４，２０３，６７１号明細書には、赤、緑、青の色空間における楕円体又は二次元の色空間における楕円内に入る画素を識別することによって、画像の皮膚の色を検出する方法が開示されている。
（ｉｉｉ）米国特許第７，１０３，２１５号明細書には、ポルノ画像を検出する方法が述べられているが、ここでは、色基準データベースがＬＡＢ色空間で準備され、関連する人体の部位を表す複数の色を定義する。疑わしい画像を選択し、サンプリングされた画素を色基準データベースと比較する。整合する画素を有する領域は質感解析を受け、画素が孤立した色であるかどうか又は他の類似の画素がそれを取り囲んでいるかどうか、即ち、皮膚である可能性を示す条件を判断する。
（ｉｖ）２００７年１月１８日に出願された米国特許出願番号第１１／６２４，６８３号（参照番号：ＦＮ１８５）明細書には、ＲＧＢ及びＹＣＣフォーマットの画像に対する実数値の皮膚検定法が開示されている。そこで、例えば、画像情報がＲＧＢフォーマットで利用可能である場合、画素が皮膚である確率は、Ｌ＝０．３＊Ｒ＋０．５９Ｇ＋０．１１Ｂの場合、Ｌが２４０を超過する度合いの関数、及び／又は、Ｋが画像の彩度の関数である場合、ＲがＧ＋Ｋを超過し、また、ＲがＢ＋Ｋを超過する度合いの関数である。ＹＣＣフォーマットにおいて、画素が皮膚である確率は、Ｙが２４０を超過する度合いの関数、及び／又は、Ｋを画像の彩度の関数とすると、Ｃｒが１４８．８１６２−０．１６２６＊Ｃｂ＋０．４７２６＊Ｋを超過し、また、Ｃｒが１．２６３９＊Ｃｂ−３３．７８０３＋０．７１３３＊Ｋを超過する度合いの関数である。

また、理解されたいことは、多くの異なる技法が存在して、（通常、単純なしきい値処理に基づく）２値の“皮膚／非皮膚”分類が提供されることである。そこで分かることは、画素によっては、１つの２値技法の下では皮膚としてみなされ、別の技法の下では非皮膚として見なされるものがある。そこで、他の選択肢としての実施例では、幾つかの２値技法を組み合わせることができ、これにより、多数の判断基準により画素を序列化して、任意の特定画素が皮膚であるという相対的確率を得ることができる。撮像条件によって又は先行画像フレームから解析したデータによって、異なる皮膚検出技法を重み付けすることは、有利なことである。

多数の皮膚分類技法が、並列ハードウェア構成において実現される場合、単一の解析ステップにおいて多数の皮膚分類技法の出力を組み合わせることが可能になり、それが画像センサから利用可能になると、各画素の厳密な皮膚確率が迅速に生成される。好適な一実施形態において、この厳密な皮膚確率は、Ｎ＞１とすると、階調値２^Ｎとして表される（Ｎ＝１は、皮膚／非皮膚の単純な２値マスクを表す）。いずれにせよ、一旦、画素が非２値アルゴリズムによって分類されると、それは、皮膚確率の階調表現と見なすことができる。

画像における窓の様々なサイズ及び位置が、皮膚の部位を含み得るかどうか評価する際、ビオラ／ジョーンズの米国特許出願公開第２００２／０１０２０２４号明細書に開示された積分画像技法を用いることは有利であり、この場合、皮膚マップ確率値が画像について生成される。

そのような積分画像において、各要素は、強度の総和、即ち、画像におけるその点の上側及び左側にある全ての点の皮膚確率の総和として計算される。そして、画像における任意の副窓（ｓｕｂ−ｗｉｎｄｏｗ）の合計強度は、副窓の右下点の積分画像値から副窓の左上点の積分画像値を減算することによって、導くことができる。更に、隣接する副窓の強度は、副窓の点からの積分画像値の特定の組合せを用いて、効率的に比較できる。

従って、積分画像を構築して最終画像の矩形部分の輝度を決定するために用いられる技法は、皮膚確率積分画像を生成するためにも同様に用いることができる。この積分画像皮膚マップ（ＩＩＳＭ）は、一旦生成されると、矩形全面で皮膚値を平均する必要なく、矩形の４隅の点が関与する単純な算術演算によって、画像内における任意の矩形範囲の皮膚確率をすばやく求めることができる。

本明細書の残りの部分において述べる高速顔検出器の状況では、副窓内における平均局所皮膚画素確率のすばやい計算値を得ることにより、皮膚確率を、有利に用いて局所的顔領域を確認するか、又は追加の感色分類器として用いて、従来の輝度ベースのハール（Ｈａａｒ）もしくはセンサス分類器を補うか、のいずれかが可能になることを理解されたい。

他の選択肢として又は皮膚領域の検出と組み合わせて、取込画像が、解析対象の画像ストリームの１つである場合、候補顔領域は、例えば、２００６年８月１１日に出願された米国特許出願第１１／４６４，０８３号（参照番号：ＦＮ１４３）明細書に開示されるように、先行フレームにおいて検出された顔領域であってよい。

図２ａは、初期位置（太線で輪郭を示す）を中心として斜めに振れる検出窓を示す。図２ｂは、更なる顔検出を実施する前に初期位置を中心として横断的に振れる小規模な検出窓を示す。これらの振れｄｏｘ、ｄｏｙ及び規模変更ｄｓは、通常、検出窓のｄｘ，ｄｙ刻みより小さい。振れの規模に関する判断は、初期の窓に検索アルゴリズムを適用した結果に依存する。通常、ある範囲の約１０乃至１２個の異なるサイズの検出窓は、ＸＶＧＡサイズの画像にあり得る顔サイズを網羅するために用いることができる。

主顔検出器の動作に戻ると、顔検出はステップ３４における検出窓に適用され、また、これにより、検出窓の信頼レベルが返されることに留意されたい。好適な実施形態において、検出窓は、特定の位置及び信頼レベルの計算について、特に、次のように変動する。

一旦、顔が存在するかどうかについて所定の検出窓位置が検定されると、窓は順次、（−ｄｏｘ、−ｄｏｙ）、（＋ｄｏｘ、−ｄｏｙ）、（＋ｄｏｘ、＋ｄｏｙ）、（−ｄｏｘ、＋ｄｏｙ）だけシフトされ（図２（ａ）に図示）、また、これら４つの各位置において検定される。窓位置及び４つのシフト位置の信頼レベルが蓄積される。そして、信頼レベルは、新しい窓サイズ及び位置に基づき、新しい各窓に移してよい。目標顔検証信頼度しきい値に達しない場合、検出窓は縮小する（ｄｓによって図示）。この小さい検出窓は検定され、そして、順次、（−ｄｏｘ、０）、（＋ｄｏｘ、０）、（０、＋ｄｏｙ）、及び（０、−ｄｏｙ）だけシフトされ（図２（ｂ）に図示）、またこれら４つの各位置において検定される。この小規模になった検出窓のこれら５つの位置の信頼レベルは、大規模であった窓からの先の信頼レベルに追加される。

検出窓位置の信頼レベルは、ステップ３６において記録される。

検出窓は、ステップ３８において検索される画像／領域の全体を横断していない場合、ステップ４０において、その位置について記憶された信頼レベルの関数として進められる。

好適な実施形態において、現窓サイズの直前の検出窓の信頼レベルがしきい値を超えた場合、検出窓のｘ及びｙ増分は減少する。

次に、図４を参照すると、好適な実施形態において、或る位置の信頼レベルがその位置付近における顔の確率を知らせる場合、シフト刻みが、如何にして調整されるかが示される。最初の４行の検索では、比較的大きな増分が、ｘ及びｙ両方向において、その検出窓に用いられる。しかしながら、検出窓１０（ａ）の位置の場合、右下方向への窓の振れは、顔１４がその位置にあるという必要信頼レベルを提供する可能性が高い。このように、ｘ及びｙ方向の検出窓の増分は減少する。本例では、信頼レベルは、検出窓位置が線ｔｌ２の右側に進むまで、所定のしきい値を超えたままである。この時、ｘ増分は元の大きな増分に戻る。ｙ方向に小さい増分だけ拡大して、検出窓は、線ｔｌ１に達するまで、大きなｘ増分で次の行を進む。この位置の信頼レベルは、必要しきい値を再度超過することから、あるいは、実際、前の行で超過したことから、ｘ増分は、検出窓が線ｔｌ２の右側に再度進むまで、再び減少する。このプロセスは、検出窓が位置１０（ｂ）に到着するまで続く。ここでは、高解像度顔検出の信頼レベルに達するだけでなく、顔１４が検出される。好適な実施形態では、これにより、ｘ及びｙ両増分が元の大きな増分に戻される。

顔のような（だが実際は、顔ではない）位置においてトリガがかかる信頼レベルに従う領域で顔が検出されない場合、ｘ及びｙ増分はそれらの元の緩和値に戻り、この時、行の全範囲に渡って信頼レベルはしきい値レベルを超えない。そこで、例えば、検出窓が位置１０（ｃ）を通過した後の行では、検出窓はしきい値を超える信頼レベルを生成せず、従って、この行の後、顔が位置１０（ｂ）において検出されなかった場合でも、ｙ増分はその緩和レベルに戻る。

一旦、画像及び／又はその領域が所定サイズの検出窓によって横断されると、これが図３のステップ４２における最小検出窓でない限り、次の最小検出窓がステップ３０で選択され、画像が再び横断される。

或る実施形態において、現窓サイズの直前の検出窓の信頼レベルがしきい値を超える場合、検出窓のｄｘ、ｄｙの変化にトリガがかけられる。しかしながら、この変化は、同様に及び／又は追加的に、同じ位置又はその周囲にある大きい検出窓（１又は複数）の信頼レベルの関数であるか又はそれによってトリガをかけることができる。

或る実施形態において、検出窓は最大から最小サイズまで適用され、従って、所定の位置が所定サイズの検出窓の前に大きなサイズの検出窓によって調査されていると仮定され、従って、顔は大きなサイズの検出窓に対して検出されなかった場合、小さいサイズの検出窓でその位置付近に当然見つかるということを示す。一方、それが示し得ることは、顔が大きなサイズの検出窓の所定の位置で見つかった場合であっても、その顔はその位置の周囲において、後で適用された時、小さいサイズの検出窓によってもっと正確に境界を定めることができることである。

大きな顔を捜す場合よりも小さいサイズの顔を捜す場合、用いる窓が多くなり得るため、大きな検出窓からの信頼レベルを用いて小さい検出窓用の増分を操る場合、本発明の実施形態によって可能となる節減は、小さい検出窓を最初に適用する場合よりも大きい。

上述の本実施形態では、所定の検出窓サイズの場合、大きな又は小さなｘ又はｙ増分のいずれかが、検出窓位置の付近に顔が存在し得るかどうかに依存して用いられる。しかしながら、増分は何らかの妥当な方法で変更することができる。そこで、例えば、増分はその領域に適用された先行検出窓の信頼レベルに反比例して生成することができる。

他の選択肢として、上述したように準連続値を返す代わりに、顔検出プロセス３４によって返される信頼レベルは、離散値であってよく、（ｉ）顔でない、（ｉｉ）顔の可能性がある、又は（ｉｉｉ）顔である、のいずれかを示し、各々、図４に関連して述べたように進行ステップ４０を機能させる。

検出窓は行に沿って動く必要はない。その代わり、ｘ及びｙ各方向のその進行は、その領域において適用された先行検出窓の信頼レベルの関数として、１の増分から次の増分に調整することができる。

上述した実施形態は、デジタルスチールカメラ、デジタルビデオカメラ、カメラ電話等のようなデジタル画像処理装置に実装することができる。実施形態は、それらの演算効率により、リアルタイム顔検出機能内に実装できるが、この機能によって、例えば、装置は、取込画像又は画像ストリームにおいて検出した顔を、ファインダ中でそれぞれの境界線（検出窓に相当）により強調表示できる。

他の選択肢として又は追加として、本実施形態は、デジタル画像処理装置内において、又は画像が転送されるもしくは画像にアクセスできる接続されたコンピュータ処理装置内のいずれかにおいて、オフライン顔検出機能内に実装され、顔検出の効率を高めることができる。

他の選択肢として又は追加として、検出された顔領域は、赤目検出及び／又は補正等の画像後処理機能や、例えば、顔表情検出及び／又は補正、又は顔認識に用いることができる。

検出された顔領域を顔認識に用いる場合、多くの顔認識システムが顔の回転又はサイズのいずれかの僅かな変化に敏感であるため、顔認識の精度を最適化するために、後処理対策を適用することには利点がある。この理由は、正面を向いた顔の領域が検出され保存される場合であっても、これらの領域は、顔認識の目的にとって、位置合わせ又は縮尺が最適でないことがあるためである。また、取り込まれる多くの画像は一般消費者の画像であること、また、そのような画像の被写体は、画像取得時、真正面に向く正面位置に自分の顔を維持することがほとんどないことに留意されたい。

上述の実施形態でのように、用いた顔検出が速さ及び顔領域の存在の正確な判断について高度に最適化されている場合、顔検出は通常、検出される顔領域の厳密な縮尺、回転、又は姿勢に正確に一致するように最適化されない。

従来技術において既知のそのような標準化を達成するための多くの技法があるが、デジタルカメラ等の組み込み撮像装置において、コード実装面積及び効率的資源利用双方の観点において、処理を経済的に設計しなければならない場合、そのような複雑な処理をそれ以上配備することは非実用的であり得る。

従って、一実施形態では、画像取込装置内で既に利用可能な顔検出器は、目的を再設定して、検出／追跡された顔領域の後処理に用いることができる。この実施形態で用いられるのは、標準的な検出器とほぼ同じであり、また、正面向きの顔だけを検出するために照準合わせ段階で高度に最適化された補足的正面顔検出器である。そこで、例えば、正面顔検出器は通常の顔検出／追跡には不向きであり、この場合、以下「標準検出器」と称する緩和型検出器が必要である。

次に図５を参照すると、この実施形態では、顔認識を適用する予定の顔領域が当初検出される場合（ステップ５０）、初期の確率が第１しきい値より小さい状態で、領域は、例えばＸ＝２０％だけ拡張され、取り囲む周辺領域を含み、そして、取込画像から抽出される（ステップ５２）。この大きな領域は、通常、顔全体を含むのに充分である。

次に、標準検出器が拡張領域に適用されるが（ステップ５４）、画像全体に用いられるより小さい範囲の最大及び最小縮尺に渡って、また、より細かい粒度の解像度で適用される。

例として、ステップ５４において、検出器は、元の検出プロセスによって決定される顔領域のサイズを１．１倍から０．９倍まで変倍することができる（ステップ５０）が、０．０２５の増分、即ち、０．９、０．９２５、０．９５、０．９７５、１．００等で変倍することができ、また、刻みのサイズも同様である。目標は、抽出・拡張された最大顔確率の顔領域内において、縮尺及び位置合わせが最適化された副窓を求めることである。理想的には、そのような副窓は、第１しきい値より大きい顔検出用の第２しきい値確率を超える。そうでなければ、また、この確率を改善しようとする際に回転が適用されなければ、この顔領域は、認識には「信頼度が低い」と記される（ステップ５６）。

第１又は第２しきい値を超える場合、当初検出された顔領域の副窓又はステップ５４からの最適窓のいずれかが、例えばＹ＝１０％＜Ｘだけ拡張される（ステップ５８）。

そして、正面顔検出器は、拡張領域に適用される（ステップ６０）。（第１及び第２しきい値が各々識別されるより高い）第３しきい値を超える顔検出確率を備えた副窓の場合（ステップ６２）、その副窓は「信頼度が高い」と記され、そして、認識プロセスに渡される（ステップ６４）。

正面顔検出ステップがステップ６２において満足されないが、高い確率の顔領域があると分かっている場合、小さな回転又は姿勢標準化の内の一方又は双方ともが顔認識に適する顔領域を生成するのに必要なことがある。

一実施形態において、当初のＸ％拡張顔領域は、次に、多数の角変位、例えば−０．２、−０．１５、−０．１、−０．０５、０．０、＋０．０５、＋０．１、＋０．１５、及び＋０．２ラジアンの内の１つだけ回転され（ステップ６６）、また、細粒度標準顔検出及び可能性として正面顔検出ステップが、以前のように再適用される。

理想的には、顔確率は、これらの角回転が抽出顔領域に適用される際、要求される第３しきい値を超えて増加し、顔領域は「信頼度が高い」と記すことができる。更に、顔領域の回転により変化する可能性のある確率を用いて、領域の回転方向を導き得ることが分かる。例えば−０．０５ラジアンの回転が顔検出確率を増大させるが充分でない場合、次に選択される回転は−０．１ラジアンである。それに対して、顔検出確率が−０．０５ラジアンの回転によって減少する場合、次に選択される回転は０．０５ラジアンであり、また、これが顔検出確率を増大させなかった場合、顔領域は、認識に対して「信頼度が低い」と記すことができる（ステップ５６）。

他の選択肢として、又は、この顔領域の面内回転に加えて、ＡＡＭ（能動的外見モデル）又は等価モジュールは、必要な姿勢標準化を行って顔領域を顔認識に適合しようとする際、検出される顔領域に適用することができる。ＡＡＭモジュールは、公知であり、また、本実施形態に適するモジュールは、「３Ｄ顔追跡のための高速及び高信頼性の能動外見モデル検索」、ドーナイカ（Ｆ．Ｄｏｒｎａｉｋａ）及びアールバーグ（Ｊ．Ａｈｌｂｅｒｇ）、システム、人、及びサイバネティクスに関するＩＥＥＥ議事録、パートＢ：サイバネティクス、３４巻、４号、１８３８−１８５３頁、２００４年８月、に開示されているが、クートス（Ｔ．Ｆ．Ｃｏｏｔｅｓ）らによる最初の論文、「能動的外見モデル」、欧州会議コンピュータ・ビジョン会議録、１９９８、４８４−４９８頁、に基づく他のモデルも用いることができる。

本実施形態において、ＡＡＭモデルは水平及び垂直姿勢の調整のために整えられた２つのパラメータを有しており、また、ＡＡＭモデルは検出される顔領域内の顔に収束してほぼ水平及び垂直の顔の姿勢を示すことになる。そして、顔領域は等価なＡＡＭモデルを重ね合わせることによって調整され、画像の面外に回転され「真っ直ぐな」顔領域を提供することができる（ステップ６８）。

また、細粒度の標準顔検出及び正面顔検出ステップが再適用される。また、検出した顔領域（１又は複数）のしきい値が要求される確率を超えない場合、水平及び垂直姿勢の小さい増分による調整は、正面顔検出器の確率が、顔領域を「信頼度が高い」と記すのに充分な程に増加するまで、又は、顔領域が、顔認識の目的に用いるには「信頼度が低い」と確認されるまで、以前のように行うことができる。

２００７年５月２４日出願された米国特許出願第１１／７５２，９２５号（参照番号：ＦＮ１７２）明細書は、主取込画像における顔領域の部分用の修正テンプレートを提供するために、プレビューストリームから顔領域を取り込み、そして、超解像度技法を用いてこれらの画像を位置合わせして組み合わせる段階について述べている。利点として、これらの技法は、上記ステップに加えて又はそれらの他の選択肢として、独立に、又は顔認識の前に顔領域を実質的に正面に向けるために顔領域の後処理ステップの一部として用いることができる。

検出された顔領域の他の用途では、選択された領域は、プレビュー画像、ポストビュー画像、又は最大もしくは低解像度画像のビデオストリームや、その組合せ等の一連の画像に連続して適用することができ、この場合、信頼レベル並びに窓位置は、１つのプレビュー画像、ポストビュー画像等から、次の画像に渡される。

本発明の代表的な図面及び特定の実施形態について述べて示したが、本発明の範囲は、記載した特定の実施形態に限定されるものではないことを理解されたい。

更に、本明細書において好適な実施形態により実施し得る方法、及び、上述した方法において、動作は、選択された印刷上の順番で述べた。しかしながら、これらの順番は、印刷上の利便性のために選択・配列されており、特定の順番を明示する場合や当業者が特定の順番が必要であるとみなし得る場合を除き、動作を実施するための何らかの特定の順番を意味するものではない。

Claims (27)

1. 画像内の顔を検出する方法であって、
   （ａ）第１位置における前記画像の第１の相対的に大きな窓内において第１の顔検出を実行し、
   （ｂ）前記第１位置に又はその付近に顔がある、顔のある可能性がある、または顔がない確率を示す信頼レベルを前記顔検出から取得し、
   （ｃ）前記第１位置の周囲において相対的に小さな一連の窓内における第２の顔検出を実行することを含み、
   前記（ｃ）において、前記画像内の前記一連の窓における連続する窓の間で、第１方向にｘ量、および／または直交する第２方向にｙ量である変位の方向または大きさが可変であり、前記ｘ量および／または前記ｙ量は、前記画像が前記第１位置において顔を含まない信頼レベルが高くなると、大きくなる方法。
2. 前記顔検出を実行することにより顔の確実な位置が検出されるまで、異なる位置における１又は複数の追加窓について（ａ）から（ｃ）を繰り返すことをさらに含む請求項１に記載の方法。
3. 顔検出が全対象領域に渡って実施されるまで、異なる位置における１又は複数の追加窓について（ａ）から（ｃ）を繰り返すことをさらに含む請求項１に記載の方法。
4. 前記１又は複数の追加窓の大きさは、前記信頼レベルに依存する請求項３に記載の方法。
5. 複数の所定サイズの窓についての顔検出が、前記画像の全対象領域に渡って実行されるまで、（ａ）から（ｃ）を繰り返すことをさらに含む請求項１に記載の方法。
6. 前記画像について対象領域の組を決定し、
   全ての前記対象領域について段階（ａ）から（ｃ）を繰り返すことをさらに含む請求項１に記載の方法。
7. 顔を含む可能性がある前記画像の少なくとも１の領域を識別し、
   顔検出が、実質的に前記少なくとも１の領域全体に渡って実行されるまで、（ａ）から（ｃ）を繰り返すことをさらに含む請求項１に記載の方法。
8. 顔を含む可能性がある前記画像の少なくとも１の領域を識別し、
   顔検出が、前記少なくとも１の領域内において同心円状に実行されるまで、（ａ）から（ｃ）を繰り返すことをさらに含む請求項１に記載の方法。
9. 前記顔検出には、縦続接続の分類器を前記画像の前記窓に適用することが含まれるとともに、前記信頼レベルには前記窓に適用された分類器の数の関数が含まれる請求項１に記載の方法。
10. 前記第２位置は、前記第１の相対的に大きい窓を第１方向にｘ量及び直交する第２方向にｙ量だけ前記第１位置から進めることによって決定され、第１及び第２窓のあらゆる重なりが前記信頼レベルに基づく請求項１に記載の方法。
11. 前記第１窓のサイズに対する前記第２位置における窓のサイズも前記信頼レベルに基づく請求項１０に記載の方法。
12. 前記ｘ量及び前記ｙ量は、それぞれ前記第１方向及び前記第２方向の顔検出信頼レベルに個別に依存する請求項１に記載の方法。
13. 顔が前記第１位置付近に検出されるしきい値を超える信頼レベルが存在すると、第２位置は、第２窓が前記第１窓と重なり合って前記顔を中心とするように選択され、また、前記しきい値を下回る信頼レベルが存在すると、前記第２位置は、前記第２窓が前記第１窓と重なり合わないように選択される請求項１に記載の方法。
14. 前記画像内における１又は複数の対象領域を、各々、顔を含む可能性が大きくなるように予め決定して、各対象領域の適切な角部に検出窓を配置し、
    その各対象領域に（ａ）から（ｃ）を適用することを含む請求項１に記載の方法。
15. （ａ）から（ｃ）が、少なくともいくつかの時間的重なりを有する期間における２以上の対象領域に適用される請求項１４に記載の方法。
16. 前記１又は複数の対象領域には、多数の皮膚画素を含む１又は複数の領域が含まれる請求項１４に記載の方法。
17. 前記画像は画像ストリームにおける画像であり、また、前記対象領域には前記ストリームの先行画像において顔が検出された１又は複数の領域が含まれる請求項１４に記載の方法。
18. 前記段階（ｃ）は、
    前記第１位置に又はその付近における顔を示す前記信頼レベルに応じて、第２位置の第２窓内において正面を向いた顔の検出を実行することを含み、前記第２位置は、前記第１位置にて又はその付近にて前記顔を候補領域が含む確率を示す信頼レベルに基づき決定される請求項１に記載の方法。
19. （ｄ）任意の候補領域における正面を向いた顔の検出に応じて、前記候補領域に顔認識を選択的に適用することを含む請求項１８に記載の方法。
20. 任意の候補領域に顔を含む確率がしきい値より大きいことに応じて、前記顔認識が適用される請求項１９に記載の方法。
21. 前記正面を向いた顔の検出を実行することは、前記第１位置に又はその付近において検出された前記顔を含む候補領域において行われる請求項１８に記載の方法。
22. 正面を向いた顔の検出を実行することは、前記候補領域に顔を含む確率が第１しきい値より大きいことに応じて、行われる請求項２１に記載の方法。
23. 前記第１位置に顔を含む確率が第１しきい値より小さいことに応じて、前記画像から前記第１位置を含む拡張領域を抽出し、
    相対的に粒度が細かい前記拡張領域において顔検出を実施して前記候補領域を提供することを含む請求項２１に記載の方法。
24. 候補領域に顔を含む確率が第２しきい値より小さいことに応じて、前記顔領域を含む拡張領域を一連の角度の内の１の角度で回転し、
    相対的に粒度が細かい前記回転拡張領域において顔検出を実施して他の候補領域を提供することを含む請求項２１に記載の方法。
25. 候補領域に顔を含む確率が第２しきい値より小さいことに応じて、前記拡張領域内における前記顔を一連の角度の内の１の角度で回転し、
    相対的に粒度が細かい前記拡張領域において顔検出を実行し、他の候補領域を提供することを含む請求項２１に記載の方法。
26. デジタル画像処理装置であって、
    （ａ）第１位置にある取込画像の第１の相対的に大きな窓内において第１の顔検出を実行し、
    （ｂ）前記第１位置に又はその付近に顔がある、顔のある可能性がある、または顔がない確率を示す信頼レベルを前記顔検出から取得し、
    （ｃ）前記第１位置の周囲において相対的に小さな一連の窓内における第２の顔検出を実行するように構成されており、
    前記（ｃ）において、前記画像内の前記一連の窓における連続する窓の間で、第１方向にｘ量、および／または直交する第２方向にｙ量である変位の方向または大きさが可変であり、前記ｘ量および／または前記ｙ量は、前記画像が前記第１位置において顔を含まない信頼レベルが高くなると、大きくなるデジタル画像処理装置。
27. コンピュータプログラムであって、
    デジタル画像処理装置において実行されると、
    （ａ）第１位置にある前記画像の第１の相対的に大きな窓内において第１の顔検出を実行し、
    （ｂ）前記第１位置に又はその付近に顔がある、顔のある可能性がある、または顔がない確率を示す信頼レベルを前記顔検出から取得し、
    （ｃ）前記第１位置の周囲において相対的に小さな一連の窓内における第２の顔検出を実行するように動作可能であり、
    前記（ｃ）において、前記画像内の前記一連の窓における連続する窓の間で、第１方向にｘ量、および／または直交する第２方向にｙ量である変位の方向または大きさが可変であり、前記ｘ量および／または前記ｙ量は、前記画像が前記第１位置において顔を含まない信頼レベルが高くなると、大きくなるコンピュータプログラム。

Images