JP4749879B2 - 顔判別方法および装置並びにプログラム - Google Patents

Description

本発明は、対象画像が顔画像であるか否かを判別する顔判別方法および装置並びにそのためのプログラムに関するものである。

従来、デジタルカメラによって撮影されたスナップ写真における人物の顔領域の色分布を調べてその肌色を補正したり、監視システムのデジタルビデオカメラで撮影されたデジタル映像中の人物を認識したりすることが行われている。このような場合、デジタル画像中の人物の顔に対応する顔領域を検出する必要があり、このため、対象画像が顔を表す画像であるか否かを判別する種々の手法が提案されている。

例えば、所定対象物を表す画像であることが分かっている複数のサンプル画像と、所定対象物を表す画像でないことが分かっている複数のサンプル画像とからなる多数のサンプル画像群のそれぞれから算出された特徴量を、マシンラーニングの手法によりあらかじめ学習することにより得られた、特徴量の入力により所定対象物を表す画像と所定対象物を表さない画像とを判別するための基準値を出力する複数の識別器を備え、この複数の識別器から出力された基準値の重み付け総和があらかじめ定めた閾値を超えた場合に、判別対象画像が所定対象物を表す画像であると判別する手法が本出願人により提案されている（特許文献１から３参照）。

また、顔を表す画像であることが分かっている複数のサンプル画像と、顔を表す画像でないことが分かっている複数のサンプル画像とからなる多数のサンプル画像群のそれぞれから算出された特徴量を、マシンラーニングの手法によりあらかじめ学習することにより得られた、特徴量の入力により判別対象画像が顔を表す画像であるか否かを判別する複数の弱判別器を備え、これら複数の弱判別器を線形に結合してカスケード構造をなし、すべての弱判別器において顔を表す画像であると判別された場合に、判別対象画像が顔を表す画像であると判別する手法も提案されている（非特許文献１参照）。なお、これらの手法では、上記特徴量を判別対象画像の輝度分布に係る特徴量とし、この特徴量を用いて判別する場合が多い。

ところで、判別対象画像の中には、デジタルカメラ等によって取得されたスナップ写真の画像やスキャナ等によって読み込まれた画像等が含まれるが、これらの画像では、その撮影シーンや撮影条件、ハード特性等の違いにより画像全体のコントラスト（明暗の度合）が変動し、常に一定とはならない。このような画像全体のコントラストが定まらない画像を対象に上記輝度分布に係る特徴量に基づく判別を行うと、その特徴量に顔画像らしさが適正に反映されない場合があり、判別の精度を低下させることとなる。

そこで、顔判別を行う前処理として、判別対象画像のコントラストが判別に適したある一定のレベルとなるように、判別対象画像における画像全体の画素値の分散を算出し、その画像全体を当該分散に基づいて得られた同一のパラメータを用いて正規化する手法が知られている。
特願２００３−３１６９２４号 特願２００３−３１６９２５号 特願２００３−３１６９２６号 「高速全方向顔検出」，Shihong LAO他，画像の認識・理解シンポジウム（MIRU2004），２００４年７月，P.II-271−II-276

しかしながら、上記のような、判別対象画像における画像全体の画素値の分散を算出し、その画像全体を当該分散に基づいて得られた同一のパラメータを用いて正規化する手法では、その判別対象画像が顔画像である場合に、顔以外のものによる画像上の濃度変化の影響を受けやすく正規化が不安定となる。例えば、その顔の一部に何か別のものが重畳していたり、照明の状況によって斜光（斜めから光が当たっている状態）が存在していたり、あるいは、顔以外の背景の状況によって濃淡にばらつきが生じていたりすると、画像全体の画素値の分散がこれらの影響を受け、本来意図した正規化がなされない場合がある。このような正規化が施された画像に対して上記輝度分布に係る特徴量に基づく判別を行うと、その特徴量に顔画像らしさが適正に反映されない場合があり、判別の精度を低下させることとなる。

本発明は、上記事情に鑑み、顔判別の精度の低下を抑制することが可能な顔判別方法および装置並びにそのためのプログラムを提供することを目的とするものである。

本発明の顔判別方法は、顔画像であるか否かを判別する対象となる判別対象画像に対して、該画像における各局所領域について輝度を表す画素値の分散の程度を所定レベルに近づける輝度階調変換を行う正規化処理を施すことにより、前記判別対象画像におけるコントラストのばらつきを抑制する正規化ステップと、前記正規化処理が施された判別対象画像の輝度分布に係る少なくとも１つの特徴量を算出し、該特徴量を用いて前記判別対象画像が顔画像であるか否かを判別する顔判別ステップとを有する顔判別方法であって、前記局所領域が、前記顔判別手段が判別すべき顔の目を１つのみ含む大きさの領域であることを特徴とする方法である。

本発明の顔判別装置は、顔画像であるか否かを判別する対象となる判別対象画像に対して、該画像における各局所領域について輝度を表す画素値の分散の程度を所定レベルに近づける輝度階調変換を行う正規化処理を施すことにより、前記判別対象画像におけるコントラストのばらつきを抑制する正規化手段と、前記正規化処理が施された判別対象画像の輝度分布に係る少なくとも１つの特徴量を算出し、該特徴量を用いて前記判別対象画像が顔画像であるか否かを判別する顔判別手段とを備えた顔判別装置であって、前記局所領域が、前記顔判別手段が判別すべき顔の目を１つのみ含む大きさの領域であることを特徴とするものである。

本発明のプログラムは、コンピュータを、顔画像であるか否かを判別する対象となる判別対象画像に対して、該画像における各局所領域について輝度を表す画素値の分散の程度を所定レベルに近づける輝度階調変換を行う正規化処理を施すことにより、前記判別対象画像におけるコントラストのばらつきを抑制する正規化手段と、前記正規化処理が施された判別対象画像の輝度分布に係る少なくとも１つの特徴量を算出し、該特徴量を用いて前記判別対象画像が顔画像であるか否かを判別する顔判別手段として機能させるためのプログラムであって、前記局所領域が、前記顔判別手段が判別すべき顔の目を１つのみ含む大きさの領域であることを特徴とするものである。

本発明において、前記正規化処理は、前記判別対象画像における各画素を注目画素として順次設定するとともに、前記注目画素毎に、該注目画素を代表とする所定の大きさの局所領域における画素値の分散を算出し、該分散が前記所定レベルに対応する基準値より大きいほど、前記注目画素の画素値と該注目画素を代表とする前記局所領域における画素値の統計学上の所定の代表値との差を小さくし、該分散が前記基準値より小さいほど、前記注目画素の画素値と前記所定の代表値との差を大きくする階調変換を行う処理とすることができる。

本発明の顔判別方法において、前記顔判別ステップは、顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像の各々を入力され、その判別の正否結果に基づいて、顔のパターンの特徴を学習してなる顔判別手段における処理を行うステップであり、前記局所領域は、該領域の長手方向の幅を、前記学習用顔画像における目の長手方向の幅の平均値の１．１から１．８倍の間の長さとする領域とすることができる。また、本発明の顔判別装置およびプログラムにおいて、前記顔判別手段は、顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像を用いて、顔のパターンの特徴を学習してなるものであり、前記局所領域は、該領域の長手方向の幅を、前記学習用顔画像における目の長手方向の幅の平均値の１．１から１．８倍の間の長さとする領域とすることができる。

この場合において、前記顔判別手段は、前記判別対象画像が顔画像であるか否かを判別する互いに異なる複数の弱判別器（モジュール）を、該弱判別器の信頼度が高い順に線形に結合してなる構造を有するものとすることができる。

ここで、「画素値の分散の程度」とは、画素値のばらつきの度合を意味するものであり、例えば、画素値のいわゆる数学的な分散値のほか、画素値の最大値と最小値の差分値等とすることができる。また、「所定レベル」とは、上記分散値あるいは上記差分値等が取り得る値の一つであり、判別対象画像が顔画像であるか否かを判別する処理において、経験的に判別精度がよくなるコントラストとなるような値とすることができる。

なお、前記所定レベルは、画像毎に異なるノイズレベルに応じて設定すべきであり、入力ソースが分かっている場合には、それに合わせて前記所定レベルを変更することが好ましい。例えば、携帯電話に内蔵された撮像手段によって撮像された画像は比較的ノイズが多いことから、ノイズの増幅を抑えるために、前記所定のレベルを高く設定する。また、例えばノイズ解析手段から得られた解析情報、撮像手段から得られた画像撮像時のゲイン情報等により、画像のノイズレベルを知ることができる場合には、ノイズレベルが大きいほど前記所定のレベルを高く設定し、ノイズレベルが小さいほど前記所定のレベルを小さく設定するとよい。

「注目画素を代表とする所定の大きさの局所領域」とは、例えば、図１６に示すような、注目画素ｘを略中心、略重心または略中央とする第１の領域Ｚ１や、これら第１の領域Ｚ１の画素値の分布に応じて設定される、第１の領域内の部分的な領域である第２の領域Ｚ２を意味するものである。この第２の領域Ｚ２としては、例えば、図１７に示すように、第１の領域Ｚ１内の画素値のヒストグラムの形状が複数の山を有する形状である場合に、それらの山のうち注目画素ｘの画素値Ｘが含まれる山に対応する画素からなる領域とすることができる。すなわち、第１の領域Ｚ１から、注目画素ｘの画素値Ｘが含まれない山に対応する画素からなる領域Ｚａを取り除いた領域を第２の領域Ｚ２とすることができる。このような領域の設定は、第１の領域Ｚ１が明らかに画像濃度の異なる領域にまたがって存する場合に、その濃度変化の境界による悪影響を避けるため、所定の領域内の画像に対してのみ画素値の演算をするような場合によく実施される方法である。

「画素値の統計学上の所定の代表値」とは、画素値の分布の特徴を代表するこの分布の中心的な値であり、例えば、画素値の、統計学上の平均値、中央値、中間値、最頻値等とすることができる。

「局所領域」は、便宜上、矩形領域であることが好ましいが、真円、楕円等の形状であってもよい。

本発明においては、学習に用いる顔画像として、少なくとも前記学習用顔画像を用いていればよく、もちろん、学習に用いる画像として、前記学習用顔画像に加え学習用非顔画像を用いても構わない。

「学習用顔画像」とは、顔を表す画像であることが分かっている学習に用いるサンプル画像をいい、「学習用非顔画像」とは顔を表す画像でないことが分かっている学習に用いるサンプル画像をいう。

「顔の天地方向が揃った」とは、顔の天地方向が完全に一致した状態に限定されるわけではなく、画像平面上での所定角度範囲、例えば±１５度の回転は許容するものとする。

「弱判別器」とは、正答率が５０％を超える判別手段（モジュール）であり、「複数の弱判別器を線形に結合した構造」とは、このような弱判別器を直列に接続し、弱判別器において、対象画像が顔画像であると判別されたときに次の弱判別器に進み、非顔画像であると判別されたときに判別処理を離脱するように構成された構造のことをいう。最後の弱判別器において顔画像であると判別された対象画像が、最終的に、顔画像であると判別される。

本発明の顔判別方法および装置並びにそのためのプログラムによれば、判別対象画像のコントラストのばらつきを抑えるべく、判別対象画像に対して、当該判別対象画像における各局所領域について画素値の分散の程度が所定レベルに近づくように画素値の階調変換を行う正規化処理を施すものとし、その局所領域を、判別すべき顔の目が１つのみ含まれる大きさの領域と規定しているので、顔であることを特徴付ける目や鼻等の顔の構成部品内でのコントラストの変化を抑えつつ、顔への重畳物、斜光、顔以外の背景による濃淡のばらつき等による影響を受け難い安定した正規化を行うことができる。これにより、判別対象画像上の輝度分布に係る特徴量について顔画像らしさを適正に反映させることができ、判別精度の低下を抑制することが可能となる。

以下、本発明の実施形態について説明する。図１は本発明の顔判別装置が適用された顔検出システムの構成を示す概略ブロック図である。この顔検出システムは、デジタル画像中に含まれる顔を、顔の位置、大きさ、向き、回転方向によらずに検出するものである。図１に示すように、顔検出システム１は、顔を検出する対象となる入力画像Ｓ０を多重解像度化して解像度の異なる複数の画像（以下、解像度画像という）Ｓ１＿ｉ（ｉ＝１，２，３・・・）を得る多重解像度化部１０と、後に実行される顔検出処理の精度向上を目的とした前処理として、解像度画像Ｓ１＿ｉの各々に対して、画像全体にわたって局所的な領域におけるコントラストのばらつきを抑制する正規化（以下、局所正規化という）を施し、局所正規化済みの解像度画像Ｓ１′＿ｉを得る局所正規化部（正規化手段）２０と、局所正規化済みの解像度画像Ｓ１′＿ｉの各々に対してラフな顔検出処理を施すことにより顔候補Ｓ２を抽出する第１の顔検出部３０と、各顔候補を含む所定の近傍領域内の画像に対して高精度な顔検出処理を施すことにより顔候補Ｓ２をさらに絞り込み、真の顔と思われる顔Ｓ３を得る第２の顔検出部４０と、各解像度画像上で検出された顔Ｓ３の各々について、同一の顔が重複して検出されたものであるか否かをその位置関係から判定して整理し、重複検出のない顔Ｓ３′を得る重複検出判定部５０とを備える。

多重解像度化部１０は、入力画像Ｓ０の解像度（画像サイズ）を変換することにより、その解像度を所定の解像度、例えば、短辺が４１６画素の矩形サイズの画像に規格化し、規格化済みの入力画像Ｓ１を得る。そして、この画像Ｓ１を基本画像としてさらに解像度変換を行うことにより、解像度の異なる複数の解像度画像Ｓ１＿ｉを生成する。このような複数の解像度画像を生成する理由は、通常、入力画像に含まれる顔の大きさは不明であるが、一方、検出しようとする顔の大きさ（画像サイズ）は、後述の判別器の構造と関連して一定にする必要があるため、解像度の異なる画像上で所定サイズの部分画像をそれぞれ切り出し、その部分画像が顔か非顔かを判別してゆく必要があるためである。具体的には、図２に示すように、画像Ｓ１を基本画像Ｓ１＿１として、画像Ｓ１＿１に対して２の−１／３乗倍の画像Ｓ１＿２と、画像Ｓ１＿２に対して２の−１／３乗倍（基本画像Ｓ１＿１に対しては２の−２／３乗倍）の画像Ｓ１＿３とを先に生成し、その後、画像Ｓ１＿１，Ｓ１＿２，Ｓ１＿３のそれぞれに対して、１／２倍サイズの縮小画像を生成し、それらの縮小画像に対してさらに１／２倍サイズの縮小画像を生成する・・・といった処理を繰り返し行い、複数の縮小画像を所定の数だけ生成するようにする。このようにすることで、輝度を表す画素値の補間処理を必要としない１／２倍の縮小処理を主に、基本画像から２の−１／３乗倍ずつ解像度が縮小された複数の画像が高速に生成できる。例えば、画像Ｓ１＿１が短辺４１６画素の矩形サイズである場合、画像Ｓ１＿２，Ｓ１＿３，・・・は、短辺がそれぞれ、３３０画素，２６２画素，２０８画素，１６５画素，１３１画素，１０４画素，８２画素，６５画素，・・・の矩形サイズとなり、２の−１／３乗倍ずつ縮小された複数の解像度画像を生成することができる。なお、このように画素値を補間しないで生成される画像は、画像パターンの特徴をそのまま担持する傾向が強いので、顔検出処理において精度向上が期待できる点で好ましい。

局所正規化部２０は、解像度画像Ｓ１＿ｉの各々に対して、解像度画像における各局所領域について、輝度を表す画素値の分散の程度が所定レベル以上である局所領域に対して、該分散の程度を前記所定レベルより高い一定レベルに近づける第１の輝度階調変換処理を施し、前記画素値の分散の程度が前記所定レベル未満である局所領域に対して、該分散の程度を前記一定レベルより低いレベルに抑える第２の輝度階調変換処理を施すものであるが、ここで、局所正規化部２０における具体的な処理について説明する。

図１２は局所正規化処理の概念を示した図であり、図１３は局所正規化部２０における処理フロー示す図である。また、式（１），（２）は、この局所正規化処理のための画素値の階調変換の式である。

ここで、Ｘは注目画素の画素値、Ｘ′は注目画素の変換後の画素値、ｍlocalは注目画素を中心とする局所領域における画素値の平均、Ｖlocalはこの局所領域における画素値の分散、ＳＤlocalはこの局所領域における画素値の標準偏差、（Ｃ１×Ｃ１）は上記一定レベルに対応する基準値、Ｃ２は上記所定レベルに対応する閾値、ＳＤｃは所定の定数である。なお、本実施形態において、輝度の階調数は８ｂｉｔとし、画素値の取り得る値は０から２５５とする。

局所正規化部２０は、図１３に示すように、解像度画像における１つの画素を注目画素として設定し（ステップＳ２１）、この注目画素を中心とする所定の大きさ、例えば１１×１１画素サイズの局所領域における画素値の分散Ｖlocalを算出し（ステップＳ２２）、分散Ｖlocalが上記所定のレベルに対応する閾値Ｃ２以上であるか否かを判定する（ステップＳ２３）。ステップＳ２３において、分散Ｖlocalが閾値Ｃ２以上であると判定された場合には、上記第１の輝度階調変換処理として、分散Ｖlocalが上記一定のレベルに対応する基準値（Ｃ１×Ｃ１）より大きいほど、注目画素の画素値Ｘと平均ｍlocalとの差を小さくし、分散ｍlocalが基準値（Ｃ１×Ｃ１）より小さいほど、注目画素の画素値Ｘと平均ｍlocalとの差を大きくする階調変換を式（１）にしたがって行う（ステップＳ２４）。一方、ステップＳ２３において、分散Ｖlocalが閾値Ｃ２未満であると判定された場合には、上記第２の輝度階調変換処理として、分散Ｖlocalに依らない線形な階調変換を式（２）にしたがって行う（ステップＳ２５）。そして、ステップＳ２１で設定した注目画素が最後の画素であるか否かを判定する（ステップＳ２６）。ステップＳ２６において、その注目画素が最後の画素でないと判定された場合には、ステップＳ２１に戻り、同じ解像度画像上の次の画素を注目画素として設定する。一方、ステップＳ２６において、その注目画素が最後の画素であると判定された場合には、その解像度画像に対する局所正規化を終了する。このように、上記ステップＳ２１からＳ２６の処理を繰り返すことにより、解像度画像全体に局所正規化が施された解像度画像が得られる。この一連の処理を各解像度画像に対して行うことにより、局所正規化済みの解像度画像Ｓ１′＿ｉを得る。

なお、上記の所定レベルは、局所領域における全体または一部の輝度に応じて変化させるようにしてもよい。例えば、上記の、注目画素毎に階調変換を行う正規化処理において、閾値Ｃ２を注目画素の画素値に応じて変化させるようにしてもよい。すなわち、上記の所定レベルに対応する閾値Ｃ２を、注目画素の輝度が相対的に高いときにはより高く設定し、その輝度が相対的に低いときにはより低く設定するようにしてもよい。このようにすることで、輝度の低い、いわゆる暗い領域に低いコントラスト（画素値の分散が小さい状態）で存在している顔も正しく正規化することができる。

また、ここでは、解像度画像に対して局所正規化のみを施した場合について説明しているが、局所正規化とは別の正規化を同時に行うようにしてもよい。例えば、輝度の低い、いわゆる暗い領域のコントラストを高くする（画素値の分散を大きくすることに相当する）ように設定されたルックアップテーブル（ＬＵＴ）等を用いて階調変換をしてから、上記局所正規化を行なうようにしてもよい。このようにすることで、上述のような、閾値Ｃ２を注目画素の画素値に応じて変化させるのと同じ効果が得られ、暗い領域に低いコントラストで存在している顔も正しく正規化することができる。

第１の顔検出部３０は、局所正規化部２０により局所正規化処理がなされた各解像度画像Ｓ１′＿ｉに対して比較的粗く高速な顔検出処理を施し、各解像度画像Ｓ１′＿ｉから顔候補Ｓ２を暫定的に抽出するものである。図３は、この第１の顔検出部３０の構成を示すブロック図である。第１の顔検出部３０は、図３に示すように、各解像度画像について、顔画像であるか否かの判別対象となる部分画像（判別対象画像）を切り出すサブウィンドウＷを順次設定する第１のサブウィンドウ設定部３１と、部分画像が主に正面顔の画像であるか否かを判別する第１の正面顔判別器（顔判別手段）３３と、この部分画像が主に左横顔の画像であるか否かを判別する第１の左横顔判別器（顔判別手段）３４と、この部分画像が主に右横顔の画像であるか否かを判別する第１の右横顔判別器（顔判別手段）３５とから構成されており、各判別器３３から３５は、それぞれ、複数の弱判別器ＷＣｉ（ｉ＝１からＮ）が線形に結合してカスケード構造を有している。

第１のサブウィンドウ設定部３１は、すべての解像度画像Ｓ１′＿ｉの各々について、解像度画像をその平面上で３６０度回転させつつ、解像度画像上において３２×３２画素サイズの部分画像を切り出すサブウィンドウＷを、所定画素数分、例えば５画素ずつ移動させながら順次設定し、その切り出された部分画像を第１の正面顔判別器３３、第１の左横顔判別器３４および第１の右横顔判別器３５にそれぞれ出力する。

上記各判別器３３から３５は、それぞれ、順次入力されてくる部分画像に対し、この部分画像が正面顔、左横顔または右横顔を表す顔画像であるか否かの判別を行い、各解像度画像Ｓ１′＿ｉにおいて、平面上のあらゆる回転角度にある正面顔、左横顔、および右横顔を検出し、顔候補Ｓ２を出力する。なお、斜め向きの顔の検出精度を上げるため、右斜め顔、左斜め顔をそれぞれ判別する判別器をさらに設けるようにしてもよいが、ここでは特に設けないものとする。

上記各判別器３３から３５は、部分画像の輝度分布に係る少なくとも１つの特徴量を算出し、この特徴量を用いてこの部分画像が顔画像であるか否かを判別するものであるが、ここで、これら各判別器３３から３５における具体的な処理について説明する。図５は、各判別器における大局的な処理フローを示したものであり、図６は、その中の各弱判別器による処理フローを示したものである。

まず、最初の弱判別器ＷＣ１が、解像度画像Ｓ１′＿ｉ上で切り出された所定サイズの部分画像に対してこの部分画像が顔であるか否かを判別する（ステップＳＳ１）。具体的には、弱判別器ＷＣ１は、図７に示すように、解像度画像Ｓ１′＿ｉ上で切り出された所定サイズの部分画像、すなわち、３２×３２画素サイズの画像に対して、４近傍画素平均（画像を２×２画素サイズ毎に複数のブロックに区分し、各ブロックの４画素における画素値の平均値をそのブロックに対応する１つの画素の画素値とする処理）を行うことにより、１６×１６画素サイズの画像と、８×８画素サイズの縮小した画像を得、これら３つの画像の平面内に設定される所定の２点を１ペアとして、複数種類のペアからなる１つのペア群を構成する各ペアにおける２点間の輝度の差分値をそれぞれ計算し、これらの差分値の組合せを特徴量とする（ステップＳＳ１−１）。各ペアの所定の２点は、例えば、画像上の顔の濃淡の特徴が反映されるよう決められた縦方向に並んだ所定の２点や、横方向に並んだ所定の２点とする。そして、特徴量である差分値の組合せに応じて所定のスコアテーブルを参照してスコアを算出し（ステップＳＳ１−２）、直前の弱判別器が算出したスコアに自己の算出したスコアを加算して累積スコアを算出するが（ステップＳＳ１−３）、最初の弱判別器ＷＣ１では、直前の弱判別器がないので、自己の算出したスコアをそのまま累積スコアとする。この累積スコアが所定の閾値以上であるか否かによって部分画像が顔であるか否かを判別する（ステップＳＳ１−４）。ここで、上記部分画像が顔と判別されたときには、次の弱判別器ＷＣ２による判別に移行し（ステップＳＳ２）、部分画像が非顔と判別されたときには、部分画像は、即、非顔と断定され（ステップＳＳＢ）、処理が終了する。

ステップＳＳ２においても、ステップＳＳ１と同様に、弱判別器ＷＣ２が部分画像に基づいて画像上の特徴を表す上記のような特徴量を算出し（ステップＳＳ２−１）、スコアテーブルを参照して特徴量からスコアを算出する（ステップＳＳ２−２）。そして、自ら算出したスコアを前の弱判別器ＷＣ１が算出した累積スコアに加算して累積スコアを更新し（ステップＳＳ２−３）、この累積スコアが所定の閾値以上であるか否かによって部分画像が顔であるか否かを判別する（ステップＳＳ２−４）。ここでも、部分画像が顔と判別されたときには、次の弱判別器ＷＣ３による判別に移行し（ステップＳＳ３）、部分画像が非顔と判別されたときには、部分画像は、即、非顔と断定され（ステップＳＳＢ）、処理が終了する。このようにして、Ｎ個すべての弱判別器において部分画像が顔であると判別されたときには、その部分画像を最終的に顔候補として抽出する（ステップＳＳＡ）。

判別器３３から３５は、それぞれ、独自の、特徴量の種類、スコアテーブル、および閾値によって定められた複数の弱判別器からなる判別器であり、それぞれの判別すべき顔の向き、すなわち、正面顔、左横顔、右横顔にある顔を判別する。

第２の顔検出部４０は、全解像度画像のうち、顔候補Ｓ２の各々がそれぞれ含まれる所定領域内の各画像に対して比較的精度の高い顔検出処理を施し、顔候補近傍の画像から真の顔Ｓ３を検出するものである。この第２の顔検出部４０は、基本的には、第１の顔検出部３０と同様の構成であり、図４に示すように、第２のサブウィンドウ設定部４１と、第２の正面顔判別器４３と、第２の左横顔検出部４４と、第２の右横顔検出部４５とから構成されており、各判別器４３から４５は、それぞれ、複数の弱判別器ＷＣｉ（ｉ＝１からＮ）が線形に結合してカスケード構造を有する。ただし、これらの判別器は、第１の顔検出部３０における判別器より判別精度の高いものが好ましい。この第２の顔検出部４０においては、判別器における大局的な処理フロー、および弱判別器による処理フローも基本的には第１の顔検出部３０と同様であるが、サブウィンドウＷを設定する位置は、第１の顔検出部３０によって抽出された顔候補Ｓ２を含む所定領域内の画像に限定され、また、サブウィンドウＷの移動幅は、第１の顔検出部３０の場合より細かく、例えば、１画素ずつとなる。これにより、第１の顔検出部３０でラフに抽出された顔候補Ｓ２がさらに絞り込まれ、真の顔Ｓ３だけが出力されることになる。

重複検出判定部５０は、第２の顔検出部４０によって検出された各解像度画像Ｓ１′＿ｉ上の顔Ｓ３の位置情報に基づいて、各解像度画像上で検出された顔のうち重複して検出された同一の顔を１つの顔としてまとめる処理を行い、入力画像Ｓ０において検出された顔Ｓ３′の位置情報を出力する。判別器は、学習方法にもよるが、一般的に部分画像のサイズに対して検出できる顔の大きさにはある程度幅があるので、解像度レベルが隣接する複数の解像度画像において、同一の顔が重複して検出される場合があるからである。

図９は、上記顔検出システムにおける処理の流れを示したフローチャートである。図９に示すように、多重解像度化部１０に入力画像Ｓ０が供給されると（ステップＳ１）、この入力画像Ｓ０の画像サイズが所定のサイズに変換された画像Ｓ１が生成され、画像Ｓ１から２の−１／３乗倍ずつ解像度が縮小された複数の解像度画像Ｓ１＿ｉが生成される（ステップＳ２）。そして、局所正規化部２０において、各解像度画像Ｓ１＿ｉの画像全体に局所的な領域におけるコントラストのばらつきを抑制する局所正規化処理、すなわち、画素値の分散が所定の閾値以上の領域に対してはその分散をある一定レベルに近づける輝度階調変換をし、画素値の分散がその所定の閾値を下回る領域に対してはその分散を上記一定レベルより低いレベルに抑える輝度階調変換をする局所的な正規化が施され、局所正規化済みの解像度画像Ｓ１′＿ｉが得られる（ステップＳ３）。第１の顔検出部３０は、第１のサブウィンドウ設定部３１により、局所正規化済みの各解像度画像Ｓ１′＿ｉにおいて、サブウィンドウＷの設定により所定サイズの部分画像を順次切り出すとともに（ステップＳ４）、正面顔、右横顔および左横顔の判別器３３から３５を用いて、これら部分画像の各々に対して顔判別を行い、各解像度画像Ｓ１′＿ｉについての顔候補Ｓ２をラフに検出する（ステップＳ５）。さらに、第２の顔検出部４０は、ステップＳ５で抽出された顔候補Ｓ２の近傍画像に対して、第１の顔検出部３０と同様に、サブウィンドウＷの設定による部分画像の切り出し（ステップＳ６）、正面顔、右横顔、および左横顔の判別器４３から４５を用いて精査に相当する顔検出を行い、真の顔Ｓ３に絞り込む（ステップＳ７）。そして、各解像度画像Ｓ１′＿ｉにおいて重複して検出された同一の顔を判定（ステップＳ８）し、これらをそれぞれ１つにまとめて最終的に検出された顔Ｓ３′とする。

次に、判別器の学習方法について説明する。図１０は、この判別器の学習方法を示すフローチャートである。なお、学習は、判別器の種類、すなわち、判別すべき顔の向き毎に行われる。

学習の対象となるサンプル画像群は、所定のサイズ、例えば３２×３２画素サイズで規格化された、顔であることが分かっている複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像とからなる。顔であることが分かっているサンプル画像としては、顔の向きが判別器の判別すべき顔の向きと同一であって顔の天地方向が揃ったものを用いる。顔であることが分かっているサンプル画像は、１つのサンプル画像につき、縦および／または横を０．７倍から１．２倍の範囲にて０．１倍単位で段階的に拡縮して得られる各サンプル画像に対し、平面上±１５度の範囲にて３度単位で段階的に回転させて得られる複数の変形バリエーションを用いる。なおこのとき、顔のサンプル画像は、目の位置が所定の位置に来るように顔のサイズと位置を規格化し、上記の平面上の回転、拡縮は目の位置を基準として行うようにする。例えば、ｄ×ｄサイズの正面顔のサンプル画像の場合においては、図１４に示すように、両目の位置が、サンプル画像の最左上の頂点と最右上の頂点から、それぞれ、内側に１／４ｄ、下側に１／４ｄ移動した各位置とに来るように顔のサイズと位置を規格化し、また、上記の平面上の回転、拡縮は、両目の中間点を中心に行うようにする。各サンプル画像には、重みすなわち重要度が割り当てられる。まず、すべてのサンプル画像の重みの初期値が等しく１に設定される（ステップＳ１１）。

次に、サンプル画像およびその縮小画像の平面内に設定される所定の２点を１ペアとして複数のペアからなるペア群を複数種類設定したときの、この複数種類のペア群のそれぞれについて弱半別器が作成される（ステップＳ１２）。ここで、それぞれの弱判別器とは、サブウィンドウＷで切り出された部分画像とその縮小画像の平面内に設定される所定の２点を１ペアとして複数のペアからなる１つのペア群を設定したときの、この１つのペア群を構成する各ペアにおける２点間の画素値（輝度）の差分値の組合せを用いて、顔の画像と顔でない画像とを判別する基準を提供するものである。本実施形態においては、１つのペア群を構成する各ペアにおける２点間の画素値の差分値の組合せについてのヒストグラムを弱判別器のスコアテーブルの基礎として使用する。

図１１を参照しながらある判別器の作成について説明する。図１１の左側のサンプル画像に示すように、この判別器を作成するためのペア群を構成する各ペアの２点は、顔であることが分かっている複数のサンプル画像において、サンプル画像上の右目の中心にある点をＰ１、右側の頬の部分にある点をＰ２、眉間の部分にある点をＰ３、サンプル画像を４近傍画素平均で縮小した１６×１６画素サイズの縮小画像上の右目の中心にある点をＰ４、右側の頬の部分にある点をＰ５、さらに４近傍画素平均で縮小した８×８画素サイズの縮小画像上の額の部分にある点をＰ６、口の部分にある点をＰ７として、Ｐ１−Ｐ２、Ｐ１−Ｐ３、Ｐ４−Ｐ５、Ｐ４−Ｐ６、Ｐ６−Ｐ７の５ペアである。なお、ある判別器を作成するための１つのペア群を構成する各ペアの２点の座標位置はすべてのサンプル画像において同一である。そして顔であることが分かっているすべてのサンプル画像について上記５ペアを構成する各ペアの２点間の画素値の差分値の組合せが求められ、そのヒストグラムが作成される。ここで、画素値の差分値の組合せとしてとり得る値は、画像の輝度階調数に依存するが、仮に１６ビット階調である場合には、１つの画素値の差分値につき６５５３６通りあり、全体では階調数の（ペア数）乗、すなわち６５５３６の５乗通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。このため、本実施形態においては、画素値の差分値を適当な数値幅で区切って量子化し、ｎ値化する（例えばｎ＝１００）。

これにより、画素値の差分値の組合せの数はｎの５乗通りとなるため、画素値の差分値の組合せを表すデータ数を低減できる。

同様に、顔でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。なお、顔でないことが分かっているサンプル画像については、顔であることが分かっているサンプル画像上における上記各ペアの所定の２点の位置に対応する位置（同様に参照符号Ｐ１からＰ７を用いる）が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図１１の一番右側に示す、弱判別器のスコアテーブルの基礎として用いられるヒストグラムである。この弱判別器のヒストグラムが示す各縦軸の値を、以下、判別ポイントと称する。この弱判別器によれば、正の判別ポイントに対応する、画素値の差分値の組合せの分布を示す画像は顔である可能性が高く、判別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の判別ポイントに対応する画素値の差分値の組合せの分布を示す画像は顔でない可能性が高く、やはり判別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳ１２では、判別に使用され得る複数種類のペア群を構成する各ペアの所定の２点間の画素値の差分値の組合せについて、上記のヒストグラム形式の複数の弱判別器が作成される。

続いて、ステップＳ１２で作成した複数の弱半別器のうち、画像が顔であるか否かを判別するのに最も有効な弱判別器が選択される。最も有効な弱判別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各弱判別器の重み付き正答率が比較され、最も高い重み付き正答率を示す弱判別器が選択される（ステップＳ１３）。すなわち、最初のステップＳ１３では、各サンプル画像の重みは等しく１であるので、単純にその弱判別器によって画像が顔であるか否かが正しく判別されるサンプル画像の数が最も多いものが、最も有効な弱判別器として選択される。一方、後述するステップＳ１５において各サンプル画像の重みが更新された後の２回目のステップＳ１３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳ１３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく判別されることに、より重点が置かれる。

次に、それまでに選択した弱判別器の組合せの正答率、すなわち、それまでに選択した弱判別器を組み合わせて使用して（学習段階では、弱判別器は必ずしも線形に結合させる必要はない）各サンプル画像が顔の画像であるか否かを判別した結果が、実際に顔の画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（ステップＳ１４）。ここで、弱判別器の組合せの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した弱判別器を用いれば画像が顔であるか否かを十分に高い確率で判別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した弱判別器と組み合わせて用いるための追加の弱判別器を選択するために、ステップＳ１６へと進む。

ステップＳ１６では、直近のステップＳ１３で選択された弱判別器が再び選択されないようにするため、その弱判別器が除外される。

次に、直近のステップＳ１３で選択された弱判別器では顔であるか否かを正しく判別できなかったサンプル画像の重みが大きくされ、画像が顔であるか否かを正しく判別できたサンプル画像の重みが小さくされる（ステップＳ１５）。このように重みを大小させる理由は、次の弱判別器の選択において、既に選択された弱判別器では正しく判別できなかった画像を重要視し、それらの画像が顔であるか否かを正しく判別できる弱判別器が選択されるようにして、弱判別器の組合せの効果を高めるためである。

続いて、ステップＳ１３へと戻り、上記したように重み付き正答率を基準にして次に有効な弱判別器が選択される。

以上のステップＳ１３からＳ１６を繰り返して、顔であるか否かを判別するのに適した弱判別器として、特定のペア群を構成する各ペアの所定の２点間の画素値の差分値の組合せに対応する弱判別器が選択されたところで、ステップＳ１４で確認される正答率が閾値を超えたとすると、顔であるか否かの判別に用いる弱判別器の種類と判別条件とが確定され（ステップＳ１７）、これにより学習を終了する。なお、選択された弱判別器は、その重み付き正答率が高い順に線形結合され、１つの判別器が構成される。また、各弱判別器については、それぞれ得られたヒストグラムを基に、画素値の差分値の組合せに応じてスコアを算出するためのスコアテーブルが生成される。なお、ヒストグラム自身をスコアテーブルとして用いることもでき、この場合、ヒストグラムの判別ポイントがそのままスコアとなる。

なお、上記の学習手法を採用する場合において、弱判別器は、特定のペア群を構成する各ペアの所定の２点間の画素値の差分値の組合せを用いて顔の画像と顔でない画像とを判別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１１の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。

また、学習の方法としては上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。

ここで、上記の局所正規化部２０による局所正規化処理における局所領域の最適な大きさについて考えてみることにする。

この局所正規化処理は、上述の通り、サブウィンドウＷで切り出された部分画像において局所的なコントラストのばらつきを抑制する処理であり、具体的には、部分画像における各画素を注目画素として順次設定するとともに、その注目画素毎に、この注目画素を中心とする所定の大きさの局所領域における輝度を表す画素値の分散を算出し、この分散が所定の基準値より大きいほど注目画素の画素値とその局所領域における画素値の平均値（他の統計学上の代表値でもよい）との差を小さくし、この分散が上記基準値より小さいほど注目画素の画素値とその局所領域における画素値の平均値との差を大きくする階調変換を行う正規化処理である。

このような局所正規化処理においては、この局所領域のサイズによってコントラストのばらつきをどの程度局所的に抑制するかが決まるわけであるが、一般的には、局所領域のサイズが大きいほど、輝度のばらつきを抑えることができる一方細かいコントラストの変動を抑制し難くなり、局所領域のサイズが小さいほど、細かいコントラストの変動を抑制しやすくなる一方輝度がばらつく傾向にある。また、その局所領域内に顔を構成する複数種類の部位の全部または一部が同時に入り込むような場合、例えば、その局所領域内に目を中心として鼻の一部等が入り込むような場合には、上記画素値の分散がその鼻の部分の画素値やその鼻の部分が局所領域に対して占める割合等に敏感に反応し、その中心に位置する目の部分の画素値が不自然にばらつく場合があるが、このように顔を構成する所定の部位における画素値が不自然にばらつくと、その判別対象画像上の輝度分布に係る特徴量について顔画像らしさが適正に反映されず、判別精度が低下するという問題がある。

したがって、上記の局所正規化処理の特性や問題点を考慮すると、上記局所領域の適切なサイズは、この局所正規化処理が顔判別処理の前処理であることに照らして、抑制可能なコントラストの変動の程度と輝度のばらつく程度とのバランスがよく、かつ、顔を構成する各部位間の距離に鑑みて顔を構成する複数種類の部位が同時に入り込まない程度の大きさということになる。このような要件を満足する局所領域としては、例えば、図１５に示すような、顔の特徴を表す顔の構成部位の中で最も小さい「目」を基準として経験的に他の部位が入り込まない程度の大きさである、判別器が判別すべき顔の目が１つのみ含まれる大きさの領域とすることができる。なお、判別器が判別すべき顔の目の大きさは、その学習に用いた顔を表すサンプル画像における顔の目の大きさが基準となることから、この局所領域は、この領域の長手方向の幅を、判別器の学習に用いた顔を表すサンプル画像における目の長手方向の幅の平均値の１．１から１．８倍の間の長さとする領域とすることもできる。本実施形態における局所正規化部２０による局所正規化処理における局所領域のサイズ、すなわち１１×１１画素サイズは、上記のような観点から設定されたサイズの一例である。

このように、本実施形態による顔判別方法および装置によれば、判別対象画像のコントラストのばらつきを抑えるべく、判別対象画像に対して、当該判別対象画像における各局所領域について画素値の分散の程度が所定レベルに近づくように画素値の階調変換を行う正規化処理を施すものとし、その局所領域を、判別すべき顔の目が１つのみ含まれる大きさの領域と規定しているので、顔であることを特徴付ける目や鼻等の顔の構成部品内でのコントラストの変化を抑えつつ、顔への重畳物、斜光、顔以外の背景による濃淡のばらつき等による影響を受け難い安定した正規化を行うことができる。これにより、判別対象画像上の輝度分布に係る特徴量について顔画像らしさを適正に反映させることができ、判別精度の低下を抑制することが可能となる。

以上、本発明の実施形態に係る顔判別方法および装置について説明したが、上記顔判別装置（局所正規化部と判別器）における各処理をコンピュータに実行させるためのプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。

顔検出システム１の構成を示すブロック図 検出対象画像の多重解像度化の工程を示す図 第１の顔検出部３０の構成を示すブロック図 第２の顔検出部４０の構成を示すブロック図 判別器における大局的な処理フローを示す図 弱判別器における処理フローを示す図 弱判別器における特徴量の算出を説明するための図 複数の解像度画像での解像度画像の回転とサブウィンドウの移動を説明するための図 顔検出システム１において行われる処理を示すフローチャート 判別器の学習方法を示すフローチャート 弱判別器のヒストグラムを導出する方法を示す図 局所正規化処理の概念を示す図 局所正規化部における処理フローを示す図 目の位置が所定の位置にくるように規格化された顔のサンプル画像を示す図 目の大きさを基準にした適切なサイズの局所領域の例を示す図 注目画素を代表とする局所領域の例を示す図 画素値の分布に基づいて設定される、注目画素を代表とする局所領域の例を示す図

符号の説明

１ 顔検出システム
１０ 多重解像度化部
２０ 局所正規化部（正規化手段）
３０ 第１の顔検出部
３１ 第１のサブウィンドウ設定部
３３ 第１の正面顔判別器（顔判別手段）
３４ 第１の左横顔判別器（顔判別手段）
３５ 第１の右横顔判別器（顔判別手段）
４０ 第２の顔検出部
４１ 第２のサブウィンドウ設定部
４３ 第２の正面顔判別器（顔判別手段）
４４ 第２の左横顔判別器（顔判別手段）
４５ 第２の右横顔判別器（顔判別手段）
５０ 重複検出判定部

Claims (5)

1. 入力画像から生成された解像度の異なる複数の解像度画像における各局所領域について輝度を表す画素値の分散の程度を所定レベルに近づける輝度階調変換を行う正規化処理を施すことにより、前記各解像度画像におけるコントラストのばらつきを抑制する正規化ステップと、
   前記正規化処理が施された各解像度画像から、顔画像であるか否かを判別する対象となる判別対象画像を順次切り出し、各判別対象画像の輝度分布に係る少なくとも１つの特徴量を算出し、該特徴量を用いて前記各判別対象画像が顔画像であるか否かを、顔判別手段により判別する顔判別ステップとを有する顔判別方法であって、
   前記顔判別手段が、顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像であって、各学習用顔画像の顔の領域のサイズが当該顔画像における両目の距離に基づき規格化された学習用顔画像を用いて、顔のパターンの特徴を学習してなるものであり、
   前記局所領域が、前記判別対象画像と異なる大きさの領域であり、前記顔判別手段が学習に用いた前記学習用顔画像における目を１つのみ含む大きさの領域であって、且つ、顔を構成する他の部位が同時に入り込まない大きさの領域であることを特徴とする顔判別方法。
2. 入力画像から生成された解像度の異なる複数の解像度画像における各局所領域について輝度を表す画素値の分散の程度を所定レベルに近づける輝度階調変換を行う正規化処理を施すことにより、前記入力画像の各解像度画像におけるコントラストのばらつきを抑制する正規化手段と、
   前記正規化処理が施された各解像度画像から、顔画像であるか否かを判別する対象となる判別対象画像を順次切り出し、各判別対象画像の輝度分布に係る少なくとも１つの特徴量を算出し、該特徴量を用いて前記各判別対象画像が顔画像であるか否かを判別する顔判別手段とを備えた顔判別装置であって、
   前記顔判別手段が、顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像であって、各学習用顔画像の顔の領域のサイズが当該顔画像における両目の距離に基づき規格化された学習用顔画像を用いて、顔のパターンの特徴を学習してなるものであり、
   前記局所領域が、前記判別対象画像と異なる大きさの領域であり、前記顔判別手段が学習に用いた前記学習用顔画像における目を１つのみ含む大きさの領域であって、且つ、顔を構成する他の部位が同時に入り込まない大きさの領域であることを特徴とする顔判別装置。
3. 前記正規化処理が、前記各解像度画像における各画素を注目画素として順次設定するとともに、前記注目画素毎に、該注目画素を代表とする所定の大きさの局所領域における画素値の分散を算出し、該分散が前記所定レベルに対応する基準値より大きいほど、前記注目画素の画素値と該注目画素を代表とする前記局所領域における画素値の統計学上の所定の代表値との差を小さくし、該分散が前記基準値より小さいほど、前記注目画素の画素値と前記所定の代表値との差を大きくする階調変換を行う処理であることを特徴とする請求項２記載の顔判別装置。
4. 前記局所領域が、該領域の長手方向の幅を、前記学習用顔画像における目の長手方向の幅の平均値の１．１から１．８倍の間の長さとする領域であることを特徴とする請求項２または３記載の顔判別装置。
5. コンピュータを、
   入力画像から生成された解像度の異なる複数の解像度画像における各局所領域について輝度を表す画素値の分散の程度を所定レベルに近づける輝度階調変換を行う正規化処理を施すことにより、前記入力画像の各解像度画像におけるコントラストのばらつきを抑制する正規化手段と、
   前記正規化処理が施された入力画像の各解像度画像から、顔画像であるか否かを判別する対象となる判別対象画像を順次切り出し、各判別対象画像の輝度分布に係る少なくとも１つの特徴量を算出し、該特徴量を用いて前記各判別対象画像が顔画像であるか否かを判別する顔判別手段として機能させるためのプログラムであって、
   前記顔判別手段が、顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像であって、各学習用顔画像の顔の領域のサイズが当該顔画像における両目の距離に基づき規格化された学習用顔画像を用いて、顔のパターンの特徴を学習してなるものであり、
   前記局所領域が、前記判別対象画像と異なる大きさの領域であり、前記顔判別手段が学習に用いた前記学習用顔画像における目を１つのみ含む大きさの領域であって、且つ、顔を構成する他の部位が同時に入り込まない大きさの領域であることを特徴とするプログラム。

Images