JP4410732B2 - 顔画像検出装置、顔画像検出方法および顔画像検出プログラム - Google Patents

Description

本発明は、画像中に存在する顔画像を検出する顔画像検出装置、顔画像検出方法および顔画像検出プログラムに関し、特に、顔画像の検出精度を向上させるとともに、検出処理に要する時間を短縮することができる顔画像検出装置、顔画像検出方法および顔画像検出プログラムに関する。

従来、監視カメラシステムなどにおいて、監視カメラが捉えた画像に人物の顔が映っているか否かを自動的に認識させる顔画像検出技術が知られている。このような顔画像検出技術の例として、部分空間法によるものやIntegral Image法によるものなどがある。

部分空間法を用いた顔画像検出技術の例としては、画像中の目や鼻などの顔パーツを部分空間を用いて認識し、さらに各顔パーツの位置の個人差を吸収するよう各顔パーツの認識結果を統合して顔の基準点を算出することにより顔画像検出をおこなうことを可能とした技術がある（特許文献１を参照）。

また、Integral Image法を用いた顔画像検出技術の例としては、画像中に複数の矩形領域を設定し、各矩形領域に含まれるすべての画素の特徴量の合計値を比較することにより顔画像検出をおこなう技術がある（特許文献２および非特許文献１を参照）。

特開２００４−５４４４２号公報 特開２００４−３６２４６８号公報 Paul Viola, Michael Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", In Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Volume 1, pp.511-518, December 2001

しかしながら、上述した従来技術では、顔画像の検出処理に要する時間をさらに短縮しつつ、検出精度を向上させることが難しいという問題があった。

具体的には、部分空間法を用いた顔画像検出技術においては、顔パーツを認識する際に顔パーツごとに処理が複雑な部分空間法を適用する必要があるため、処理時間が長くなってしまう。また、顔パーツの認識結果を単に統合することにより顔の基準点を算定しているため、エッジ部分が多い画像などで顔パーツでないものが顔パーツとして誤認識されると顔の検出精度が低くなってしまう。

また、Integral Image法を用いた顔画像検出技術においては、顔画像の検出処理に要する時間を短縮するため、特徴量の合計値を算出する矩形領域の面積が比較的大きく設定される。ところが、直射日光が顔に当たっている画像などでは矩形領域の面積が大きいと、特徴量の合計値が直射日光の影響により大きく変動し、顔画像検出が正常におこなわれなくなる可能性があった。

そのため、顔の検出精度を向上させるとともに、検出処理に要する時間を短縮することができる技術の開発が依然重要な課題として残っている。

この発明は、上述した従来技術による問題点を解消するためになされたものであり、顔画像の検出精度を向上させるとともに、検出処理に要する時間を短縮することができる顔画像検出装置、顔画像検出方法および顔画像検出プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、画像中に存在する顔画像を検出する顔画像検出装置であって、顔パーツ画像の検出対象とする画素の周辺画素のうち所定の数の画素を抽出する範囲がそれぞれ異なる複数の抽出パターンに係る情報を記憶する抽出パターン記憶手段と、所定の前記抽出パターンによって抽出した画素の特徴量を用いて前記検出対象とする画素ごとに照合値を算出し、該照合値を前記複数の抽出パターンについて加算した加算値に基づいて前記画像から顔パーツ画像を検出する顔パーツ画像検出手段と、前記顔パーツ画像検出手段により検出された顔パーツ画像に基づいて前記画像から前記顔画像を検出する顔画像検出手段とを備えたことを特徴とする。

また、本発明は、顔パーツ画像の検出に用いられる抽出パターンの機械学習を実行する抽出パターン学習手段をさらに備え、前記抽出パターン記憶手段は、前記抽出パターン学習手段により機械学習がなされた抽出パターンに係る情報を記憶することを特徴とする。

また、本発明は、前記顔パーツ画像検出手段は、ある抽出パターンを用いて顔パーツ画像の検出をおこなった場合に、顔パーツ画像が検出されなかった際の検出対象であった画素をつぎの抽出パターンを用いて顔パーツ画像の検出をおこなう際の検出対象とする画素から除外することを特徴とする。

また、本発明は、前記顔パーツ検出手段は、抽出した画素の特徴量を用いて画像が顔パーツ画像であるか否かを判別する判別分析を実行し、当該判別分析の結果に基づいて顔パーツ画像を検出することを特徴とする。

また、本発明は、前記顔パーツ画像検出手段は、画像中に含まれる画像パターンの方向および強度を算出し、算出した画像パターンの方向および強度を画素の特徴量として用いることにより画像中の顔パーツ画像を検出することを特徴とする。

また、本発明は、前記顔画像検出手段は、前記顔パーツ画像検出手段により検出された顔パーツ画像の位置に基づいて画像が顔画像であるか否かを判定し、判定結果に基づいて前記画像から顔画像を検出することを特徴とする。

また、本発明は、前記顔画像検出手段は、顔パーツ検出手段により検出された顔パーツ画像の位置に基づいて顔画像の代表点を算出し、算出した代表点と前記顔パーツ画像検出手段により検出された顔パーツ画像の位置との間の位置関係に基づいて画像が顔画像であるか否かを判定することを特徴とする。

また、本発明は、前記顔画像検出手段は、前記代表点を基準として画像を複数の領域に分割し、前記顔パーツ画像検出手段により顔パーツ画像が検出された場合の顔パーツ画像が位置する領域の情報に基づいて画像が顔画像であるか否かを判定することにより顔画像を検出することを特徴とする。

また、本発明は、前記顔画像検出手段は、顔パーツ画像の検出対象であった画素が位置する領域の情報を用いて画像が顔画像であるか否かを判別する判別分析を実行し、当該判別分析の結果に基づいて顔画像を検出することを特徴とする。

また、本発明は、画像中に存在する顔画像を検出する顔画像検出方法であって、顔パーツ画像の検出対象とする画素の周辺画素のうち所定の数の画素を抽出する範囲がそれぞれ異なる複数の抽出パターンに係る情報を記憶する抽出パターン記憶工程と、所定の前記抽出パターンによって抽出した画素の特徴量を用いて前記検出対象とする画素ごとに照合値を算出し、該照合値を前記複数の抽出パターンについて加算した加算値に基づいて前記画像から顔パーツ画像を検出する顔パーツ画像検出工程と、前記顔パーツ画像検出工程により検出された顔パーツ画像に基づいて前記画像から前記顔画像を検出する顔画像検出工程とを含んだことを特徴とする。

また、本発明は、画像中に存在する顔画像を検出する顔画像検出プログラムであって、顔パーツ画像の検出対象とする画素の周辺画素のうち所定の数の画素を抽出する範囲がそれぞれ異なる複数の抽出パターンに係る情報を記憶する抽出パターン記憶手順と、所定の前記抽出パターンによって抽出した画素の特徴量を用いて前記検出対象とする画素ごとに照合値を算出し、該照合値を前記複数の抽出パターンについて加算した加算値に基づいて前記画像から顔パーツ画像を検出する顔パーツ画像検出手順と、前記顔パーツ画像検出手順により検出された顔パーツ画像に基づいて前記画像から顔画像を検出する顔画像検出手順とをコンピュータに実行させることを特徴とする。

本発明によれば、顔パーツ画像の検出対象とする画素の周辺画素のうち所定の数の画素を抽出する範囲がそれぞれ異なる複数の抽出パターンに係る情報を記憶し、所定の抽出パターンによって抽出した画素の特徴量を用いて検出対象とする画素ごとに照合値を算出し、算出した照合値を複数の抽出パターンについて加算した加算値に基づいて画像から顔パーツ画像を検出し、検出した顔パーツ画像に基づいて画像から顔画像を検出することとしたので、抽出する画素の数を制御することにより顔パーツ画像の検出処理を高速におこなうことができ、それによって顔画像の検出に要する時間を短縮することができるとともに、顔画像を検出する際の基となる顔パーツ画像を複数回検出することにより顔の検出精度を向上させることができるという効果を奏する。

また、本発明によれば、顔パーツ画像の検出に用いられる抽出パターンの機械学習を実行し、機械学習がなされた抽出パターンに係る情報を記憶することとしたので、照明変動を受けにくい部分の画素を抽出する抽出パターンなどを効率的に選択することができるという効果を奏する。

また、本発明によれば、ある抽出パターンを用いて顔パーツ画像の検出をおこなった場合に、顔パーツ画像が検出されなかった際の検出対象であった画素をつぎの抽出パターンを用いて顔パーツ画像の検出をおこなう際の検出対象とする画素から除外することとしたので、顔画像の検出処理に要する時間をさらに短縮することができるという効果を奏する。

また、本発明によれば、抽出した画素の特徴量を用いて画像が顔パーツ画像であるか否かを判別する判別分析を実行し、当該判別分析の結果に基づいて顔パーツ画像を検出することとしたので、画像が顔パーツ画像であるか否かを効率的に判定することができ、顔画像の検出処理に要する時間をさらに短縮することができるという効果を奏する。

また、本発明によれば、画像中に含まれる画像パターンの方向および強度を算出し、算出した画像パターンの方向および強度を画素の特徴量として用いることにより画像中の顔パーツ画像を検出することとしたので、画像パターンの方向および強度を特徴量として用いることによりエッジなどの画像パターンを精度よく検出でき、顔パーツ画像の検出精度を向上させることができるという効果を奏する。

また、本発明によれば、検出した顔パーツ画像の位置に基づいて画像が顔画像であるか否かを判定し、判定結果に基づいて画像から顔画像を検出することとしたので、たとえ顔パーツ画像でないものを顔パーツ画像として誤検出した場合でも、適切にそれを把握することができ、顔画像の検出精度を向上させることができるという効果を奏する。

また、本発明によれば、検出した顔パーツ画像の位置に基づいて顔画像の代表点を算出し、算出した代表点と検出した顔パーツ画像との間の位置関係に基づいて画像が顔画像であるか否かを判定することとしたので、画像中の顔画像を代表する点の位置を適切に検出することができ、顔画像の検出精度を向上させることができるという効果を奏する。

また、本発明によれば、代表点を基準として画像を複数の領域に分割し、顔パーツ画像が検出された場合の顔パーツ画像が位置する領域の情報に基づいて画像が顔画像であるか否かを判定することにより顔画像を検出することとしたので、どの領域に顔パーツ画像があるかを調べることにより、顔パーツでないものを顔パーツとして誤検出した場合でも適切かつ効率的にそれを検出することができ、顔画像の検出精度を向上させることができるという効果を奏する。

また、本発明によれば、顔パーツ画像が位置する領域の情報を用いて画像が顔画像であるか否かを判別する判別分析を実行し、当該判別分析の結果に基づいて顔画像を検出することとしたので、画像が顔画像であるか否かを効率的に判定することができ、顔画像の検出精度を向上させることができるという効果を奏する。

また、本発明によれば、顔パーツ画像の検出対象とする画素の周辺画素のうち所定の数の画素を抽出する範囲がそれぞれ異なる複数の抽出パターンに係る情報を記憶し、所定の抽出パターンによって抽出した画素の特徴量を用いて検出対象とする画素ごとに照合値を算出し、算出した照合値を複数の抽出パターンについて加算した加算値に基づいて画像から顔パーツ画像を検出し、検出した顔パーツ画像に基づいて画像から顔画像を検出することとしたので、抽出する画素の数を制御することにより顔パーツ画像の検出処理を高速におこなうことができ、それによって顔画像の検出に要する時間を短縮することができるとともに、顔画像を検出する際の基となる顔パーツ画像を複数回検出することにより顔の検出精度を向上させることができるという効果を奏する。

また、本発明によれば、顔パーツ画像の検出対象とする画素の周辺画素のうち所定の数の画素を抽出する範囲がそれぞれ異なる複数の抽出パターンに係る情報を記憶し、所定の抽出パターンによって抽出した画素の特徴量を用いて検出対象とする画素ごとに照合値を算出し、算出した照合値を複数の抽出パターンについて加算した加算値に基づいて画像から顔パーツ画像を検出し、検出した顔パーツ画像に基づいて画像から顔画像を検出することとしたので、抽出する画素の数を制御することにより顔パーツ画像の検出処理を高速におこなうことができ、それによって顔画像の検出に要する時間を短縮することができるとともに、顔画像を検出する際の基となる顔パーツ画像を複数回検出することにより顔の検出精度を向上させることができるという効果を奏する。

以下に添付図面を参照して、本発明に係る顔画像検出装置、顔画像検出方法および顔画像検出プログラムの好適な実施例を詳細に説明する。

まず、本発明に係る顔画像検出処理の概念について説明する。図１は、本発明に係る顔画像検出処理の概念について説明する図である。

図１に示すように、この顔画像検出処理においては、まず、顔画像が含まれているか否かを検出する対象となる入力画像１０から、縮小率が異なる複数の縮小画像１１ａ〜１１ｃが生成される。なお、ここでは、縮小画像１１ａ〜１１ｃを生成する場合について説明するが、入力画像１０に含まれる顔画像の大きさが所定の大きさよりも小さいとあらかじめ予測される場合には拡大率が異なる複数の拡大画像が生成される。また、入力画像１０に含まれる顔画像の大きさが予測できない場合には、縮小画像１１ａ〜１１ｃおよび拡大画像が両方とも生成される。これは、以下で説明するテンプレート１２ａ〜１２ｃを画像に適用可能とするためである。そして、各画像に、右目、左目、鼻、口の顔パーツの画像が含まれているか否かが線形判別分析により判定される。

具体的には、画像の各画素の画素値に対してガボールフィルタが適用され、画素ごとにエッジ強度およびエッジ方向が算出される。そして、顔パーツ画像の検出対象となる画素を中心とする四角形のテンプレート１２ａ〜１２ｃが選択され、上記検出対象となる画素、および、その画素の周辺にある所定の数の画素におけるエッジ強度およびエッジ方向の情報が取得される。

ここでは、顔パーツ画像の検出対象となる画素の周辺にある画素として、四角形の四隅の点に対応する画素と、四角形の各辺の中点に対応する画素とが抽出され、検出対象となる画素と併せて合計９つの画素におけるエッジ強度およびエッジ方向の情報が取得される。また、使用されるテンプレート１２ａ〜１２ｃは、照明変動が少ない顔の部分の画素が選択されるように機械学習がなされたものである。

その後、取得された９つの画素におけるエッジ強度およびエッジ方向の情報を用いて、顔パーツ画像の検出対象となる画素に対応する画像部分が顔パーツ画像であるか否かを判別する線形判別分析が実行される。

具体的には、画像が顔パーツ画像か否かを判別する線形判別式にエッジ強度およびエッジ方向の値を入力して判別スコアを算出し、その判別スコアの値に基づいて上記判別がおこなわれる。

このように、９つ分の画素の情報を用いて画像が顔パーツ画像であるか否かを判定するので顔パーツの検出を高速に実行でき、また、９つの画素間でのエッジ画像の変化を捉えることにより顔パーツの検出を適切におこなうことができる。

なお、テンプレート１２ａ〜１２ｃは縦横の長さが異なるものが複数種類用意されており、そのような複数のテンプレート１２ａ〜１２ｃを用いて顔パーツ画像の検出をおこなうことにより顔パーツ画像の検出精度を向上させる。

また、ここでは、テンプレート１２ａ〜１２ｃの形状を四角形にすることとしたが、四角形に限らず楕円形や円形などの形状にすることとしてもよい。ただし、特定の人の目などの顔パーツの形状にテンプレート１２ａ〜１２ｃの形状を依存させると、その他の人の顔パーツの検出精度が悪くなる可能性があるので、テンプレート１２ａ〜１２ｃの形状を顔パーツの形状に依存しない形状とするのが望ましい。

さらに、エッジ強度およびエッジ方向の情報を取得する画素の数は、９つに限定されるものではない。画素の数を増やせば、顔パーツ画像の検出精度が上がり、画素の数を減らせば顔パーツ画像の処理速度が短縮される。したがって、この画素の数を適切に設定することにより、検出精度と処理速度とのバランスを調整することができる。

また、あるテンプレート１２ａ〜１２ｃを用いて顔パーツ画像の検出処理をおこなった際、顔パーツ画像ではないと判定された場合には、顔パーツ画像の検出対象であった画素を他のテンプレート１２ａ〜１２ｃを用いておこなう顔パーツ画像の検出の検出対象となる画素から除外する。これにより、顔パーツ画像の検出処理に要する時間を大幅に縮小することができ、それによって顔画像検出処理の処理時間を短縮することができるようになる。

上記処理により各顔パーツ画像が検出された場合には、検出された各顔パーツ画像の位置に基づいて、顔画像の位置を代表する代表点１３が決定される。具体的には、各テンプレート１２ａ〜１２ｃを用いて顔パーツ画像が検出された検出対象の画素からみて、顔画像の代表点１３が存在する方向、および、距離（画素数）をあらかじめ設定しておく。

そして、その方向および距離の設定情報に基づいて、各顔パーツ画像の位置から顔画像の代表点１３の位置の分布を算出し、その分布のピークを求めることにより顔画像の代表点１３を決定する。

顔の代表点１３が決定されると、その代表点１３を中心として画像を所定の画素数で区切り、９つの分割領域１４に分割する。具体的には、右目、左目、鼻、口の４つの顔パーツ画像がそれぞれ左上、右上、中央、中央下の分割領域１４に含まれるように各分割領域１４の範囲を設定する。

このように各分割領域１４の範囲を設定すると、画像が顔画像である場合には顔パーツ画像が所定の位置に存在し、他の位置には無いはずであるため、それを確認することにより顔パーツ画像でないものが誤って顔パーツ画像として検出された場合に画像が顔画像ではないと判定でき、顔画像検出の精度を向上させることができる。

具体的には、各分割領域１４に位置する右目、左目、鼻、口の４つの顔パーツ画像の判別スコアの合計値を算出し、その合計値から画像が顔か顔以外かを判定するための３６次元（９領域×４顔パーツ）の特徴量を生成する。

そして、生成した特徴量を用いて、画像が顔画像か顔画像以外かを判定する３６次元の線形判別分析をおこなう。具体的には、線形判別式に特徴量を入力して判別スコアを算出し、その判別スコアが所定の閾値よりも大きい場合に画像が顔画像であると判定する。

上述してきたような方法で顔画像検出処理をおこなうことにより、顔画像の検出に要する時間を従来の１０分の１程度に短縮することができ、また、エッジの多い（高周波成分の多い）画像においては顔画像の検出精度を従来の１０倍程度に向上させることができるようになる。

つぎに、本実施例に係る顔画像検出装置の機能構成について説明する。図２は、本実施例に係る顔画像検出装置の機能構成を示す図である。

図２に示すように、この顔画像検出装置は、入力部２０、表示部２１、学習処理部２２、縮小拡大画像生成部２３、ガボール特徴画像生成部２４、テンプレート選択部２５、顔パーツ画像検出部２６、顔画像代表点算出部２７、顔画像検出用特徴量生成部２８、顔画像検出処理部２９、記憶部３０および制御部３１を有する。

入力部２０は、キーボードやマウスなどの入力デバイスである。表示部２１は、ディスプレイなどの表示デバイスである。学習処理部２２は、顔パーツ画像を検出する際に画像に適したテンプレート１２ａ〜１２ｃがどれかを学習する処理部である。具体的には、この学習処理部２２は、ブースティングアルゴリズムを用いて、照明変動が少ない画素などを抽出することができるテンプレート１２ａ〜１２ｃがどれかを学習する。

縮小拡大画像生成部２３は、入力画像１０を受け付けた場合に、その入力画像１０を異なる縮小率で縮小した複数の縮小画像１１ａ〜１１ｃや異なる拡大率で拡大した複数の拡大画像を生成する生成部である。具体的には、縮小拡大画像生成部２３は、線形補間をおこなうことにより複数の縮小画像１１ａ〜１１ｃや拡大画像を生成する。ここで、入力画像１０を縮小するか拡大するかは、使用するテンプレート１２ａ〜１２ｃの大きさと、入力画像１０に含まれる顔画像の予測される大きさとの関係により決定される。たとえば、使用するテンプレート１２ａ〜１２ｃの大きさが縦横２０画素程度であり、予測される顔画像の大きさが縦横２０画素以下である場合には、縮小拡大画像生成部２３は、入力画像１０の拡大画像を生成する。顔画像の大きさが予測できない場合には、縮小拡大画像生成部２３は、縮小画像１１ａ〜１１ｃおよび拡大画像の両方を生成する。

ガボール特徴画像生成部２４は、縮小拡大画像生成部２３により生成された各画像に対してガボールフィルタを適用し、ガボール特徴画像を生成する生成部である。具体的には、ガボール特徴画像生成部２４は、画像から７画素四方の領域を選択し、領域の９０度ごとの４つの方向に対してガボールフィルタを適用することによりガボール特徴画像を生成する。なお、７画素四方という大きさは、顔画像の大きさが２４画素四方のときに画像の右目と左目とが１２画素程度離れていることを仮定して設定されている。

ここで、ガボールフィルタは、

のように表される。また、jは虚数単位であり、θは方向（角度）であり、λは波長であり、σ₁，σ₂はスケールであり、ｋは９０度ごとの４つの方向である。

ガボール特徴画像生成部２４は、ガボールフィルタの実部g_k ^realおよび虚部g_k ^imagの値を算出し、それらの値から画像中の各画素に対して、以下に示す５次元の要素V₁〜V₅からなる特徴量を算出することによりガボール特徴画像を生成する。

ここで、上記特徴量の１次元目の要素V₁は、

のように表される。この１次元目の要素V₁は、画像に含まれるエッジの強度を表す量である。

また、２次元目から５次元目までの要素V₂からV₅は、

のように表される。この２次元目から５次元目までの要素は、画像に含まれるエッジの方向を表す量である。

テンプレート選択部２５は、顔パーツ画像を検出する際に、学習処理部２２により学習された結果を用いて画像に適したテンプレート１２ａ〜１２ｃを複数選択する選択部である。顔パーツ画像検出部２６は、テンプレート選択部２５により選択されたテンプレート１２ａ〜１２ｃを用いて顔パーツ画像を検出する検出部である。

具体的には、顔パーツ画像検出部２６は、最初のテンプレート１２ａ〜１２ｃを用いて画像の画素を９点ずつ選択し、それらの画素に対応するガボール特徴画像のエッジ強度およびエッジ方向の情報に基づいて画像が顔パーツ画像であるか否かを判別する線形判別分析を実行する。

この線形判別分析で用いられる線形判別式は、

のように表される。ここで、a₀，a_iは係数であり、ｗ_iはテンプレート１２ａ〜１２ｃにより選択された９点における５次元の特徴量V₁〜V₅の値が代入される変数であり、iは１から４５（９点×５次元）までの値をとる。

線形判別式の係数a_iは、画像が顔パーツ画像か否かを適切に判別できるようにあらかじめ算出されたものである。この線形判別式に９点における５次元の特徴量V₁〜V₅の値を代入した際のzの値（判別スコア）が大きいほど、画像が顔パーツ画像である確度が高いと判定される。

そして、顔パーツ画像検出部２６は、使用したテンプレート１２ａ〜１２ｃの重みと判別スコアとを乗算した値を顔パーツ画像の検出対象である画素ごとに算出して照合値として設定し、照合値が所定の閾値よりも小さい場合には画像が顔パーツ画像ではないと判定する。

照合値が所定の閾値よりも大きい場合には、顔パーツ画像検出部２６は、つぎのテンプレート１２ａ〜１２ｃを使用して判別スコアを算出し、使用したテンプレート１２ａ〜１２ｃの重みと判別スコアとを乗算した値を上記照合値に加算して新たな照合値として設定する。ここでも、照合値が所定の閾値よりも小さくなった場合には、顔パーツ画像検出部２６は、画像が顔パーツ画像ではないと判定する。

また、顔パーツ画像検出部２６は、画像が顔パーツ画像ではないと判定し、つぎのテンプレート１２ａ〜１２ｃを用いて新たに顔パーツ画像の検出をおこなう場合に、画像が顔パーツ画像ではないと判定した際の顔パーツ画像の検出対象画素をつぎのテンプレート１２ａ〜１２ｃを用いて顔パーツ画像の検出をおこなう際の検出対象画素から除外する。

図３は、顔パーツ画像の検出をおこなう場合の顔パーツ画像の検出対象画素の除外処理について説明する図である。図３には、右目の画像を検出する場合の例が示されているが、他の顔パーツ画像を検出する場合も同様にして検出対象画素の除外処理がおこなわれる。

図３に示すように、顔パーツ画像検出部２６は、はじめのテンプレート１２ａ〜１２ｃを適用する場合には、すべての画素のマスク値を「１」に設定し、すべての画素を右目の画像を検出する際の検出対象画素とする。

そして、顔パーツ画像検出部２６は、はじめのテンプレート１２ａ〜１２ｃを適用して右目の画像の検出をおこなった結果、右目の画像ではないと判定した際の検出対象画素のマスク値を「０」に設定し、つぎのテンプレート１２ａ〜１２ｃを用いて右目の画像の検出をおこなう場合の検出対象画素からその画素を除外する処理をおこなう。

図２の説明に戻ると、顔画像代表点算出部２７は、顔パーツ画像検出部２６により検出された各顔パーツ画像の位置から顔画像の位置を代表する代表点１３の位置を算出する算出部である。

具体的には、顔画像代表点算出部２７は、各テンプレート１２ａ〜１２ｃを用いて各顔パーツ画像を検出した際の検出対象画素からみて、顔画像の代表点１３がどの方向に何画素分の距離にあるかを設定した代表点に係る設定情報を取得する。

そして、顔画像代表点算出部２７は、その代表点に係る情報と各顔パーツ画像の位置の情報とに基づいて、顔画像の代表点１３の位置の分布を算出し、所定のしきい値以上である点を求めることにより顔画像の代表点１３の位置を決定する。

顔画像検出用特徴量生成部２８は、画像から顔画像を線形判別分析により検出する際に用いられる特徴量を生成する生成部である。具体的には、顔画像検出用特徴量生成部２８は、顔画像代表点算出部２７により算出された代表点１３を中心として画像を所定の画素数で区切ることにより画像を９つの分割領域１４に分割する。

そして、顔画像検出用特徴量生成部２８は、各テンプレート１２ａ〜１２ｃを適用することにより得られた顔パーツ画像ごとの照合値の合計値を、顔パーツ画像を検出した検出対象画素が位置する分割領域１４ごとに算出し、その合計値から画像が顔画像か顔画像以外かを判定するための３６次元（９領域×右目、左目、鼻、口の４つの顔パーツ）の特徴量を生成する。

顔画像検出処理部２９は、顔画像検出用特徴量生成部２８により生成された３６次元の特徴量を用いて３６次元の線形判別分析をおこなうことにより画像から顔画像を検出する処理部である。

なお、この線形判別分析により用いられる線形判別式は、式（４）と同様のものである。ただし、この場合、a₀，a_iは画像が顔画像か否かを適切に判別できるようにあらかじめ算出された係数であり、ｗ_iは３６次元の特徴量の各値が代入される変数であり、iは１から３６までの値をとる。

記憶部３０は、ハードディスク装置などの記憶デバイスである。この記憶部３０は、入力画像３０ａ、縮小拡大画像３０ｂ、ガボール特徴画像３０ｃ、テンプレート情報３０ｄ、顔パーツ画像検出用線形判別式３０ｅ、顔パーツ画像判別結果３０ｆ、代表点設定情報３０ｇ、顔画像検出用線形判別式３０ｈ、および、顔画像判別結果３０ｉなどの各データを記憶する。

入力画像３０ａは、顔画像が検出される対象となる画像である。縮小拡大画像３０ｂは、入力画像３０ａから生成された縮小率または拡大率が異なる複数の画像である。この縮小拡大画像３０ｂは、図１などで説明した縮小画像１１ａ〜１１ｃまたは拡大画像に対応する。ガボール特徴画像３０ｃは、縮小拡大画像３０ｂに対してガボールフィルタを適用することにより得られた各画素５次元の特徴情報からなる画像である。

テンプレート情報３０ｄは、顔パーツ画像を検出する際に利用されるテンプレート１２ａ〜１２ｃの情報である。具体的には、テンプレート情報３０ｄは、顔パーツ画像の検出対象画素に対する顔パーツ画像の検出時に抽出される８つの画素の相対位置の情報、および、各テンプレート１２ａ〜１２ｃの重みの情報である。

顔パーツ画像検出用線形判別式３０ｅは、顔パーツ画像を検出する際に用いられる線形判別式の情報である。顔パーツ画像判別結果３０ｆは、顔パーツ画像を検出した際の線形判別分析の結果の情報を記憶したものである。具体的には、顔パーツ画像判別結果３０ｆは、線形判別分析により検出された各顔パーツ画像を検出した検出対象画素の位置情報や使用したテンプレートの情報１２ａ〜１２ｃ、判別スコア、照合値の情報などを記憶したものである。

代表点設定情報３０ｇは、各顔パーツ画像と顔画像の代表点１３との間の位置関係の設定情報を記憶したものである。具体的には、代表点設定情報３０ｇは、顔パーツ画像が検出された際の検出対象の画素からみた場合の代表点１３が存在する方向、および、距離（画素数）を設定した情報を各顔パーツごとに記憶したものである。

顔画像検出用線形判別式３０ｈは、顔画像を検出する際に用いられる線形判別式の情報である。顔画像判別結果３０ｉは、顔画像を検出した際の線形判別分析の結果の情報を記憶したものである。具体的には、顔画像判別結果３０ｉは、顔画像の代表点１３の位置情報や、画像が顔画像であるか否かを線形判別分析により判別した場合の判別スコアの情報などを記憶したものである。

制御部３１は、顔画像検出装置を全体制御する制御部であり、顔画像検出装置の各機能部間におけるデータの授受を司る。

つぎに、本実施例に係る顔画像検出処理の処理手順について説明する。図４は、本実施例に係る顔画像検出処理の処理手順を示すフローチャートである。

図４に示すように、まず、顔画像検出装置の縮小拡大画像生成部２３は、顔画像の検出がおこなわれる画像の入力を受け付け（ステップＳ１０１）、受け付けた画像から縮小率が異なる複数の縮小画像１１ａ〜１１ｃを生成する（ステップＳ１０２）。なお、ここでは、縮小拡大画像生成部２３が縮小画像１１ａ〜１１ｃを生成する場合を例として記載しているが、縮小拡大画像生成部２３が拡大画像を生成する場合、あるいは、縮小画像１１ａ〜１１ｃおよび拡大画像の両方を生成する場合も以下に説明する処理と同様の処理がおこなわれる。

続いて、ガボール特徴画像生成部２４、テンプレート選択部２５、および、顔パーツ画像検出部２６は、縮小率が異なる複数の縮小画像１１ａ〜１１ｃに対して複数のテンプレート１２ａ〜１２ｃを適用し、線形判別分析により照合値を算出して、右目、左目、鼻、口の各顔パーツ画像を検出する処理をおこなう（ステップＳ１０３）。この顔パーツ画像の検出処理については、図５において詳しく説明する。

そして、顔画像代表点算出部２７は、ガボール特徴画像生成部２４、テンプレート選択部２５、および、顔パーツ画像検出部２６により検出された顔パーツ画像の位置から顔画像の代表点１３の位置を算出する（ステップＳ１０４）。

続いて、顔画像検出用特徴量生成部２８は、顔画像代表点算出部２７により算出された代表点１３を中心として画像を所定の画素数で区切ることにより画像を９つの分割領域１４に分割し、顔パーツ画像ごとの照合値の合計値を、顔パーツ画像を検出した検出対象画素が位置する分割領域１４ごとに算出し、その合計値から画像が顔画像か顔画像以外かを判定するための３６次元の特徴量を生成する（ステップＳ１０５）。

その後、顔画像検出処理部２９は、３６次元の特徴量を用いた線形判別分析により画像から顔画像を検出する顔画像検出処理を実行し（ステップＳ１０６）、顔画像の検出結果を出力して（ステップＳ１０７）、この顔画像検出処理を終了する。

つぎに、図４のステップＳ１０３に示した顔パーツ画像の検出処理の処理手順について説明する。図５は、図４のステップＳ１０３に示した顔パーツ画像の検出処理の処理手順を示すフローチャートである。

図５に示すように、まず、ガボール特徴画像生成部２４は、式（２）および式（３）を用いて、各画素が５次元の要素から構成されるガボール特徴画像を生成する（ステップＳ２０１）。そして、顔パーツ画像検出部２６は、はじめに画像を検出する顔パーツを設定する（ステップＳ２０２）。

続いて、顔パーツ画像検出部２６は、すべての画素を顔パーツ画像を検出する検出対象画素とするように、画像のすべての画素のマスク値を「１」に初期化する（ステップＳ２０３）。そして、テンプレート選択部２５は、学習処理部により学習された結果に基づいて、入力画像１０から顔パーツ画像を検出するのに適したテンプレート１２ａ〜１２ｃを選択する（ステップＳ２０４）。

その後、顔パーツ画像検出部２６は、顔パーツ画像を検出する対象画素を１つ選択し（ステップＳ２０５）、選択した画素のマスク値が「１」であるか否かを調べる（ステップＳ２０６）。

マスク値が「１」である場合には（ステップＳ２０６，Ｙｅｓ）、顔パーツ画像検出部２６は、テンプレート１２ａ〜１２ｃにより指定された画素のガボール特徴画像における５次元の特徴量を用いて線形判別分析を実行し（ステップＳ２０７）、判別スコアと各テンプレート１２ａ〜１２ｃの重みとから、画像が顔パーツ画像であるか否かの判定に用いられる照合値を算出する（ステップＳ２０８）。

そして、顔パーツ画像検出部２６は、照合値が所定の閾値以上であるか否かを調べ（ステップＳ２０９）、照合値が所定の閾値以上である場合には（ステップＳ２０９，Ｙｅｓ）、画像が顔パーツ画像であると判定し（ステップＳ２１０）、その顔パーツ画像を検出した検出対象画素の位置、判別スコア、照合値などの情報を記憶する（ステップＳ２１１）。

その後、顔パーツ画像検出部２６は、すべての画素が選択されることにより画像の走査が完了したか否かを調べる（ステップＳ２１４）。ステップＳ２０９において、照合値が所定の閾値以上でなかった場合には（ステップＳ２０９，Ｎｏ）、顔パーツ画像検出部２６は、画像が顔パーツ画像ではないと判定し（ステップＳ２１２）、検出対象画素を顔パーツ画像を検出する対象画素から除外するよう当該画素のマスク値を「０」に設定し（ステップＳ２１３）、そのままステップＳ２１４に移行する。

また、ステップＳ２０６において、選択された画素のマスク値が「１」でなかった場合には（ステップＳ２０６，Ｎｏ）、そのままステップＳ２１４に移行する。ステップＳ２１４において、画像の走査がまだ完了していない場合には（ステップＳ２１４，Ｎｏ）、顔パーツ画像検出部２６は、顔パーツ画像を検出するつぎの検出対象画素を選択し（ステップＳ２１５）、ステップＳ２０６に移行して、それ以後の処理を継続する。

画像の走査が完了した場合には（ステップＳ２１４，Ｙｅｓ）、顔パーツ画像検出部２６は、すべてのテンプレート１２ａ〜１２ｃを使用したか否かを調べる（ステップＳ２１６）。

すべてのテンプレート１２ａ〜１２ｃを使用していない場合には（ステップＳ２１６，Ｎｏ）、テンプレート選択部２５は、つぎのテンプレート１２ａ〜１２ｃを選択し（ステップＳ２１７）、ステップＳ２０５に移行して、それ以後の処理を継続する。

すべてのテンプレート１２ａ〜１２ｃを使用した場合には（ステップＳ２１６，Ｙｅｓ）、顔パーツ画像検出部２６は、すべての顔パーツ画像の検出処理が完了したか否かを調べる（ステップＳ２１８）。

そして、すべての顔パーツ画像の検出処理が完了していない場合には（ステップＳ２１８，Ｎｏ）、顔パーツ画像検出部２６は、つぎに画像を検出する顔パーツの設定をおこない（ステップＳ２１９）、ステップＳ２０３に移行して、それ以後の処理を継続する。すべての顔パーツ画像の検出処理が完了した場合には（ステップＳ２１８，Ｙｅｓ）、この顔パーツ画像の検出処理を終了する。

つぎに、図２に示した顔画像検出装置のハードウェア構成について説明する。図６は、図２に示した画像処理装置のハードウェア構成を示す図である。図６に示すように、この顔画像検出装置は、キーボード１００、ディスプレイ１０１、ＲＯＭ（Read Only Memory）１０２、各種プログラムを記録した記録媒体からプログラムを読み取る媒体読取装置１０３、ネットワークを介して他のコンピュータとの間でデータの授受をおこなうネットワークインターフェース１０４、ＣＰＵ（Central Processing Unit）１０５、ＨＤＤ（Hard Disk Drive）１０６およびＲＡＭ（Random Access Memory）１０８をバス１０９で接続した構成となる。

ＨＤＤ１０６が格納および読み出し制御する記憶媒体であるＨＤ（Hard Disk）１０７には、本実施例で示される顔画像検出方法をコンピュータで実行することにより実現する顔画像検出プログラム１０７ａが記憶され、実行時に顔画像検出プログラム１０７ａがＨＤ１０７から読み出された後、ＣＰＵ１０５によりそれが解析され、顔画像検出プロセス１０５ａの実行がおこなわれる。

この顔画像検出プロセス１０５ａが、図２に示した学習処理部２２、縮小拡大画像生成部２３、ガボール特徴画像生成部２４、テンプレート選択部２５、顔パーツ画像検出部２６、顔画像代表点算出部２７、顔画像検出用特徴量生成部２８、顔画像検出処理部２９の各機能に対応する。

また、ＨＤ１０７には、各種データ１０７ｂが記憶され、顔画像検出プログラム１０７ａの実行時には各種データ１０７ｂがＲＡＭ１０８に記憶され、ＲＡＭ１０８に記憶された各種データ１０８ａがＣＰＵ１０５により参照される。

この各種データ１０７ｂは、図２に示した入力画像３０ａ、縮小拡大画像３０ｂ、ガボール特徴画像３０ｃ、テンプレート情報３０ｄ、顔パーツ画像検出用線形判別式３０ｅ、顔パーツ画像判別結果３０ｆ、代表点設定情報３０ｇ、顔画像検出用線形判別式３０ｈ、および、顔画像判別結果３０ｉなどの各種データに対応する。

上述してきたように、本実施例では、顔画像検出装置の記憶部３０が、顔パーツ画像の検出対象とする画素の周辺画素のうち所定の数の画素を抽出する異なる複数のテンプレート１２ａ〜１２ｃに係る情報を記憶し、顔パーツ画像検出部２６が、記憶部３０に記憶された異なる複数のテンプレート１２ａ〜１２ｃを用いることにより画素を抽出し、抽出した画素の特徴量を用いて画像中の顔パーツ画像を検出し、顔画像検出部２９が、顔パーツ検出部２６により検出された顔パーツ画像に基づいて画像から顔画像を検出することとしたので、抽出する画素の数を制御することにより顔パーツ画像の検出処理を高速におこなうことができ、それによって顔画像の検出に要する時間を短縮することができるとともに、顔画像を検出する際の基となる顔パーツ画像を複数回検出することにより顔の検出精度を向上させることができる。

また、本実施例では、学習処理部２２が、顔パーツ画像の検出に用いられるテンプレート１２ａ〜１２ｃの機械学習を実行し、記憶部３０が、機械学習がなされたテンプレート１２ａ〜１２ｃの情報を記憶することとしたので、照明変動を受けにくい部分の画素を抽出する抽出パターンなどを効率的に選択することができる。

また、本実施例では、顔パーツ画像検出部２６が、あるテンプレート１２ａ〜１２ｃを用いて顔パーツ画像の検出をおこなった場合に、顔パーツ画像が検出されなかった画素をつぎのテンプレート１２ａ〜１２ｃを用いて顔パーツ画像の検出をおこなう場合の検出対象とする画素から除外することとしたので、顔画像の検出処理に要する時間をさらに短縮することができる。

また、本実施例では、顔パーツ画像検出部２６が、テンプレート１２ａ〜１２ｃを用いて抽出した画素の特徴量を用いて画像が顔パーツ画像であるか否かを判別する判別分析を実行し、当該判別分析の結果に基づいて顔パーツ画像を検出することとしたので、画像が顔パーツ画像であるか否かを効率的に判定することができ、顔画像の検出処理に要する時間をさらに短縮することができる。

また、本実施例では、ガボール特徴画像生成部２４が、入力画像１０中に含まれるエッジなどの画像パターンの方向および強度を算出し、顔パーツ画像検出部２６が、ガボール特徴画像生成部２４により算出された画像パターンの方向および強度を画素の特徴量として用いることにより画像中の顔パーツ画像を検出することとしたので、画像パターンの方向および強度を特徴量として用いることによりエッジなどのパターンを精度よく検出でき、顔パーツ画像の検出精度を向上させることができる。

また、本実施例では、顔画像検出部２９が、顔パーツ画像検出部２６により検出された顔パーツ画像の位置に基づいて画像が顔画像であるか否かを判定し、判定結果に基づいて画像から顔画像を検出することとしたので、たとえ顔パーツ画像でないものを顔パーツ画像として誤検出した場合でも、適切にそれを把握することができ、顔画像の検出精度を向上させることができる。

また、本実施例では、顔画像代表点算出部２７が、顔パーツ画像検出部２６により検出された顔パーツ画像に基づいて顔の代表点１３を算出し、顔画像検出部２９が、顔画像代表点算出部２７により算出された代表点１３と、顔パーツ画像検出部２６により検出された顔パーツ画像との間の位置関係に基づいて画像が顔画像であるか否かを判定することとしたので、画像中の顔画像を代表する点の位置を適切に検出することができ、顔画像の検出精度を向上させることができる。

また、本実施例では、顔画像検出用特徴量生成部２８が、代表点１３を基準として画像を複数の分割領域１４に分割し、顔画像検出部２９が、顔パーツ画像が検出された場合の顔パーツ画像が位置する分割領域１４の情報に基づいて画像が顔画像であるか否かを判定することにより顔画像を検出することとしたので、顔パーツ画像の検出対象であった画素がどの分割領域１４にあるかを調べることにより、顔パーツでないものを顔パーツとして誤検出した場合でも適切にそれを検出することができ、顔画像の検出精度を向上させることができる。

また、本実施例では、顔画像検出部２９が、顔パーツ画像が位置する分割領域１４の情報を用いて画像が顔画像であるか否かを判別する判別分析を実行し、当該判別分析の結果に基づいて顔画像を検出することとしたので、画像が顔画像であるか否かを効率的に判定することができ、顔画像の検出精度を向上させることができる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施例にて実施されてもよいものである。

たとえば、上記実施例では、画像を９つの分割領域１４に分割し、顔パーツ画像がどの分割領域１４で検出されたかを調べることにより、画像が顔画像か否かを判定することとしたが、本発明はこれに限定されるものではなく、顔パーツ画像が存在すると予測される位置に顔パーツ画像があるか否かを判定することにより画像が顔画像か否かを判定することとしてもよい。

図７は、顔パーツ画像が存在すると予測される位置に顔パーツ画像があるか否かを判定する判定処理について説明する図である。図７に示すように、この判定処理においては、顔の代表点１３の位置を基準として顔パーツ画像が存在すると予測される分布（図７に示す存在確率分布４０ａ，４０ｂ）をあらかじめ学習しておく。

そして、顔画像検出部２９は、顔パーツ画像の位置がその分布における閾値以上の範囲に含まれる場合に顔パーツが適切な位置にあるものと判定する。顔画像検出部２９は、この判定処理をすべての顔パーツに対しておこない、すべての顔パーツ画像が適切な位置にあると判定された場合に、画像が顔画像であると判定する。

この例では、顔画像検出部２９が、顔パーツ画像と代表点１３との間の位置関係に基づいて画像が顔画像であるか否かを判定することとしたので、顔パーツ画像が代表点１３に対してどのような位置関係にあるかを調べることにより、顔パーツ画像でないものを顔パーツ画像として誤検出した場合でも適切にそれを検出することができ、顔画像の検出精度を向上させることができる。

また、上記実施例では、顔パーツ画像または顔画像を線形判別分析をおこなうことにより検出することとしたが、本発明はこれに限定されるものではなく、顔パーツ画像または顔画像の検出をその他の統計手法を用いて実行することとしてもよい。その他の統計手法としては、たとえば、非線形判別分析やSupport Vector Machine（ＳＶＭ）法、ニューラルネットワーク法、部分空間法などを用いた顔パーツ画像または顔画像の識別手法が挙げられる。

また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した顔画像検出装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、顔画像検出装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

さらに、顔画像検出装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

なお、本実施の形態で説明した顔画像検出方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。

このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

以上のように、本発明に係る顔画像検出装置、顔画像検出方法および顔画像検出プログラムは、顔画像の検出精度を向上させるとともに、顔画像の検出処理に要する時間を短縮することが必要な顔画像検出システムに有用である。

本発明に係る顔画像検出処理の概念について説明する図である。 本実施例に係る顔画像検出装置の機能構成を示す図である。 顔パーツ画像の検出をおこなう場合の顔パーツ画像の検出対象画素の除外処理について説明する図である。 本実施例に係る顔画像検出処理の処理手順を示すフローチャートである。 図４のステップＳ１０３に示した顔パーツ画像の検出処理の処理手順を示すフローチャートである。 図２に示した画像処理装置のハードウェア構成を示す図である。 顔パーツ画像が存在すると予測される位置に顔パーツ画像があるか否かを判定する判定処理について説明する図である。

符号の説明

１０ 入力画像
１１ａ，１１ｂ，１１ｃ 縮小画像
１２ａ，１２ｂ，１２ｃ テンプレート
１３ 代表点
１４ 分割領域
２０ 入力部
２１ 表示部
２２ 学習処理部
２３ 縮小拡大画像生成部
２４ ガボール特徴画像生成部
２５ テンプレート選択部
２６ 顔パーツ画像検出部
２７ 顔画像代表点算出部
２８ 顔画像検出用特徴量生成部
２９ 顔画像検出部
３０ 記憶部
３０ａ 入力画像
３０ｂ 縮小拡大画像
３０ｃ ガボール特徴画像
３０ｄ テンプレート情報
３０ｅ 顔パーツ画像検出用線形判別式
３０ｆ 顔パーツ画像判別結果
３０ｇ 代表点設定情報
３０ｈ 顔画像検出用線形判別式
３０ｉ 顔画像判別結果
３１ 制御部
４０ａ，４０ｂ 存在確率分布
１００ キーボード
１０１ ディスプレイ
１０２ ＲＯＭ
１０３ 媒体読取装置
１０４ ネットワークインターフェース
１０５ ＣＰＵ
１０５ａ 顔画像検出プロセス
１０６ ＨＤＤ
１０７ ＨＤ
１０７ａ 顔画像検出プログラム
１０７ｂ 各種データ
１０８ ＲＡＭ
１０８ａ 各種データ
１０９ バス

Claims (5)

1. 画像中に存在する顔画像を検出する顔画像検出装置であって、
   顔パーツ画像の検出対象とする画素の周辺画素のうち特徴量を抽出する画素の組合せがそれぞれ異なる複数の抽出パターンに係る情報を記憶する抽出パターン記憶手段と、
   所定の前記抽出パターンを前記画像に適用することによって抽出した画素の特徴量を用いて前記検出対象とする画素ごとに照合値を算出し、該照合値を前記複数の抽出パターンについて加算した加算値に基づいて前記画像から顔パーツ画像を検出する処理を、顔パーツごとに行う顔パーツ画像検出手段と、
   各顔パーツ画像と顔画像の代表点との位置関係をあらかじめ定めた設定情報を用い、前記顔パーツ画像検出手段により検出された顔パーツ画像の位置および前記設定情報に基づいて顔画像の代表点を算出し、算出した代表点と前記顔パーツ画像検出手段により検出された顔パーツ画像との間の位置関係に基づき、前記代表点に対して各顔パーツ画像が所定の位置に存在する場合に、前記代表点に関する前記画像が前記顔画像であると判定することで、前記画像から前記顔画像を検出する顔画像検出手段と
   を備えたことを特徴とする顔画像検出装置。
2. 前記顔パーツ画像検出手段は、ある抽出パターンを用いて顔パーツ画像の検出をおこなった場合に、顔パーツ画像が検出されなかった際の検出対象であった画素をつぎの抽出パターンを用いて顔パーツ画像の検出をおこなう際の検出対象とする画素から除外することを特徴とする請求項１に記載の顔画像検出装置。
3. 前記顔画像検出手段は、前記代表点を基準として画像を複数の領域に分割し、前記顔パーツ画像検出手段により顔パーツ画像が検出された場合の顔パーツ画像が位置する領域の情報に基づいて画像が顔画像であるか否かを判定することにより顔画像を検出することを特徴とする請求項１または２に記載の顔画像検出装置。
4. 画像中に存在する顔画像を検出する顔画像検出方法であって、
   顔パーツ画像の検出対象とする画素の周辺画素のうち特徴量を抽出する画素の組合せがそれぞれ異なる複数の抽出パターンに係る情報を記憶する抽出パターン記憶工程と、
   所定の前記抽出パターンを前記画像に適用することによって抽出した画素の特徴量を用いて前記検出対象とする画素ごとに照合値を算出し、該照合値を前記複数の抽出パターンについて加算した加算値に基づいて前記画像から顔パーツ画像を検出する処理を、顔パーツごとに行う顔パーツ画像検出工程と、
   各顔パーツ画像と顔画像の代表点との位置関係をあらかじめ定めた設定情報を用い、前記顔パーツ画像検出工程により検出された顔パーツ画像の位置および前記設定情報に基づいて顔画像の代表点を算出し、算出した代表点と前記顔パーツ画像検出工程により検出された顔パーツ画像との間の位置関係に基づき、前記代表点に対して各顔パーツ画像が所定の位置に存在する場合に、前記代表点に関する前記画像が前記顔画像であると判定することで、前記画像から前記顔画像を検出する顔画像検出工程と
   を含んだことを特徴とする顔画像検出方法。
5. 画像中に存在する顔画像を検出する顔画像検出プログラムであって、
   顔パーツ画像の検出対象とする画素の周辺画素のうち特徴量を抽出する画素の組合せがそれぞれ異なる複数の抽出パターンに係る情報を記憶する抽出パターン記憶手順と、
   所定の前記抽出パターンを前記画像に適用することによって抽出した画素の特徴量を用いて前記検出対象とする画素ごとに照合値を算出し、該照合値を前記複数の抽出パターンについて加算した加算値に基づいて前記画像から顔パーツ画像を検出する処理を、顔パーツごとに行う顔パーツ画像検出手順と、
   各顔パーツ画像と顔画像の代表点との位置関係をあらかじめ定めた設定情報を用い、前記顔パーツ画像検出手順により検出された顔パーツ画像の位置および前記設定情報に基づいて顔画像の代表点を算出し、算出した代表点と前記顔パーツ画像検出手順により検出された顔パーツ画像との間の位置関係に基づき、前記代表点に対して各顔パーツ画像が所定の位置に存在する場合に、前記代表点に関する前記画像が前記顔画像であると判定することで、前記画像から前記顔画像を検出する顔画像検出手順と
   をコンピュータに実行させることを特徴とする顔画像検出プログラム。

Images