JP4628882B2 - 判別器の学習方法、顔判別方法および装置並びにプログラム - Google Patents

Description

本発明は、対象画像中の顔の検出に適した、所定の画像が顔画像か否かを判別する判別器の生成方法と、その判別器を用いた顔判別方法および装置並びにそのためのプログラムに関するものである。

従来、デジタルカメラによって撮影されたスナップ写真における人物の顔領域の色分布を調べてその肌色を補正したり、監視システムのデジタルビデオカメラで撮影されたデジタル映像中の人物を認識したりすることが行われている。このような場合、デジタル画像中の人物の顔に対応する顔領域を検出する必要があるため、これまでに、デジタル画像中の顔を検出する手法が種々提案されている。その中でも特に検出精度、ロバスト性が優れているとされる顔検出の手法として、サンプル画像を用いたマシンラーニングの学習により生成された判別器モジュール（以下、単に判別器という）を用いる手法が知られている（例えば、非特許文献１，特許文献１〜３等参照）。

この手法は、顔の向きおよび天地方向が略揃った複数の異なる顔サンプル画像からなる顔サンプル画像群と、顔でないことが分かっている複数の異なる非顔サンプル画像からなる非顔サンプル画像群とを用いて、顔であることの特徴を学習させ、ある画像が所定の向きおよび天地方向にある顔の画像であるか否かを判別できる判別器を生成して用意しておき、顔の検出対象となる画像（以下、検出対象画像という）において部分画像を順次切り出し、その部分画像が顔であるか否かを上記の判別器を用いて判別することにより、検出対象画像上の顔を検出する手法である。判別器は、その判別精度を一定範囲内に確保するため、学習には顔の向きおよび天地方向が略揃った顔サンプル画像を用いるのが一般的であり、この場合、判別できる顔の向きおよび天地方向はその顔サンプル画像における顔の向きおよび天地方向に強く偏ることとなる。

そこで、検出対象画像上の任意の顔の向きおよび天地方向の顔を検出しようとする場合には、一般的には、所定の顔の向きおよび天地方向の各組合せについてサンプル画像群を用意し、これらサンプル画像群を用いた学習を各組合せ毎に行って、それぞれが各組合せに対応する複数種類の判別器を生成し、これら複数種類の判別器を検出対象画像における順次切り出された部分画像に対して適用する。
「高速全方向顔検出」，Shihong LAO他，画像の認識・理解シンポジウム（MIRU2004），２００４年７月，P.II-271−II-276 特願２００３−３１６９２４号 特願２００３−３１６９２５号 特願２００３−３１６９２６号

しかしながら、上記の手法では、判別すべき顔の向きおよび天地方向の組合せとして必要な所定の組合せ毎にサンプル画像群を用意し、各組合せ毎にそのサンプル画像群を用いて学習を行う必要があるため、サンプル画像群の用意や学習に手間が掛かり、非効率的であるという問題がある。例えば、判別すべき顔の向きを、正面、右横および左横とし、また、判別すべき顔の天地方向を、全方向３６０度を３０度ずつずらして設定される計１２方向とすると、実に３６種類（＝３×１２）もの組合せについて、サンプル画像群の用意と学習が必要になる。

本発明は、上記事情に鑑み、検出対象画像中の顔を判別器を用いて検出する処理において、より効率のよい顔検出を可能とする、判別器の学習方法、顔判別方法および装置並びにそのためのプログラムを提供することを目的とするものである。

本発明の判別器の学習方法は、
判別対象画像が顔画像であるか否かを判別する判別器の学習方法であって、
顔の向きおよび天地方向が略揃った複数の異なる顔サンプル画像からなる顔サンプル画像群を、互いに異なる所定の前記向きおよび天地方向のＮ種類の組合せについて取得する顔サンプル画像群取得ステップと、
前記Ｎ種類の顔サンプル画像群のうちの少なくとも１つの顔サンプル画像群に対して、画像の左右反転処理および／または９０度単位の回転処理を施すことにより、前記向きおよび天地方向が前記Ｎ種類の顔サンプル画像群とは異なる他のＭ種類の顔サンプル画像群を生成して、Ｎ＋Ｍ種類の顔サンプル画像群を得る顔サンプル画像群生成ステップと、
それぞれの判別器に前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応する顔の特徴を学習させて、判別すべき顔の向きおよび天地方向の組合せがそれぞれ前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応するＮ＋Ｍ種類の判別器を得る判別器学習ステップとを有することを特徴とするものである。

ここで、「判別器」とは、対象画像が顔画像であるか否かを判別する手段であり、例えば、ソフトウェア上の判別器モジュールとすることができる。

「顔の向き」とは、顔の水平首振り方向の向きを意味し、「顔の天地方向」とは、頭部の上下軸方向を意味する。

「Ｎ」「Ｍ」は、１以上の正の整数である。

「９０度単位の回転処理」とは、９０度回転、１８０度回転、２７０度回転を含む回転処理を意味する。

「学習」としては、例えば、ＡｄａＢｏｏｓｔ等のいわゆるマシンラーニングによる学習を考えることができる。

本発明の顔判別方法は、
判別対象画像が顔画像であるか否かを判別する顔判別方法であって、
顔の向きおよび天地方向が略揃った複数の異なる顔サンプル画像からなる顔サンプル画像群を、互いに異なる所定の前記向きおよび天地方向のＮ種類の組合せについて取得し、
前記Ｎ種類の顔サンプル画像群のうちの少なくとも１つの顔サンプル画像群に対して、画像の左右反転処理および／または９０度単位の回転処理を施すことにより、前記向きおよび天地方向が前記Ｎ種類の顔サンプル画像群とは異なる他のＭ種類の顔サンプル画像群を生成して、Ｎ＋Ｍ種類の顔サンプル画像群を得、
判別対象画像が顔画像であるか否かを判別する各判別器に前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応する顔の特徴を学習させることにより得られた、判別すべき顔の向きおよび天地方向の組合せがそれぞれ前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応するＮ＋Ｍ種類の判別器を、前記判別対象画像に対して用いることにより、前記Ｎより大きい数の種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別する判別ステップを有することを特徴とするものである（第１の顔判別方法）。

本発明の顔判別装置は、
判別対象画像が顔画像であるか否かを判別する顔判別装置であって、
顔の向きおよび天地方向が略揃った複数の異なる顔サンプル画像からなる顔サンプル画像群を、互いに異なる所定の前記向きおよび天地方向のＮ種類の組合せについて取得し、
前記Ｎ種類の顔サンプル画像群のうちの少なくとも１つの顔サンプル画像群に対して、画像の左右反転処理および／または９０度単位の回転処理を施すことにより、前記向きおよび天地方向が前記Ｎ種類の顔サンプル画像群とは異なる他のＭ種類の顔サンプル画像群を生成して、Ｎ＋Ｍ種類の顔サンプル画像群を得、
判別対象画像が顔画像であるか否かを判別する各判別器に前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応する顔の特徴を学習させることにより得られた、判別すべき顔の向きおよび天地方向の組合せがそれぞれ前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応するＮ＋Ｍ種類の判別器と、
前記Ｎ＋Ｍ種類の判別器を前記判別対象画像に対して用いることにより、前記Ｎ＋Ｍ種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別する判別処理手段とを備えたことを特徴とするものである（第１の顔判別装置）。

本発明の学習プログラムは、
コンピュータに、判別対象画像が顔画像であるか否かを判別する判別器の学習処理を実行させるためのプログラムであって、
顔の向きおよび天地方向が略揃った複数の異なる顔サンプル画像からなる顔サンプル画像群を、互いに異なる所定の前記向きおよび天地方向のＮ種類の組合せについて取得する顔サンプル画像群取得処理と、
前記Ｎ種類の顔サンプル画像群のうち少なくとも１つの顔サンプル画像群に対して、画像の左右反転処理および／または９０度単位の回転処理を施すことにより、前記向きおよび天地方向が前記Ｎ種類の顔サンプル画像群とは異なる他のＭ種類の顔サンプル画像群を生成して、Ｎ＋Ｍ種類の顔サンプル画像群を得る顔サンプル画像群生成処理と、
それぞれの判別器に前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応する顔の特徴を学習させて、判別すべき顔の向きおよび天地方向の組合せがそれぞれ前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応するＮ＋Ｍ種類の判別器を得る判別器学習処理とをコンピュータに実行させることを特徴とするものである。

本発明のプログラムは、
コンピュータに、判別対象画像が顔画像であるか否かを判別する顔判別処理を実行させるためのプログラムであって、
顔の向きおよび天地方向が略揃った複数の異なる顔サンプル画像からなる顔サンプル画像群を、互いに異なる所定の前記向きおよび天地方向のＮ種類の組合せについて取得し、
前記Ｎ種類の顔サンプル画像群のうちの少なくとも１つの顔サンプル画像群に対して、画像の左右反転処理および／または９０度単位の回転処理を施すことにより、前記向きおよび天地方向が前記Ｎ種類の顔サンプル画像群とは異なる他のＭ種類の顔サンプル画像群を生成して、Ｎ＋Ｍ種類の顔サンプル画像群を得、
判別対象画像が顔画像であるか否かを判別する各判別器に前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応する顔の特徴を学習させることにより得られた、判別すべき顔の向きおよび天地方向の組合せがそれぞれ前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応するＮ＋Ｍ種類の判別器を、前記判別対象画像に対して用いることにより、前記Ｎより大きい数の種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別する判別処理をコンピュータに実行させることを特徴とするものである（第１の顔判別器プログラム）。

本発明の顔判別方法は、
判別対象画像が顔画像であるか否かを判別する顔判別方法であって、
前記判別対象画像に対して画像の左右反転処理および／または９０度単位の回転処理を施してなるＪ種類の反転／回転画像を生成する画像生成ステップと、
前記判別対象画像と前記Ｊ種類の反転／回転画像とからなる複数の画像の各々について、判別すべき顔の向きと天地方向の組合せが互いに異なる所定のＫ種類の判別器を用いて、該画像が顔画像であるか否かを判別する判別ステップとを有し、
前記Ｋより大きい数の種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別することを特徴とするものである（第２の顔判別方法）。

ここで、「所定のＫ種類の判別器」とは、判別すべき顔の向きと天地方向の組合せが所定の組合せであるＫ種類の判別器を意味する。

本発明の顔判別装置は、
判別対象画像が顔画像であるか否かを判別する顔判別装置であって、
前記判別対象画像に対して画像の左右反転処理および／または９０度単位の回転処理を施してなるＪ種類の反転／回転画像を生成する画像生成手段と、
前記判別対象画像と前記Ｊ種類の反転／回転画像とからなる複数の画像の各々について、判別すべき顔の向きと天地方向が互いに異なる所定のＫ種類の判別器を用いて、該画像が顔画像であるか否かを判別する判別手段とを備え、
前記Ｋより大きい数の種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別することを特徴とするものである（第２の顔判別装置）。

本発明の第２の顔判別装置において、
前記Ｋ種類の判別器は、判別すべき顔の向きが正面であり該顔の天地方向が前記判別対象画像の天地方向と同一である第１の正面判別器と、判別すべき顔の向きが正面であり該顔の天地方向が前記判別対象画像の天地方向から所定角度回転した方向である第２の正面判別器とからなる２種類の判別器であり、
最小で３種類、最大で１２種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別するものであってもよい。

本発明の第２の顔判別装置において、
前記Ｋ種類の判別器は、判別すべき顔の向きが右横または左横であり該顔の天地方向が前記判別対象画像の天地方向と同一である第１の横顔判別器と、判別すべき顔の向きが右横または左横であり該顔の天地方向が前記判別対象画像の天地方向から該顔が上向く向きに所定角度回転した方向である第２の横顔判別器と、判別すべき顔の向きが右横または左横であり該顔の天地方向が前記判別対象画像の天地方向から該顔が下向く向きに所定角度回転した方向である第３の横顔判別器とからなる３種類の判別器であり、
最小で６種類、最大で２４種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別するものであってもよい。

本発明の第２の顔判別装置において、
前記Ｋ種類の判別器が、判別すべき顔の向きが正面であり該顔の天地方向が前記判別対象画像の天地方向と同一である第１の正面判別器と、判別すべき顔の向きが正面であり該顔の天地方向が前記判別対象画像の天地方向から所定角度回転した方向である第２の正面判別器と、判別すべき顔の向きが右横または左横であり該顔の天地方向が前記判別対象画像の天地方向と同一である第１の横顔判別器と、判別すべき顔の向きが右横または左横であり該顔の天地方向が前記判別対象画像の天地方向から該顔が上向く向きに所定角度回転した方向である第２の横顔判別器と、判別すべき顔の向きが右横または左横であり該顔の天地方向が前記判別対象画像の天地方向から該顔が下向く向きに所定角度回転した方向である第３の横顔判別器とからなる５種類の判別器であり、
最小で９種類、最大で３６種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別するものであってもよい。

ここで、前記所定角度は、３０度であってもよい。

本発明の第２の顔判別装置において、前記Ｋ種類の判別器は、顔の向きおよび天地方向がそれぞれ所定の向きおよび方向に略揃ったＫ種類の顔サンプル画像群の該種類毎の学習により得られたものであってもよい。

この場合、前記顔サンプル画像群は、顔の天地方向が前記所定の方向を基準として正負１５度未満の範囲において散在する複数の顔サンプル画像からなるものであってもよい。

本発明の第２の顔判別装置において、前記判別対象画像は、正方形であることが好ましい。

本発明のプログラムは、
コンピュータに、判別対象画像が顔画像であるか否かを判別する顔判別処理を実行させるためのプログラムであって、
前記判別対象画像に対して左右反転処理および／または９０度単位の回転処理を施してなるＪ種類の反転／回転画像を生成する画像生成処理と、
前記判別対象画像と前記Ｊ種類の反転／回転画像とからなる複数の画像の各々について、判別すべき顔の向きと天地方向の組合せが互いに異なる所定のＫ種類の判別器を用いて、該画像が顔画像であるか否かを判別する判別処理とをコンピュータに実行させることにより、
前記Ｋより大きい数の種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別することを特徴とするものである（第２の顔判別プログラム）。

本発明の顔判別方法は、
判別対象画像上の所定の画素の濃度に係る特徴量に基づいて前記判別対象画像が所定の向きおよび天地方向の顔を表す顔画像であるか否かを判別する判別器を用いて、前記判別対象画像が顔画像であるか否かを判別する顔判別方法であって、
判別すべき顔の向きと天地方向の組合せが互いに異なる所定のＫ種類の前記判別器を用意するステップと、
該判別器毎に、前記特徴量を算出する基礎とすべき画素の前記判別対象画像に対する位置を、予め定められた所定の位置にした場合と、左右反転および／または９０度単位の回転により移動した位置にした各場合とにおいて、前記特徴量をそれぞれ算出して複数の判別を行うステップとを有し、
前記Ｋより大きい数の種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別することを特徴とするものである（第３の顔判別方法）。

本発明の顔判別装置は、
判別対象画像が顔画像であるか否かを判別する顔判別装置であって、
前記判別対象画像上の所定の画素の濃度に係る特徴量に基づいて、前記判別対象画像が所定の向きおよび天地方向の顔を表す顔画像であるか否かを判別する、判別すべき顔の向きと天地方向の組合せが互いに異なる所定のＫ種類の判別器と、
該判別器毎に、前記特徴量を算出する基礎とすべき画素の前記判別対象画像に対する位置を、予め定められた所定の位置にした場合と、左右反転および／または９０度単位の回転により移動した各場合とにおいて、前記特徴量をそれぞれ算出して複数の判別を行う判別処理手段とを備え、
前記Ｋより大きい数の種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別することを特徴とするものである（第３の顔判別装置）。

本発明のプログラムは、
コンピュータを、
前記判別対象画像上の所定の画素の濃度に係る特徴量に基づいて、前記判別対象画像が所定の向きおよび天地方向の顔を表す顔画像であるか否かを判別する、判別すべき顔の向きと天地方向の組合せが互いに異なる所定のＫ種類の判別器と、
該判別器毎に、前記特徴量を算出する基礎とすべき画素の前記判別対象画像に対する位置を、予め定められた所定の位置にした場合と、左右反転および／または９０度単位の回転により移動した各場合とにおいて、前記特徴量をそれぞれ算出して複数の判別を行う判別処理手段として機能させるためのプログラムであり、
前記Ｋより大きい数の種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別することを特徴とするものである（第３の顔判別プログラム）。

本発明の判別器の学習方法およびそのための学習プログラムによれば、顔の向きおよび天地方向の組合せがそれぞれ異なる複数種類の顔サンプル画像群のうちの１種類以上の画像群に対して、反転処理や９０度単位の回転処理を施すことにより、当初用意した顔サンプル画像群とは異なる顔の向きおよび天地方向の組合せについて顔サンプル画像群を新たに生成して顔サンプル画像群の種類を増加させ、これらの顔サンプル画像群を判別器の学習に供するので、少ない種類のサンプル画像群でより多くの種類の判別器の学習を行うことができ、効率的な顔検出を実現できる。

また、本発明の第１の顔判別方法および装置並びにそのための顔判別プログラムによれば、本発明の判別器の学習方法により学習された判別器を用いて判別対象画像が顔画像であるか否かを判別するので、判別器の学習に要する時間を低減することができ、効率的な顔検出を実現できる。

また、本発明の第２の顔判別方法および装置並びにそのための顔判別プログラムによれば、判別対象画像に対して反転処理や９０度単位の回転処理を施すことにより、当初の判別対象画像を反転／回転してさらに別の判別対象画像を生成し、これら判別対象画像に対して所定の種類の判別器を用いて当該画像が所定の顔の向きおよび天地方向にある顔画像であるか否かを判別するので、少ない種類の判別器でより多くの種類の顔について判別を行うことができ、効率的な顔検出を実現できる。

また、本発明の第３の顔判別方法および装置並びにそのための顔判別プログラムによれば、判別対象画像上の所定の画素の濃度に係る特徴量に基づいて、判別対象画像が所定の向きおよび天地方向の顔を表す顔画像であるか否かを判別する判別器を、判別すべき顔の向きと天地方向の組合せが互いに異なる所定の複数種類分用意し、この判別器毎に、特徴量を算出する基礎とすべき画素の位置を、本来の所定の位置とした場合だけでなく、左右反転および／または９０度単位の回転により移動した位置とした各場合についても、特徴量をそれぞれ算出して複数の判別を行うので、少ない種類の判別器でより多くの種類の顔について判別を行うことができることに加え、判別対象画像そのものを反転／回転するといった処理に時間の掛かる工程を必要としないので、効率的で高速な顔検出を実現できる。

以下、本発明の実施形態について説明する。

はじめに、本発明の第１の実施形態について説明する。図１は本発明の第１の顔判別装置が適用された顔検出システムの構成を示す概略ブロック図である。この顔検出システムは、デジタル画像中に含まれる顔を、顔の位置、大きさ、向き、回転方向によらず検出するものである。図１に示すように、顔検出システム１は、顔を検出する対象となる入力画像Ｓ０を多重解像度化して解像度の異なる複数の画像（以下、解像度画像という）からなる解像度画像群Ｓ１（＝Ｓ１＿１，Ｓ１＿２，・・・，Ｓ１＿ｎ）を得る多重解像度化部１０と、後に実行される顔検出処理の精度向上を目的とした前処理として、解像度画像群Ｓ１の各々に対して、画像全体にわたって局所的な領域におけるコントラストのばらつきを抑制する正規化（以下、局所正規化という）を施し、局所正規化済みの解像度画像群Ｓ１′（＝Ｓ１′＿１，Ｓ１′＿２，・・・，Ｓ１′＿ｎ）を得る局所正規化部（正規化手段）２０と、局所正規化済みの解像度画像群Ｓ１′の各々に対して顔検出処理を施すことにより、解像度画像群Ｓ１′の各解像度画像に含まれる顔を表す画像（以下、顔画像という）Ｓ２を検出する顔検出部３０と、各解像度画像上で検出された顔画像Ｓ２の各々について、同一の顔が重複して検出されたものであるか否かをその位置関係から判定して整理し、重複検出のない顔画像Ｓ３を得る重複検出判定部４０とを備える。

多重解像度化部１０は、入力画像Ｓ０の解像度（画像サイズ）を変換することにより、その解像度を所定の解像度、例えば、短辺が４１６画素の矩形サイズの画像に規格化し、規格化済みの入力画像Ｓ０′を得る。そして、この規格化済みの入力画像Ｓ０′を基本としてさらに解像度変換を行うことにより、解像度の異なる複数の解像度画像を生成し、解像度画像群Ｓ１を得る。このような解像度画像群を生成する理由は、通常、入力画像に含まれる顔の大きさは不明であるが、一方、検出しようとする顔の大きさ（画像サイズ）は、後述の判別器の生成方法と関連して一定の大きさに固定されるため、大きさの異なる顔を検出するためには、解像度の異なる画像上で位置をずらしながら所定サイズの部分画像をそれぞれ切り出し、その部分画像が顔か非顔かを判別してゆく必要があるためである。具体的には、図２に示すように、規格化済みの入力画像Ｓ０′を基本となる解像度画像Ｓ１＿１とし、解像度画像Ｓ１＿１に対して２の−１／３乗倍サイズの解像度画像Ｓ１＿２と、解像度画像Ｓ１＿２に対して２の−１／３乗倍サイズ（基本画像Ｓ１＿１に対しては２の−２／３乗倍サイズ）の解像度画像Ｓ１＿３とを先に生成し、その後、解像度画像Ｓ１＿１，Ｓ１＿２，Ｓ１＿３のそれぞれを１／２倍サイズに縮小した解像度画像を生成し、それら縮小した解像度画像をさらに１／２倍サイズに縮小した解像度画像を生成する、といった処理を繰り返し行い、複数の解像度画像を所定の数だけ生成するようにする。このようにすることで、輝度を表す画素値の補間処理を必要としない１／２倍の縮小処理を主な処理とし、基本となる解像度画像から２の−１／３乗倍ずつサイズが縮小された複数の画像が高速に生成できる。例えば、解像度画像Ｓ１＿１が短辺４１６画素の矩形サイズである場合、解像度画像Ｓ１＿２，Ｓ１＿３，・・・は、短辺がそれぞれ、３３０画素，２６２画素，２０８画素，１６５画素，１３１画素，１０４画素，８２画素，６５画素，・・・の矩形サイズとなり、２の−１／３乗倍ずつ縮小された複数の解像度画像を生成することができる。なお、このように画素値を補間しないで生成される画像は、元の画像パターンの特徴をそのまま担持する傾向が強いので、顔検出処理において精度向上が期待できる点で好ましい。

局所正規化部２０は、解像度画像群Ｓ１の各々に対して、解像度画像における各局所領域について、輝度を表す画素値の分散の程度が所定レベル以上である局所領域に対して、この分散の程度を上記の所定レベルより高い一定レベルに近づける第１の輝度階調変換処理を施し、画素値の分散の程度が上記の所定レベル未満である局所領域に対して、この分散の程度を上記の一定レベルより低いレベルに抑える第２の輝度階調変換処理を施すものであるが、ここで、局所正規化部２０における具体的な処理について説明する。

図１２は局所正規化処理の概念を示した図であり、図１３は局所正規化部２０における処理フロー示す図である。また、式（１），（２）は、この局所正規化処理のための画素値の階調変換の式である。

ここで、Ｘは注目画素の画素値、Ｘ′は注目画素の変換後の画素値、ｍlocalは注目画素を中心とする局所領域における画素値の平均、Ｖlocalはこの局所領域における画素値の分散、ＳＤlocalはこの局所領域における画素値の標準偏差、（Ｃ１×Ｃ１）は上記の一定レベルに対応する基準値、Ｃ２は上記の所定レベルに対応する閾値、ＳＤｃは所定の定数である。なお、本実施形態において、輝度の階調数は８ｂｉｔとし、画素値の取り得る値は０から２５５とする。

局所正規化部２０は、図１３に示すように、解像度画像における１つの画素を注目画素として設定し（ステップＳ３１）、この注目画素を中心とする所定の大きさ、例えば１１×１１画素サイズの局所領域における画素値の分散Ｖlocalを算出し（ステップＳ３２）、分散Ｖlocalが上記所定のレベルに対応する閾値Ｃ２以上であるか否かを判定する（ステップＳ３３）。ステップＳ３３において、分散Ｖlocalが閾値Ｃ２以上であると判定された場合には、上記第１の輝度階調変換処理として、分散Ｖlocalが上記一定のレベルに対応する基準値（Ｃ１×Ｃ１）より大きいほど、注目画素の画素値Ｘと平均ｍlocalとの差を小さくし、分散ｍlocalが基準値（Ｃ１×Ｃ１）より小さいほど、注目画素の画素値Ｘと平均ｍlocalとの差を大きくする階調変換を式（１）にしたがって行う（ステップＳ３４）。一方、ステップＳ３３において、分散Ｖlocalが閾値Ｃ２未満であると判定された場合には、上記第２の輝度階調変換処理として、分散Ｖlocalに依らない線形な階調変換を式（２）にしたがって行う（ステップＳ３５）。そして、ステップＳ３１で設定した注目画素が最後の画素であるか否かを判定する（ステップＳ３６）。ステップＳ３６において、その注目画素が最後の画素でないと判定された場合には、ステップＳ３１に戻り、同じ解像度画像上の次の画素を注目画素として設定する。一方、ステップＳ３６において、その注目画素が最後の画素であると判定された場合には、その解像度画像に対する局所正規化を終了する。このように、上記ステップＳ３１からＳ３６の処理を繰り返すことにより、解像度画像全体に局所正規化が施された解像度画像が得られる。この一連の処理を各解像度画像に対して行うことにより、局所正規化済みの解像度画像群Ｓ１′を得る。

なお、上記の所定レベルは、局所領域における全体または一部の輝度に応じて変化させるようにしてもよい。例えば、上記の、注目画素毎に階調変換を行う正規化処理において、閾値Ｃ２を注目画素の画素値に応じて変化させるようにしてもよい。すなわち、上記の所定レベルに対応する閾値Ｃ２を、注目画素の輝度が相対的に高いときにはより高く設定し、その輝度が相対的に低いときにはより低く設定するようにしてもよい。このようにすることで、輝度の低い、いわゆる暗い領域に低いコントラスト（画素値の分散が小さい状態）で存在している顔も正しく正規化することができる。

また、ここでは、解像度画像に対して局所正規化のみを施した場合について説明しているが、局所正規化とは別の正規化を同時に行うようにしてもよい。例えば、輝度の低い、いわゆる暗い領域のコントラストを高くする（画素値の分散を大きくすることに相当する）ように設定されたルックアップテーブル（ＬＵＴ）等を用いて階調変換をしてから、上記局所正規化を行なうようにしてもよい。このようにすることで、上述のような、閾値Ｃ２を注目画素の画素値に応じて変化させるのと同じ効果が得られ、暗い領域に低いコントラストで存在している顔も正しく正規化することができる。

顔検出部３０は、局所正規化部２０により局所正規化処理がなされた解像度画像群Ｓ１′の各々に対して顔検出処理を施し、各解像度画像における顔画像Ｓ２を検出するものである。図３は、この顔検出部３０の構成を示すブロック図である。顔検出部３０は、図３に示すように、後述の各部を制御して顔検出処理におけるシーケンス制御を主に行う検出制御部３１と、解像度画像群Ｓ１′の中から顔検出処理に供する解像度画像をサイズの小さいものから順に順次選択する解像度画像選択部３２と、解像度画像選択部３２により選択された解像度画像において、顔画像であるか否かの判別対象となる部分画像Ｗを切り出すサブウィンドウを、その位置をずらしながら順次設定するサブウィンドウ設定部３３と、その切り出された部分画像Ｗが顔画像であるか否かを判別する第１の判別器群３４および第２の判別器群３５とから構成されている。

検出制御部３１は、解像度画像群Ｓ１′の各画像に対して、顔画像の候補となる顔画像候補をラフに検出し、さらにその顔画像候補の中から真の顔画像Ｓ２を抽出するという段階的な顔検出処理を行うべく、解像度画像選択部３２およびサブウィンドウ設定部３３を制御するものである。例えば、適宜、解像度画像選択部３２に対して解像度画像の選択を指示したり、サブウィンドウ設定部３３に対してサブウィンドウの設定条件を指示したり、また、得られた検出結果を重複検出判定部４０に出力したりする。なお、サブウィンドウ設定条件には、サブウィンドウを設定する画像上の範囲、サブウィンドウの移動間隔（検出の粗さ）の他、判別に用いる判別器群の別（ラフ／高精度の検出モード）等が含まれる。

解像度画像選択部３２は、検出制御部３１の制御により、解像度画像群Ｓ１′の中から顔検出処理に供する解像度画像をサイズの小さい順に（解像度の粗い順に）順次選択するものである。なお、本実施形態における顔検出の手法が、各解像度画像上で順次切り出された同じサイズの部分画像Ｗについてその部分画像Ｗが顔画像であるか否かを判別することにより入力画像Ｓ０における顔を検出する手法であるから、この解像度画像選択部３２は、入力画像Ｓ０における検出すべき顔の大きさを毎回変えながら設定するものであって、検出すべき顔の大きさを大から小へ変えながら設定するものと同等なものということができる。

サブウィンドウ設定部３３は、検出制御部３１により設定されたサブウィンドウ設定条件に基づいて、解像度画像選択部３２により選択された解像度画像上でサブウィンドウを移動させながら順次設定する。例えば、上記のラフな検出を行う場合には、上記の選択された解像度画像において、所定のサイズすなわち３２×３２画素サイズの部分画像Ｗを切り出すサブウィンドウを、所定画素数分、例えば５画素ずつ移動させながら順次設定し、その切り出された部分画像Ｗを第１の判別器群３４へ入力する。判別器群を構成する各判別器は、後述のように、それぞれ所定の向きおよび天地方向にある顔の顔画像を判別するものであるから、このようにすることで、あらゆる向きおよび天地方向にある顔の顔画像を判別することが可能となる。また、上記の顔画像候補の絞込みを行う場合には、その解像度画像のうち顔画像候補を含む所定の大きさの近傍領域内に限定して、またサブウィンドウをより短い間隔で、例えば１画素ずつ移動させながら順次設定し、上記と同様に部分画像Ｗの切り出しを行い、その切り出された部分画像Ｗを第２の判別器群３５へ入力する。

第１の判別器群３４は、部分画像Ｗが顔画像であるか否かを比較的高速に判別する判別器群であり、解像度画像における顔画像の候補をラフに検出するために用いられる。この第１の判別器群３４は、判別可能な顔の向きがそれぞれ異なる複数種類の判別器群、すなわち、主に正面顔を判別する第１の正面顔判別器群３４＿Ｆ、主に左横顔を判別する第１の左横顔判別器群３４＿Ｌおよび主に右横顔を判別する第１の右横顔判別器群３４＿Ｒが並列に接続された構成である。さらに、これら３種の判別器群はそれぞれ、判別可能な顔の天地方向が画像の天地方向を基準として３０度ずつ異なる計１２方向に対応した判別器、すなわち、第１の正面顔判別器群３４＿Ｆは、判別器３４＿Ｆ３０，３４＿Ｆ６０，・・・，３４＿Ｆ３３０、第１の左横顔判別器群３４＿Ｌは、判別器３４＿Ｌ３０，３４＿Ｌ６０，・・・，３４＿Ｌ３３０、第１の右横顔判別器群３４＿Ｒは、判別器３４＿Ｒ３０，３４＿Ｒ６０，・・・，３４＿Ｒ３３０から構成されている。

一方、第２の判別器群３５は、部分画像Ｗが顔画像であるか否かを比較的高精度に判別する判別器群であり、上記のラフな検出によって検出された顔画像候補についてより細かい検出処理を施し、顔画像候補の中から真の顔画像Ｓ２を抽出する（絞り込む）ために用いられる。この第２の判別器群３５は、判別可能な顔の向きがそれぞれ異なる複数種類の判別器群、すなわち、主に正面顔を判別する第２の正面顔判別器群３５＿Ｆ、主に左横顔を判別する第２の左横顔判別器群３５＿Ｌおよび主に右横顔を判別する第２の右横顔判別器群３５＿Ｒが並列に接続された構成である。さらに、これら３種の判別器群は第１の判別器群と同様、それぞれ、判別可能な顔の天地方向が画像の天地方向を基準として３０度ずつ異なる計１２方向に対応した判別器、すなわち、第２の正面顔判別器群３５＿Ｆは、判別器３５＿Ｆ３０，３５＿Ｆ６０，・・・，３５＿Ｆ３３０、第２の左横顔判別器群３５＿Ｌは、判別器３５＿Ｌ３０，３５＿Ｌ６０，・・・，３５＿Ｌ３３０、第２の右横顔判別器群３５＿Ｒは、判別器３５＿Ｒ３０，３５＿Ｒ６０，・・・，３５＿Ｒ３３０から構成されている。

なお、上記の各判別器は、図４に示すように、複数の弱判別器ＷＣが線形に結合したカスケード構造を有しており、弱判別器は、部分画像Ｗの輝度分布に係る少なくとも１つの特徴量を算出し、この特徴量を用いてこの部分画像Ｗが顔画像であるか否かを判別するものである。

また、上記第１および第２の判別器群３４，３５は、いずれも、判別可能な主な顔の向きを正面顔、左横顔および右横顔の３種としているが、斜め向きの顔の検出精度を上げるため、右斜め顔、左斜め顔をそれぞれ判別する判別器をさらに設けるようにしてもよい。

ここで、これら各判別器における具体的な処理について説明する。図５は、各判別器における大局的な処理フローを示したものであり、図６は、その中の各弱判別器による処理フローを示したものである。

まず、１番目の弱判別器ＷＣが、所定の解像度画像Ｓ１′＿ｉ上で切り出された所定サイズの部分画像Ｗに対してこの部分画像Ｗが顔であるか否かを判別する（ステップＳＳ１）。具体的には、１番目の弱判別器ＷＣは、図７に示すように、解像度画像Ｓ１′＿ｉ上で切り出された所定サイズの部分画像Ｗ、すなわち、３２×３２画素サイズの画像に対して、４近傍画素平均（画像を２×２画素サイズ毎に複数のブロックに区分し、各ブロックの４画素における画素値の平均値をそのブロックに対応する１つの画素の画素値とする処理）を行うことにより、１６×１６画素サイズの画像と、８×８画素サイズの縮小した画像を得、これら３つの画像の平面内に設定される所定の２点を１ペアとして、複数種類のペアからなる１つのペア群を構成する各ペアにおける２点間の輝度の差分値をそれぞれ計算し、これらの差分値の組合せを特徴量とする（ステップＳＳ１−１）。各ペアの所定の２点は、例えば、画像上の顔の濃淡の特徴が反映されるよう決められた縦方向に並んだ所定の２点や、横方向に並んだ所定の２点とする。そして、特徴量である差分値の組合せに応じて所定のスコアテーブルを参照してスコアを算出し（ステップＳＳ１−２）、直前の弱判別器が算出したスコアに自己の算出したスコアを加算して累積スコアを算出するが（ステップＳＳ１−３）、最初の弱判別器ＷＣ１では、直前の弱判別器がないので、自己の算出したスコアをそのまま累積スコアとする。この累積スコアが所定の閾値以上であるか否かによって部分画像が顔であるか否かを判別する（ステップＳＳ１−４）。ここで、上記部分画像Ｗが顔と判別されたときには、次の弱判別器ＷＣ２による判別に移行し（ステップＳＳ２）、部分画像Ｗが非顔と判別されたときには、部分画像は、即、非顔と断定され（ステップＳＳＢ）、処理が終了する。

ステップＳＳ２においても、ステップＳＳ１と同様に、２番目の弱判別器ＷＣが部分画像に基づいて画像上の特徴を表す上記のような特徴量を算出し（ステップＳＳ２−１）、スコアテーブルを参照して特徴量からスコアを算出する（ステップＳＳ２−２）。そして、自ら算出したスコアを直前の１番目の弱判別器ＷＣが算出した累積スコアに加算して累積スコアを更新し（ステップＳＳ２−３）、この累積スコアが所定の閾値以上であるか否かによって部分画像Ｗが顔であるか否かを判別する（ステップＳＳ２−４）。ここでも、部分画像Ｗが顔と判別されたときには、次の３番目の弱判別器ＷＣによる判別に移行し（ステップＳＳ３）、部分画像Ｗが非顔と判別されたときには、部分画像Ｗは、即、非顔と断定され（ステップＳＳＢ）、処理が終了する。このようにして、判別器を構成する全Ｎ個の弱判別器ＷＣにおいて部分画像Ｗが顔であると判別されたときには、その部分画像Ｗを最終的に顔画像候補として抽出する（ステップＳＳＡ）。

上記の各判別器は、独自の、特徴量の種類、スコアテーブル、および閾値によって定められた複数の弱判別器ＷＣからなる判別器であり、それぞれ所定の向きおよび天地方向にある顔を判別する。

重複検出判定部４０は、顔検出部３０によって検出された真の顔画像Ｓ２の位置情報に基づいて、解像度画像群Ｓ１′の各解像度画像上で検出された顔画像のうち同一の顔を表す画像、すなわち重複して検出された顔画像をそれぞれ１つの顔画像としてまとめる処理を行い、入力画像Ｓ０において検出された真の顔画像Ｓ３を出力する。判別器は、学習方法にもよるが、一般的に部分画像Ｗのサイズに対して検出できる顔の大きさにはある程度幅があるので、解像度レベルが隣接する複数の解像度画像において、同一の顔を表す画像が重複して検出される場合があるからである。

図９は、上記顔検出システムにおける処理の流れを示したフローチャートである。図９に示すように、多重解像度化部１０に入力画像Ｓ０が供給されると（ステップＳ１）、この入力画像Ｓ０の画像サイズが所定のサイズに変換された画像Ｓ０′が生成され、この画像Ｓ０′から２の−１／３乗倍ずつサイズ（解像度）が縮小された複数の解像度画像からなる解像度画像群Ｓ１が生成される（ステップＳ２）。そして、局所正規化部２０において、解像度画像群Ｓ１の各々に対し、画像全体に局所的な領域におけるコントラストのばらつきを抑制する局所正規化処理、すなわち、画素値の分散が所定の閾値以上の領域に対してはその分散をある一定レベルに近づける輝度階調変換をし、画素値の分散がその所定の閾値を下回る領域に対してはその分散を上記一定レベルより低いレベルに抑える輝度階調変換をする局所的な正規化が施され、局所正規化済みの解像度画像群Ｓ１′が得られる（ステップＳ３）。顔検出部３０においては、検出制御部３１からの指示を受けた解像度画像選択部３２により、解像度画像群Ｓ１′の中から画像サイズの小さい順、すなわち、Ｓ１′＿ｎ，Ｓ１′＿ｎ−１，・・・，Ｓ１′＿１の順に所定の解像度画像Ｓ１′＿ｉを選択する（ステップＳ４）。次に検出制御部３１が、サブウィンドウ設定部３３に対して、検出モードをラフな検出のモードとするサブウィンドウ設定条件を設定する。これにより、サブウィンドウ設定部３３は、解像度画像Ｓ１′＿ｉ上でサブウィンドウを広めのピッチ、例えば５画素間隔で移動しながら設定して所定サイズの部分画像Ｗを順次切り出し（ステップＳ５）、その部分画像Ｗを第１の判別器群３４へ入力する（ステップＳ６）。第１の判別器群３４は、順次入力される部分画像Ｗに対して、上記の３６種類の判別器を用いて判別を行い、検出制御部３１がその判別結果Ｒを取得する（ステップＳ７）。そして、検出制御部３１は、現在切り出された部分画像Ｗが最後の順番に位置する部分画像であるか否かを判定し（ステップＳ８）、部分画像Ｗが最後の部分画像であると判定された場合には、次のステップＳ９へ移行し、部分画像Ｗが最後の部分画像でないと判定された場合には、ステップＳ５に戻って新たな部分画像Ｗが切り出される。このようにして解像度画像Ｓ１′＿ｉについての顔画像候補をラフに検出する。

この顔画像候補のラフな検出が終了すると、検出制御部３１は、顔画像候補が検出されたか否かを判定し、顔画像候補が検出されていると判定された場合には、さらに絞込みモードの検出を行うためステップＳ１０に移行し、一方、顔画像候補が検出されていないと判定された場合には、絞込みモードでの検出を行わずに現在選択されている解像度画像Ｓ１′＿ｉに対する検出は終了し、ステップＳ１４に移行する。

ステップＳ１０では、検出制御部３１が、サブウィンドウ設定部３３に対して、検出対象領域を顔画像候補を含む所定の大きさの領域内に限定し、検出モードを絞込みモードとするサブウィンドウ設定条件を設定する。これにより、サブウィンドウ設定部３３は、顔画像候補近傍で、サブウィンドウを狭いピッチ、例えば１画素ずつ移動しながら設定して所定サイズの部分画像Ｗを順次切り出し（ステップＳ１０）、その部分画像Ｗを第２の判別器群３５へ入力する（ステップＳ１１）。第２の判別器群３５は、順次入力される部分画像Ｗに対して、顔の向きについては正面顔、右横顔および左横顔の３種、天地方向については３０度ずつ異なる１２種、計３６種類の顔について各判別器を用いて判別を行い、検出制御部３１がその判別結果Ｒを取得する（ステップＳ１２）。そして、検出制御部３１は、現在切り出された部分画像Ｗが最後の順番に位置する部分画像であるか否かを判定し（ステップＳ１３）、部分画像Ｗが最後の部分画像であると判定された場合には、次のステップＳ１４へ移行し、部分画像Ｗが最後の部分画像でないと判定された場合には、ステップＳ１０に戻って新たな部分画像Ｗが切り出される。このようにして、検出された顔画像候補の絞込みを行い、解像度画像Ｓ１′＿ｉにおける真の顔画像Ｓ２を抽出する。

顔画像候補の近傍領域における絞込みモードの検出が終了すると、検出制御部３１は、現在選択されている解像度画像Ｓ１′＿ｉが最後の順番に位置する画像であるか否かを判定し（ステップＳ１４）、最後の解像度画像であると判定された場合には、検出処理を終了し、重複検出判定に移行する（ステップＳ１５）。一方、最後の解像度画像ではないと判定された場合には、ステップＳ１０に戻り、解像度画像選択部３２により、現在選択されている解像度画像Ｓ１′＿ｉより１段階サイズが大きい解像度画像Ｓ１′＿ｉ−１が選択され、さらに顔画像の検出が実行される。

このように、ステップＳ４からＳ１４までの処理を繰り返すことにより、各解像度画像における顔画像Ｓ２を検出することができる。図８は、解像度画像がサイズの小さい順に選択されて顔検出が実施される様子を示した図である。

ステップＳ１５では、重複検出判定部４０により、真の顔画像Ｓ２のうち重複して検出された顔画像をそれぞれ１つの顔画像としてまとめる処理を行い、入力画像Ｓ０において検出された真の顔画像Ｓ３を出力する。

次に、判別器の学習方法（生成方法）について説明する。なお、学習は、判別器の種類、すなわち、判別すべき顔の向きおよび天地方向の各組合せ毎に行われる。

学習の対象となるサンプル画像群は、所定のサイズ、例えば３２×３２画素サイズで規格化された、顔であることが分かっている複数のサンプル画像（顔サンプル画像群）と、顔でないことが分かっている複数のサンプル画像（非顔サンプル画像群）とからなる。顔であることが分かっているサンプル画像としては、顔の向きが判別器の判別すべき顔の向きと同一であって顔の天地方向が揃ったものを用いる。顔であることが分かっているサンプル画像は、１つのサンプル画像につき、縦および／または横を０．７倍から１．２倍の範囲にて０．１倍単位で段階的に拡縮して得られる各サンプル画像に対し、平面上±１５度の範囲にて３度単位で段階的に回転させて得られる複数の変形バリエーションを用いる。なおこのとき、顔のサンプル画像は、目の位置が所定の位置に来るように顔のサイズと位置を規格化し、上記の平面上の回転、拡縮は目の位置を基準として行うようにする。例えば、ｄ×ｄサイズの正面顔のサンプル画像の場合においては、図１４に示すように、両目の位置が、サンプル画像の最左上の頂点と最右上の頂点から、それぞれ、内側に１／４ｄ、下側に１／４ｄ移動した各位置とに来るように顔のサイズと位置を規格化し、また、上記の平面上の回転、拡縮は、両目の中間点を中心に行うようにする。

まず、顔の向きおよびその天地方向の組合せがそれぞれ異なる所定の５種類の顔サンプル画像群を用意する。この所定の５種類の顔サンプル画像群は、顔の向きが正面で天地方向が０度の顔サンプル画像群である「正面顔０度」画像群ＰＦ０、顔の向きが正面で天地方向が画像の天地方向から時計回り（以下、これを正の方向とする）に３０度回転した顔サンプル画像群である「正面顔３０度」画像群ＰＦ３０、顔の向きが右横顔（画像上で左向き）で天地方向が０度の顔サンプル画像群である「右横顔０度」画像群ＰＲ０、顔の向きが右横顔で天地方向が３０度回転した顔サンプル画像群である「右横顔３０度」画像群ＰＲ３０、顔の向きが右横顔で天地方向が３３０度回転した顔サンプル画像群である「右横顔３３０度」画像群ＰＲ３３０で構成される。そして、これら５種類の顔サンプル画像群に対して、左右反転処理および９０度単位の回転処理の少なくともいずれかの処理を施すことにより、顔の向きおよびその天地方向の組合せが上記５種類とは異なる他の組合せに対応する顔サンプル画像群を生成する。

図１５は、上記の所定の５種類の顔サンプル画像群と、これら５種類の顔サンプル画像群に対して上記の反転処理や回転処理を施すことによって得られる他の顔サンプル画像群とを表したものである。

「正面顔０度」画像群ＰＦ０からは、この画像群に対して９０度回転処理、１８０度回転処理、２７０度回転処理をそれぞれ施すことにより、「正面顔９０度」画像群ＰＦ９０、「正面顔１８０度」画像群ＰＦ１８０、「正面顔２７０度」画像群ＰＦ２７０が生成される。

「正面顔３０度」画像群ＰＦ３０からは、この画像群に対して左右反転処理を施すことにより「正面顔３３０度」画像群ＰＦ３３０が生成され、さらに「正面顔３０度」画像群ＰＦ３０と「正面顔３３０度」画像群ＰＦ３３０とに対して９０度回転処理、１８０度回転処理、２７０度回転処理をそれぞれ施すことにより、「正面顔１２０度」画像群ＰＦ１２０、「正面顔２１０度」画像群ＰＦ２１０、「正面顔３００度」画像群ＰＦ３００、「正面顔６０度」画像群ＰＦ６０、「正面顔１５０度」画像群ＰＦ１５０、「正面顔２４０度」画像群ＰＦ２４０が生成される。

「右横顔０度」画像群ＰＲ０からは、この画像群に対して左右反転処理を施すことにより「左横顔０度」画像群ＰＬ０が生成され、さらに「右横顔０度」画像群ＰＲ０と「左横顔０度」画像群ＰＬ０とに対して９０度回転処理、１８０度回転処理、２７０度回転処理をそれぞれ施すことにより、「右横顔９０度」画像群ＰＲ９０、「右横顔１８０度」画像群ＰＲ１８０、「右横顔２７０度」画像群ＰＲ２７０、「左横顔９０度」画像群ＰＬ９０、「左横顔１８０度」画像群ＰＬ１８０、「左横顔２７０度」画像群ＰＬ２７０が生成される。

同様に、「右横顔３０度」画像群ＰＲ３０からは、「左横顔３３０度」画像群ＰＬ３３０、「右横顔１２０度」画像群ＰＲ１２０、「右横顔２１０度」画像群ＰＲ２１０、「右横顔３００度」画像群ＰＲ３００、「左横顔６０度」画像群ＰＬ６０、「左横顔１５０度」画像群ＰＬ１５０、「左横顔２４０度」画像群ＰＬ２４０が生成される。

また、「右横顔３３０度」画像群ＰＲ３３０からは、「左横顔３０度」画像群ＰＬ３０、「右横顔６０度」画像群ＰＲ６０、「右横顔１５０度」画像群ＰＲ１５０、「右横顔２４０度」画像群ＰＲ２４０、「左横顔１２０度」画像群ＰＬ１２０、「左横顔２１０度」画像群ＰＬ２１０、「左横顔３００度」画像群ＰＬ３００が生成される。

このようにして、所定の５種類の顔サンプル画像群に対して上記の反転処理や回転処理を施すことにより、これらの顔サンプル画像群から新たに３１種類の顔サンプル画像群が生成され、正面顔、右横顔、左横顔のそれぞれについて顔の天地方向が３０度ずつ異なる１２種類、合計３６種類の顔サンプル画像群が得られる。

なお、画像の左右反転処理や９０度単位の回転処理は、９０度単位でない回転処理等と異なり、画像における画素値の補間演算が不要であるため、高速に、かつ、精度よく画像の変換が可能であるという利点を有する。

顔サンプル画像群が用意できたら、これら３６種類の顔サンプル画像群の各々と非顔サンプル画像群とを用いて各種類毎に判別器の学習を行い、３６種類の判別器を生成する。以下、その具体的な学習手法について説明する。

図１０は、この判別器の学習方法を示すフローチャートである。顔サンプル画像群および非顔サンプル画像群を構成する各サンプル画像には、重みすなわち重要度が割り当てられる。まず、すべてのサンプル画像の重みの初期値が等しく１に設定される（ステップＳ２１）。

次に、サンプル画像およびその縮小画像の平面内に設定される所定の２点を１ペアとして複数のペアからなるペア群を複数種類設定したときの、この複数種類のペア群のそれぞれについて弱半別器が作成される（ステップＳ２２）。ここで、それぞれの弱判別器とは、サブウィンドウＷで切り出された部分画像とその縮小画像の平面内に設定される所定の２点を１ペアとして複数のペアからなる１つのペア群を設定したときの、この１つのペア群を構成する各ペアにおける２点間の画素値（輝度）の差分値の組合せを用いて、顔の画像と顔でない画像とを判別する基準を提供するものである。本実施形態においては、１つのペア群を構成する各ペアにおける２点間の画素値の差分値の組合せについてのヒストグラムを弱判別器のスコアテーブルの基礎として使用する。

図１１を参照しながらある判別器の作成について説明する。図１１の左側のサンプル画像に示すように、この判別器を作成するためのペア群を構成する各ペアの２点は、顔であることが分かっている複数のサンプル画像において、サンプル画像上の右目の中心にある点をＰ１、右側の頬の部分にある点をＰ２、眉間の部分にある点をＰ３、サンプル画像を４近傍画素平均で縮小した１６×１６画素サイズの縮小画像上の右目の中心にある点をＰ４、右側の頬の部分にある点をＰ５、さらに４近傍画素平均で縮小した８×８画素サイズの縮小画像上の額の部分にある点をＰ６、口の部分にある点をＰ７として、Ｐ１−Ｐ２、Ｐ１−Ｐ３、Ｐ４−Ｐ５、Ｐ４−Ｐ６、Ｐ６−Ｐ７の５ペアである。なお、ある判別器を作成するための１つのペア群を構成する各ペアの２点の座標位置はすべてのサンプル画像において同一である。そして顔であることが分かっているすべてのサンプル画像について上記５ペアを構成する各ペアの２点間の画素値の差分値の組合せが求められ、そのヒストグラムが作成される。ここで、画素値の差分値の組合せとしてとり得る値は、画像の輝度階調数に依存するが、仮に１６ビット階調である場合には、１つの画素値の差分値につき６５５３６通りあり、全体では階調数の（ペア数）乗、すなわち６５５３６の５乗通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。このため、本実施形態においては、画素値の差分値を適当な数値幅で区切って量子化し、ｎ値化する（例えばｎ＝１００）。

これにより、画素値の差分値の組合せの数はｎの５乗通りとなるため、画素値の差分値の組合せを表すデータ数を低減できる。

同様に、顔でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。なお、顔でないことが分かっているサンプル画像については、顔であることが分かっているサンプル画像上における上記各ペアの所定の２点の位置に対応する位置（同様に参照符号Ｐ１からＰ７を用いる）が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図１１の一番右側に示す、弱判別器のスコアテーブルの基礎として用いられるヒストグラムである。この弱判別器のヒストグラムが示す各縦軸の値を、以下、判別ポイントと称する。この弱判別器によれば、正の判別ポイントに対応する、画素値の差分値の組合せの分布を示す画像は顔である可能性が高く、判別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の判別ポイントに対応する画素値の差分値の組合せの分布を示す画像は顔でない可能性が高く、やはり判別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳ２２では、判別に使用され得る複数種類のペア群を構成する各ペアの所定の２点間の画素値の差分値の組合せについて、上記のヒストグラム形式の複数の弱判別器が作成される。

続いて、ステップＳ２２で作成した複数の弱半別器のうち、画像が顔であるか否かを判別するのに最も有効な弱判別器が選択される。最も有効な弱判別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各弱判別器の重み付き正答率が比較され、最も高い重み付き正答率を示す弱判別器が選択される（ステップＳ２３）。すなわち、最初のステップＳ２３では、各サンプル画像の重みは等しく１であるので、単純にその弱判別器によって画像が顔であるか否かが正しく判別されるサンプル画像の数が最も多いものが、最も有効な弱判別器として選択される。一方、後述するステップＳ２５において各サンプル画像の重みが更新された後の２回目のステップＳ２３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳ２３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく判別されることに、より重点が置かれる。

次に、それまでに選択した弱判別器の組合せの正答率、すなわち、それまでに選択した弱判別器を組み合わせて使用して（学習段階では、弱判別器は必ずしも線形に結合させる必要はない）各サンプル画像が顔の画像であるか否かを判別した結果が、実際に顔の画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（ステップＳ２４）。ここで、弱判別器の組合せの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した弱判別器を用いれば画像が顔であるか否かを十分に高い確率で判別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した弱判別器と組み合わせて用いるための追加の弱判別器を選択するために、ステップＳ２６へと進む。

ステップＳ２６では、直近のステップＳ１３で選択された弱判別器が再び選択されないようにするため、その弱判別器が除外される。

次に、直近のステップＳ１３で選択された弱判別器では顔であるか否かを正しく判別できなかったサンプル画像の重みが大きくされ、画像が顔であるか否かを正しく判別できたサンプル画像の重みが小さくされる（ステップＳ２５）。このように重みを大小させる理由は、次の弱判別器の選択において、既に選択された弱判別器では正しく判別できなかった画像を重要視し、それらの画像が顔であるか否かを正しく判別できる弱判別器が選択されるようにして、弱判別器の組合せの効果を高めるためである。

続いて、ステップＳ２３へと戻り、上記したように重み付き正答率を基準にして次に有効な弱判別器が選択される。

以上のステップＳ２３からＳ２６を繰り返して、顔であるか否かを判別するのに適した弱判別器として、特定のペア群を構成する各ペアの所定の２点間の画素値の差分値の組合せに対応する弱判別器が選択されたところで、ステップＳ２４で確認される正答率が閾値を超えたとすると、顔であるか否かの判別に用いる弱判別器の種類と判別条件とが確定され（ステップＳ２７）、これにより学習を終了する。なお、選択された弱判別器は、その重み付き正答率が高い順に線形結合され、１つの判別器が構成される。また、各弱判別器については、それぞれ得られたヒストグラムを基に、画素値の差分値の組合せに応じてスコアを算出するためのスコアテーブルが生成される。なお、ヒストグラム自身をスコアテーブルとして用いることもでき、この場合、ヒストグラムの判別ポイントがそのままスコアとなる。

このようにして、各顔サンプル画像群毎に学習を行うことにより、上述の３６種類の判別器が生成される。

なお、上記の学習手法を採用する場合において、弱判別器は、特定のペア群を構成する各ペアの所定の２点間の画素値の差分値の組合せを用いて顔の画像と顔でない画像とを判別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１１の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。

また、学習の方法としては上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。

このように、本発明の判別器の学習方法の実施形態に係る方法によれば、顔の向きおよび天地方向の組合せがそれぞれ異なる複数種類の顔サンプル画像群のうちの１種類以上の画像群に対して、反転処理や９０度単位の回転処理を施すことにより、当初用意した顔サンプル画像群とは異なる顔の向きおよび天地方向の組合せについて顔サンプル画像群を新たに生成して顔サンプル画像群の種類を増加させ、これらの顔サンプル画像を判別器の学習に供するので、少ない種類のサンプル画像群でより多くの種類の判別器の学習を行うことができ、効率的な顔検出を実現できる。

また、本発明の第１の顔判別装置が適用された本発明の第１の実施形態である顔検出システムによれば、本発明の判別器の学習方法により学習された判別器を用いて判別対象画像が顔画像であるか否かを判別するので、判別器の学習に要する時間を低減することができ、効率的な顔検出を実現できる。

次に、本発明の第２の実施形態について説明する。本実施形態は、本発明の第２の顔判別装置が適用された顔検出システムであり、第１の実施形態と同様、デジタル画像中に含まれる顔を、顔の位置、大きさ、向き、回転方向によらず検出するものである。また、その基本的な構成についても、第１の実施形態と同様、図１に示すように、多重解像度化部１０、局所正規化部２０、顔検出部３０、重複検出判定部４０を備える。ただし、顔検出部３０の構成要素である、サブウィンドウ設定部３３、第１の判別器群３４および第２の判別器群３５は、その機能あるいは構成が第１の実施形態とは異なる。

本実施形態において、サブウィンドウ設定部３３は、サブウィンドウで切り出された部分画像Ｗに対して左右反転処理および９０度単位の回転処理のうち少なくともいずれかの処理を施すことにより得られる反転／回転画像、すなわち、部分画像Ｗを９０度回転した画像である「原画９０度」画像Ｗ＿９０、部分画像Ｗを１８０度回転した画像である「原画１８０度」画像Ｗ＿１８０、部分画像Ｗを２７０度回転した画像である「原画２７０度」画像Ｗ＿２７０、部分画像Ｗを左右反転した画像である「反転０度」画像Ｗ＿Ｔ０、「反転０度」画像Ｗ＿Ｔ０を９０度回転した画像である「反転９０度」画像Ｗ＿Ｔ９０、「反転０度」画像Ｗ＿Ｔ０を１８０度回転した画像である「反転１８０度」画像Ｗ＿Ｔ１８０、「反転０度」画像Ｗ＿Ｔ０を２７０度回転した画像である「反転２７０度」画像Ｗ＿Ｔ２７０を新たに生成し、もとの部分画像Ｗを含むこれらの８種類の画像を判別対象画像として得るものである。

また、第１の判別器群３４および第２の判別器群３５は、それぞれ、判別すべき顔の向きおよびその天地方向が異なる所定の５種類の判別器で構成される。すなわち、図１６に示すように、第１の判別器群３４は、「正面顔０度」の判別器３４＿Ｆ０、「正面顔３０度」の判別器３４＿Ｆ３０、「右横顔０度」の判別器３４＿Ｒ０、「右横顔３０度」の判別器３４＿Ｒ３０および「右横顔３３０度」の判別器３４＿Ｒ３３０で構成され、同様に、第２の判別器群３５は、「正面顔０度」の判別器３５＿Ｆ０、「正面顔３０度」の判別器３５＿Ｆ３０、「右横顔０度」の判別器３５＿Ｒ０、「右横顔３０度」の判別器３５＿Ｒ３０および「右横顔３３０度」の判別器３５＿Ｒ３３０で構成される。なお、これらの判別器は、上述の顔サンプル画像群を用いた学習手法により生成される。

図１７は、上記顔検出システムにおける処理の流れを示したフローチャートである。図１７に示すように、多重解像度化部１０に入力画像Ｓ０が供給されると（ステップＳ１）、この入力画像Ｓ０の画像サイズが所定のサイズに変換された画像Ｓ０′が生成され、この画像Ｓ０′から２の−１／３乗倍ずつサイズ（解像度）が縮小された複数の解像度画像からなる解像度画像群Ｓ１が生成される（ステップＳ２）。そして、局所正規化部２０において、解像度画像群Ｓ１の各々に対し、画像全体に局所的な正規化が施され、局所正規化済みの解像度画像群Ｓ１′が得られる（ステップＳ３）。顔検出部３０においては、検出制御部３１からの指示を受けた解像度画像選択部３２により、解像度画像群Ｓ１′の中から画像サイズの小さい順に所定の解像度画像Ｓ１′＿ｉを選択する（ステップＳ４）。次に検出制御部３１が、サブウィンドウ設定部３３に対して、検出モードをラフな検出のモードとするサブウィンドウ設定条件を設定する。これにより、サブウィンドウ設定部３３は、サブウィンドウを広めのピッチで移動しながら設定して所定サイズの部分画像Ｗを順次切り出し、この部分画像Ｗに対して左右反転処理や９０度単位の回転処理を施すことにより部分画像Ｗに基づく上述の８種類の部分画像を得（ステップＳ５）、これら８種類の部分画像を第１の判別器群３４へ入力する（ステップＳ６）。第１の判別器群３４は、順次入力されるこれら８種類の画像の各々に対して、所定の５種類の各判別器、すなわち「正面顔０度」、「正面顔３０度」、「右横顔０度」、「右横顔３０度」および「右横顔３３０度」をそれぞれ判別すべき顔とする判別器３４＿Ｆ０，３４＿Ｆ３０，３４＿Ｒ０，３４＿Ｒ３０，３４＿Ｒ３３０を用いることにより、顔の向きについては正面顔、右横顔および左横顔の３種、天地方向については３０度ずつ異なる１２種、計３６種類の顔について判別を行い、検出制御部３１が、その判別結果Ｒを取得する（ステップＳ７）。図１８は、判別器の種類と判別器に入力される画像の種類との各組合せにおいて判別可能な顔の態様（向きおよび天地方向）を示した図である。なお、判別対象画像が正面顔で顔の天地方向を０度，９０度，１８０度，２７０度のいずれかとする顔の画像であった場合、「正面顔０度」の判別器３４＿Ｆ０にこのような画像を左右反転させて得られた画像を入力しても判別結果は変わらないので、このような無駄な処理を省くため、「正面顔０度」の判別器３４＿Ｆ０には、上述の８種類の画像のうち反転処理が施された４種の画像は入力しない。そして、検出制御部３１は、現在切り出された部分画像Ｗが最後の順番に位置する部分画像であるか否かを判定し（ステップＳ８）、部分画像Ｗが最後の部分画像であると判定された場合には、次のステップＳ９へ移行し、部分画像Ｗが最後の部分画像でないと判定された場合には、ステップＳ５に戻って新たな部分画像Ｗが切り出される。このようにして解像度画像Ｓ１′＿ｉについての顔画像候補をラフに検出する。

この顔画像候補のラフな検出が終了すると、検出制御部３１は、顔画像候補が検出されたか否かを判定し（ステップＳ９）、顔画像候補が検出されていると判定された場合には、さらに絞込みモードの検出を行うためステップＳ１０に移行し、一方、顔画像候補が検出されていないと判定された場合には、絞込みモードでの検出を行わずに現在選択されている解像度画像Ｓ１′＿ｉに対する検出は終了し、ステップＳ１４に移行する。

ステップＳ１０では、検出制御部３１が、サブウィンドウ設定部３３に対して、検出対象領域を顔画像候補を含む所定の大きさの領域内に限定し、検出モードを絞り込みモードとするサブウィンドウ設定条件を設定する。これにより、サブウィンドウ設定部３３は、顔画像候補近傍で、サブウィンドウを狭いピッチで移動しながら設定して所定サイズの部分画像Ｗを順次切り出し、その部分画像Ｗに対して左右反転処理や９０度単位の回転処理を施すことにより部分画像Ｗに基づく上述の８種類の画像を得（ステップＳ１０）、これらの画像を第２の判別器群３５へ入力する（ステップＳ１１）。第２の判別器群３５は、順次入力されるこれら８種類の画像の各々に対して、所定の５種類の各判別器、すなわち「正面顔０度」、「正面顔３０度」、「右横顔０度」、「右横顔３０度」および「右横顔３３０度」をそれぞれ判別すべき顔とする判別器３５＿Ｆ０，３５＿Ｆ３０，３５＿Ｒ０，３５＿Ｒ３０，３５＿Ｒ３３０を用いることにより、顔の向きについては正面顔、右横顔および左横顔の３種、天地方向については３０度ずつ異なる１２種、計３６種類の顔について判別を行い、検出制御部３１は、その判別結果Ｒを取得する（ステップＳ１２）。なおここでも先と同様の理由により、「正面顔０度」の判別器３５＿Ｆ０には、上述の８種類の画像のうち反転処理が施された４種の画像を入力しない。そして、検出制御部３１は、現在切り出された部分画像Ｗが最後の順番に位置する部分画像であるか否かを判定し（ステップＳ１３）、部分画像Ｗが最後の部分画像であると判定された場合には、次のステップＳ１４へ移行し、部分画像Ｗが最後の部分画像でないと判定された場合には、ステップＳ１０に戻って新たな部分画像Ｗが切り出される。このようにして、検出された顔画像候補の絞込みを行い、解像度画像Ｓ１′＿ｉにおける真の顔画像Ｓ２を抽出する。

顔画像候補の近傍領域における絞込みモードの検出が終了すると、検出制御部３１は、現在選択されている解像度画像Ｓ１′＿ｉが最後の順番に位置する画像であるか否かを判定し（ステップＳ１４）、最後の解像度画像であると判定された場合には、検出処理を終了し、重複検出判定に移行する（ステップＳ１５）。一方、最後の解像度画像ではないと判定された場合には、ステップＳ１０に戻り、解像度画像選択部３２により、現在選択されている解像度画像Ｓ１′＿ｉより１段階サイズが大きい解像度画像Ｓ１′＿ｉ−１が選択され、さらに顔画像の検出が実行される。

このように、ステップＳ４からＳ１４までの処理を繰り返すことにより、各解像度画像における顔画像Ｓ２を検出することができる。

ステップＳ１５では、重複検出判定部４０により、真の顔画像Ｓ２のうち重複して検出された顔画像をそれぞれ１つの顔画像としてまとめる処理を行い、入力画像Ｓ０において検出された真の顔画像Ｓ３を出力する。

このように、本発明の第２の顔判別装置が適用された本発明の第２の実施形態である顔検出システムによれば、判別対象画像に対して反転処理や９０度単位の回転処理を施すことにより、当初の判別対象画像を反転／回転した判別対象画像を生成し、これら判別対象画像に対して所定の種類の判別器を用いて当該画像が所定の顔の向きおよび天地方向にある顔画像であるか否かを判別するので、少ない種類の判別器でより多くの種類の顔について判別を行うことができ、効率的な顔検出を実現できる。

なお、上記の第１の実施形態による顔検出システムと第２の実施形態による顔検出システムは、上述の効果のほか、それぞれ、下記のような効果を有する。

第１の実施形態の顔検出システムによれば、判別対象として解像度画像上で切り出された部分画像のみを、反転処理や回転処理等の加工をせずそのまま判別器群に入力することで、３６種類の顔の形態の判別を行うことができるので、反転処理や回転処理等に要する演算の量が少なくてすむという効果がある。

一方、第２の実施形態の顔検出システムによれば、３６種類の顔の形態の判別をわずか５種類の判別器で行うことができるので、顔検出システム上のこれら判別器の記憶に必要なメモリが少なくてすむという効果がある。

そこで、これらの効果をうまく引き出せるように、用途に応じて上記２つの態様を切り替えて実施するようにしてもよい。

次に、本発明の第３の実施形態について説明する。本実施形態は、本発明の第３の顔判別装置が適用された顔検出システムである。本顔検出システムは、第１および第２の実施形態と同様、図１に示すように、多重解像度化部１０、局所正規化部２０、顔検出部３０、重複検出判定部４０を備えるが、顔検出部３０は、図１９に示すように、その構成要素であるサブウィンドウ設定部３３と第１および第２の判別器群３４，３５の機能が第１および第２の実施形態とは異なる。

本実施形態において、第１および第２の判別器群３４，３５は、それぞれ、第２の実施形態と同様に、判別すべき顔の向きと天地方向の組合せが異なる所定の５種類の判別器、すなわち、図１６に示すように、第１の判別器群３４は、「正面顔０度」の判別器３４＿Ｆ０、「正面顔３０度」の判別器３４＿Ｆ３０、「右横顔０度」の判別器３４＿Ｒ０、「右横顔３０度」の判別器３４＿Ｒ３０および「右横顔３３０度」の判別器３４＿Ｒ３３０で構成され、同様に、第２の判別器群３５は、「正面顔０度」の判別器３５＿Ｆ０、「正面顔３０度」の判別器３５＿Ｆ３０、「右横顔０度」の判別器３５＿Ｒ０、「右横顔３０度」の判別器３５＿Ｒ３０および「右横顔３３０度」の判別器３５＿Ｒ３３０で構成されるものである。また、各判別器は、判別対象画像である部分画像Ｗ上の所定の画素の濃度に係る特徴量、例えば図７に示すような、所定の位置にある複数画素間の濃度差を特徴量として算出し、この特徴量に基づいて部分画像Ｗが所定の向きと天地方向の顔を表す顔画像であるか否かを判別するものであるが、特徴量を算出する基礎とすべき画素の部分画像Ｗに対する位置（座標）を、サブウィンドウ設定部３３から入力される後述の変更パターン情報Ｃに基づいて変更し、変更後の位置にある画素の濃度から特徴量を算出して、部分画像Ｗが顔画像であるか否かを判別するものである。

サブウィンドウ設定部３３は、第１および第２の実施形態と同様に、サブウィンドウで切り出された部分画像Ｗを、顔画像候補を検出するためのラフな検出時には第１の判別器群３４に、顔画像候補を絞り込むための高精度な検出時には第２の判別器群３５に入力するものであるが、このとき、サブウィンドウ設定部３３は、判別器群に対し、特徴量を算出する基礎とすべき画素の位置を本来の所定の位置からどの位置に変更すべきかを示す所定の変更パターンを表す情報を入力する。すなわち、サブウィンドウ設定部３３は、判別器群に対し、特徴量を算出するための部分画像Ｗ上の画素の位置の変更パターンとして、図２０に示すような、左右反転および／または９０度単位の回転の組合せによる移動を表す計８種類の変更パターン情報Ｃのうちの全部または一部を入力するものである。図２０中のＰ１〜Ｐ３はそれぞれ特徴量を算出する基礎とすべき画素を示しており、各変更パターン間において互いに対応する画素を同一符号で示している。

なお、判別器群を構成する各判別器が、上記８種類の各パターンにより特徴量を算出する基礎とすべき画素の位置が変更された場合について特徴量を算出し、それらの特徴量に基づいて個々に判別することは、第２の実施形態において、部分画像Ｗに対して左右反転処理および／または９０度単位の回転処理を施して得られる計８種類の反転／回転画像、すなわち、部分画像Ｗを９０度回転した画像である「原画９０度」画像Ｗ＿９０、部分画像Ｗを１８０度回転した画像である「原画１８０度」画像Ｗ＿１８０、部分画像Ｗを２７０度回転した画像である「原画２７０度」画像Ｗ＿２７０、部分画像Ｗを左右反転した画像である「反転０度」画像Ｗ＿Ｔ０、「反転０度」画像Ｗ＿Ｔ０を９０度回転した画像である「反転９０度」画像Ｗ＿Ｔ９０、「反転０度」画像Ｗ＿Ｔ０を１８０度回転した画像である「反転１８０度」画像Ｗ＿Ｔ１８０、「反転０度」画像Ｗ＿Ｔ０を２７０度回転した画像である「反転２７０度」画像Ｗ＿Ｔ２７０を判別器群に入力し、それぞれの画像について判別することに相当する。

図２１は、上記顔検出システムにおける処理の流れを示したフローチャートである。図２１に示すように、多重解像度化部１０に入力画像Ｓ０が供給されると（ステップＳ１）、この入力画像Ｓ０の画像サイズが所定のサイズに変換された画像Ｓ０′が生成され、この画像Ｓ０′から２の−１／３乗倍ずつサイズ（解像度）が縮小された複数の解像度画像からなる解像度画像群Ｓ１が生成される（ステップＳ２）。そして、局所正規化部２０において、解像度画像群Ｓ１の各々に対し、画像全体に局所的な正規化が施され、局所正規化済みの解像度画像群Ｓ１′が得られる（ステップＳ３）。顔検出部３０においては、検出制御部３１からの指示を受けた解像度画像選択部３２により、解像度画像群Ｓ１′の中から画像サイズの小さい順に所定の解像度画像Ｓ１′＿ｉを選択する（ステップＳ４）。次に検出制御部３１が、サブウィンドウ設定部３３に対して、検出モードをラフな検出のモードとするサブウィンドウ設定条件を設定する。これにより、サブウィンドウ設定部３３は、サブウィンドウを広めのピッチで移動しながら設定して所定サイズの部分画像Ｗを順次切り出し、その部分画像Ｗを第１の判別器群３４に入力する（ステップＳ５）とともに、１つの部分画像Ｗに対し上記８種類の変更パターン情報Ｃを１種類ずつ順番に第１の判別器群３４に入力する（ステップＳ６）。第１の判別器群３４を構成する所定の５種類の各判別器、すなわち「正面顔０度」、「正面顔３０度」、「右横顔０度」、「右横顔３０度」および「右横顔３３０度」をそれぞれ判別すべき顔とする判別器３４＿Ｆ０，３４＿Ｆ３０，３４＿Ｒ０，３４＿Ｒ３０，３４＿Ｒ３３０は、順次入力される各変更パターン情報Ｃに基づいて、特徴量を算出する基礎とすべき画素の位置を変更し、各変更後の位置にある画素の濃度から特徴量をそれぞれ算出して、顔の向きについては正面顔、右横顔および左横顔の３種、天地方向については３０度ずつ異なる１２種、計３６種類の顔について判別を行い、検出制御部３１が、その判別結果Ｒを取得する（ステップＳ７）。そして、検出制御部３１は、現在切り出された部分画像Ｗが最後の順番に位置する部分画像であるか否かを判定し（ステップＳ８）、部分画像Ｗが最後の部分画像であると判定された場合には、次のステップＳ９へ移行し、部分画像Ｗが最後の部分画像でないと判定された場合には、ステップＳ５に戻って新たな部分画像Ｗが切り出される。このようにして解像度画像Ｓ１′＿ｉについての顔画像候補をラフに検出する。

この顔画像候補のラフな検出が終了すると、検出制御部３１は、顔画像候補が検出されたか否かを判定し（ステップＳ９）、顔画像候補が検出されていると判定された場合には、さらに絞込みモードの検出を行うためステップＳ１０に移行し、一方、顔画像候補が検出されていないと判定された場合には、絞込みモードでの検出を行わずに現在選択されている解像度画像Ｓ１′＿ｉに対する検出は終了し、ステップＳ１４に移行する。

ステップＳ１０では、検出制御部３１が、サブウィンドウ設定部３３に対して、検出対象領域を顔画像候補を含む所定の大きさの領域内に限定し、検出モードを絞り込みモードとするサブウィンドウ設定条件を設定する。これにより、サブウィンドウ設定部３３は、顔画像候補近傍で、サブウィンドウを狭いピッチで移動しながら設定して所定サイズの部分画像Ｗを順次切り出し、その部分画像Ｗを第２の判別器群３５に入力するステップＳ１０）とともに、１つの部分画像Ｗに対し上記８種類の変更パターン情報を１種類ずつ順番に第２の判別器群３５に入力する（ステップＳ１１）。第２の判別器群３５を構成する所定の５種類の各判別器、すなわち「正面顔０度」、「正面顔３０度」、「右横顔０度」、「右横顔３０度」および「右横顔３３０度」をそれぞれ判別すべき顔とする判別器３５＿Ｆ０，３５＿Ｆ３０，３５＿Ｒ０，３５＿Ｒ３０，３５＿Ｒ３３０は、順次入力される各変更パターン情報Ｃに基づいて、特徴量を算出する基礎とすべき画素の位置を変更し、各変更後の位置にある画素の濃度から特徴量をそれぞれ算出して、顔の向きについては正面顔、右横顔および左横顔の３種、天地方向については３０度ずつ異なる１２種、計３６種類の顔について判別を行い、検出制御部３１が、その判別結果Ｒを取得する（ステップＳ１２）。

そして、検出制御部３１は、現在切り出された部分画像Ｗが最後の順番に位置する部分画像であるか否かを判定し（ステップＳ１３）、部分画像Ｗが最後の部分画像であると判定された場合には、次のステップＳ１４へ移行し、部分画像Ｗが最後の部分画像でないと判定された場合には、ステップＳ１０に戻って新たな部分画像Ｗが切り出される。このようにして、検出された顔画像候補の絞込みを行い、解像度画像Ｓ１′＿ｉにおける真の顔画像Ｓ２を抽出する。

顔画像候補の近傍領域における絞込みモードの検出が終了すると、検出制御部３１は、現在選択されている解像度画像Ｓ１′＿ｉが最後の順番に位置する画像であるか否かを判定し（ステップＳ１４）、最後の解像度画像であると判定された場合には、検出処理を終了し、重複検出判定に移行する（ステップＳ１５）。一方、最後の解像度画像ではないと判定された場合には、ステップＳ１０に戻り、解像度画像選択部３２により、現在選択されている解像度画像Ｓ１′＿ｉより１段階サイズが大きい解像度画像Ｓ１′＿ｉ−１が選択され、さらに顔画像の検出が実行される。

このように、ステップＳ４からＳ１４までの処理を繰り返すことにより、各解像度画像における顔画像Ｓ２を検出することができる。

ステップＳ１５では、重複検出判定部４０により、真の顔画像Ｓ２のうち重複して検出された顔画像をそれぞれ１つの顔画像としてまとめる処理を行い、入力画像Ｓ０において検出された真の顔画像Ｓ３を出力する。

このように、本発明の第３の顔判別装置が適用された本発明の第３の実施形態である顔検出システムによれば、判別対象画像上の所定の画素の濃度に係る特徴量に基づいて、判別対象画像が所定の向きおよび天地方向の顔を表す顔画像であるか否かを判別する判別器を、判別すべき顔の向きと天地方向の組合せが互いに異なる所定の複数種類分用意し、この判別器毎に、特徴量を算出する基礎とすべき画素の位置を、本来の所定の位置とした場合だけでなく、左右反転および／または９０度単位の回転により移動した位置とした各場合についても、特徴量をそれぞれ算出して複数の判別を行うので、少ない種類の判別器でより多くの種類の顔について判別を行うことができることに加え、判別対象画像そのものを反転／回転するといった処理に時間の掛かる工程を必要としないので、効率的で高速な顔検出を実現できる。

以上、本発明の実施形態に係る顔検出システムについて説明したが、この顔検出システムのうちの本発明の顔判別装置に対応する部分における各処理をコンピュータに実行させるためのプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。

顔検出システム１の構成を示すブロック図 検出対象画像の多重解像度化の工程を示す図 第１の実施形態における顔検出部３０の構成を示すブロック図 第１の実施形態における第１および第２の判別器群の構成を示すブロック図 判別器における大局的な処理フローを示す図 弱判別器における処理フローを示す図 弱判別器における特徴量の算出を説明するための図 顔検出対象となる解像度画像の切替えとその画像上でのサブウィンドウの移動を説明するための図 第１の実施形態における顔検出システム１において行われる処理を示すフローチャート 判別器の学習方法を示すフローチャート 弱判別器のヒストグラムを導出する方法を示す図 局所正規化処理の概念を示す図 局所正規化部における処理フローを示す図 目の位置が所定の位置にくるように規格化された顔のサンプル画像を示す図 所定の５種類の顔サンプル画像群と、これらに反転処理や回転処理を施すことによって得られる他の顔サンプル画像群とを表す図 第２の実施形態における第１および第２の判別器群の構成を示すブロック図 第１の実施形態における顔検出システム１において行われる処理を示すフローチャート 判別器の種類と判別器に入力される画像の種類との各組合せにおいて判別可能な顔の態様（向きおよび天地方向）を示す図 第３の実施形態における顔検出部３０の構成を示すブロック図 特徴量を算出するための画素の位置を変更する様子を示す図 第３の実施形態における顔検出システム１において行われる処理を示すフローチャート

符号の説明

１ 顔検出システム
１０ 多重解像度化部
２０ 局所正規化部
３０ 顔検出部
３１ 検出制御部（判別処理手段の構成要素）
３２ 解像度画像選択部
３３ サブウィンドウ設定部（判別処理手段の構成要素）
３４ 第１の判別器群
３５ 第２の判別器群
４０ 重複検出判定部

Claims (18)

1. 判別対象画像が顔画像であるか否かを判別する判別器の学習方法であって、
   顔の向きおよび天地方向が略揃った複数の異なる顔サンプル画像からなる顔サンプル画像群を、所定の前記向きおよび天地方向が互いに異なるＮ種類の組合せについて取得する顔サンプル画像群取得ステップと、
   前記Ｎ種類の顔サンプル画像群に対して、画像の左右反転処理および９０度から２７０度までの９０度単位の回転処理を施すことにより、前記向きおよび天地方向が前記Ｎ種類の顔サンプル画像群とは異なる他のＭ種類の顔サンプル画像群を生成して、Ｎ＋Ｍ種類の顔サンプル画像群を得る顔サンプル画像群生成ステップと、
   それぞれの判別器に前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応する顔の特徴を学習させて、判別すべき顔の向きおよび天地方向の組合せがそれぞれ前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応するＮ＋Ｍ種類の判別器を得る判別器学習ステップとを有することを特徴とする判別器の学習方法。
2. 判別対象画像が顔画像であるか否かを判別する顔判別方法であって、
   顔の向きおよび天地方向が略揃った複数の異なる顔サンプル画像からなる顔サンプル画像群を、所定の前記向きおよび天地方向が互いに異なるＮ種類の組合せについて取得し、
   前記Ｎ種類の顔サンプル画像群に対して、画像の左右反転処理および９０度から２７０度までの９０度単位の回転処理を施すことにより、前記向きおよび天地方向が前記Ｎ種類の顔サンプル画像群とは異なる他のＭ種類の顔サンプル画像群を生成して、Ｎ＋Ｍ種類の顔サンプル画像群を得、
   判別対象画像が顔画像であるか否かを判別する各判別器に前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応する顔の特徴を学習させることにより得られた、判別すべき顔の向きおよび天地方向の組合せがそれぞれ前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応するＮ＋Ｍ種類の判別器を、前記判別対象画像に対して用いることにより、前記Ｎより大きい数の種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別する判別ステップを有することを特徴とする顔判別方法。
3. 判別対象画像が顔画像であるか否かを判別する顔判別装置であって、
   顔の向きおよび天地方向が略揃った複数の異なる顔サンプル画像からなる顔サンプル画像群を、所定の前記向きおよび天地方向が互いに異なるＮ種類の組合せについて取得し、
   前記Ｎ種類の顔サンプル画像群に対して、画像の左右反転処理および９０度から２７０度までの９０度単位の回転処理を施すことにより、前記向きおよび天地方向が前記Ｎ種類の顔サンプル画像群とは異なる他のＭ種類の顔サンプル画像群を生成して、Ｎ＋Ｍ種類の顔サンプル画像群を得、
   判別対象画像が顔画像であるか否かを判別する各判別器に前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応する顔の特徴を学習させることにより得られた、判別すべき顔の向きおよび天地方向の組合せがそれぞれ前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応するＮ＋Ｍ種類の判別器と、
   前記Ｎ＋Ｍ種類の判別器を前記判別対象画像に対して用いることにより、前記Ｎ＋Ｍ種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別する判別処理手段とを備えたことを特徴とする顔判別装置。
4. コンピュータに、判別対象画像が顔画像であるか否かを判別する判別器の学習処理を実行させるためのプログラムであって、
   顔の向きおよび天地方向が略揃った複数の異なる顔サンプル画像からなる顔サンプル画像群を、所定の前記向きおよび天地方向が互いに異なるＮ種類の組合せについて取得する顔サンプル画像群取得処理と、
   前記Ｎ種類の顔サンプル画像群に対して、画像の左右反転処理および９０度から２７０度までの９０度単位の回転処理を施すことにより、前記向きおよび天地方向が前記Ｎ種類の顔サンプル画像群とは異なる他のＭ種類の顔サンプル画像群を生成して、Ｎ＋Ｍ種類の顔サンプル画像群を得る顔サンプル画像群生成処理と、
   それぞれの判別器に前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応する顔の特徴を学習させて、判別すべき顔の向きおよび天地方向の組合せがそれぞれ前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応するＮ＋Ｍ種類の判別器を得る判別器学習処理とをコンピュータに実行させることを特徴とするプログラム。
5. コンピュータに、判別対象画像が顔画像であるか否かを判別する顔判別処理を実行させるためのプログラムであって、
   顔の向きおよび天地方向が略揃った複数の異なる顔サンプル画像からなる顔サンプル画像群を、所定の前記向きおよび天地方向が互いに異なるＮ種類の組合せについて取得し、
   前記Ｎ種類の顔サンプル画像群に対して、画像の左右反転処理および９０度から２７０度までの９０度単位の回転処理を施すことにより、前記向きおよび天地方向が前記Ｎ種類の顔サンプル画像群とは異なる他のＭ種類の顔サンプル画像群を生成して、Ｎ＋Ｍ種類の顔サンプル画像群を得、
   判別対象画像が顔画像であるか否かを判別する各判別器に前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応する顔の特徴を学習させることにより得られた、判別すべき顔の向きおよび天地方向の組合せがそれぞれ前記Ｎ＋Ｍ種類の顔サンプル画像群の各々に対応するＮ＋Ｍ種類の判別器を、前記判別対象画像に対して用いることにより、前記Ｎより大きい数の種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別する判別処理をコンピュータに実行させることを特徴とするプログラム。
6. 判別対象画像が顔画像であるか否かを判別する顔判別方法であって、
   前記判別対象画像に対して画像の左右反転処理および９０度から２７０度までの９０度単位の回転処理を施してなるＪ種類の反転および回転画像を生成する画像生成ステップと、
   前記判別対象画像と前記Ｊ種類の反転および回転画像とからなる複数の画像の各々について、判別すべき顔の向きと天地方向の組合せが互いに異なる所定のＫ種類の判別器を用いて、該画像が顔画像であるか否かを判別する判別ステップとを有し、
   前記Ｋ種類の判別器の各々が、該判別器が判別すべき顔の向きと天地方向を含めて、該顔の向きと天地方向を左右反転および９０度から２７０度までの９０度単位の回転処理を施してなる最大で前記Ｊ種類の顔の向きと天地方向について判別可能な判別器であり、前記Ｋより大きい数の種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別することを特徴とする顔判別方法。
7. 判別対象画像が顔画像であるか否かを判別する顔判別装置であって、
   前記判別対象画像に対して画像の左右反転処理および９０度から２７０度までの９０度単位の回転処理を施してなるＪ種類の反転および回転画像を生成する画像生成手段と、
   前記判別対象画像と前記Ｊ種類の反転および回転画像とからなる複数の画像の各々について、判別すべき顔の向きと天地方向が互いに異なる所定のＫ種類の判別器を用いて、該画像が顔画像であるか否かを判別する判別手段とを備え、
   前記Ｋ種類の判別器の各々が、該判別器が判別すべき顔の向きと天地方向を含めて、該顔の向きと天地方向を左右反転および９０度から２７０度までの９０度単位の回転処理を施してなる最大で前記Ｊ種類の顔の向きと天地方向について判別可能な判別器であり、前記Ｋより大きい数の種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別することを特徴とする顔判別装置。
8. 前記Ｋ種類の判別器が、判別すべき顔の向きが正面であり該顔の天地方向が前記判別対象画像の天地方向と同一である第１の正面判別器と、判別すべき顔の向きが正面であり該顔の天地方向が前記判別対象画像の天地方向から所定角度回転した方向である第２の正面判別器とからなる２種類の判別器であり、
   最小で３種類、最大で１２種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別することを特徴とする請求項７記載の顔判別装置。
9. 前記Ｋ種類の判別器が、判別すべき顔の向きが右横または左横であり該顔の天地方向が前記判別対象画像の天地方向と同一である第１の横顔判別器と、判別すべき顔の向きが右横または左横であり該顔の天地方向が前記判別対象画像の天地方向から該顔が上向く向きに所定角度回転した方向である第２の横顔判別器と、判別すべき顔の向きが右横または左横であり該顔の天地方向が前記判別対象画像の天地方向から該顔が下向く向きに所定角度回転した方向である第３の横顔判別器とからなる３種類の判別器であり、
   最小で６種類、最大で２４種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別することを特徴とする請求項７記載の顔判別装置。
10. 前記Ｋ種類の判別器が、判別すべき顔の向きが正面であり該顔の天地方向が前記判別対象画像の天地方向と同一である第１の正面判別器と、判別すべき顔の向きが正面であり該顔の天地方向が前記判別対象画像の天地方向から所定角度回転した方向である第２の正面判別器と、判別すべき顔の向きが右横または左横であり該顔の天地方向が前記判別対象画像の天地方向と同一である第１の横顔判別器と、判別すべき顔の向きが右横または左横であり該顔の天地方向が前記判別対象画像の天地方向から該顔が上向く向きに所定角度回転した方向である第２の横顔判別器と、判別すべき顔の向きが右横または左横であり該顔の天地方向が前記判別対象画像の天地方向から該顔が下向く向きに所定角度回転した方向である第３の横顔判別器とからなる５種類の判別器であり、
    最小で９種類、最大で３６種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別することを特徴とする請求項７記載の顔判別装置。
11. 前記所定角度が３０度であることを特徴とする請求項８、９または１０記載の顔判別装置。
12. 前記Ｋ種類の判別器が、顔の向きおよび天地方向がそれぞれ所定の向きおよび方向に略揃ったＫ種類の顔サンプル画像群の該種類毎の学習により得られたものであることを特徴とする請求項７から１１いずれか記載の顔判別装置。
13. 前記顔サンプル画像群が、顔の天地方向が前記所定の方向を基準として正負１５度未満の範囲において散在する複数の顔サンプル画像からなるものであることを特徴とする請求項１２記載の顔判別装置。
14. 前記判別対象画像が、正方形であることを特徴とする請求項７から１３いずれか記載の顔判別装置。
15. コンピュータに、判別対象画像が顔画像であるか否かを判別する顔判別処理を実行させるためのプログラムであって、
    前記判別対象画像に対して左右反転処理および９０度から２７０度までの９０度単位の回転処理を施してなるＪ種類の反転および回転画像を生成する画像生成処理と、
    前記判別対象画像と前記Ｊ種類の反転および回転画像とからなる複数の画像の各々について、判別すべき顔の向きと天地方向の組合せが互いに異なる所定のＫ種類の判別器を用いて、該画像が顔画像であるか否かを判別する判別処理であって、前記Ｋ種類の判別器の各々が、該判別器が判別すべき顔の向きと天地方向を含めて、該顔の向きと天地方向を左右反転および９０度から２７０度までの９０度単位の回転処理を施してなる最大で前記Ｊ種類の顔の向きと天地方向について判別可能な判別器である、ことを特徴とする判別処理とをコンピュータに実行させることにより、
    前記Ｋより大きい数の種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別することを特徴とするプログラム。
16. 判別対象画像上の所定の画素の濃度に係る特徴量に基づいて前記判別対象画像が所定の向きおよび天地方向の顔を表す顔画像であるか否かを判別する判別器を用いて、前記判別対象画像が顔画像であるか否かを判別する顔判別方法であって、
    判別すべき顔の向きと天地方向の組合せが互いに異なる所定のＫ種類の前記判別器を用意するステップと、
    該判別器毎に、前記特徴量を算出する基礎とすべき画素の前記判別対象画像に対する位置を、予め定められた所定の位置にした場合と、左右反転および９０度から２７０度までの９０度単位の回転により移動した位置にした各場合とにおいて、前記特徴量をそれぞれ算出して複数の判別を行うステップとを有し、
    前記Ｋより大きい数の種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別することを特徴とする顔判別方法。
17. 判別対象画像が顔画像であるか否かを判別する顔判別装置であって、
    前記判別対象画像上の所定の画素の濃度に係る特徴量に基づいて、前記判別対象画像が所定の向きおよび天地方向の顔を表す顔画像であるか否かを判別する、判別すべき顔の向きと天地方向の組合せが互いに異なる所定のＫ種類の判別器と、
    該判別器毎に、前記特徴量を算出する基礎とすべき画素の前記判別対象画像に対する位置を、予め定められた所定の位置にした場合と、左右反転および９０度から２７０度までの９０度単位の回転により移動した各場合とにおいて、前記特徴量をそれぞれ算出して複数の判別を行う判別処理手段とを備え、
    前記Ｋより大きい数の種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別することを特徴とする顔判別装置。
18. コンピュータを、
    前記判別対象画像上の所定の画素の濃度に係る特徴量に基づいて、前記判別対象画像が所定の向きおよび天地方向の顔を表す顔画像であるか否かを判別する、判別すべき顔の向きと天地方向の組合せが互いに異なる所定のＫ種類の判別器と、
    該判別器毎に、前記特徴量を算出する基礎とすべき画素の前記判別対象画像に対する位置を、予め定められた所定の位置にした場合と、左右反転および９０度から２７０度までの９０度単位の回転により移動した各場合とにおいて、前記特徴量をそれぞれ算出して複数の判別を行う判別処理手段として機能させるためのプログラムであり、
    前記Ｋより大きい数の種類の所定の向きおよび天地方向の各顔について、顔画像であるか否かを判別することを特徴とするプログラム。

Images