JP4924836B2 - 顔画像分類方法、顔画像分類装置及び顔画像分類プログラム - Google Patents

Description

本発明は、顔画像をカテゴリに分類する顔画像分類方法、顔画像分類装置及び顔画像分類プログラムに関する。

顔画像に含まれる人物の属性に従って、顔画像を何らかのカテゴリに分類することが行われている。例えば、性別、年齢別、顔輪郭形状別、頭骨形状別に顔画像を分けることが行われている。この顔画像を分類する手法は、例えば、小売業等で用いる顧客データ収集システムや、入国管理システム等のセキュリティシステムで用いられる。また、顔画像を分類する手法は、例えば、ゲームセンタでエンターテイメントを提供する場合や、携帯電話機用のアプリケーションを用いたエンターテイメントを提供する場合に必要とされる。

例えば、特許文献１には、顔画像に含まれる人物の目の位置や大きさに基づいて、顔画像を大人又は子供に分類する方法が記載されている。また、特許文献２には、顔画像に含まれる人物の目、鼻及び口の配置と顔の輪郭形状とに基づいて、顔画像を「丸顔」、「面長」又は「四角」等の顔形状に分類する方法が記載されている。また、特許文献３には、複数の顔向きの画像を用いて三次元的な情報（特徴ベクトル）も取得し、取得した三次元的な情報を用いて性別や年代別に分類する方法が記載されている。
特開２００４−３０３１５０号公報（段落００４９−００５２、図１０） 特開２００４−２６４８９３号公報（段落００８４−０１２２、図２、図２０−２６） 特開２００３−２４２４８６号公報（段落００３１−００４５、図１−５）

特許文献１及び特許文献２に記載された分類方法では、２次元の顔特徴だけを用いて顔画像を分類している。そのため、顔の奥行き方向等の特徴（３次元の顔特徴）を利用して分類を行うことはできず、性別、年齢別又は頭骨形状別等に分類する場合には、高い分類性能を達成することができない。また、特許文献３に記載された分類方法では、複数の顔向きの画像を用いているので、奥行き方向の情報も用いて顔画像を分類することができる。そのため、性別、年齢別又は頭骨形状別等に分類する場合であって、ある程度高い分類性能を達成することができる。しかし、複数の顔向きの画像を必要とし、処理負担やコストが大きい。また、複数の顔向きの画像を必要とするので、利用できる状況が制限されてしまう。

そこで、本発明は、顔画像に含まれる人物が属するカテゴリに顔画像を分類することができ、顔画像のカテゴリ分類を１つの画像だけを用いて行える顔画像分類方法、顔画像分類装置及び顔画像分類プログラムを提供することを目的とする。また、本発明は、顔の奥行き情報を反映させて顔画像のカテゴリ分類を行える顔画像分類方法、顔画像分類装置及び顔画像分類プログラムを提供することを目的とする。

本発明による顔画像分類方法は、顔画像を所定のカテゴリに分類する顔画像分類方法であって、カテゴリを代表する顔について顔の奥行きと顔にあてられた照明による反射の具合とを示すデータである照明空間基底データを、カテゴリ毎に予め蓄積する照明空間基底蓄積ステップと、カテゴリ毎の前記各照明空間基底データと照明の強度及び方向を示す照明強度ベクトルから算出される顔モデル画像の各画素ベクトルと、処理対象の顔画像の各画素ベクトルとの距離を最小化するような前記照明強度ベクトルをカテゴリ毎に算出する照明方向推定ステップと、カテゴリ毎の前記照明空間基底データと前記照明強度ベクトルから算出される各カテゴリを代表する顔画像ベクトルと、前記処理対象の顔画像ベクトルの距離で最小のものを特徴量としてカテゴリ毎に算出する特徴算出ステップと、前記算出された特徴量のうち最小となる特徴量のカテゴリに前記処理対象の顔画像を分類する顔画像分類ステップとを含むことを特徴とする。

また、顔画像分類方法は、前記照明方向推定ステップで、カテゴリ毎の前記各照明空間基底データと照明強度ベクトルの内積で求められる顔モデル画像の各画素ベクトルと、処理対象の顔画像の各画素ベクトルとの距離を最小化するような前記照明強度ベクトルをカテゴリ毎に算出するものであってもよい。

また、顔画像分類方法は、前記特徴算出ステップで、カテゴリ毎の前記照明空間基底データと前記算出された照明強度ベクトルの内積で求められる各カテゴリを代表する顔画像ベクトルと、前記処理対象の顔画像ベクトルの距離差で最小のものを前記特徴量としてカテゴリ毎に算出するものであってもよい。

また、顔画像分類方法は、前記特徴算出ステップで、前記蓄積した各照明空間基底データと前記算出した照明強度ベクトルとに基づいて、カテゴリを代表する顔に前記照明強度ベクトルが示す方向から照明をあてた場合の推定顔画像をカテゴリ毎に作成し、前記特徴量として、処理対象の顔画像と前記作成した推定顔画像との誤差をカテゴリ毎に求め、前記顔画像分類ステップで、前記求めた各誤差のうちの最小となる誤差に対応する照明空間基底データを特定するものであってもよい。

また、顔画像分類方法は、照明方向推定ステップで、処理対象の顔画像に含まれる顔にあてられている照明の方向の推定結果として、照明の強度及び方向を示す照明ベクトル（例えば、照明強度ベクトルｓ）をカテゴリ毎に求め、特徴算出ステップで、求めた照明ベクトルと蓄積した各照明空間基底データとの内積を求めることによって、推定顔画像をカテゴリ毎に作成するものであってもよい。

また、顔画像分類方法は、照明空間基底蓄積ステップで、カテゴリを代表する顔として、カテゴリに含まれる顔の平均顔、又はカテゴリに含まれる顔を主成分分析して求めた主成分顔に対応する照明空間基底データを、カテゴリ毎に予め蓄積するものであってもよい。

また、顔画像分類方法は、照明空間基底蓄積ステップで、顔の三次元形状と反射率とを盛り込んだ照明空間基底データを、カテゴリ毎に予め蓄積するものであってもよい。

また、顔画像分類方法は、カテゴリが既知である学習用顔画像を入力し、入力された学習用顔画像について前記照明強度算出ステップにより前記照明強度ベクトルを算出し、前記特徴算出ステップにより前記特徴量を算出し、算出した特徴量と、前記顔画像に対応する既知のカテゴリとを教師データとして学習処理を行うことにより学習モデルを作成する学習モデル作成ステップをさらに含み、前記顔画像分類ステップは、前記処理対象の顔画像について算出された特徴量を前記学習モデルに入力して、カテゴリを出力させるステップをさらに含むものであってもよい。

また、顔画像分類方法は、学習モデル作成ステップで、ニューラルネットワークを用いて、学習モデルとして所定の重み係数を求めるものであってもよい。

また、顔画像分類方法は、学習モデル作成ステップで、サポートベクタマシンを用いて、学習モデルとしてサポートベクタを求めるものであってもよい。

また、顔画像分類方法は、顔画像分類ステップで、学習モデルを作成する処理の逆処理を行うことによって、蓄積した各照明空間基底データのうち、いずれの照明空間基底データが処理対象の顔画像に対応するかを特定し、処理対象の顔画像を、特定した照明空間基底データに対応するカテゴリに分類するものであってもよい。

本発明による顔画像分類装置は、顔画像を所定のカテゴリに分類する顔画像分類装置であって、カテゴリを代表する顔について顔の奥行きと顔にあてられた照明による反射の具合とを示すデータである照明空間基底データを、カテゴリ毎に予め蓄積する照明空間基底蓄積手段と、カテゴリ毎の前記各照明空間基底データと照明の強度及び方向を示す照明強度ベクトルから算出される顔モデル画像の各画素ベクトルと、処理対象の顔画像の各画素ベクトルとの距離を最小化するような前記照明強度ベクトルをカテゴリ毎に算出する照明方向推定手段と、カテゴリ毎の前記照明空間基底データと前記照明強度ベクトルから算出される各カテゴリを代表する顔画像ベクトルと、前記処理対象の顔画像ベクトルの距離で最小のものを特徴量としてカテゴリ毎に算出する特徴算出手段と、前記算出された特徴量のうち最小となる特徴量のカテゴリに前記処理対象の顔画像を分類する顔画像分類手段とを備えたことを特徴とする。

また、顔画像分類装置は、前記照明方向推定手段は、カテゴリ毎の前記各照明空間基底データと照明強度ベクトルの内積で求められる顔モデル画像の各画素ベクトルと、処理対象の顔画像の各画素ベクトルとの距離を最小化するような前記照明強度ベクトルをカテゴリ毎に算出するものであってもよい。

また、前記特徴算出手段は、カテゴリ毎の前記照明空間基底データと前記算出された照明強度ベクトルの内積で求められる各カテゴリを代表する顔画像ベクトルと、前記処理対象の顔画像ベクトルの距離差で最小のものを前記特徴量としてカテゴリ毎に算出するものであってもよい。

また、前記特徴算出手段は、前記照明空間基底蓄積手段が蓄積する各照明空間基底データと、前記照明方向推定手段が算出した照明強度ベクトルとに基づいて、カテゴリを代表する顔に前記照明強度ベクトルが示す方向から照明をあてた場合の推定顔画像をカテゴリ毎に作成し、前記特徴量として、処理対象の顔画像と前記作成した推定顔画像との誤差をカテゴリ毎に求め、前記顔画像分類手段は、前記特徴算出手段が求めた各誤差のうちの最小となる誤差に対応する照明空間基底データを特定するものであってもよい。

また、照明方向推定手段は、処理対象の顔画像に含まれる顔にあてられている照明の方向の推定結果として、照明の強度及び方向を示す照明ベクトルをカテゴリ毎に求め、特徴算出手段は、照明方向推定手段が求めた照明ベクトルと、照明空間基底蓄積手段が蓄積する各照明空間基底データとの内積を求めることによって、推定顔画像をカテゴリ毎に作成するものであってもよい。

また、照明空間基底蓄積手段は、カテゴリを代表する顔として、カテゴリに含まれる顔の平均顔、又はカテゴリに含まれる顔を主成分分析して求めた主成分顔に対応する照明空間基底データを、カテゴリ毎に予め蓄積するものであってもよい。

また、照明空間基底蓄積手段は、顔の三次元形状と反射率とを盛り込んだ照明空間基底データを、カテゴリ毎に予め蓄積するものであってもよい。

また、顔画像分類装置は、カテゴリが既知である学習用顔画像を入力し、入力された学習用顔画像について前記照明強度算出手段により前記照明強度ベクトルを算出し、前記特徴算出手段により前記特徴量を算出し、算出した特徴量と、前記顔画像に対応する既知のカテゴリとを教師データとして学習処理を行うことにより学習モデルを作成する学習モデル作成手段をさらに備え、前記顔画像分類手段は、前記処理対象の顔画像について算出された特徴量を前記学習モデルに入力して、カテゴリを出力させるものであってもよい。

また、前記顔画像分類手段は、学習モデルを作成する処理の逆処理を行うことによって、照明空間基底蓄積手段が蓄積する各照明空間基底データのうち、いずれの照明空間基底データが処理対象の顔画像に対応するかを特定し、前記処理対象の顔画像を、前記特定した照明空間基底データに対応するカテゴリに分類するものであってもよい。

本発明による顔画像分類プログラムは、顔画像を所定のカテゴリに分類するための顔画像分類プログラムであって、カテゴリを代表する顔に対応する、顔の奥行きと顔にあてられた照明による反射の具合とを示すデータである照明空間基底データを、カテゴリ毎に予め蓄積するコンピュータに、カテゴリ毎の前記各照明空間基底データと照明の強度及び方向を示す照明強度ベクトルから算出される顔モデル画像の各画素ベクトルと、処理対象の顔画像の各画素ベクトルとの距離を最小化するような前記照明強度ベクトルをカテゴリ毎に算出する照明強度算出処理と、カテゴリ毎の前記照明空間基底データと前記照明強度ベクトルから算出される各カテゴリを代表する顔画像ベクトルと、前記処理対象の顔画像ベクトルの距離で最小のものを特徴量としてカテゴリ毎に算出する特徴算出処理と、前記算出された特徴量のうち最小となる特徴量のカテゴリに前記処理対象の顔画像を分類する顔画像分類処理とを実行させることを特徴とする。

また、顔画像分類プログラムは、前記コンピュータに、カテゴリが既知である学習用顔画像を入力し、入力された学習用顔画像について前記照明強度算出処理により前記照明強度ベクトルを算出し、前記特徴算出処理により前記特徴量を算出し、算出した特徴量と、前記顔画像に対応する既知のカテゴリとを教師データとして学習処理を行うことにより学習モデルを作成する学習モデル作成処理を実行させ、前記顔画像分類処理は、前記処理対象の顔画像について算出された特徴量を前記学習モデルに入力して、カテゴリを出力させるものであってもよい。また、前記顔画像分類処理は、学習モデルを作成する処理の逆処理を行うことによって、蓄積手段が蓄積する各照明空間基底データのうち、いずれの照明空間基底データが処理対象の顔画像に対応するかを特定し、前記処理対象の顔画像を、前記特定した照明空間基底データに対応するカテゴリに分類するものであってもよい。

本発明では、顔画像のカテゴリ分類を１つの画像だけを用いて顔の奥行き情報を反映させて行うために、照明空間基底と呼ばれる顔の照明の反射情報と顔の形状とを盛り込んだ情報を用いる。照明空間基底と顔画像とに基づいて照明ベクトルの推定計算をできるので、推定により求められる誤差を利用することによって、顔の反射情報（肌の色情報を含む）と顔の形状とを利用した特徴量を用いることができる。

具体的には、各カテゴリの代表的な顔（平均顔や主成分顔）の照明空間基底を作る。そして、入力顔画像と各カテゴリの照明空間基底とに基づいて、誤差最小法を用いて照明方向ベクトルの推定計算を行い、推定により求められる誤差を特徴量として用いる。顔画像の対象人物が属すべきカテゴリの照明空間基底を用いて求めた誤差であれば、他のカテゴリの顔より反射情報や形状が近いので、求めた誤差が小さくなる。従って、推定により求められる誤差をカテゴリ分類の特徴量に用いることは妥当であり、求めた特徴量には顔の奥行き情報や顔の皮膚の照明反射率が反映されている。

また、本発明では、照明空間基底を事前に用意しておくことが可能であり、１つの顔画像だけを用いてカテゴリ分けできる。また、正面から撮影した顔画像（２次元の画像）であっても、各カテゴリに対応する照明空間基底の中で最も近い照明空間基底を選ぶことによって、近似的に顔の奥行き方向も推定できる。従って、顔の奥行き情報も反映してカテゴリ分類を行うことができる。

また、本発明では、所属カテゴリの識別は、特徴量が最も小さいカテゴリに顔画像を分類する直接的な方法を用いて、顔画像の所属カテゴリを識別する。また、本発明では、それぞれのカテゴリに対する特徴量をまとめて１つのベクトルを作成し、ニューラルネットワークやサポートベクタマシン等の学習器を用いて学習する。そして、学習モデルを用いて顔画像の所属カテゴリを識別する。学習モデルを用いる場合、２次元特徴も特徴量ベクトルに加えることができるので、顔画像をカテゴリ分類する際の分類性能をより高めることができる。

本発明によれば、顔の肌の反射の具合や奥行き方向の形状を反映した照明空間基底データを用いて顔画像をカテゴリに分類するので、顔の肌の反射の具合や奥行き方向の形状を考慮して、顔画像をカテゴリに分類できる。また、顔の奥行き方向の形状を反映した照明空間基底データを用いるので、カテゴリ分類対象の顔を複数の方向から撮影した顔画像を用いなくても、１つの顔画像だけを用いてカテゴリ分類を行うことができる。従って、顔画像に含まれる人物が属するカテゴリに顔画像を分類することができ、顔画像のカテゴリ分類を１つの画像だけを用いて行うことができる。

例えば、一般に、顔の反射の具合や顔の奥行き形状の特徴は、人物がどの人種に属するかに大きく依存する。例えば、人種別に顔画像を分類する場合、各人種の代表的な顔に基づいて作成した照明空間基底データをそれぞれ予め用意する。そして、処理対象の顔画像に含まれる人物の顔の反射の具合や奥行き形状に最も近いカテゴリに、処理対象の顔画像を分類する。各照明空間基底データにはそれぞれ各人種の顔の反射の具合や奥行き形状が反映されているので、処理対象の顔画像に含まれる人物の人種に対応するカテゴリに、顔画像を適切に分類することができる。

また、本発明によれば、処理対象の顔画像に含まれる顔とカテゴリを代表する顔との差の特徴を示す特徴量を用いることによって、処理対象の顔画像に対応する照明空間基底データを容易に特定することができ、処理対象の顔画像を適切なカテゴリに分類することができる。

また、本発明によれば、照明空間基底データを用いて、処理対象の顔画像に含まれている顔にあてられている照明の方向を推定（照明ベクトルを計算）し、照明方向を考慮して顔画像をカテゴリに分類する。そのため、照明変動がある場合であっても、顔画像をカテゴリに分類できる。従って、照明の影響を吸収して、顔画像を適切にカテゴリに分類することができる。

また、本発明によれば、処理対象の顔画像と推定顔画像との誤差を特徴量として用いて、最小となる誤差を特定することによって、処理対象の顔画像に対応する照明空間基底データを容易に特定することができる。

また、本発明によれば、カテゴリを代表する顔として平均顔や主成分顔を用いるので、カテゴリの標準的な顔に対応する照明空間基底データを用いて分類でき、より適切に顔画像をカテゴリに分類できる。

また、本発明によれば、予め作成した学習モデルに基づいて、顔画像をカテゴリに分類する。そのため、各カテゴリを代表する顔の誤差特徴の統計的情報を加味した学習モデルを用いて、顔画像を分類することができる。従って、学習モデルを用いない場合と比較して、統計的情報を加味することによって、より正確に顔画像のカテゴリを識別することができる。

本発明による顔画像分類方法を用いた顔画像分類装置の構成の一例を示すブロック図である。 顔画像分類装置が入力顔画像をカテゴリに分類する顔画像分類処理の一例を示す流れ図である。 誤差特徴とカテゴリとの関係を説明する説明図である。 顔画像分類方法を用いた顔画像分類装置の他の構成例を示すブロック図である。 顔画像分類装置が学習モデルを作成する処理の一例を示す流れ図である。 顔画像分類装置が入力顔画像をカテゴリに分類する顔画像分類処理の他の例を示す流れ図である。 顔画像分類方法を用いた顔画像分類装置の更に他の構成例を示すブロック図である。 顔画像分類方法を用いた顔画像分類装置の更に他の構成例を示すブロック図である。 計算機がプログラムに従って入力顔画像をカテゴリに分類する顔画像分類処理の一例を示す流れ図である。 計算機がプログラムに従って学習モデルを作成する処理の一例を示す流れ図である。 計算機がプログラムに従って入力顔画像をカテゴリに分類する顔画像分類処理の他の例を示す流れ図である。

符号の説明

１ 照明空間基底蓄積手段
２ 照明方向推定手段
３ 誤差評価手段
１１ 顔画像
１２ 照明空間基底
１３ 照明方向
１４ 誤差特徴
１５ 識別カテゴリ
１６ 学習用誤差特徴
１７ 教師カテゴリ
１８ 学習モデル
４０ カテゴリ識別手段
５０ カテゴリ学習手段
６０ 学習モデル蓄積手段

実施の形態１．
以下、本発明の第１の実施の形態を図面を参照して説明する。図１は、本発明による顔画像分類方法を用いた顔画像分類装置の構成の一例を示すブロック図である。図１に示すように、顔画像分類装置は、複数の照明空間基底蓄積手段１−１〜１−ｎと、複数の照明方向推定手段２−１〜２−ｎと、複数の誤差評価手段３−１〜３−ｎと、カテゴリ識別手段４０とを含む。なお、本実施の形態では、照明空間基底蓄積手段１−１〜１−ｎ、照明方向推定手段２−１〜２−ｎ及び誤差評価手段３−１〜３−ｎを包括的に表現する場合に、それぞれ照明空間基底蓄積手段１、照明方向推定手段２及び誤差評価手段３という。

本実施の形態では、顔画像分類装置は、処理対象の顔画像を所定のカテゴリに分類する。例えば、顔画像分類装置は、顔画像に含まれる人物の性別に応じて、顔画像を「男」又は「女」のいずれかのカテゴリに分類する。また、例えば、顔画像分類装置は、顔画像に含まれる人物の年齢に応じて、その人物の年齢に対応するカテゴリに顔画像を分類する。また、例えば、顔画像分類装置は、顔画像に含まれる人物の人種に応じて、顔画像を「コーカソイド」、「モンゴロイド」又は「ネグロイド」のいずれかのカテゴリに分類する。

本実施の形態では、顔画像分類装置は、例えば、コンビニエンスストア等の店舗で顧客データを収集する際に、撮影した顧客の顔画像をカテゴリに分類する用途に用いられる。また、顔画像分類装置は、例えば、入国管理を行う際に、入国者の顔画像をカテゴリに分類する用途に用いられる。また、顔画像分類装置は、ゲームセンタで撮影した顧客の顔画像や、携帯電話機用のアプリケーションを用いてエンターテイメントを提供する際に撮影した顔画像を、カテゴリに分類する用途に用いられる。

照明空間基底蓄積手段１は、各カテゴリを代表する顔の照明空間基底を、カテゴリ毎に予め蓄積する。「照明空間基底」とは、顔の３次元形状と反射率とを盛り込んだ情報量であり、顔の奥行きと顔にあてられた照明による反射の具合とを示すデータである。本実施の形態では、顔画像分類装置は、顔画像を分類するための所定のカテゴリを予め設定している。また、顔画像分類装置は、照明空間基底を生成する生成手段（図示せず）を備え、各カテゴリを代表する顔（既知のサンプルの顔）の照明空間基底を予め生成している。そして、顔画像分類装置は、生成した照明空間基底を、１つずつ照明空間基底蓄積手段１にそれぞれ蓄積している。

なお、１つのカテゴリを代表する顔が１つである場合に限らず、顔画像分類装置は、１つのカテゴリに対して複数の「カテゴリを代表する顔」を用いて照明空間基底を生成し、照明空間基底蓄積手段１に蓄積してもよい。この場合、顔画像分類装置は、１つのカテゴリに対して、対応する照明空間基底蓄積手段１を複数備える。そして、顔画像分類装置は、１つのカテゴリに対して複数の照明空間基底を生成し、生成した各照明空間基底を対応するカテゴリの照明空間基底蓄積手段１にそれぞれ１つずつ蓄積する。

照明方向推定手段２は、入力顔画像と照明空間基底とに基づいて、カテゴリ毎に照明方向を推定する機能を備える。本実施の形態では、照明方向推定手段２は、顔画像と照明空間基底とに基づいて、顔画像に含まれる顔にあてられている照明の強度及び方向を示す照明強度ベクトルを生成する。なお、図１に示すように、各照明方向推定手段２は、いずれかの照明空間基底蓄積手段１に対応付けられており、対応する照明空間基底蓄積手段１から照明空間基底を抽出して照明方向を推定する。例えば、照明方向推定手段２−１は、対応する照明空間基底蓄積手段１−１から照明空間基底を抽出し、抽出した照明空間基底に基づいて照明方向を推定する。

誤差評価手段３は、照明方向推定手段２が推定した照明方向の誤差を評価する機能を備える。本実施の形態では、誤差評価手段３は、照明空間基底と照明強度ベクトルとに基づいて、照明方向推定手段２が推定した照明方向から、カテゴリを代表する顔に照明をあてた場合を推定した顔画像である推定顔画像をカテゴリ毎に生成する。そして、誤差評価手段３は、入力顔画像と推定顔画像とに基づいて、入力顔画像に含まれる顔とカテゴリを代表する顔との差の特徴を示す所定の特徴量をカテゴリ毎に求める。本実施の形態では、誤差評価手段３は、特徴量として、入力顔画像と生成した推定顔画像との誤差を求める。例えば、誤差評価手段３は、入力顔画像と推定顔画像との所定の誤差ノルムを求める。

なお、図１に示すように、各誤差評価手段３は、いずれかの照明空間基底蓄積手段１及び照明方向推定手段２に対応付けられている。そして、誤差評価手段３は、対応する照明空間基底蓄積手段１及び照明方向推定手段２から、それぞれ照明空間基底及び推定した照明方向を入力し、照明方向推定手段２が推定した照明方向の誤差を評価する。例えば、誤差評価手段３−１は、対応する照明空間基底蓄積手段１−１から照明空間基底を入力し、対応する照明方向推定手段２−１から照明方向を入力する。そして、誤差評価手段３−１は、入力した照明空間基底及び照明方向に基づいて、照明方向推定手段２−１が推定した照明方向の誤差を評価する。

カテゴリ識別手段４０は、各誤差評価手段３が評価した誤差を特徴量として用いて、所定の識別ルールに従って、入力顔画像が所属すべきカテゴリを識別する機能を備える。すなわち、カテゴリ識別手段４０は、誤差評価手段３が出力する誤差特徴に基づいて、各照明空間基底蓄積手段１が蓄積する照明空間基底のうち、いずれの照明空間基底が入力顔画像に対応するかを特定する。そして、カテゴリ識別手段４０は、入力顔画像を、特定した照明空間基底に対応するカテゴリに分類する。

本実施の形態では、カテゴリ識別手段４０は、各誤差評価手段３が求めた誤差ノルムを比較し、最小となる誤差ノルムを特定する。そして、カテゴリ識別手段４０は、特定した誤差ノルムに対応するカテゴリに入力顔画像を分類する。

次に、動作について説明する。まず、顔画像分類装置が予め照明空間基底を生成し、蓄積する動作を説明する。本実施の形態では、顔画像分類装置は、ユーザの操作に従って予めｍ個のカテゴリを設定している。また、本実施の形態では、顔画像分類装置は、以下に示す手順に従って、ｎ個（ｎ≧ｍ）の照明空間基底蓄積手段１に、それぞれカテゴリを代表する顔の照明空間基底を蓄積する。

顔画像分類装置が設定するカテゴリの数は、どのような種類のカテゴリを設定するかによって決まる。例えば、顔画像分類装置が性別を示すカテゴリを設定した場合、カテゴリの数は、「男」及び「女」の２つになる。また、例えば、顔画像分類装置が年齢を示すカテゴリを設定した場合、年齢を何年刻みに設定したかによってカテゴリの数が決まる。また、例えば、顔画像分類装置が人種を示すカテゴリを設定した場合、「コーカソイド系」、「モンゴロイド系」、「ネグロイド系」・・・のように、分類する人種の数によってカテゴリの数が定まる。

また、顔画像分類装置は、カテゴリ毎に、複数の「カテゴリを代表する顔」を用いてそれぞれ照明空間基底を生成してもよい。「カテゴリを代表する顔」として選択する顔は、カテゴリに実際に含まれる実在の人物の顔であってもよく、カテゴリに含まれる顔の平均顔であってもよい。また、顔画像分析装置は、カテゴリに含まれる顔を主成分分析し、分析の結果得られた上位主成分で作成した主成分顔等の人工的に作成した顔を用いて、照明空間基底を生成してもよい。

照明空間基底は、顔の３次元形状と反射率とを盛り込んだ情報量であり、以下のように求められる。顔画像の色及び輝度情報は顔の形状の反射によって決まるので、逆に顔の位置及び姿勢が同じであれば、複数の照明を照射して撮影した顔画像を用いることによって顔形状を推定することが可能になる。本実施の形態では、このような考え方に従って照明空間基底を生成する。

照明空間基底のコンセプトは、顔の皮膚を完全散乱面と仮定したとき、顔画像のｉ番目の画素の輝度値ｘ_ｉを、式（１）を用いて表すことができるというものである。

ここで、式（１）において、α_ｉは、画素ｉにおける拡散反射率である。また、ベクトルｎ_ｉ＝（ｎ_ｉ，ｘ，ｎ_ｉ，ｙ，ｎ_ｉ，ｚ）は、画素ｉにおける法線ベクトルである。また、ベクトルｓ＝（ｓ_ｘ，ｓ_ｙ，ｓ_ｚ）は、画素ｉにおける照明強度及び照明方向を示す照明強度ベクトルである。

式（１）において、照明の変化に関係のない拡散反射率α_ｉと法線ベクトルｎ_ｉとは物体に不変な量であり、照明を変えたときに変動するのは照明強度ベクトルｓだけである。そのため、ある特定の人物の顔にあてられている照明を変えたときに作成される画像の輝度ベクトルｘ＝｛ｘ_ｉ｝は、Ｂ＝｛Ｂ_ｘ，Ｂ_ｙ，Ｂ_ｚ｝及びＢ_α＝｛ｂ_ｉ，_α｝（α＝ｘ，ｙ，ｚ）を用いて、式（２）で表すことができる。

ここで、式（２）において、ベクトルｂ_ｉは、式（３）を用いて表される。

式（２）において、Ｂ＝｛Ｂ_ｘ，Ｂ_ｙ，Ｂ_ｚ｝は、照明空間基底と呼ばれ、個々の顔に関する固有の情報量になる。

実際に照明空間基底を生成する場合、顔画像分類装置は、レンジファインダ等の三次元形状取得装置を用いて、顔の奥行き方向（三次元形状）を示す距離画像を入力する。また、顔画像分類装置は、入力した距離画像に基づいて、画素ｉにおける法線ベクトルｎ_ｉ＝（ｎ_ｉ，ｘ，ｎ_ｉ，ｙ，ｎ_ｉ，ｚ）を計算する。また、顔画像分類装置は、画像の輝度値を画素ｉにおける拡散反射率α_ｉとする。そして、顔画像分類装置は、求めた法線ベクトルｎ_ｉと拡散反射率α_ｉとに基づいて、式（３）を用いて照明空間基底を計算する。また、顔画像分類装置は、求めた各照明空間基底を、それぞれ照明空間基底蓄積手段１に蓄積する。

なお、上記に示した照明空間基底の考え方は、例えば、文献「Peter N. Belhumeur，”What Is the Set of Images of an Object Under All Possible Illumination Conditions?”，International Journal of Computer Vision，Vol. no.28，p245-260，1998）」に記載されている。

実用上では、顔画像分類装置は、各カテゴリのデータのスケールを統一するために、各顔に含まれる両目の位置等を検出し、検出した両目が画像上の一定位置に配置されるように、顔に含まれる両目の間の長さを拡大又は縮小する。

また、平均顔を用いて照明空間基底を生成する場合、顔画像分類装置は、各顔の距離画像を用いて平均顔を求め、求めた平均顔に基づいて法線ベクトルｎ_ｉを求める。また、顔画像分類装置は、各顔の３次元データのテクスチャに基づいて拡散反射率α_ｉを求める。そして、顔画像分類装置は、求めた法線ベクトルｎ_ｉ及び拡散反射率α_ｉに基づいて、式（３）を用いて照明空間基底を求める。

また、主成分分析顔を用いて照明空間基底を生成する場合、顔画像分類装置は、各顔の距離画像を用いて主成分顔を求め、求めた主成分顔に基づいて法線ベクトルｎ_ｉを求める。また、顔画像分類装置は、各顔の３次元データのテクスチャに基づいて拡散反射率α_ｉを求める。そして、顔画像分類装置は、求めた法線ベクトルｎ_ｉ及び拡散反射率α_ｉに基づいて、式（３）を用いて照明空間基底を求める。

次に、顔画像分類装置が入力顔画像をカテゴリに分類する動作を説明する。図２は、顔画像分類装置が入力顔画像をカテゴリに分類する顔画像分類処理の一例を示す流れ図である。

各照明方向推定手段２は、カテゴリ分類の処理対象の入力顔画像１１を入力する（ステップＳ１０１）。例えば、各照明方向推定手段２は、ユーザの指示操作に従って、カテゴリ分類対象の入力顔画像１１を入力する。また、入力顔画像１１を入力すると、各照明方向推定手段２は、各照明空間基底蓄積手段１から、それぞれ対応する照明空間基底データ（照明空間基底）を入力する（ステップＳ１０２）。

各照明方向推定手段２は、顔画像１１と、各照明空間基底蓄積手段１が蓄積する照明空間基底１２−１〜１２−ｎとに基づいて、照明方向１３−１〜１３−ｎを推定する（ステップＳ１０３）。以下、照明空間基底１２−１〜１２−ｎ及び照明方向１３−１〜１３−ｎを包括的に表現する場合に、それぞれ照明空間基底１２及び照明方向１３という。本実施の形態では、各照明方向推定手段２は、入力顔画像１１と各照明空間基底１２とに基づいて、それぞれ照明強度ベクトルｓを求めることによって、照明方向１３を推定する。

ここで、顔画像１１は、各画素の輝度値を縦に一列に並べた画像サイズ（すなわち、（画像縦サイズ）×（画像縦サイズ））次元の列ベクトルｘ＝｛ｘ_ｉ｝であるとする。また、顔画像に対応する照明空間基底１２は、（画像サイズ×３）次元の行列である照明空間基底行列Ｂ＝［Ｂ_ｘ，Ｂ_ｙ，Ｂ_ｚ］（Ｂ_ｘ，Ｂ_ｙ，Ｂ_ｚは、それぞれは画像サイズ次元の列ベクトル）であるとする。また、照明方向１３は、照明の強度と方向とを示すベクトルｓ＝（ｓ_ｘ，ｓ_ｙ，ｓ_ｚ）であるとする。この場合、ベクトルｘ＝｛ｘ_ｉ｝とＢ＝［Ｂ_ｘ，Ｂ_ｙ，Ｂ_ｚ］とがそれぞれ同一人物に対するデータであり、顔の反射特性が理想的な状態（例えば、顔の皮膚が完全散乱面である状態）であるとすると、式（２）の関係がそのまま成り立つことになる。

しかし、入力顔画像１１のベクトルｘ＝｛ｘ_ｉ｝と照明空間基底Ｂ＝［Ｂ_ｘ，Ｂ_ｙ，Ｂ_ｚ］とは、同一人物に対するデータであるとは限らない。また、顔の反射特性が理想的な状態でなかったり、その他の様々な要因によって、式（２）は通常成立しないことが多い。

ここで、式（２）は、未知数が３であり、方程式数が画像サイズ数である連立方程式となる。そのため、ベクトルｘ＝｛ｘ_ｉ｝とＢ＝［Ｂ_ｘ，Ｂ_ｙ，Ｂ_ｚ］とが与えられると、照明方向推定手段２は、所定の誤差ノルムＥｒｒｏｒ（・）の最小化を行うことによって、照明強度ベクトルｓ＝（ｓ_ｘ，ｓ_ｙ，ｓ_ｚ）を推定することができる。例えば、誤差ノルムとして２乗ノルムを用いるとすると、照明方向推定手段２は、誤差ノルムを式（４）を用いて求める。

各照明方向推定手段２は、求めた２乗ノルムを用いて、最小２乗誤差推定を行うことによって、照明強度ベクトルｓ＝（ｓ_ｘ，ｓ_ｙ，ｓ_ｚ）を推定することができる。また、各照明方向推定手段２は、推定して求めた照明強度ベクトルｓ＝（ｓ_ｘ，ｓ_ｙ，ｓ_ｚ）を、照明方向１３としてそれぞれ誤差評価手段３に出力する。

各誤差評価手段３は、照明空間基底Ｂと、照明方向推定手段２が求めた照明強度ベクトルｓとの内積Ｂｓ（ｓはベクトル）を求める。また、各誤差評価手段３は、ベクトルｘと内積Ｂｓ（ｓはベクトル）との差を、所定の誤差ノルムＥｒｒｏｒ（・）を用いて計算する（ステップＳ１０４）。この場合、各誤差評価手段３は、例えば、誤差ノルムとして、照明方向推定手段２がベクトルｓ＝（ｓ_ｘ，ｓ_ｙ，ｓ_ｚ）の推定に用いた誤差ノルムと同じ種類のノルムを計算してもよい。また、各誤差評価手段３は、例えば、照明方向推定手段２が用いた誤差ノルムと必ずしも同じノルムを用いる必要はなく、異なる種類の誤差ノルムを計算してもよい。

例えば、照明方向推定手段２が式（５）に示すノルムを用いて照明方向を推定した場合であっても、誤差評価手段３は、式（６）に示すように、誤差ノルムとして絶対値ノルムを計算してもよい。

また、各誤差評価手段３は、求めた誤差ノルムを、誤差特徴１４−１〜１４−ｎとしてカテゴリ識別手段４０に出力する。以下、誤差特徴１４−１〜１４−ｎを包括的に表現する場合に、単に誤差特徴１４という。

誤差評価手段３が求める誤差ノルムは、以下に示す理由によって、カテゴリ識別の特徴量として有用である。照明方向推定手段２が推定する照明強度ベクトルｓ＝（ｓ_ｘ，ｓ_ｙ，ｓ_ｚ）は、各人物の顔画像ベクトルｘ＝｛ｘ_ｉ｝と、カテゴリを代表する顔の照明空間基底Ｂ＝［Ｂ_ｘ，Ｂ_ｙ，Ｂ_ｚ］とに基づいて求めたものである。そのため、推定結果の照明強度ベクトルｓは、必ずしも正確な照明の強度と方向とを表すものとなっているとは限らない。

ここで、照明方向推定手段２が誤差ノルムの最小化により求めた照明強度ベクトルｓ＝（ｓ_ｘ，ｓ_ｙ，ｓ_ｚ）の推定誤差について、カテゴリの違いによる要因が、他の要因（例えば、顔の反射特性による要因）よりも大きく寄与しているとする。この場合、入力顔画像のベクトルｘ＝｛ｘ_ｉ｝と、その入力顔画像に含まれる顔が属すべきカテゴリに対応する照明空間基底Ｂ＝［Ｂ_ｘ，Ｂ_ｙ，Ｂ_ｚ］とに基づいて、照明強度ベクトルｓを求めたとすると、誤差評価手段３が求めた誤差ノルムＥｒｒｏｒ（・）は小さくなる。また、入力顔画像に含まれる顔が本来属すべきカテゴリではないが、本来属すべきカテゴリに近いカテゴリの照明空間基底Ｂに基づいて照明強度ベクトルｓを求めたとすると、本来属すべきカテゴリを用いた場合よりも誤差ノルムがやや大きくなる。また、本来属すべきカテゴリから遠いカテゴリの照明空間基底Ｂに基づいて照明強度ベクトルｓを求めたとすると、本来属すべきカテゴリを用いた場合よりも誤差ノルムが更に大きくなる。

図３は、誤差特徴とカテゴリとの関係を説明する説明図である。図３において、カテゴリ１は、入力顔画像１１が本来属すべきカテゴリである。図３に示すように、本来属すべきカテゴリ１の照明空間基底Ｂを用いたとすると、誤差ノルム１０１が小さくなる。一方、カテゴリ１に近いカテゴリ２の照明空間基底を用いたとすると、誤差ノルム１０２がやや大きくなる。また、カテゴリ１から遠いカテゴリ３の照明空間基底Ｂを用いたとすると、誤差ノルム１０３が更に大きくなる。

このように、誤差ノルムの最小化によって小さな誤差を抑えることから、カテゴリ間の差より小さい影響（例えば、同じカテゴリ内における個人差による影響）は、照明方向推定時の誤差最小化によって目立たなくなる。このことは、誤差ノルムを用いることがカテゴリ判別を行う際に有利に働くことを意味し、誤差ノルムがカテゴリ分類の際の優れた特徴量になることを示す。図３に示す例では、誤差ノルムの最小化による照明推定で推定される顔の領域（図３に示す点線の円）が、各カテゴリの領域（図３に示す実線の楕円）よりも十分小さいとき、誤差ノルムによる個人の同定が可能になる。

更に、上記のように照明空間基底は、顔の３次元形状と反射率とを盛り込んだ情報量であるので、３次元の奥行き方向も含んだ特徴量になる。図３に示すように、照明空間基底を用いることは、誤差ノルムの最小制約の中で入力顔画像に最も近い顔画像を作成して分類することと等価であるので、入力顔画像とカテゴリ代表顔画像とを直接比較してカテゴリ分類する場合と比較して、より正確な分類を行うことができる。

カテゴリ識別手段４０は、各誤差評価手段３が出力する誤差特徴１４を用いて、入力顔画像１１のカテゴリ１５を識別する（ステップＳ１０５）。そして、カテゴリ識別手段４０は、識別した識別カテゴリ１５を出力する。

ステップＳ１０５において、テゴリ識別手段４０は、予め定めたルールに従って、顔画像１１のカテゴリを識別する。例えば、カテゴリ識別手段４０は、各誤差評価手段３が出力する誤差特徴１４に基づいて、誤差特徴１４が最も小さいカテゴリ代表の所属するカテゴリを選択する。この誤差特徴が最も小さいカテゴリを選択する方法は、各カテゴリがカテゴリ代表中心にコンパクトに集中するときや、１つのカテゴリについて複数のカテゴリ代表に対する照明空間基底を用いることが可能であるときに有効である。

一方、カテゴリが広範囲である場合や複数のカテゴリ代表を用いることが不可能な場合には、カテゴリ間に何らかの相関関係があることがある。この場合、カテゴリ識別手段４０は、誤差特徴１４が最も小さいカテゴリを選択するのでなく、２番目以降に小さいカテゴリ代表に対応するカテゴリを選択してもよい。また、カテゴリ識別手段４０は、誤差特徴１４の値だけを用いてカテゴリ分類するのでなく、誤差特徴１４の差等も用いてカテゴリ分類してもよい。

また、例えば、カテゴリ１がカテゴリ３よりカテゴリ４に近く、カテゴリ２がカテゴリ３よりカテゴリ４に近いという関係が既知であるとする。この場合、カテゴリ識別手段４０は、カテゴリ１とカテゴリ２との誤差特徴１４が同程度で最も小さく、カテゴリ３の誤差特徴１４がカテゴリ４の誤差特徴１４より小さいとすると、カテゴリ１を選択してもよい。

以上のように、本実施の形態によれば、顔画像分類装置は、顔の反射の具合や奥行き方向の形状を反映した照明空間基底１２を用いて、入力顔画像１１をカテゴリに分類する。そのため、顔の反射の具合や奥行き方向の形状を考慮して、入力顔画像１１をカテゴリに分類することができる。また、顔の奥行き方向の形状を反映した照明空間基底１２を用いるので、カテゴリ分類対象の顔を複数の方向から撮影した顔画像を用いなくても、１つの入力顔画像１１だけを用いてカテゴリ分類を行うことができる。従って、顔画像に含まれる人物が属するカテゴリに顔画像を分類することができ、顔画像のカテゴリ分類を１つの画像だけを用いて行えるようにすることができる。

また、本実施の形態によれば、顔画像分類装置は、照明空間基底１２を用いて、処理対象の入力顔画像１１に含まれている顔にあてられている照明方向１３を推定する。そして、顔画像分類装置は、照明方向１３を考慮して入力顔画像１１をカテゴリに分類する。そのため、照明変動がある場合であっても、顔画像をカテゴリに分類できる。従って、照明の影響を吸収して、顔画像を適切にカテゴリに分類することができる。

実施の形態２．
次に、本発明の第２の実施の形態を図面を参照して説明する。図４は、顔画像分類方法を用いた顔画像分類装置の他の構成例を示すブロック図である。本実施の形態では、図４に示すように、顔画像分類装置は、第１の実施の形態で示した構成要素に加えて、カテゴリ学習手段５０及び学習モデル蓄積手段６０を含む。また、本実施の形態では、カテゴリ識別手段４０Ａの機能が、第１の実施の形態で示したカテゴリ識別手段４０の機能と異なる。

カテゴリ学習手段５０は、予めカテゴリが既知である顔画像（以下、学習用顔画像ともいう）に基づいて、所定の学習器（学習アルゴリズム）を用いて、所定の学習モデルを生成する機能を備える。例えば、カテゴリ学習手段５０は、学習器としてニューラルネットワークを用いて、学習モデルを生成する。この場合、カテゴリ学習手段５０は、学習モデルとして、学習ユニットの所定の重み係数を求める。また、例えば、カテゴリ学習手段５０は、学習器としてサポートベクタマシンを用いて、学習モデルを生成する。この場合、カテゴリ学習手段５０は、学習モデルとして、サポートベクタと呼ばれる識別境界を作成するためのベクトルを求める。また、学習モデル蓄積手段６０は、カテゴリ学習手段５０が生成した学習モデルを蓄積する。

なお、上記に示したニューラルネットワークやサポートベクタマシン等の学習アルゴリズムは、例えば、文献「R.O.Duda，P.E.Hart，D.G.Stork 原著，尾上守夫監訳，”パターン識別”，新技術コミュニケーションズ」に記載されている。

また、カテゴリ学習手段５０は、学習用顔画像が入力される毎に、繰り返し学習モデルを生成し、学習モデル蓄積手段６０が蓄積する学習モデルを更新させる。すなわち、顔画像分類装置は、学習用顔画像を入力する毎に繰り返し学習を行い、蓄積する学習モデルを更新している。顔画像分類装置は、ある程度繰り返し学習を行うことによって、より正確な学習モデルを生成し蓄積することができる。

カテゴリ識別手段４０Ａは、学習モデル蓄積手段６０が蓄積する学習モデルを用いて、所定の識別器（識別アルゴリズム）を用いて、入力顔画像が所属すべきカテゴリを識別する機能を備える。本実施の形態では、カテゴリ識別手段４０Ａは、学習モデルと各誤差評価手段３が求めた誤差特徴１４とを用いて、カテゴリ学習手段５０が行う学習処理の逆処理を行うことによって、入力顔画像をカテゴリに分類する。例えば、カテゴリ識別手段４０Ａは、識別器としてニューラルネットワークを用いて、学習処理の逆処理を行うことによって、入力画像のカテゴリを識別する。また、例えば、カテゴリ識別手段４０Ａは、識別器としてサポートベクタマシンを用いて、学習処理の逆処理を行うことによって、入力画像のカテゴリを識別する。

なお、本実施の形態において、各照明空間基底蓄積手段１、各照明方向推定手段２及び各誤差評価手段３の機能は、第１の実施の形態で示したそれらの機能と同様である。

次に、動作について説明する。本実施の形態では、顔画像分類装置は、カテゴリの識別に学習モデルを用いる。本実施の形態では、図４に示すように、カテゴリが既知である顔画像（学習用顔画像）に対して、カテゴリ識別手段４０Ａは、学習用顔画像に対応するカテゴリである教師カテゴリ１６を入力し、学習モデル１７を予め作成している。また、カテゴリが未知である顔画像（カテゴリ分類対象の顔画像）が入力されると、カテゴリ識別手段４０Ａは、学習モデル蓄積手段５０が蓄積する学習モデル１７を用いて、入力顔画像１１のカテゴリを識別する。

まず、予め既知の学習用顔画像に基づいて学習モデルを生成する学習プロセスの動作を説明する。学習プロセスでは、顔画像分類装置は、予めカテゴリが既知の顔画像に対して、各照明方向推定手段２及び各誤差評価手段３を用いて、学習用の誤差特徴１６−１〜１６ーｎをそれぞれ求める。以下、学習用の誤差特徴１６−１〜１６−ｎを包括的に表現する場合に、単に学習用誤差特徴１６という。また、顔画像分類装置は、求めた各学習用誤差特徴１６を、所定の学習器を搭載したカテゴリ学習手段５０を用いて、既知のカテゴリを教師カテゴリ１７として学習する。例えば、顔画像分類装置は、ニューラルネットワークやサポートベクタマシンに代表される学習器を用いて学習する。そして、顔画像分類装置は、求めた学習モデル１８を学習モデル蓄積手段６０に蓄積する。

図５は、顔画像分類装置が学習モデルを作成する処理の一例を示す流れ図である。各照明方向推定手段２は、カテゴリが既知である学習用の入力顔画像（学習用顔画像）を入力する（ステップＳ２０１）。例えば、各照明方向推定手段２は、ユーザの指示操作に従って、学習用顔画像を入力する。また、学習用顔画像を入力すると、各照明方向推定手段２は、各照明空間基底蓄積手段１から、それぞれ対応する照明空間基底データ（照明空間基底）を入力する（ステップＳ２０２）。

各照明方向推定手段２は、学習用顔画像と、各照明空間基底蓄積手段１が蓄積する照明空間基底１２とに基づいて、学習用顔画像に含まれる顔にあてられている照明の照明方向（照明強度ベクトル）１３を推定する（ステップＳ２０３）。なお、各照明方向推定手段２が照明方向１３を推定する処理は、第１の実施の形態におけるステップＳ１０３の処理と同様である。

カテゴリ学習手段５０は、学習用顔画像に対応するカテゴリ（教師カテゴリ）１７を入力する。例えば、カテゴリ学習手段５０は、ユーザの指示操作に従って、教師カテゴリ１７を入力する。教師カテゴリ１７を入力すると、カテゴリ学習手段５０は、入力した教師カテゴリ１７と各誤差評価手段３が出力する学習用誤差特徴１６とを用いて学習を行い、学習モデル１８を生成する（ステップＳ２０５）。そして、カテゴリ学習手段５０は、生成した学習モデル１８を学習モデル蓄積手段６０に蓄積させる。

例えば、学習器としてニューラルネットワークを用いる場合、カテゴリ学習手段５０は、教師カテゴリ１７と各学習用誤差特徴１６とを用いて、学習モデル１８として学習ユニットの所定の重み係数を求める。学習器としてニューラルネットワークを用いる場合、学習モデル１８は、入力ユニットから中間ユニット及び中間ユニットから出力ユニットへの加重和の重みに相当する。この場合、カテゴリ学習手段５０は、バックプロパゲーション等の手法を用いた学習を行い、学習ユニットの重み係数を求める。

また、例えば、学習器としてサポートベクタマシンを用いる場合、カテゴリ学習手段５０は、教師カテゴリ１７と学習用誤差特徴１６とを用いて、学習モデル１８としてサポートベクタを求める。

顔画像分類装置は、全ての学習用顔画像について学習を行ったか否かを判断する（ステップＳ２０６）。全ての学習用顔画像について学習を完了したと判断すると、顔画像分類装置は、処理を終了する。また、学習すべき学習用顔画像が存在すると判断すると、顔画像分類装置は、ステップＳ２０１からステップＳ２０６までの処理を繰り返し実行し、各カテゴリの学習モデル１８を生成して学習モデル蓄積手段６０に蓄積する。なお、顔画像分類装置は、同じカテゴリに対応する複数の学習用顔画像について繰り返し学習を行うことによって、学習モデル蓄積手段６０が蓄積する学習モデル１８を順次更新する。

次に、カテゴリ分類対象の入力顔画像１１をカテゴリに分類する識別プロセスの動作を説明する。識別プロセスでは、顔画像分類装置は、各照明方向推定手段２及び各誤差評価手段３を用いて、識別用の誤差特徴１４をそれぞれ求める。また、顔画像分類装置は、求めた各誤差特徴１４を特徴量として、学習モデル蓄積手段６０が蓄積する学習モデル１８に基づいて、カテゴリ識別手段４０を用いて識別カテゴリ１５を求める。

図６は、顔画像分類装置が入力顔画像をカテゴリに分類する顔画像分類処理の他の例を示す流れ図である。図６において、ステップＳ３０１からステップＳ３０４までの処理は、第１の実施の形態におけるステップＳ１０１からステップＳ１０４までの処理と同様である。

各誤差評価手段３が誤差特徴１４を出力すると、カテゴリ識別手段４０Ａは、各誤差特徴１４と、学習モデル蓄積手段６０が蓄積する学習モデル１８とを用いて、入力顔画像１１のカテゴリを識別する（ステップＳ３０５）。この場合、カテゴリ識別手段４０Ａは、所定の識別器を用いて、カテゴリ学習手段５０が行う学習処理の逆処理を行うことによって、入力顔画像１１のカテゴリを識別する。そして、カテゴリ識別手段４０Ａは、識別した識別カテゴリ１５を出力する。

なお、サポートベクタマシン等の２分類問題を想定した学習器を用いる場合、まず、カテゴリ識別手段４０Ａは、入力顔画像１１が、カテゴリ１と、カテゴリ１以外のカテゴリとのいずれに属するかを分類する。カテゴリ１に属すると判断すると、カテゴリ識別手段４０Ａは、入力顔画像１１をカテゴリ１に分類する。カテゴリ１以外に属すると判断すると、カテゴリ識別手段４０は、入力顔画像１１が、カテゴリ２と、カテゴリ２以外のカテゴリとのいずれに属するかを判断する。このように、カテゴリ識別手段４０Ａは、２分類問題による処理を繰り返し実行することによって、入力顔画像１１をいずれかのカテゴリに分類する。

以上のように、本実施の形態によれば、予め所定の学習モデル１８を作成し、学習モデル１８に基づいて顔画像をいずれかのカテゴリに分類する。そのため、各カテゴリを代表する顔の誤差特徴の統計的情報を加味した学習モデルを用いて、顔画像を分類することができる。従って、学習モデルを用いない場合と比較して、統計的情報を加味することによって、より正確に顔画像のカテゴリを識別することができる。

なお、学習モデル１８を用いる場合、各誤差評価手段３は、特徴量として、誤差特徴１４や学習用誤差特徴１６に加えて、顔特徴部画素の色や輝度値の差等の２次元の顔特徴量を出力してもよい。この場合、例えば、各誤差評価手段３は、誤差特徴１４や学習用誤差特徴１６のベクトルと色や輝度のベクトルとを連結した連結ベクトルを出力する。そして、カテゴリ学習手段５０は、各誤差評価手段３が出力する連結ベクトルを用いて学習モデル１８を生成する。また、カテゴリ識別手段４０Ａは、各誤差評価手段３が出力する連結ベクトルを用いて、入力顔画像１１のカテゴリを識別する。

実施の形態３．
次に、本発明の第３の実施の形態を図面を参照して説明する。図７は、顔画像分類方法を用いた顔画像分類装置の更に他の構成例を示すブロック図である。本実施の形態では、図７に示すように、顔画像分類装置は、照明空間基底蓄積装置１０ａと、照明方向推定装置２０ａと、誤差評価装置３０ａと、カテゴリ識別装置４０ａとを含む。なお、本実施の形態は、第１の実施の形態で示した顔画像分類方法を用いた顔画像分類装置の各構成要素を具体的に装置化したものに相当する。

照明空間基底蓄積装置１０ａは、第１の実施の形態で示した各照明空間基底蓄積手段１を装置化したものである。図７に示すように、照明空間基底蓄積装置１０ａは、メモリやハードディスク装置等の複数のストレージ装置１０ｂ−１〜１０ｂ−ｎによって実現される。各ストレージ装置１０ｂ−１〜１０ｂ−ｎは、第１の実施の形態で示した各照明空間基底蓄積手段１と同様に、予め照明空間基底データを蓄積する。

照明方向推定装置２０ａは、第１の実施の形態で示した各照明方向推定手段２を装置化したものである。図７に示すように、照明方向推定装置２０ａは、複数のストレージ装置２０ｂ−１〜２０ｂ−ｎと、複数の演算装置２０ｃ−１〜２０ｃ−ｎとを含む。各ストレージ装置２０ｂ−１〜２０ｂ−ｎは、具体的には、高速アクセスが可能なＤＲＡＭ等の記憶装置である。各ストレージ装置２０ｂ−１〜２０ｂ−ｎは、外部から入力した顔画像ファイルと、照明空間基底蓄積装置１０ａからの照明空間基底データファイルとを一時的に蓄積する。

各演算装置２０ｃ−１〜２０ｃ−ｎは、具体的には、ＣＰＵ等の装置である。各演算装置２０ｃ−１〜２０ｃ−ｎは、各ストレージ装置２０ｂ−１〜２０ｂ−ｎが蓄積する蓄積データにアクセスし、第１の実施の形態で示した各照明方向推定手段２と同様に、誤差ノルムＥｒｒｏｒ（・）を最小にする照明強度ベクトルｓ＝（ｓ_ｘ，ｓ_ｙ，ｓ_ｚ）の推定計算を行う。

誤差評価装置３０ａは、第１の実施の形態で示した各誤差評価手段３を装置化したものである。図７に示すように、誤差評価装置３０ａは、複数のストレージ装置３０ｂ−１〜３０ｂ−ｎと、複数の演算装置３０ｃ−１〜３０ｃ−ｎとを含む。各ストレージ装置３０ｂ−１〜３０−ｎは、具体的には、高速アクセスが可能なＤＲＡＭ等の記憶装置である。各ストレージ装置３０ｂ−１〜３０ｂ−ｎは、入力した顔画像ファイル、照明空間基底データファイル、及び照明方向推定装置２０ａが推定した照明方向ベクトルｓ＝（ｓ_ｘ，ｓ_ｙ，ｓ_ｚ）を一時的に蓄積する。

各演算装置３０ｃ−１〜３０ｃ−ｎは、具体的には、ＣＰＵ等の装置である。各演算装置３０ｃ−１〜３０ｃ−ｎは、各ストレージ装置３０ｂ−１〜３０ｂ−ｎが蓄積する蓄積データにアクセスし、第１の実施の形態で示した各誤差評価手段３と同様に、ベクトルｘと内積Ｂｓ（ｓはベクトル）との差を所定の誤差ノルムＥｒｒｏｒ（・）を用いて計算する。

カテゴリ識別装置４０ａは、第１の実施の形態で示したカテゴリ識別手段４０を装置化したものである。図７に示すように、カテゴリ識別装置４０ａは、ストレージ装置４０ｂと、演算装置４０ｃとを含む。ストレージ装置４０ｂは、具体的には、ＤＲＡＭ等の記憶装置である。ストレージ装置４０ｂは、誤差評価装置３０ａが計算した誤差ノルムデータ（誤差特徴）、及びカテゴリ識別を行うための識別処理データを蓄積する。なお、ストレージ装置４０ｂは、識別処理データとして、学習を行わずにカテゴリ識別を行うための固定のプログラムデータを記憶する。

演算装置４０ｃは、具体的には、ＣＰＵ等の装置である。演算装置４０ｃは、第１の実施の形態で示したカテゴリ識別手段４０と同様に、入力顔画像をカテゴリに分類する識別計算処理を行う。

実施の形態４．
次に、本発明の第４の実施の形態を図面を参照して説明する。図８は、顔画像分類方法を用いた顔画像分類装置の更に他の構成例を示すブロック図である。本実施の形態では、図８に示すように、顔画像分類装置は、第３の実施の形態で示した構成要素に加えて、カテゴリ学習装置５０ａ及び学習モデル蓄積装置６０ａを含む。また、本実施の形態では、カテゴリ識別装置４０ｄの機能が、第３の実施の形態で示したカテゴリ識別装置４０ａの機能と異なる。なお、本実施の形態は、第２の実施の形態で示した顔画像分類方法を用いた顔画像分類装置の各構成要素を具体的に装置化したものに相当する。

本実施の形態において、照明空間基底蓄積装置１０ａ、照明方向推定装置２０ａ及び誤差評価装置３０ａの機能は、第３の実施の形態で示したそれらの機能と同様である。

カテゴリ学習装置５０ａは、第２の実施の形態で示したカテゴリ学習手段５０を装置化したものである。図８に示すように、カテゴリ学習装置５０ａは、ストレージ装置５０ｂと、演算装置５０ｃとを含む。ストレージ装置５０ｂは、具体的には、メモリやハードディスク装置等の記憶装置である。ストレージ装置５０ｂは、誤差評価装置３０ａが計算した誤差ノルムデータ（誤差特徴）、及び教師カテゴリデータを一時蓄積する。

演算装置５０ｃは、具体的には、ＣＰＵ等の装置である。演算装置５０ｃは、第２の実施の形態で示したカテゴリ学習手段５０と同様に、所定の学習器を用いて学習モデルを生成する学習計算処理を行う。

学習モデル蓄積装置６０ａは、第２の実施の形態で示した学習モデル蓄積手段６０を装置化したものである。図８に示すように、学習モデル蓄積装置６０ａは、メモリやハードディスク装置等のストレージ装置６０ｂによって実現される。学習モデル蓄積装置６０ａは、第２の実施の形態で示した学習モデル蓄積手段６０と同様に、カテゴリ学習装置５０ａが計算によって求めた学習モデルデータを蓄積する。

カテゴリ識別装置４０ｄは、第２の実施の形態で示したカテゴリ識別手段４０Ａを装置化したものである。図８に示すように、カテゴリ識別装置４０ｄは、演算装置４０ｆと、ストレージ装置４０ｅとを含む。演算装置４０ｆは、具体的には、ＣＰＵ等の装置である。演算装置４０ｆは、誤差評価装置３０ａが計算した誤差ノルムデータ（誤差特徴）と、学習モデル蓄積装置６０ａが蓄積する学習モデルとを用いて、第２の実施の形態で示したカテゴリ識別手段４０Ａと同様に、入力顔画像をカテゴリに分類する識別計算処理を行う。

ストレージ装置４０ｅは、具体的には、ＤＲＡＭ等の記憶装置である。ストレージ装置４０ｅは、誤差評価装置３０ａが求めた各誤差特徴、及び学習モデル蓄積装置６０ａからの学習モデルデータを一時記憶する。また、ストレージ装置４０ｅは、演算装置４０ｆの処理結果である識別カテゴリを含む識別処理データを蓄積する。

実施の形態５．
次に、本発明の第５の実施の形態を図面を参照して説明する。本実施の形態では、第１の実施の形態で示した顔画像分類方法による各処理を実行するための顔画像分類プログラムを、計算機上で実行可能なプログラムとして構成する。また、本実施の形態では、顔画像分類プログラムを計算機で読み取り可能な情報記憶媒体（例えば、ＣＤ−ＲＯＭ）に格納する。

本実施の形態では、情報記憶媒体は、例えば、コンピュータに、蓄積手段が蓄積する各照明空間基底データに基づいて、処理対象の顔画像に含まれる顔とカテゴリを代表する顔との差の特徴を示す特徴量をカテゴリ毎に求める処理と、求めた各特徴量に基づいて、蓄積手段が蓄積する各照明空間基底データのうち、いずれの照明空間基底データが処理対象の顔画像に対応するかを特定する処理と、処理対象の顔画像を、特定した照明空間基底データに対応するカテゴリに分類する処理とを実行させるための顔画像分類プログラムを記憶している。そして、計算機は、情報記録媒体からプログラムを読み込み、読み込んだプログラムに従って、第１の実施の形態で示した顔画像を分類する処理を実行する。

次に、動作について説明する。図９は、計算機がプログラムに従って入力顔画像をカテゴリに分類する顔画像分類処理の一例を示す流れ図である。計算機は、第１の実施の形態で示した処理と同様に分類対象の入力顔画像を入力し、バッファにロードする（ステップＳ１０１ａ）。すると、計算機は、各カテゴリの代表照明空間基底データを抽出し、バッファにロードする（ステップＳ１０２ａ）。

また、計算機は、ロードした入力顔画像及び各照明空間基底データに基づいて、誤差ノルムが最小となる照明方向を推定する（ステップＳ１０３ａ）。また、計算機は、推定した照明方向と代表照明空間基底データとの内積を求め、入力顔画像と求めた内積との誤差ノルムを誤差特徴として計算する（ステップＳ１０４ａ）。そして、計算機は、求めた全ての誤差特徴に基づいて、予め定めた識別ルールに従って、入力顔画像のカテゴリを識別する（ステップＳ１０５ａ）。

実施の形態６．
次に、本発明の第６の実施の形態を図面を参照して説明する。本実施の形態では、第２の実施の形態で示した顔画像分類方法による各処理を実行するための顔画像分類プログラムを計算機上で実行可能なプログラムとして構成する。また、本実施の形態では、顔画像分類プログラムを計算機で読み取り可能な情報記憶媒体に格納する。

本実施の形態では、情報記憶媒体は、例えば、コンピュータに、予めカテゴリが既知である顔画像に基づいて、所定の学習モデルを作成する処理と、学習モデルを作成する処理の逆処理を行うことによって、蓄積手段が蓄積する各照明空間基底データのうち、いずれの照明空間基底データが処理対象の顔画像に対応するかを特定する処理と、処理対象の顔画像を、特定した照明空間基底データに対応するカテゴリに分類する処理とを実行させるための顔画像分類プログラムを記憶している。そして、計算機は、情報記録媒体からプログラムを読み込み、読み込んだプログラムに従って、第２の実施の形態で示した顔画像を分類する処理を実行する。

次に、動作について説明する。まず、学習モデルを作成する学習プロセスの動作を説明する。図１０は、計算機がプログラムに従って学習モデルを作成する処理の一例を示す流れ図である。計算機は、第２の実施の形態で示した処理と同様にカテゴリが既知の学習用の入力顔画像を入力し、バッファにロードする（ステップＳ２０１ａ）。すると、計算機は、各カテゴリの代表照明空間基底データを抽出し、バッファにロードする（ステップＳ２０２ａ）。

また、計算機は、ロードした学習用顔画像及び各照明空間基底データに基づいて、誤差ノルムが最小となる照明方向を推定する（ステップＳ２０３ａ）。また、計算機は、推定した照明方向と代表照明空間基底データとの内積を求め、入力顔画像と求めた内積との誤差ノルムを学習用誤差特徴として計算する（ステップＳ２０４ａ）。そして、計算機は、求めた全ての学習用誤差特徴と既知のカテゴリラベルとを所定の学習器に入力し、学習モデルを構築する（ステップＳ２０５ａ）。また、計算機は、全ての学習用顔画像について学習を行ったか否かを判断し（ステップＳ２０６ａ）、未処理の学習用顔画像が存在する場合には、ステップＳ２０１ａ以降の処理を繰り返し実行する。

次に、入力顔画像をカテゴリに分類する分類プロセスの動作を説明する。図１１は、計算機がプログラムに従って入力顔画像をカテゴリに分類する顔画像分類処理の他の例を示す流れ図である。計算機は、第２の実施の形態で示した処理と同様に分類対象の入力顔画像を入力し、バッファにロードする（ステップＳ３０１ａ）。すると、計算機は、各カテゴリの代表照明空間基底データを抽出し、バッファにロードする（ステップＳ３０２ａ）。

また、計算機は、ロードした入力顔画像及び各照明空間基底データに基づいて、誤差ノルムが最小となる照明方向を推定する（ステップＳ３０３ａ）。また、計算機は、推定した照明方向と代表照明空間基底データとの内積を求め、入力顔画像と求めた内積との誤差ノルムを誤差特徴として計算する（ステップＳ３０４ａ）。そして、計算機は、求めた全ての誤差特徴と学習モデルとに基づいて、所定の学習アルゴリズムを用いて、入力顔画像のカテゴリを識別する（ステップＳ３０５ａ）。

本発明は、コンビニエンスストア等の顧客データ収集システム、入国管理システム等のセキュリティシステム、ゲームセンタや携帯電話機用のアプリケーションを用いたエンターテイメントの提供等の用途に適用できる。本発明によれば、顧客データ収集や入国管理、エンターテイメントの提供の際に、人物の顔を撮影して人物データを分類する場合において、顔形状による影響を考慮して顔分類を行うことができる。

Claims (23)

1. 顔画像を所定のカテゴリに分類する顔画像分類方法であって、
   カテゴリを代表する顔について顔の奥行きと顔にあてられた照明による反射の具合とを示すデータである照明空間基底データを、カテゴリ毎に予め蓄積する照明空間基底蓄積ステップと、
   カテゴリ毎の前記各照明空間基底データと照明の強度及び方向を示す照明強度ベクトルから算出される顔モデル画像の各画素ベクトルと、処理対象の顔画像の各画素ベクトルとの距離を最小化するような前記照明強度ベクトルをカテゴリ毎に算出する照明方向推定ステップと、
   カテゴリ毎の前記照明空間基底データと前記照明強度ベクトルから算出される各カテゴリを代表する顔画像ベクトルと、前記処理対象の顔画像ベクトルの距離で最小のものを特徴量としてカテゴリ毎に算出する特徴算出ステップと、
   前記算出された特徴量のうち最小となる特徴量のカテゴリに前記処理対象の顔画像を分類する顔画像分類ステップと
   を含むことを特徴とする顔画像分類方法。
2. 前記照明方向推定ステップは、カテゴリ毎の前記各照明空間基底データと照明強度ベクトルの内積で求められる顔モデル画像の各画素ベクトルと、処理対象の顔画像の各画素ベクトルとの距離を最小化するような前記照明強度ベクトルをカテゴリ毎に算出する、ことを特徴とする請求項１に記載の顔画像分類方法。
3. 前記特徴算出ステップは、カテゴリ毎の前記照明空間基底データと前記算出された照明強度ベクトルの内積で求められる各カテゴリを代表する顔画像ベクトルと、前記処理対象の顔画像ベクトルの距離差で最小のものを前記特徴量としてカテゴリ毎に算出する
   ことを特徴とする請求項１又は２に記載の顔画像分類方法。
4. 前記特徴算出ステップで、
   前記蓄積した各照明空間基底データと前記算出した照明強度ベクトルとに基づいて、カテゴリを代表する顔に前記照明強度ベクトルが示す方向から照明をあてた場合の推定顔画像をカテゴリ毎に作成し、
   前記特徴量として、処理対象の顔画像と前記作成した推定顔画像との誤差をカテゴリ毎に求め、
   前記顔画像分類ステップで、前記求めた各誤差のうちの最小となる誤差に対応する照明空間基底データを特定する
   請求項１から３のいずれかに記載の顔画像分類方法。
5. 前記照明方向推定ステップで、処理対象の顔画像に含まれる顔にあてられている照明の方向の推定結果として、前記照明ベクトルをカテゴリ毎に求め、
   前記特徴算出ステップで、前記求めた照明ベクトルと蓄積した各照明空間基底データとの内積を求めることによって、前記推定顔画像をカテゴリ毎に作成する
   請求項４に記載の顔画像分類方法。
6. 前記照明空間基底蓄積ステップで、カテゴリを代表する顔として、前記カテゴリに含まれる顔の平均顔、又は前記カテゴリに含まれる顔を主成分分析して求めた主成分顔に対応する照明空間基底データを、カテゴリ毎に予め蓄積する請求項１から請求項５のうちのいずれか１項に記載の顔画像分類方法。
7. 前記照明空間基底蓄積ステップで、顔の三次元形状と反射率とを盛り込んだ照明空間基底データを、カテゴリ毎に予め蓄積する請求項１から請求項６のうちのいずれか１項に記載の顔画像分類方法。
8. カテゴリが既知である学習用顔画像を入力し、入力された学習用顔画像について前記照明強度算出ステップにより前記照明強度ベクトルを算出し、前記特徴算出ステップにより前記特徴量を算出し、算出した特徴量と、前記顔画像に対応する既知のカテゴリとを教師データとして学習処理を行うことにより学習モデルを作成する学習モデル作成ステップをさらに含み、
   前記顔画像分類ステップは、前記処理対象の顔画像について算出された特徴量を前記学習モデルに入力して、カテゴリを出力させるステップをさらに含む
   請求項１から請求項７のうちのいずれか１項に記載の顔画像分類方法。
9. 前記学習モデル作成ステップで、ニューラルネットワークを用いて、学習モデルとして所定の重み係数を求める請求項８記載の顔画像分類方法。
10. 前記学習モデル作成ステップで、サポートベクタマシンを用いて、学習モデルとしてサポートベクタを求める請求項８記載の顔画像分類方法。
11. 前記顔画像分類ステップで、
    学習モデルを作成する処理の逆処理を行うことによって、蓄積した各照明空間基底データのうち、いずれの照明空間基底データが処理対象の顔画像に対応するかを特定し、
    前記処理対象の顔画像を、前記特定した照明空間基底データに対応するカテゴリに分類する
    請求項８から請求項１０のうちのいずれか１項に記載の顔画像分類方法
12. 顔画像を所定のカテゴリに分類する顔画像分類装置であって、
    カテゴリを代表する顔について顔の奥行きと顔にあてられた照明による反射の具合とを示すデータである照明空間基底データを、カテゴリ毎に予め蓄積する照明空間基底蓄積手段と、
    カテゴリ毎の前記各照明空間基底データと照明の強度及び方向を示す照明強度ベクトルから算出される顔モデル画像の各画素ベクトルと、処理対象の顔画像の各画素ベクトルとの距離を最小化するような前記照明強度ベクトルをカテゴリ毎に算出する照明方向推定手段と、
    カテゴリ毎の前記照明空間基底データと前記照明強度ベクトルから算出される各カテゴリを代表する顔画像ベクトルと、前記処理対象の顔画像ベクトルの距離で最小のものを特徴量としてカテゴリ毎に算出する特徴算出手段と、
    前記算出された特徴量のうち最小となる特徴量のカテゴリに前記処理対象の顔画像を分類する顔画像分類手段とを
    備えたことを特徴とする顔画像分類装置。
13. 前記照明方向推定手段は、カテゴリ毎の前記各照明空間基底データと照明強度ベクトルの内積で求められる顔モデル画像の各画素ベクトルと、処理対象の顔画像の各画素ベクトルとの距離を最小化するような前記照明強度ベクトルをカテゴリ毎に算出する
    ことを特徴とする請求項１２に記載の顔画像分類装置。
14. 前記特徴算出手段は、カテゴリ毎の前記照明空間基底データと前記算出された照明強度ベクトルの内積で求められる各カテゴリを代表する顔画像ベクトルと、前記処理対象の顔画像ベクトルの距離差で最小のものを前記特徴量としてカテゴリ毎に算出する
    ことを特徴とする請求項１２又は１３に記載の顔画像分類装置。
15. 前記特徴算出手段は、
    前記照明空間基底蓄積手段が蓄積する各照明空間基底データと、前記照明方向推定手段が算出した照明強度ベクトルとに基づいて、カテゴリを代表する顔に前記照明強度ベクトルが示す方向から照明をあてた場合の推定顔画像をカテゴリ毎に作成し、
    前記特徴量として、処理対象の顔画像と前記作成した推定顔画像との誤差をカテゴリ毎に求め、
    前記顔画像分類手段は、前記特徴算出手段が求めた各誤差のうちの最小となる誤差に対応する照明空間基底データを特定する
    請求項１２から１４のいずれかに記載の顔画像分類装置。
16. 前記照明方向推定手段は、処理対象の顔画像に含まれる顔にあてられている照明の方向の推定結果として、前記照明ベクトルをカテゴリ毎に求め、
    前記特徴算出手段は、前記照明方向推定手段が求めた照明ベクトルと、照明空間基底蓄積手段が蓄積する各照明空間基底データとの内積を求めることによって、前記推定顔画像をカテゴリ毎に作成する
    請求項１５記載の顔画像分類装置。
17. 前記照明空間基底蓄積手段は、カテゴリを代表する顔として、前記カテゴリに含まれる顔の平均顔、又は前記カテゴリに含まれる顔を主成分分析して求めた主成分顔に対応する照明空間基底データを、カテゴリ毎に予め蓄積する請求項１２から請求項１６のうちのいずれか１項に記載の顔画像分類装置。
18. 前記照明空間基底蓄積手段は、顔の三次元形状と反射率とを盛り込んだ照明空間基底データを、カテゴリ毎に予め蓄積する請求項１２から請求項１７のうちのいずれか１項に記載の顔画像分類装置。
19. カテゴリが既知である学習用顔画像を入力し、入力された学習用顔画像について前記照明強度算出手段により前記照明強度ベクトルを算出し、前記特徴算出手段により前記特徴量を算出し、算出した特徴量と、前記顔画像に対応する既知のカテゴリとを教師データとして学習処理を行うことにより学習モデルを作成する学習モデル作成手段をさらに備え、
    前記顔画像分類手段は、前記処理対象の顔画像について算出された特徴量を前記学習モデルに入力して、カテゴリを出力させる
    請求項１２から請求項１８のうちのいずれか１項に記載の顔画像分類装置。
20. 前記顔画像分類手段は、
    学習モデルを作成する処理の逆処理を行うことによって、照明空間基底蓄積手段が蓄積する各照明空間基底データのうち、いずれの照明空間基底データが処理対象の顔画像に対応するかを特定し、
    前記処理対象の顔画像を、前記特定した照明空間基底データに対応するカテゴリに分類する
    請求項１９に記載の顔画像分類装置。
21. 顔画像を所定のカテゴリに分類するための顔画像分類プログラムであって、
    カテゴリを代表する顔に対応する、顔の奥行きと顔にあてられた照明による反射の具合とを示すデータである照明空間基底データを、カテゴリ毎に予め蓄積するコンピュータに、
    カテゴリ毎の前記各照明空間基底データと照明の強度及び方向を示す照明強度ベクトルから算出される顔モデル画像の各画素ベクトルと、処理対象の顔画像の各画素ベクトルとの距離を最小化するような前記照明強度ベクトルをカテゴリ毎に算出する照明強度算出処理と、
    カテゴリ毎の前記照明空間基底データと前記照明強度ベクトルから算出される各カテゴリを代表する顔画像ベクトルと、前記処理対象の顔画像ベクトルの距離で最小のものを特徴量としてカテゴリ毎に算出する特徴算出処理と、
    前記算出された特徴量のうち最小となる特徴量のカテゴリに前記処理対象の顔画像を分類する顔画像分類処理とを
    実行させる顔画像分類プログラム。
22. 前記コンピュータに、
    カテゴリが既知である学習用顔画像を入力し、入力された学習用顔画像について前記照明強度算出処理により前記照明強度ベクトルを算出し、前記特徴算出処理により前記特徴量を算出し、算出した特徴量と、前記顔画像に対応する既知のカテゴリとを教師データとして学習処理を行うことにより学習モデルを作成する学習モデル作成処理を実行させ、
    前記顔画像分類処理は、前記処理対象の顔画像について算出された特徴量を前記学習モデルに入力して、カテゴリを出力させる
    請求項２１の顔画像分類プログラム。
23. 前記顔画像分類処理は、
    学習モデルを作成する処理の逆処理を行うことによって、蓄積手段が蓄積する各照明空間基底データのうち、いずれの照明空間基底データが処理対象の顔画像に対応するかを特定し、
    前記処理対象の顔画像を、前記特定した照明空間基底データに対応するカテゴリに分類する
    請求項２２記載の顔画像分類プログラム。

Images