JP4655235B2 - 情報処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、顔の向きにかかわらず、顔画像から顔の器官をより正確に検出することができるようにする情報処理装置および方法、並びにプログラムに関する。

従来、顔検出において、特徴点としての顔の器官を検出する様々な手法が提案されている。

例えば、両瞳、鼻孔、口端などの４点以上の基準特徴点を検出し、その検出結果を顔の３次元形状上に当てはめ、口中点の検出範囲を決定する手法が提案されている（例えば、特許文献１参照）。

また、許容度の大きい特徴量検出器で顔の特徴点を暫定的に決定し、その特徴点同士の位置関係から、特徴点の検索範囲を決定し、許容度の小さい特徴量検出器で、最終的な特徴点を決定する手法が提案されている（例えば、特許文献２参照）。

特開２００７−２４１５７９号公報 特開２００８−３７４９号公報

しかしながら、特許文献１の手法では、基準特徴点の検出に失敗した場合、口中点の検出範囲を適切に決定できない恐れがあり、基準特徴点の検出を正確に行うことができない。また、特許文献２の手法でも、１回目の特徴点の決定に失敗すると、特徴点の検索範囲を適切に決定できない恐れがあり、特徴点の検出を正確に行うことができない。

本発明は、このような状況に鑑みてなされたものであり、顔の向きにかかわらず、顔画像から顔の器官をより正確に検出することができるようにするものである。

本発明の一側面の情報処理装置は、顔画像における、顔の向きを表す情報であるピッチ角、ヨー角、およびロール角を検出する顔検出手段と、前記顔検出手段によって検出された前記顔の向きを表す情報のうちの前記ピッチ角および前記ヨー角の関数として、前記ロール角の分だけ補正された前記顔画像における、所定の顔の器官の統計的な位置の分布に基づいた重み分布を生成する重み分布生成手段と、前記重み分布を基に、重みの値が所定の値以上である位置の範囲を設定する範囲設定手段と、前記範囲内の前記顔画像における所定の領域毎に、予め学習された顔の器官の画像と前記範囲内の前記顔画像における前記所定の領域とを比較することで、前記所定の顔の器官であるか否かを評価する第１の評価値を画素毎に算出する第１の算出手段と、前記範囲内の前記第１の評価値が所定の閾値以上となる前記所定の領域を、前記所定の顔の器官として特定する顔器官特定手段とを備える。
前記情報処理装置には、予め設定された前記範囲を示す範囲情報を、前記ピッチ角および前記ヨー角に対応付けて記憶する記憶手段をさらに設け、前記範囲設定手段には、前記ピッチ角および前記ヨー角に応じて、前記記憶手段に記憶された前記範囲情報を選択させることができる。

前記情報処理装置には、前記重み分布に基づいて前記第１の評価値を重み付けした第２の評価値を算出する第２の算出手段をさらに設け、前記顔器官特定手段には、前記第２の評価値に基づいて、前記所定の領域を、前記所定の顔の器官として特定させることができる。

前記所定の領域は、画素単位の領域とすることができる。

前記重み分布は、前記顔の向きを決定する顔の角度の関数とすることができる。

本発明の一側面の情報処理方法は、顔画像における、顔の向きを表す情報であるピッチ角、ヨー角、およびロール角を検出する顔検出ステップと、前記顔検出ステップの処理によって検出された前記顔の向きを表す情報のうちの前記ピッチ角および前記ヨー角の関数として、前記ロール角の分だけ補正された前記顔画像における、所定の顔の器官の統計的な位置の分布に基づいた重み分布を生成する重み分布生成ステップと、前記重み分布を基に、重みの値が所定の値以上である位置の範囲を設定する範囲設定ステップと、前記範囲内の前記顔画像における所定の領域毎に、予め学習された顔の器官の画像と前記範囲内の前記顔画像における前記所定の領域とを比較することで、前記所定の顔の器官であるか否かを評価する評価値を画素毎に算出する算出ステップと、前記範囲内の前記評価値が所定の閾値以上となる前記所定の領域を、前記所定の顔の器官として特定する顔器官特定ステップとを含む。

本発明の一側面のプログラムは、顔画像における、顔の向きを表す情報であるピッチ角、ヨー角、およびロール角を検出する顔検出ステップと、前記顔検出ステップの処理によって検出された前記顔の向きを表す情報のうちの前記ピッチ角および前記ヨー角の関数として、前記ロール角の分だけ補正された前記顔画像における、所定の顔の器官の統計的な位置の分布に基づいた重み分布を生成する重み分布生成ステップと、前記重み分布を基に、重みの値が所定の値以上である位置の範囲を設定する範囲設定ステップと、前記範囲内の前記顔画像における所定の領域毎に、予め学習された顔の器官の画像と前記範囲内の前記顔画像における前記所定の領域とを比較することで、前記所定の顔の器官であるか否かを評価する評価値を画素毎に算出する算出ステップと、前記範囲内の前記評価値が所定の閾値以上となる前記所定の領域を、前記所定の顔の器官として特定する顔器官特定ステップとを含む処理をコンピュータに実行させる。

本発明の一側面においては、顔画像における、顔の向きを表す情報であるピッチ角、ヨー角、およびロール角が検出され、検出された顔の向きを表す情報のうちのピッチ角およびヨー角の関数として、ロール角の分だけ補正された顔画像における、所定の顔の器官の統計的な位置の分布に基づいた重み分布が生成され、重み分布を基に、重みの値が所定の値以上である位置の範囲が設定され、範囲内の顔画像における所定の領域毎に、予め学習された顔の器官の画像と範囲内の顔画像における所定の領域とを比較することで、所定の顔の器官であるか否かを評価する評価値が画素毎に算出され、範囲内の評価値が所定の閾値以上となる所定の領域が、所定の顔の器官として特定される。

本発明の一側面によれば、顔の向きにかかわらず、顔画像から顔の器官をより正確に検出することができる。

以下、本発明の実施の形態について図を参照して説明する。

図１は、本発明を適用した顔パーツ検出装置の一実施の形態の構成例を示す図である。

図１の顔パーツ検出装置１１は、入力された画像に含まれる顔を検出し、その顔の顔画像において、所定の顔の器官である顔パーツを検出する。顔パーツ検出装置１１は、まず、人の顔を検出するものであるが、人以外の動物の顔や、人を模した人形の顔なども同様に検出することができる。また、顔パーツは、目、鼻、口などの顔の器官自体を指すものとするが、顔の器官の中心点や端点、輪郭等であってもよい。

図１の顔パーツ検出装置１１は、画像入力部４１、顔検出部４２、顔画像回転補正部４３、顔パーツ重みマップ生成部４４、顔パーツ検出部４５、重み付け部４６、および顔パーツ特定部４７から構成される。また、顔パーツ重みマップ生成部４４は、記憶部５１および計算部５２を備えている。

画像入力部４１は、例えば、ビデオカメラ等で撮像された画像や、リムーバブルメディア等の図示せぬ記録媒体に予め記録されている画像を入力画像として取得し、顔検出部４２に供給する。

顔検出部４２は、画像入力部４１から供給された入力画像から、顔および顔の向きを検出し、顔を検出する領域である顔検出領域の位置および大きさに基づいて顔画像を抽出して、顔の向きを表す情報とともに、顔画像回転補正部４３および顔パーツ重みマップ生成部４４に供給する。

具体的には、顔検出部４２は、特開２００５−２８４４８７号公報、特開２００７−２４９８５２号公報、および「佐部浩太郎、日台健一、“ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習”、第１０回画像センシングシンポジウム講演論文集、pp547-552，2004年」等に提案されているように、様々な方向を向いている顔の顔画像を学習しておくことで、顔を検出するとともに、顔の向きを検出する。

ここで、顔の向きは、図２に示されるように、ピッチ角、ヨー角、およびロール角によって表される。ピッチ角は、図２の左部に示されるように、人の両目の中心を結んだ線と平行で、ほぼ人の頭の中心を通る軸６１を中心とする上下の角度であり、例えば、上を向くと正、下を向くと負とされる。ヨー角は、図２の左部に示されるように、軸６１と垂直な軸であって、ほぼ人の頭の中心を垂直に通る軸６２を中心とした角度であり、例えば、正面が０度とされ、右方向が負、左方向が正となるように定義される。ロール角は、図２の右部に示されるように、軸６１と軸６２と直交する軸６３を中心として回転する角度を表し、軸６１が水平になる角度が０度とされる。

顔検出部４２は、所定の大きさの顔検出領域で抽出された、所定の角度のヨー角とピッチ角を有する人の顔の顔画像を学習し、画像入力部４１からの入力画像において、その顔検出領域内と同じ大きさの領域の画像と、学習した顔画像とを比較し、顔であるか否かを評価することで、顔および顔の向きを検出する。

顔検出部４２が学習する顔画像の顔の向きは、ある範囲の角度毎に分類されており、顔検出部４２は、顔の向きを、例えば、正面を向いた顔を基準として、ヨー角が、−４５度乃至−１５度の範囲、−１５度乃至＋１５度の範囲、＋１５度乃至＋４５度の範囲などの大まかな範囲の角度として検出する。また、この検出結果について、顔検出領域の周辺の領域で同様にして検出された複数の検出結果を平均することで、より正確な角度を得るようにすることができる。なお、顔検出部４２は、上述した手法に限らず、他の手法によって、顔および顔の向きを検出するようにしてもよい。

顔画像回転補正部４３は、顔検出部４２から供給された顔画像を、顔の向きを表す情報の１つであるロール角の分だけ、回転（回転補正）し、顔パーツ検出部４５に供給する。

顔パーツ重みマップ生成部４４は、顔検出部４２から供給された顔の向きを表す情報であるピッチ角およびヨー角に応じて、顔画像において所定の顔パーツが存在する可能性の高い位置の画素に対して、より高い重み付けをするための顔パーツ重みマップを生成し、重み付け部４６に供給する。なお、顔パーツ重みマップの詳細は、後述する。

顔パーツ重みマップ生成部４４の記憶部５１は、顔検出部４２からの顔画像の大きさと、正面を向いた（ロール角、ピッチ角、ヨー角がいずれも０度である）顔の顔画像における顔パーツの種類毎に、顔パーツ重みマップを記憶している。すなわち、同じ大きさの顔画像の顔パーツ重みマップであっても、右目の顔パーツ重みマップと左目の顔パーツ重みマップとでは異なる。なお、記憶部５１に記憶されている顔パーツ重みマップを、以下、適宜、基本顔パーツ重みマップと称する。

顔パーツ重みマップ生成部４４の計算部５２は、記憶部５１の基本顔パーツ重みマップを基に、顔検出部４２からのピッチ角およびヨー角に応じた顔パーツ重みマップを計算により求める。

顔パーツ検出部４５は、顔画像回転補正部４３からの顔画像において、顔パーツであるか否かを評価するための評価値である検出スコアを画素毎に算出し、重み付け部４６に供給する。

具体的には、例えば、顔パーツ検出部４５は、顔検出部４２と同様にして、所定の大きさの領域で抽出された顔パーツを学習し、顔画像において、所定の大きさの領域の画像と、学習した顔パーツの画像とを比較することで、その所定の大きさの領域内の画素についての検出スコアを算出する。その所定の大きさの領域内の画素についての検出スコアが高ければ、その領域の画像は、検出しようとしている顔パーツの候補とされる。

重み付け部４６は、顔パーツ検出部４５からの画素毎の検出スコアに、顔パーツ重みマップ生成部４４からの顔パーツ重みマップに基づいて重み付けし、その重み付けされた画素毎の検出スコアを顔パーツ特定部４７に供給する。

顔パーツ特定部４７は、重み付け部４６からの、顔画像の全ての画素についての検出スコアにおいて、所定の閾値以上の検出スコアの画素を、顔パーツを構成する画素として特定する。

次に、図３のフローチャートを参照して、顔パーツ検出装置１１の顔パーツ検出処理について説明する。

顔パーツ検出装置１１においては、画像入力部４１が入力画像を取得し、顔検出部４２および顔画像回転補正部４３に供給すると、顔パーツ検出処理が開始される。

ステップＳ１１において、顔検出部４２は、画像入力部４１から供給された入力画像から顔、並びに顔の向きを決定するロール角、ピッチ角、およびヨー角を検出する。顔検出部４２は、顔検出領域の位置および大きさに基づいて顔画像を抽出し、ロール角とともに顔画像回転補正部４３に供給する。また、顔検出部４２は、抽出した顔画像の大きさを、ピッチ角およびヨー角とともに顔パーツ重みマップ生成部４４に供給する。

ステップＳ１２において、顔画像回転補正部４３は、顔検出部４２から供給されたロール角の分だけ、顔画像を回転（回転補正）し、顔パーツ検出部４５に供給する。

すなわち、顔検出部４２は、例えば、図４の画像Ａに示される入力画像から顔、並びに、顔の向きを決定するロール角（＝−３０度）、ピッチ角（＝０度）、およびヨー角（＝−２０度）を検出し、顔画像７１を抽出する。

そして、顔画像回転補正部４３は、図４の画像Ｂにおいて、顔の両目の中心を結んだ線が水平になるように（すなわち、ロール角が０度となるように）、図４の画像Ｃに示されるように、顔画像７１を＋３０度分だけ回転補正する。

このようにして、入力画像から、両目の位置が水平になった（ロール角が０度である）顔画像７１が得られる。

ステップＳ１３において、顔パーツ重みマップ生成部４４は、顔検出部４２から供給された顔画像７１の大きさと、ピッチ角およびヨー角とに応じて、顔パーツ重みマップを生成し、重み付け部４６に供給する。

ここで、図５乃至図８を参照して、顔パーツ重みマップ生成部４４によって生成される顔パーツ重みマップについて説明する。なお、ここでは、検出対象となる顔パーツを右目として説明する。

一般に、顔検出の検出結果として得られた、複数の、同じ大きさの顔画像を重ね合わせた場合、右目の位置は、顔検出の対象となった顔の位置のぶれ、顔の形状、顔の方向、右目の位置の個人差等によって、ばらつきが生じる。

逆に、同じ大きさの顔画像を重ね合わせて、右目の位置（中心位置）をプロットした場合、そのプロットの密度が高い領域ほど、同じ大きさの顔画像において、右目（の中心）が存在する可能性が高い領域と言える。顔パーツ重みマップは、このようなプロットの分布に基づいたものである。

例えば、図５に示される顔パーツ重みマップ７２は、数百の、顔画像７１と同じ大きさの顔画像を重ね合わせて、右目の位置（中心位置）をプロットした場合の分布に基づいて得られる。すなわち、顔パーツ重みマップ７２は、顔画像における右目の統計的な位置の分布に基づいて得られる。

図５の顔パーツ重みマップ７２において、色の濃い領域ほどプロットの密度が高く、右目が存在する可能性が高い領域となる。すなわち、色の濃い領域に対応する顔画像の画素に対して、高い重み付けがされる。

顔パーツ重みマップ７２によって付加される重みは、所定の範囲の値で表され、例えば、図５の顔パーツ重みマップ７２において、プロットの密度が最大である位置の重みの値を１．０とし、プロットの密度が０である位置の重みを０．０とした場合、重みの値は、０．０乃至１．０の範囲の値をとる。

ところで、プロットされた位置で表される右目の位置は、顔の向きによって変化するので、顔パーツ重みマップ７２は、顔の向きに応じて生成される必要がある。

例えば、図６の画像Ａに示されるように、正面を向いた顔の顔画像のみに基づいて生成された顔パーツ重みマップ７２を、正面を向いた顔の顔画像７１に適用した場合、顔の右目を中心に重み付けされる。

しかしながら、図６の画像Ａの顔パーツ重みマップ７２を、左を向いた（ピッチ角＝０度、ヨー角＝＋２０度）顔の顔画像７１に適用した場合、図６の画像Ｂに示されるように、本来、重み付けされるべき右目とは異なる位置に対して重み付けされ、顔パーツの検出の精度の低下を招く。

そこで、顔パーツ重みマップ生成部４４は、ピッチ角（＝０度）およびヨー角（＝＋２０度）に応じて、図６の画像Ｃに示される顔パーツ重みマップ７２を生成する。

より具体的には、計算部５２は、記憶部５１に記憶されている、顔画像７１の大きさに応じた基本顔パーツ重みマップ（図６の画像Ａの顔パーツ重みマップ７２に等しい）を基に、ピッチ角およびヨー角を変数とした関数として顔パーツ重みマップ７２を定義し、（ピッチ角、ヨー角）＝（０，＋２０）を代入することで、図６の画像Ｃで示される顔パーツ重みマップ７２を求める。

例えば、計算部５２は、顔パーツ重みマップ７２（基本顔パーツ重みマップ）を、図７に示されるように、直交する軸ａおよび軸ｂそれぞれに対する正規分布を合成した合成分布に近似するものとし、軸ａおよび軸ｂの交点である中心座標値（ｘ，ｙ）、顔画像７１の水平方向に対する軸ａの角度α、軸ａおよび軸ｂそれぞれの正規分布の分散σ_aおよびσ_bのパラメータにより決定されるようにする。さらに、計算部５２は、それぞれのパラメータを、ピッチ角およびヨー角の関数とすることで、連続的なピッチ角およびヨー角の値に対して、連続的な重みの値を持つ顔パーツ重みマップ７２を求める。

これにより、図６の画像Ｃに示されるように、画像Ｂのような左を向いた顔の顔画像７１であっても、その右目を中心に重み付けされる。

上述のようにして、顔パーツ重みマップ生成部４４は、図８に示されるように、所定のピッチ角およびヨー角に応じて、顔パーツ重みマップ７２を生成する。

図８においては、所定の角度範囲に含まれるピッチ角およびヨー角に対する顔パーツ重みマップ７２が示されている。なお、図８に示される角度範囲において、“［”および“］”は、「以上」および「以下」を表し、“（”および“）”は、「超過」および「未満」を表す。

例えば、ピッチ角が−４５度以上−１５度未満で、かつ、ヨー角が−４５度以上−１５度未満である場合には、図中、左上に示される顔パーツ重みマップ７２−１が生成される。

ピッチ角が−４５度以上−１５度未満で、かつ、ヨー角が−１５度以上＋１５度未満である場合には、図中、中央上に示される顔パーツ重みマップ７２−２が生成される。

ピッチ角が−４５度以上−１５度未満で、かつ、ヨー角が＋１５度超過＋４５度以下である場合には、図中、右上に示される顔パーツ重みマップ７２−３が生成される。

ピッチ角が−１５度以上＋１５度未満で、かつ、ヨー角が−４５度以上−１５度未満である場合には、図中、左中央に示される顔パーツ重みマップ７２−４が生成される。

ピッチ角が−１５度以上＋１５度未満で、かつ、ヨー角が−１５度以上＋１５度未満である場合には、図中、中央に示される顔パーツ重みマップ７２−５が生成される。なお、顔パーツ重みマップ７２−５は、記憶部５１に記憶されている基本顔パーツ重みマップと同一である。

ピッチ角が−１５度以上＋１５度未満で、かつ、ヨー角が＋１５度超過＋４５度以下である場合には、図中、右中央に示される顔パーツ重みマップ７２−６が生成される。

ピッチ角が＋１５度超過＋４５度以下で、かつ、ヨー角が−４５度以上−１５度未満である場合には、図中、左下に示される顔パーツ重みマップ７２−７が生成される。

ピッチ角が＋１５度超過＋４５度以下で、かつ、ヨー角が−１５度以上＋１５度未満である場合には、図中、中央下に示される顔パーツ重みマップ７２−８が生成される。

ピッチ角が＋１５度超過＋４５度以下で、かつ、ヨー角が＋１５度超過＋４５度以下である場合には、図中、右下に示される顔パーツ重みマップ７２−９が生成される。

このようにして、顔パーツ重みマップ生成部４４は、ピッチ角およびヨー角に応じた顔パーツ重みマップ７２を生成することができる。

図３のフローチャートに戻り、ステップＳ１４において、顔パーツ検出部４５は、顔画像回転補正部４３からの回転補正された顔画像において、顔パーツである右目を検出するための検出スコアを画素毎に算出し、重み付け部４６に供給して、処理は、ステップＳ１５に進む。

ステップＳ１５において、重み付け部４６は、顔パーツ検出部４５からの画素毎の検出スコアに、顔パーツ重みマップ生成部４４からの顔パーツ重みマップ７２に基づいて重み付けし、その重み付けされた画素毎の検出スコアを顔パーツ特定部４７に供給して、処理は、ステップＳ１６に進む。

より具体的には、重み付け部４６は、以下の式（１）で示されるように、検出スコアと、顔パーツ重みマップ７２の重みの値とを、画素毎に乗算する。

すなわち、顔画像７１において、水平右方向をｘ方向、垂直下方向をｙ方向、顔画像７１の左上端を原点（ｘ，ｙ）＝（０，０）として正規化し、座標（ｘ，ｙ）における画素の検出スコアをScorePD（ｘ，ｙ）、座標（ｘ，ｙ）に対応する顔パーツ重みマップ７２の重みの値をWeight（ｘ，ｙ）とした場合、重み付けされた座標（ｘ，ｙ）における画素の検出スコアScore（ｘ，ｙ）は、式（１）のように表される。

Score（ｘ，ｙ）＝ScorePD（ｘ，ｙ）×Weight（ｘ，ｙ） ・・・（１）

ステップＳ１６において、重み付け部４６は、顔画像７１の全ての画素について乗算したか否かを判定する。

ステップＳ１６において、顔画像７１の全ての画素について乗算していないと判定された場合、顔画像７１の全ての画素について乗算するまで、ステップＳ１５およびステップＳ１６の処理が繰り返される。

一方、ステップＳ１６において、顔画像７１の全ての画素について乗算したと判定された場合、処理は、ステップＳ１７に進む。

ステップＳ１７において、顔パーツ特定部４７は、重み付け部４６からの、顔画像７１の全ての画素についての検出スコアにおいて、所定の閾値以上の検出スコアの画素を、顔パーツを構成する画素として特定する。

以上の処理により、顔パーツ検出装置１１は、顔パーツ重みマップ７２を用いて、入力画像から抽出された顔画像７１において、顔パーツである右目を検出することができる。

このように、顔の向きに応じた顔パーツ重みマップ７２を用いるので、顔パーツの検出スコアに対して、顔の向きに応じて、正確に重み付けすることができ、結果として、顔の向きにかかわらず、顔画像から顔の器官をより正確に検出することが可能となる。

なお、図８で説明において、顔パーツ重みマップ７２を生成するためのピッチ角およびヨー角の角度範囲を、−４５度以上−１５度未満、−１５度以上＋１５度未満、＋１５度超過＋４５度以下としたが、他の角度範囲であってもよい。

また、顔パーツ重みマップ７２における重みの値は、図７等で説明したような、連続的な値を持つ分布に限らず、図９に示される顔パーツ重みマップ７３のように、顔画像７１内で正規化された座標値に対して離散的に与えられる重みの値であってもよい。

次に、図１０を参照して、顔パーツ検出装置の他の構成例について説明する。

なお、図１０においては、図１と対応する構成には同一の符号を付してあり、その説明は適宜省略する。すなわち、図１０の顔パーツ検出装置１１１は、顔パーツ重みマップテーブル１４１を新たに備えている以外は、基本的に、図１の顔パーツ検出装置１１と同様の構成を有するものである。

顔パーツ重みマップテーブル１４１は、顔パーツ重みマップ生成部４４によって生成された顔パーツ重みマップ７２を、顔画像７１の大きさと、ピッチ角およびヨー角とに対応付けて記憶する。

より具体的には、顔パーツ重みマップテーブル１４１は、顔画像７１の大きさ毎に、図８で説明したような、所定の角度範囲のピッチ角およびヨー角に対応付けられた顔パーツ重みマップ７２を記憶する。

顔パーツ重みマップ生成部４４は、顔検出部４２から供給された顔画像７１の大きさと、ピッチ角およびヨー角とに基づいて、顔パーツ重みマップテーブル１４１から、対応する顔パーツ重みマップ７２を選択する。

すなわち、顔パーツ重みマップ生成部４４は、過去に生成した顔パーツ重みマップ７２を、顔画像７１の大きさと、ピッチ角およびヨー角とに基づいて、顔パーツ重みマップテーブル１４１から選択する。

なお、顔パーツ重みマップテーブル１４１に記憶される顔パーツ重みマップ７２は、顔パーツ重みマップ生成部４４が過去に生成したものに限らず、他の装置から供給されたものであってもよい。

次に、図１１のフローチャートを参照して、図１０の顔パーツ検出装置１１１の顔パーツ検出処理について説明する。

なお、図１１のフローチャートのステップＳ１１１およびステップＳ１１２、並びに、ステップＳ１１４乃至ステップＳ１１７の処理は、図３のフローチャートのステップＳ１１およびステップＳ１２、並びに、ステップＳ１４乃至ステップＳ１７の処理と同様であるので、その説明は省略する。

ステップＳ１１３において、顔パーツ重みマップ生成部４４は、顔検出部４２から供給された、ロール角の分だけ補正された顔画像７１の大きさと、ピッチ角およびヨー角とに応じて、顔パーツ重みマップテーブル１４１から、顔パーツ重みマップ７２を選択し、重み付け部４６に供給する。

以上の処理により、顔パーツ検出装置１１１は、顔パーツ重みマップテーブル１４１に記憶された顔パーツ重みマップ７２を用いて、入力画像から抽出された顔画像７１において、顔パーツである右目を検出することができる。

このように、予め生成され記憶された顔パーツ重みマップ７２を用いるので、ピッチ角およびヨー角に応じた顔パーツ重みマップ７２を新たに生成する必要がなく、顔パーツの検出スコアに対して、顔の向きに応じて、正確に重み付けすることができ、結果として、少ない演算量で、顔の向きにかかわらず、顔画像から顔の器官をより正確に検出することが可能となる。

次に、図１２を参照して、顔パーツ検出装置のさらに他の構成例について説明する。

なお、図１２においては、図１と対応する構成には同一の符号を付してあり、その説明は適宜省略する。すなわち、図１２の顔パーツ検出装置２１１は、図１の顔パーツ検出装置１１の重み付け部４６を削除し、顔パーツ検出範囲設定部２４１を新たに備えている以外は、基本的に、図１の顔パーツ検出装置１１と同様の構成を有するものである。

顔パーツ検出範囲設定部２４１は、顔パーツ重みマップ生成部４４によって生成された顔パーツ重みマップ７２を基に、重みの値が所定の値以上の範囲である顔パーツ検出範囲を設定し、その顔パーツ検出範囲を示す範囲情報を顔パーツ検出部４５に供給する。

顔パーツ検出部４５は、顔画像回転補正部４３からの顔画像７１の、顔パーツ検出範囲設定部２４１からの範囲情報で示される顔パーツ検出範囲において、検出スコアを画素毎に算出し、顔パーツ特定部４７に供給する。

顔パーツ特定部４７は、顔パーツ検出部４５からの、顔パーツ検出範囲内の全ての画素についての検出スコアにおいて、所定の閾値以上の検出スコアの画素を、顔パーツを構成する画素として特定する。

次に、図１３のフローチャートを参照して、図１２の顔パーツ検出装置２１１の顔パーツ検出処理について説明する。

図１３のフローチャートのステップＳ２１１乃至ステップＳ２１３の処理は、図３のフローチャートのステップＳ１１乃至ステップＳ１３の処理と同様であるので、その説明は省略する。

ステップＳ２１４において、顔パーツ検出範囲設定部２４１は、顔パーツ重みマップ生成部４４からの顔パーツ重みマップ７２において、重みの値が所定の値以上の範囲である顔パーツ検出範囲を設定する。

具体的には、例えば、顔パーツ検出範囲設定部２４１は、図１４に示されるように、図７を参照して説明した顔パーツ重みマップ７２において、軸ａおよび軸ｂそれぞれの正規分布において重みの値が所定の値以上の範囲である３σ_aおよび３σ_bを示す楕円２７１の内側を顔パーツ検出範囲として設定する。

また、検出スコアの算出における演算量を少なくするために、楕円２７１に外接する矩形２７２の内側を顔パーツ検出範囲として設定してもよい。

顔パーツ検出範囲設定部２４１は、このようにして設定した顔パーツ検出範囲を示す範囲情報を顔パーツ検出部４５に供給する。

ステップＳ２１５において、顔パーツ検出部４５は、顔画像回転補正部４３からの顔画像の、顔パーツ検出範囲設定部２４１からの範囲情報で示される顔パーツ検出範囲内で、検出スコアを画素毎に算出し、顔パーツ特定部４７に供給する。

ステップＳ２１６において、顔パーツ特定部４７は、顔パーツ検出部４５からの、顔パーツ検出範囲内の全ての画素についての検出スコアにおいて、所定の閾値以上の検出スコアの画素を、顔パーツを構成する画素として特定する。

以上の処理により、顔パーツ検出装置２１１は、入力画像から抽出された顔画像７１において、顔パーツ重みマップ７２を基に設定された顔パーツ検出範囲内で、顔パーツである右目を検出することができる。

このように、顔の向きに応じた顔パーツ重みマップ７２を基に、顔パーツ検出範囲を設定するので、顔画像７１の全ての画素について検出スコアを算出する必要がなく、結果として、より少ない演算量で、顔の向きにかかわらず、顔画像から顔の器官をより正確に検出することが可能となる。

なお、顔パーツ検出範囲は、図７で説明した顔パーツ重みマップ７２を基に設定されるものとしたが、図１５に示されるように、図９を参照して説明した、顔画像７１内で正規化された座標値に対して離散的な重みの値を示す顔パーツ重みマップ７３において、所定の値の重みを示す境界線２７３の内側（所定の値以上の重みを示す領域）を、顔パーツ検出範囲としてもよく、また、より演算量を少なくするために、境界線２７３に外接する矩形の境界線２７４の内側を、顔パーツ検出範囲としてよい。

また、図１０の顔パーツ検出装置１１１において、顔パーツ重みマップテーブル１４１が生成した顔パーツ重みマップ７２を、ピッチ角およびヨー角に対応付けて記憶するのと同様にして、顔パーツ検出装置２１１において、顔パーツ検出範囲設定部２４１が設定した顔パーツ検出範囲を、ピッチ角およびヨー角に対応付けて記憶する構成を考えることもできる。

そこで、図１６を参照して、顔パーツ検出範囲を記憶するようにした顔パーツ検出装置の構成例について説明する。

なお、図１６においては、図１２と対応する構成には同一の符号を付してあり、その説明は適宜省略する。すなわち、図１６の顔パーツ検出装置３１１は、顔パーツ検出範囲テーブル３４１を新たに備えている以外は、基本的に、図１２の顔パーツ検出装置２１１と同様の構成を有するものである。

図１６においては、顔検出部４２は、顔画像７１およびロール角を顔画像回転補正部４３に供給するとともに、顔画像７１の大きさ、並びにピッチ角およびヨー角を、顔パーツ重みマップ生成部４４および顔パーツ検出範囲設定部２４１に供給する。

顔パーツ検出範囲テーブル３４１は、顔パーツ検出範囲設定部２４１によって設定された顔パーツ検出範囲を示す範囲情報を、顔画像７１の大きさと、ピッチ角およびヨー角とに対応付けて記憶する。

より具体的には、顔パーツ検出範囲テーブル３４１は、顔画像７１の大きさ毎に、所定の角度範囲のピッチ角およびヨー角に対応付けられた範囲情報を記憶する。

顔パーツ検出範囲設定部２４１は、顔検出部４２から供給された顔画像７１の大きさと、ピッチ角およびヨー角とに基づいて、顔パーツ検出範囲テーブル３４１から、対応する範囲情報を選択する。

すなわち、顔パーツ検出範囲設定部２４１は、過去に設定した顔パーツ検出範囲が示す範囲情報を、顔画像７１の大きさと、ピッチ角およびヨー角とに基づいて、顔パーツ検出範囲テーブル３４１から選択する。

なお、顔パーツ検出範囲テーブル３４１に記憶される範囲情報は、顔パーツ検出範囲設定部２４１が過去に設定したものに限らず、他の装置から供給されたものであってもよい。

次に、図１７のフローチャートを参照して、図１６の顔パーツ検出装置３１１の顔パーツ検出処理について説明する。

図１７のフローチャートのステップＳ３１１およびステップＳ３１２、並びに、ステップＳ３１４およびステップＳ３１５の処理は、図１３のフローチャートのステップＳ２１１およびステップＳ２１２、並びに、ステップＳ２１４およびステップＳ２１５の処理と同様であるので、その説明は省略する。

ステップＳ３１３において、顔パーツ検出範囲設定部２４１は、顔検出部４２から供給された顔画像７１の大きさと、ピッチ角およびヨー角とに基づいて、顔パーツ検出範囲テーブル３４１から、対応する範囲情報を選択し、顔パーツ検出部４５に供給する。

以上の処理により、顔パーツ検出装置３１１は、入力画像から抽出された顔画像７１において、顔パーツ検出範囲テーブル３４１に記憶された範囲情報で示される顔パーツ検出範囲内で、顔パーツである右目を検出することができる。

このように、予め設定され記憶された範囲情報を用いるので、ピッチ角およびヨー角に応じた顔パーツ検出範囲を新たに設定する必要がなく、また、顔パーツ検出範囲内のみの検出スコアを算出すればよく、結果として、より少ない演算量で、顔の向きにかかわらず、顔画像から顔の器官をより正確に検出することが可能となる。

上述の説明では、顔パーツ重みマップ７２に基づいて、検出スコアに重み付けする構成、および、顔パーツ重みマップ７２に基づいた顔パーツ検出範囲内で、検出スコアを算出する構成について説明したが、これらの構成を併せるようにしてもよい。

そこで、図１８を参照して、顔パーツ検出範囲内で算出した検出スコアに、顔パーツ重みマップ７２に基づいて重み付けするようにした顔パーツ検出装置の構成例について説明する。

なお、図１８においては、図１と対応する構成には同一の符号を付してあり、その説明は適宜省略する。すなわち、図１８の顔パーツ検出装置４１１は、図１２の顔パーツ検出範囲設定部２４１をさらに備えている以外は、基本的に、図１の顔パーツ検出装置１１と同様の構成を有するものである。

次に、図１９のフローチャートを参照して、図１８の顔パーツ検出装置４１１の顔パーツ検出処理について説明する。

図１９のフローチャートのステップＳ４１１およびステップＳ４１２の処理は、図３のフローチャートのステップＳ１１およびステップＳ１２の処理と同様であるので、その説明は省略する。

ステップＳ４１３において、顔パーツ重みマップ生成部４４は、顔検出部４２から供給されたピッチ角およびヨー角に応じて、顔パーツ重みマップ７２を生成し、重み付け部４６および顔パーツ検出範囲設定部２４１に供給する。

ステップＳ４１４において、顔パーツ検出範囲設定部２４１は、顔パーツ重みマップ生成部４４からの顔パーツ重みマップ７２において、重みの値が所定の値以上の範囲である顔パーツ検出範囲を設定し、その顔パーツ検出範囲を示す範囲情報を顔パーツ検出部４５に供給する。

ステップＳ４１５において、顔パーツ検出部４５は、顔画像回転補正部４３からの顔画像７１の、顔パーツ検出範囲設定部２４１からの範囲情報で示される顔パーツ検出範囲内で、検出スコアを画素毎に算出し、重み付け部４６に供給する。

ステップＳ４１６において、重み付け部４６は、顔パーツ検出部４５からの顔パーツ検出範囲内の画素毎の検出スコアに、顔パーツ重みマップ生成部４４からの顔パーツ重みマップ７２に基づいて重み付けし、その重み付けされた画素毎の検出スコアを顔パーツ特定部４７に供給する。

ステップＳ４１７において、重み付け部４６は、顔パーツ検出範囲内の全ての画素について乗算したか否かを判定する。

ステップＳ４１７において、顔パーツ検出範囲内の全ての画素について乗算していないと判定された場合、顔パーツ検出範囲内の全ての画素について乗算するまで、ステップＳ４１６およびステップＳ４１７の処理が繰り返される。

一方、ステップＳ４１７において、顔パーツ検出範囲内の全ての画素について乗算したと判定された場合、処理は、ステップＳ４１８に進む。

ステップＳ４１８において、顔パーツ特定部４７は、重み付け部４６からの、顔パーツ検出範囲内の全ての画素についての検出スコアにおいて、所定の閾値以上の検出スコアの画素を、顔パーツを構成する画素として特定する。

以上の処理により、顔パーツ検出装置４１１は、入力画像から抽出された顔画像７１における顔パーツ検出範囲内で、顔パーツ重みマップ７２を用いて、顔パーツである右目を検出することができる。

このように、顔の向きに応じた顔パーツ重みマップ７２を基に、顔パーツ検出範囲を設定し、その顔パーツ検出範囲内で算出された検出スコアに対して、顔パーツ重みマップ７２を用いるので、限定された範囲の検出スコアに対して正確に重み付けすることができ、結果として、より少ない演算量で、顔の向きにかかわらず、顔画像から顔の器官をより正確に検出することが可能となる。

また、顔パーツ検出範囲内で算出した検出スコアに重み付けするようにした顔パーツ検出装置の構成は、上述した顔パーツ検出装置４１１の構成に限らず、図１０で説明した顔パーツ重みマップテーブル１４１や、図１６で説明した顔パーツ検出範囲テーブル３４１を含む構成としてもよい。

なお、上述した説明において、検出スコアは、画素毎（画素単位の領域毎）に算出されるものとしたが、画素毎に限るものではなく、例えば、４画素×４画素のブロック等の所定の領域毎に算出されるものであってもよい。

また、顔パーツ検出装置における検出対象は、顔の顔パーツに限らず、それぞれの位置関係がある程度拘束されていて、かつ、向きを有するものに配置されているものであればよく、例えば、車のヘッドライト等であってもよい。

以上のように、顔パーツ検出装置では、顔画像における、顔の向きを検出し、顔の向きに応じて、顔画像における、所定の顔パーツの統計的な位置の分布に基づいた顔パーツ重みマップ７２を生成し、顔画像における画素毎に、所定の顔パーツであるか否かを評価する検出スコアを算出し、その検出スコアと顔パーツ重みマップ７２とに基づいて、所定の画素を、顔パーツとして特定するので、顔パーツの検出スコアに対して正確に重み付けすることができ、結果として、顔の向きにかかわらず、顔画像から顔の器官をより正確に検出することができる。

上述した顔パーツ検出処理の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。

図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。

バス６０４には、さらに、入出力インターフェース６０５が接続されている。入出力インターフェース６０５には、キーボード、マウス、マイクロホン等よりなる入力部６０６、ディスプレイ、スピーカ等よりなる出力部６０７、ハードディスクや不揮発性のメモリ等よりなる記憶部６０８、ネットワークインタフェース等よりなる通信部６０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア６１１を駆動するドライブ６１０が接続されている。

以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インターフェース６０５およびバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU６０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア６１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インターフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した顔パーツ検出装置の一実施の形態の構成例を示すブロック図である。 顔の向きを決定する角度を説明する図である。 図１の顔パーツ検出装置の顔パーツ検出処理を説明するフローチャートである。 顔検出部および顔画像回転補正部の処理について説明する図である。 顔パーツ重みマップについて説明する図である。 顔パーツ重みマップについて説明する図である。 顔パーツ重みマップの例について説明する図である。 ピッチ角およびヨー角に応じた顔パーツ重みマップについて説明する図である。 顔パーツ重みマップの他の例について説明する図である。 顔パーツ検出装置の他の構成例を示すブロック図である。 図１０の顔パーツ検出装置の顔パーツ検出処理を説明するフローチャートである。 顔パーツ検出装置のさらに他の構成例を示すブロック図である。 図１２の顔パーツ検出装置の顔パーツ検出処理を説明するフローチャートである。 顔パーツ検出範囲について説明する図である。 顔パーツ検出範囲について説明する図である。 顔パーツ検出装置のさらに他の構成例を示すブロック図である。 図１６の顔パーツ検出装置の顔パーツ検出処理を説明するフローチャートである。 顔パーツ検出装置のさらに他の構成例を示すブロック図である。 図１８の顔パーツ検出装置の顔パーツ検出処理を説明するフローチャートである。 本発明が適用される顔パーツ検出装置として機能するコンピュータのハードウェアの構成例を示すブロック図である。

符号の説明

１１，１１１，２１１，３１１，４１１ 顔パーツ検出装置， ４１ 画像入力部， ４２ 顔検出部， ４３ 顔画像回転補正部， ４４ 顔パーツ重みマップ生成部， ４５ 顔パーツ検出部， ４６ 重み付け部， ４７ 顔パーツ特定部， ５１ 記憶部， ５２ 計算部， ７１ 顔画像， ７２，７２−１乃至７２−９，７３ 顔パーツ重みマップ， １４１ 顔パーツ重みマップテーブル， ２４１ 顔パーツ検出範囲設定部， ３４１ 顔パーツ検出範囲テーブル

Claims (7)

1. 顔画像における、顔の向きを表す情報であるピッチ角、ヨー角、およびロール角を検出する顔検出手段と、
   前記顔検出手段によって検出された前記顔の向きを表す情報のうちの前記ピッチ角および前記ヨー角の関数として、前記ロール角の分だけ補正された前記顔画像における、所定の顔の器官の統計的な位置の分布に基づいた重み分布を生成する重み分布生成手段と、
   前記重み分布を基に、重みの値が所定の値以上である位置の範囲を設定する範囲設定手段と、
   前記範囲内の前記顔画像における所定の領域毎に、予め学習された顔の器官の画像と前記範囲内の前記顔画像における前記所定の領域とを比較することで、前記所定の顔の器官であるか否かを評価する第１の評価値を画素毎に算出する第１の算出手段と、
   前記範囲内の前記第１の評価値が所定の閾値以上となる前記所定の領域を、前記所定の顔の器官として特定する顔器官特定手段と
   を備える情報処理装置。
2. 予め設定された前記範囲を示す範囲情報を、前記ピッチ角および前記ヨー角に対応付けて記憶する記憶手段をさらに備え、
   前記範囲設定手段は、前記ピッチ角および前記ヨー角に応じて、前記記憶手段に記憶された前記範囲情報を選択する
   請求項１に記載の情報処理装置。
3. 前記重み分布に基づいて前記第１の評価値を重み付けした第２の評価値を算出する第２の算出手段をさらに備え、
   前記顔器官特定手段は、前記第２の評価値に基づいて、前記所定の領域を、前記所定の顔の器官として特定する
   請求項１に記載の情報処理装置。
4. 前記所定の領域は、画素単位の領域である
   請求項１に記載の情報処理装置。
5. 前記重み分布は、前記顔の向きを決定する顔の角度の関数である
   請求項１に記載の情報処理装置。
6. 顔画像における、顔の向きを表す情報であるピッチ角、ヨー角、およびロール角を検出する顔検出ステップと、
   前記顔検出ステップの処理によって検出された前記顔の向きを表す情報のうちの前記ピッチ角および前記ヨー角の関数として、前記ロール角の分だけ補正された前記顔画像における、所定の顔の器官の統計的な位置の分布に基づいた重み分布を生成する重み分布生成ステップと、
   前記重み分布を基に、重みの値が所定の値以上である位置の範囲を設定する範囲設定ステップと、
   前記範囲内の前記顔画像における所定の領域毎に、予め学習された顔の器官の画像と前記範囲内の前記顔画像における前記所定の領域とを比較することで、前記所定の顔の器官であるか否かを評価する評価値を画素毎に算出する算出ステップと、
   前記範囲内の前記評価値が所定の閾値以上となる前記所定の領域を、前記所定の顔の器官として特定する顔器官特定ステップと
   を含む情報処理方法。
7. 顔画像における、顔の向きを表す情報であるピッチ角、ヨー角、およびロール角を検出する顔検出ステップと、
   前記顔検出ステップの処理によって検出された前記顔の向きを表す情報のうちの前記ピッチ角および前記ヨー角の関数として、前記ロール角の分だけ補正された前記顔画像における、所定の顔の器官の統計的な位置の分布に基づいた重み分布を生成する重み分布生成ステップと、
   前記重み分布を基に、重みの値が所定の値以上である位置の範囲を設定する範囲設定ステップと、
   前記範囲内の前記顔画像における所定の領域毎に、予め学習された顔の器官の画像と前記範囲内の前記顔画像における前記所定の領域とを比較することで、前記所定の顔の器官であるか否かを評価する評価値を画素毎に算出する算出ステップと、
   前記範囲内の前記評価値が所定の閾値以上となる前記所定の領域を、前記所定の顔の器官として特定する顔器官特定ステップと
   を含む処理をコンピュータに実行させるプログラム。

Images