JP6430102B2 - 人物属性推定装置、人物属性推定方法及びプログラム - Google Patents

Description

本発明は、顔画像から性別や年齢等の人物属性を推定する人物属性推定装置、人物属性推定方法及びプログラムに関する。

ショッピングセンター等の店舗へ来店する顧客の性別や年齢等の人物属性を把握することで、来店する客層に応じた販売促進の企画や広告等のマーケティングを行うことができる。人物属性を把握する方法としては、店舗に設置されたカメラ等によって撮像された画像から、画像に写っている人物属性を自動的に推定することで、多くの人物属性の把握を簡便に行うことができる。

例えば、特許文献１には、顔特徴点である目、鼻、口等の部位毎の特徴量から人物属性を推定し、顔の向き、顔器官の形状、照明状態等の顔状態を判定し、判定結果に基づいて人物属性の推定に悪影響が小さくなるような補正を行い、人物属性を行う技術が開示されている。

特許第０４８８８２１７号

P.Viola and M. Jones, "Rapid Object Detection using a BoostedCascade of Simple Features. " Computer Vision andPattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE ComputerSociety Conference on, Vol.1, pp.511-518, 2001. T.Cootes, G. Edwards and C. Taylor, "Active Appearance Models." Pattern Analysis and Machine Intelligence, IEEETransactions on, Vol.23, No.6, pp.681-685, 2001. Z.Yang et al., "Multi-view face pose classification bytree-structured classifier. " Image Processing, 2005.ICIP 2005. IEEE International Conference on, Vol.2, pp.358-361, 2005. 坂谷達夫，山口修，"顔認識のための射影変換に基づいた３次元正規化法"，信学技法PRMU, Vol.105, No.375, pp.49-54, 2005 R.Lienhart and J. Maydt, "An Extended Set of Haar-like Featuresfor Rapid Object Detection", Image Processing. 2002.Proceedings. 2002 International Conference on, Vol.1, pp.900-903, 2002 C.Huang et al., "Vector Boosting for Rotation Invariant Multi-ViewFace Detection", Computer Vision, 2005. ICCV 2005.Tenth IEEE International Conference on, Vol.1, pp.446-453, 2005.

このような人物属性の把握において、監視カメラ等の既設のカメラを利用することで、カメラの設置コストを削減することがきる。しかし、監視カメラ等の画像を利用して人物属性を推定する場合、必ずしも撮像された画像中の顔が正面を向いているわけではないため、顔が正面以外を向いている画像について人物属性を正しく推定できるようにする必要がある。

顔が正面以外を向いている場合、顔の各部位の見え方が変わるため、人物属性を推定するために利用している顔特徴点の特徴量も変わる。このため、特許文献１に開示された技術では、顔向きの違いによる見え方の違いに対応できないという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、様々な顔向きの顔画像から人物属性を推定することが可能な、新規かつ改良された人物属性推定装置、人物属性推定方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、顔画像の顔向きを正規化する顔向き正規化処理部と、正規化した顔向き正規化画像に基づいて、顔向き正規化画像を区分した領域ごとに人物属性をそれぞれ推定する部分属性推定処理部と、部分属性推定部による顔向き正規化画像の各領域に対する人物属性推定結果と、顔向きに応じた、前記顔画像の撮影時のオクルージョンによる影響から当該顔向き正規化画像に発生するノイズが多い領域の重みが小さくなり当該ノイズが少ない領域の重みが大きくなるような重み付けと、に基づいて顔画像の人物属性を推定するための人物属性評価値を算出する推定結果統合処理部と、を備える、人物属性推定装置が提供される。

人物属性推定装置は、顔画像の特徴点に基づいて顔向きを推定する顔向き推定処理部をさらに備えてもよい。

人物属性推定装置は、人物属性評価値に基づいて顔画像の人物属性を推定する人物属性推定部をさらに備えてもよい。

顔向き正規化処理部は、前記顔画像を、３次元形状モデルを用いて正規化してもよい。

推定結果統合処理部は、正規化前の顔向きにより前記顔向き正規化画像のノイズが大きくなる領域の重みが小さくなるように重み付けをしてもよい。

推定結果統合処理部は、同様な顔向きの複数の画像から学習した結果を用いて、部分属性の推定結果を顔向きに応じて重み付けで統合してもよい。

部分属性推定処理部は、顔画像を左右または上下の少なくともいずれか一方の方向に複数の領域に分けて領域ごとに人物属性を推定してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、顔画像の顔向きを正規化するステップと、正規化した顔向き正規化画像に基づいて、顔向き正規化画像を区分した領域ごとに人物属性をそれぞれ推定するステップと、正規化するステップによる顔向き正規化画像の各領域に対する人物属性推定結果と、顔向きに応じた、前記顔画像の撮影時のオクルージョンによる影響から当該顔向き正規化画像に発生するノイズが多い領域の重みが小さくなり当該ノイズが少ない領域の重みが大きくなるような重み付けと、に基づいて顔画像の人物属性を推定するための人物属性評価値を算出するステップと、を含む、人物属性推定方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、顔画像の顔向きを正規化する機能と、正規化した顔向き正規化画像に基づいて、顔向き正規化画像を区分した領域ごとに人物属性をそれぞれ推定する機能と、正規化する機能による顔向き正規化画像の各領域に対する人物属性推定結果と、顔向きに応じた、前記顔画像の撮影時のオクルージョンによる影響から当該顔向き正規化画像に発生するノイズが多い領域の重みが小さくなり当該ノイズが少ない領域の重みが大きくなるような重み付けと、に基づいて顔画像の人物属性を推定するための人物属性評価値を算出する機能と、をコンピュータに実現させるためのプログラムが提供される。

以上説明したように本発明によれば、様々な顔向きの顔画像から人物属性を推定することができる。

本発明の一実施形態に係る人物属性推定装置を示すブロック図である。 同実施形態に係る人物属性推定処理を示すフローチャートである。 同実施形態における一処理例に係る顔検出処理の処理結果を示す説明図である。 同処理例に係る顔特徴点抽出処理の処理結果を示す説明図である。 同処理例に係る顔向き正規化処理の処理結果を示す説明図である。 同処理例に係る顔向き正規化画像から抽出したＨａａｒ−ｌｉｋｅ特徴の一例を示す説明図である。 位置正規化画像から抽出したＨａａｒ−ｌｉｋｅ特徴の一例を示す説明図である。 顔の領域を左、中央、右に３分割した例を示す説明図である。 図８の各領域における属性推定結果を示す表である。 同実施形態に係る各領域の人物属性の推定結果を統合する際の重み付けの例を示す表である。 図９の各領域における人物属性の推定結果を統合した結果を示す表である。 ある顔向きにおける各領域の人物属性推定結果の例を示す表である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．機能構成＞
まず、図１を参照して、本発明の一実施形態に係る人物属性推定装置の概略構成について説明する。図１は、本発明の一実施形態に係る人物属性推定装置１００を示すブロック図である。人物属性推定装置１００は、例えばカメラ等により撮像された人物の顔が含まれる画像から、画像中の人物の性別や年齢等の属性を推定する装置である。人物属性推定装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備える情報処理装置である。また、人物属性推定装置１００は、例えばカメラ等と一体となった装置であってもよい。さらに、人物属性推定装置１００は、後述する人物属性推定装置１００の機能を有するプログラムであっても実現できる。

図１を参照すると、人物属性推定装置１００は、例えば記憶部１１０と、入力部１２０と、顔検出部１３０と、顔特徴点抽出処理部１４０と、顔向き推定処理部１５０と、顔向き正規化処理部１６０と、部分属性推定処理部１７０と、推定結果統合処理部１８０と、人物属性推定部１９０とを備える。

記憶部１１０は、例えばカメラ等により撮像された人物の顔が含まれる画像を記憶している。画像は、例えばカメラ等により撮像された人物や風景等の画像である。また、記憶部１１０は、後述するように、推定結果統合処理部１８０が各領域の人物属性の推定結果を統合する際に用いる、顔向き毎の各領域における重み付けの情報を記憶している。

入力部１２０は、例えばカメラ等により撮像された人物の顔が含まれる画像を、人物属性推定装置１００に接続された外部装置から取得する。また、入力部１２０は、各領域の人物属性の推定結果を統合する際に用いる、顔向き毎の各領域における重み付けの情報を人物属性推定装置１００に接続された外部装置から取得する。外部装置は、例えば人物属性推定装置１００に直接またはネットワークを介して接続されたカメラ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｉｒｉａｌ Ｂｕｓ）メモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の記憶媒体、光ディスク等に記録媒体に記憶された情報を読み取るデバイス等である。本実施形態に係る人物属性推定装置１００では、記憶部１１０に記憶された画像または入力部１２０が取得した画像の少なくともいずれか一方の画像から、人物属性の推定を行う。

顔検出処理部１３０は、画像中の人物の顔を含む領域（以下、「顔領域」とする。）を検出する。顔検出部１３０により処理される画像は、例えば記憶部１１０または入力部１２０から取得される。顔検出処理部１３０は、画像中から顔領域を抜き出した顔画像を生成する。

顔特徴点抽出処理部１４０は、例えば顔検出部１３０で生成された顔画像から、顔の特徴を表す顔特徴点を抽出する。顔特徴点としては、顔のパーツである目、鼻、口等がある。顔特徴点抽出処理部１４０で抽出された顔特徴点は、顔向き推定処理部１５０及び顔向き正規化処理部１６０に出力される。

顔向き推定処理部１５０は、顔特徴点抽出処理部１４０で抽出された顔特徴点及び顔画像から、顔向きを推定する。顔向きは、例えば正面を向いた顔向きを基準として、画像中の顔の向きが基準から左右方向または上下方向の少なくとも一方向にどの程度傾いているかを示す角度である。例えば、画像中の顔の向きが正面を向いたときよりも、右方向に３０°傾いている場合、顔向きは右３０°向きとなる。顔向き推定処理部１５０は、推定した顔向きを推定結果統合処理部１８０に出力する。

顔向き正規化処理部１６０は、顔特徴点及び顔画像から、顔画像の顔向きを正規化した顔向き正規化画像を生成する。顔画像の正規化とは、例えば正面を向いた顔向きを基準として、顔が正面以外を向いている顔画像を、基準となる正面を向いた顔画像になるように変換することである。顔向き正規化処理部１６０は、生成した顔向き正規化画像を部分属性推定処理部１７０に出力する。

部分属性推定処理部１７０は、顔向き正規化処理部１６０により生成された顔向き正規化画像を複数の領域に区分し、区分された顔向き正規化画像の各領域について性別や年齢等の人物属性を推定する。部分属性推定処理部１７０は、各領域の人物属性の推定結果を推定結果統合処理部１８０に出力する。

推定結果統合処理部１８０は、顔向き推定処理部１５０で推定された顔向きと、部分属性推定処理部１７０で推定された各領域の人物属性の推定結果と、顔向きに応じた各領域に対する重み付けとに基づいて人物属性評価値を算出する。人物属性評価値は、顔画像の人物の人物属性を推定するために用いられる評価値である。重み付けは、後述するように、例えば顔向きに応じてノイズが多い領域の重み付けが小さくなり、ノイズが少ない領域の重みが大きくなるように、各領域に設定される値である。重み付けには、記憶部１１０に記憶された値、または入力部１２０が取得する値の少なくとも一方の値が使用される。推定結果統合処理部１８０は、算出した人物属性評価値を人物属性推定部１９０に出力する。

人物属性推定部１９０は、推定結果統合処理部１８０で算出される人物属性評価値に基づいて、顔画像の人物の人物属性を推定する。

＜２．処理フロー＞
次に、図１、２を参照して、本発明の一実施形態に係る人物属性推定装置１００の人物属性推定処理について説明する。図２は、同実施形態に係る人物属性推定処理の概要を示すフローチャートである。

まず、顔検出部１３０は、記憶部１１０に記憶された画像または入力部１２０が取得した画像から、顔領域を抽出し、画像から顔領域を抜き出した顔画像を生成する顔検出処理を実行する（Ｓ１００）。

次いで、顔特徴点抽出処理部１４０は、顔検出部１３０にて生成された顔画像から、例えば顔のパーツである目、鼻、口の端部や中央部等の顔特徴点を抽出する（Ｓ１０４）。

さらに、顔向き推定処理部１５０は、顔検出部１３０にて生成された顔画像及び顔特徴点抽出処理部１４０にて抽出された顔特徴点から、顔画像の顔向きを推定する顔向き推定処理を実行する（Ｓ１０８）。

その後、顔向き正規化処理部１６０は、顔検出部１３０にて生成された顔画像及び顔特徴点抽出処理部１４０にて抽出された顔特徴点から、顔画像の顔向きを正規化した顔向き正規化画像を生成する顔向き正規化処理を実行する（Ｓ１１２）。

次いで、部分属性推定処理部１７０は、顔向き正規化処理部１６０にて生成される顔向き正規化画像を複数の領域に区分し、区分された領域について人物属性の推定をする部分属性推定処理を実行する（Ｓ１１６）。

さらに、推定結果統合処理部１８０は、顔向き推定処理部１５０にて推定された顔向きと、部分属性推定処理部１７０にて推定された各領域の人物属性の推定結果と、顔向きに応じた各領域に対する重み付けと、に基づいて人物属性評価値を算出する推定結果統合処理を実行する（Ｓ１２０）。推定結果統合処理にて用いられる重み付けは、例えば顔向きに応じてノイズが多い領域の重み付けが小さくなり、ノイズが少ない領域の重みが大きくなるように、設定される。また、重み付けは、後述するように、重回帰を利用した学習によって得られる値であってもよい。

その後、人物属性推定部１９０は、推定結果統合処理部１８０にて算出される人物属性評価値に基づいて、顔画像の人物の人物属性を推定する人物推定処理をする（Ｓ１２４）。

以上、本実施形態に係る人物属性推定処理の概要について説明した。本実施形態に係る人物推定処理では、画像から得られる顔画像を３次元正規化法により正規化処理を行う。これにより、例えば様々な顔向きの顔画像を正面向きの顔画像に変換することができ、顔向きによらず顔の各部位の見え方が変わらない顔向き正規化画像を生成することができる。

また、本実施形態に係る人物属性推定処理では、顔向き正規化画像を複数の領域に分割し、各領域について人物属性を推定する。次に、顔向きに応じて各領域に重み付けをして統合し、最終的な顔画像の人物属性を推定する。これにより、ノイズが多く推定精度の低い領域の影響が小さくなり、ノイズが少なく推定精度の高い領域の影響が大きくなるため、人物属性の推定精度を向上させることができる。

＜３．処理例＞
次に、図３から図１１を参照して、本実施形態に係る人物属性推定装置１００により、人物属性として性別を推定する一処理例について説明する。

［３−１．顔検出処理（ステップＳ１００）］
まず、図２のステップＳ１００における顔検出処理について詳細な説明をする。顔検出処理は、画像中の人物の顔のある領域を検出し、画像中から顔領域を抜き出した顔画像を生成する処理である。本処理例に係る顔検出処理は、例えば非特許文献１に開示されているように、ＡｄａＢｏｏｓｔベースの識別器をカスケード状に並べて効率よく検出する方法等を用いることができる。

図３は、本処理例に係る顔検出処理の処理結果を示す説明図である。図３に図示した例では、顔検出処理によって抽出された画像１０内の顔領域２０を矩形で示す。顔領域２０は、例えば顔特徴点である目、鼻、口が少なくとも含まれるように抽出される。また画像１０からこの顔領域２０を抜き出した画像が、顔画像となる。

［３−２．顔特徴点抽出処理（ステップＳ１０４）］
次に、図２のステップＳ１０４における顔特徴点抽出処理について詳細な説明をする。顔抽出点処理は、顔検出部１３０により生成された顔画像から、顔のパーツである目、鼻、口等の顔特徴点を抽出する処理である。本処理例に係る顔特徴点抽出処理は、例えば非特許文献２に開示されているように、ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌｓ）を用いて抽出する方法等を用いることができる。

図４は、同実施形態に係る顔特徴点抽出処理の処理結果を示す説明図である。図４に図示した例では、顔特徴点抽出処理により、顔領域１０から顔特徴点Ｐ１〜８が抽出されている。本処理例では、顔特徴点として、両目の目頭Ｐ１、両目の中心Ｐ２、両目の目尻Ｐ３、鼻Ｐ４、口の上端Ｐ５、口の下端Ｐ６、口の左端Ｐ７、口の右端Ｐ８が抽出される。

［３−３．顔向き推定処理（ステップＳ１０８）］
次に、図２のステップＳ１０８における顔向き推定処理について詳細な説明をする。顔向き推定処理は、例えば非特許文献３に開示されているような、顔特徴点抽出処理により抽出される特徴点の情報からＴＳＰＣ（ｔｒｅｅ−ｓｔｒｕｃｔｕｒｅｄ Ｐｏｓｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ）法を用いて行うことができる。ＴＳＰＣ法は、例えば顔画像中の両目の中心、及び口の中心の位置から、ツリー構造を用いた分類を行うことで顔向きが算出される。

［３−４．顔向き正規化処理（ステップＳ１１２）］
さらに、図２のステップＳ１１２における顔向き正規化処理について詳細な説明をする。顔向き正規化処理は、例えば非特許文献４に開示されているような、射影変換に基づいた３次元正規化法を用いて顔向きの正規化を行うことができる。

３次元正規化法は、顔画像上の複数の特徴点から、一般３次元顔形状への投影行列を求め、回転、サイズ、顔の向きによる姿勢変化を同時に正規化する方法である。３次元正規化法は、まず、平均的な３次元顔形状である一般３次元顔形状を作成し、一般３次元顔形状上の特徴点座標を予め定める。

次に、一般３次元顔形状の特徴点座標と計測行列Ｗから、運動行列Ｍを算出する。顔特徴点抽出処理により、顔画像からＮ個の特徴点が得られる場合、画像上のｉ番目の特徴点座標を（ｕ_ｉ，ｖ_ｉ）、全特徴点の重心を（ｕ_ｃ，ｖ_ｃ）、特徴点座標から重心座標を引いた座標を（ｕ^’ _ｉ，ｖ^’ _ｉ）＝（ｕ_ｉ−ｕ_ｃ，ｖ_ｉ−ｖ_ｃ）としたときに、計測行列Ｗは以下の（１）式により２×Ｎ行列として定義される。

また、一般３次元顔形状の対応するｉ番目の特徴点座標を（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）、重心座標を（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）、特徴点座標から重心を引いた座標を（ｘ’_ｉ，ｙ’_ｉ，ｚ’_ｉ）とすると、形状行列Ｓは以下の（２）式により３×Ｎ行列として定義される。

このとき、顔画像と一般３次元形状の間の投影関係を表す２×３行列の運動行列Ｍは、以下の（３）式で定義される。

さらに、以下の（４）式により形状行列Ｓの疑似逆行列Ｓ^＋を計算することで、運動量列Ｍを求める。

次いで得られた運動行列を用いて、顔画像の３次元正規化処理を行う。得られた運動行列Ｍは、顔形状上の特徴点を顔画像上に投影した場合に、顔画像上の特徴点との誤差が最小となるような投影行列とみなすことができる。この、投影関係に基づいて、任意の顔形状の点（ｘ，ｙ，ｚ）と対応する顔画像上の点（ｕ，ｖ）を以下の（５）式により求め、正規化画像に必要な全てのｘ，ｙ座標について対応する顔画像上の点を求める。

得られた点の画素値を３次元形状の画素値と置き換えることで、顔向き正規化画像が算出される。

図５は、本処理例に係る顔向き正規化処理の処理結果を示す説明図である。図５を参照すると、顔向きの異なる画像から得られる顔画像と顔特徴点、顔画像に３次元正規化処理をして得られる顔向き正規化画像、顔画像をアフィン変換により正規化した位置正規化画像が示される。

位置正規化画像は、顔特徴点抽出処理により得られる顔画像の特徴点の位置に基づいて、顔画像を２次元的な変換であるアフィン変換することで得られる。具体的には、位置正規化画像は、例えば顔画像から検出された目、鼻、口等の特徴点が、正面向きのときに表示される顔画像の位置に移動するように、線形変換と平行移動の組み合わせにより顔画像を変形させることで得られる。

図５に図示した例では、正面向き、右１５°向き、右３０°向き、上１５°向きのそれぞれの顔向きについて、抽出された顔画像と顔特徴点、顔向き正規化画像、位置正規化画像を示している。

顔画像は、顔検出処理部１３０により画像１０から抽出された顔領域２０であり、顔特徴点として、両目の中心Ｐ２、鼻Ｐ４、口の右端Ｐ７、口の左端Ｐ８が抽出されている。

図５を参照して、顔画像の左側である顔の左半分の領域を比較すると、位置正規化画像は、顔の正面向き、右１５°向き、右３０°向き、上１５°向きのそれぞれの顔向きで目や眉の形状、鼻の大きさ等の見え方が異なることがわかる。特に、「右１５°向き→右３０°向き」と顔向き大きくなるに従い、見え方に大きな変化が現れる。一方、顔向き正規化画像は、顔の正面向き、右１５°向き、右３０°向き、上１５°向きのいずれの場合においても、大きな見え方の変化がなく、顔向きの大きさによって見え方が変化しない。

また、顔画像の右側である顔の右半分の領域を比較すると、位置正規化画像は、特徴点である両目の中心Ｐ２、鼻Ｐ４、口の右端Ｐ７、口の左端Ｐ８は、正面向きと同じ位置に移動されているが、目や眉の形状、鼻の大きさ、口の形等の見え方が正面向きと大きく異なることがわかる。一方、顔向き正規化画像は、右３０°向きの下側や右端の領域において、撮影時のオクルージョンによる影響からノイズが発生する領域はあるが、ノイズが発生していない領域を比較すると、いずれの向きにおいても、見え方に大きな変化がないことがわかる。

次に、図６、７を参照して、顔向き正規化画像と位置正規化画像の見え方の違いを説明する。各画像の見え方は、各画像のＨａａｒ−ｌｉｋｅ特徴の特徴量を抽出することで、数値として表現できる。Ｈａａｒ−ｌｉｋｅ特徴は、非特許文献５に開示されているように、２種類の局所領域の明暗差をもとに抽出される特徴量である。図６は、本処理例に係る顔向き正規化画像から抽出したＨａａｒ−ｌｉｋｅ特徴の一例を示す説明図である。図７は、位置正規化画像から抽出したＨａａｒ−ｌｉｋｅ特徴の一例を示す説明図である。

図６を参照すると、正面向き、右１５°向き、右３０°向きの各顔向きにおける顔向き正規化画像と、顔画像の局所領域が異なる特徴１〜５における特徴量の抽出結果が示される。各局所領域は、例えば第１局所領域４０と第２局所領域５０とからなり、右目周辺や鼻周辺等の顔の特徴的な領域に設けられる。特徴量は、第１局所領域４０と第２局所領域５０の明暗差から数値として算出される。異なる顔画像の見え方を比較する場合、例えばこの特徴量の値の差が小さいと、各顔画像の局所領域の明暗差は同程度となり、見え方が同じであると判断される。

図６に図示した顔向き正規化画像の特徴例では、顔の左側から中央の局所領域にあたる特徴１〜２において、右１５°向きと右３０°向きの特徴量は、正面向きの特徴量と差の絶対値が５以内と小さくなる。したがって、正面向き、右１５°向き、右３０°向きの見え方は、同じであることがわかる。

特徴３〜５では、各領域の特徴量は、「正面向き→右１５°向き→右３０°向き」と顔向きの角度が大きくなるにしたがって、特徴量の値の差が大きくなる傾向がある。また、「特徴３→特徴４→特徴５」と領域が顔画像の右端側に移動するにしたがって、正面向きと他の向きでの特徴量の値の差が大きくなる傾向がある。これは、顔向き正規化画像中のノイズの影響であり、顔向きが右側に大きくなることで、オクルージョンが発生する顔の右領域において、顔以外の背景等が含まれる領域が大きくなることが原因となる。

図７を参照すると、正面向き、右１５°向き、右３０°向きの各顔向きにおける位置正規化画像と、顔画像の局所領域が異なる特徴１〜５における特徴量の抽出結果が示される。図７に図示した例では、正面向きと右１５°向きの特徴２における局所領域では、特徴量の差の絶対値が１と小さいが、その他の局所領域では特徴量の差の絶対値は１１以上と大きくなる。また、正面向きと右３０°向きでは、特徴１〜５のいずれの局所領域においても、特徴量の差の絶対値は１１以上と大きくなる。

このように、顔向き正規化処理では、３次元正規化法を用いることで、ノイズの少ない領域において、顔向きの大きさによらず特徴量の値の差が小さくなり、見え方を同じにすることができる。

［３−５．部分属性推定処理（ステップＳ１１６）］
次に、図８、９を参照して、図２のステップＳ１１６における部分属性推定処理について詳細な説明をする。部分属性推定処理では、顔向き正規化処理によって生成された顔向き正規化画像を複数の領域に区分し、区分された各領域に人物属性の推定をする。図８は、顔の領域を左、中央、右に３分割した例を示す説明図である。図９は、図８の各領域における属性推定結果を示す表である。

図８に図示した例では、人物属性の推定をする領域として、顔向き正規化画像を、左領域、中央領域、右領域の３つに区分された領域を用いる。

人物属性の推定には、例えばＨａａｒ−ｌｉｋｅ特徴を特徴量として利用し、非特許文献６に開示されているＶｅｃｔｏｒ Ｂｏｏｓｔを識別器として利用することができる。

なお、使用される特徴量と識別器は、推定する人物属性の種類に合わせて変更されることが望ましい。これは、性別、年齢といった異なる属性の推定においては、適切な特徴量と識別器が異なるからである。推定する人物属性の種類に合わせて、使用する特徴量と識別器を変更することで、推定精度を向上させることができる。

図９に、図８の各顔向き及び各領域での人物属性の推定結果を示す。図９に図示した例では、人物属性として性別を推定する。また、単に二値により男女を判定するのではなく、例えば男性らしさという尺度を人物属性評価値として、−１．０〜＋１．０の連続値として性別を判定する。この場合、人物属性評価値が＋１．０のときが最も男性らしく、−１．０のときが最も女性らしいとなるため、０より大きい値であれば男性と推定され、０よりも小さい値であれば女性と推定される。また、人物属性評価値が０であれば判定不能となる。本処理例で判定する人物は、男性であるため、人物属性評価値が０よりも大きい値であれば正しい推定となる。

図９を参照すると、正面向きでは、領域によらず人物属性評価値が全て＋０．７と同じ値になっており、正しい人物属性の推定ができていると考えられる。また、左領域では、どの顔向きにおいても人物属性評価値が＋０．７となっており、顔向きによらず、正しく推定がされていることがわかる。しかし、中央領域では右３０°向きの顔向きにおいて、人物属性評価値は女性と推定される値である−０．５となり、正面向きと異なる結果が推定される。また、右領域では右１５°向きと右３０°向きの両方の顔向きにおいて、人物属性評価値は＋０．１、−１．０と、正面向きと異なる結果が推定される。

これらの顔向き毎の各領域における推定精度の違いは、顔向きの角度が大きくになるにしたがって推定精度が低くなり、さらに右領域に近くなるにしたがって推定精度が低くなる。この推定精度が低下する傾向は、図６で説明した局所領域での特徴量の差が右領域に近づくほど大きくなる傾向と対応する。したがって、各領域における推定精度の違いは、オクルージョンにより発生する、顔向き正規化画像のノイズが原因となる。

［３−６．推定結果統合処理（ステップＳ１２０）］
次に、図２のステップＳ１２０における推定結果統合処理について詳細な説明をする。推定結果統合処理は、部分属性推定処理により得られた顔画像の各領域の人物属性の推定結果と、顔向きに応じた各領域への重み付けとに基づいて、顔画像の人物属性を推定するための人物属性評価値を算出する。

図９で説明したように、各領域の推定結果は、顔向きによって精度が異なり、ノイズが多い領域においては推定精度が低くなる。このため、推定結果統合処理では、顔向きに応じて各領域に重み付けを行い、推定結果を統合する。顔向きに応じた重み付けは、例えば正面向きと左右それぞれの向きで１５°、３０°、４５°、６０°の計９通りの顔向きに区分される。このとき、例えばステップＳ１０８により算出される顔向きが右向きである場合、正面向きから右向き７°未満を正面向きとし、右向き７°以上から２２°未満を右１５°向きとし、右向き２３°以上から３７°未満を右３０°向きとし、右向き３８°以上から５２°未満を右４５°向きとし、右向き５３°以上から６７°未満を右６０°向きとして、重み付けをする顔向きの領域が区分される。

図１０は、各領域の人物属性の推定結果を統合する際の重み付けの例を示す表である。図１０を参照すると、顔向きが正面向きである場合は、３つの領域でほぼ均等に重み付けをする。さらに、顔向きの角度が右向きに大きくなるにしたがい、ノイズの少ない左領域の重みを大きくし、ノイズの多い右領域と中央領域の重みを小さくする。これにより、推定結果を統合する際に、ノイズの影響を小さくすることができ、人物属性の推定精度を向上させることができる。

図１１は、図９の各領域における人物属性の推定結果を統合した結果を示す表である。図１１に図示した例では、図９で示した各領域の人物属性の推定結果を、図１０で示した重み付けを用いた場合と各領域に同じ重み付けを用いた場合の２通りの方法で統合した結果を示す。

各領域の人物属性の推定結果の統合は、例えば各領域の人物属性評価値を重み付け加算することで算出される。例えば顔向きが正面向きの場合、図９を参照すると、各領域の推定結果である人物属性評価値は、左側領域＋０．７、中央領域＋０．７、右領域＋０．７である。また、図１０を参照すると、統合する際に用いる重み付けは、左側領域０．３、中央領域０．４、右領域０．３である。これらの結果を重み付け加算すると、（＋０．７）×０．３＋（＋０．７）×０．４＋（＋０．７）×０．３＝＋０．７となり、統合結果として＋０．７という人物属性評価値が得られる。右１５°向き、右３０°向きについても同様の処理をすることで、右１５°向きの場合は＋０．５８、右３０°向きの場合は＋０．４６という人物属性評価値が得られる。

一方、各領域の重み付けを０．３３として同じ重み付けで加算した場合、正面向きは＋０．７、右１５°向きの場合は＋０．５２、右３０°向きの場合は−０．２９という人物属性評価値が得られる。

これらの結果を比較すると、図１０の重み付けを使用した場合、人物属性評価値は＋０．７、＋０．５８、＋０．４６となり、いずれの顔向きにおいても人物属性評価値は０より大きいことから、正しい人物属性評価ができることがわかる。また、各顔向きの人物属性評価値は、差が大きいものでも絶対値で０．２４と小さくなっており、顔向きによる推定精度のばらつきは小さくなる。一方、領域毎に同じ重み付けを使用した場合、人物属性評価値は＋０．７、＋０．５２、−０．２９となり、顔向きによっては０よりも小さい値となることから、正しい人物属性評価ができないことがわかる。また、各顔向きの人物属性評価値は、差が大きいもので絶対値で０．９９と大きくなっており、顔向きによる推定精度のばらつきは大きくなる。

ここで、顔向き毎の各領域の重み付けは、学習により得ることができる。例えば、顔向き毎の各領域の重み付けは、重回帰分析を用いて、人物属性が判明している顔向きが等しい複数の顔画像から算出されてもよい。この場合、まず、複数の顔画像に対して各領域の属性推定処理を行う。次に、正解の人物属性評価値を目的変数とし、各領域の人物属性の推定結果を説明変数として重回帰分析を行う。これにより、ある顔向きでの各領域の重み付けを算出することができる。

図１２を参照して、学習により顔向き毎の各領域の重み付けを算出する例について詳細な説明をする。図１２は、ある顔向きにおける各領域の人物属性推定結果の例を示す表である。図１２に図示した例では、人物属性は性別であるため、正解の人物属性評価値として、男性である場合に「＋１」、女性である場合に「−１」という値を割り当てる。図１２に図示した例では、重み付けに使用する人物属性推定結果の例として、６枚の顔向き正規化画像についての人物属性の推定結果である推定例１から６を使用する。このとき、推定例１から３は男性の顔画像であるので、正解の人物属性評価値を「＋１」とし、推定例４から６は女性の顔画像であるので、正解の人物属性評価値を「−１」とする。図１２に図示した例では、正解の人物属性評価値を目的変数とし、各領域の人物属性の推定結果を説明変数として重回帰分析を行うことにより、ある角度における領域の重み付けが算出される。

このように、推定結果統合処理では、顔向きに応じて各領域の人物属性推定結果に重み付けをして統合することで、顔向き正規化画像のノイズによる影響を少なくすることができ、顔向きの角度が大きい顔画像においても人物属性の推定精度を向上させることができる。また、推定結果統合処理では、複数の顔画像から重回帰分析にて重み付けを算出することで、顔向きによるノイズの影響を精度よく考慮することができるようになる。

［３−７．人物属性推定処理（ステップＳ１２４）］
次に、図２のステップＳ１２４における人物属性推定処理について詳細な説明をする。人物属性推定処理は、推定結果統合処理（ステップＳ１２０）により算出される人物属性評価値に基づいて、顔画像の人物の人物属性を最終的に推定する。

図１１に図示した例では、性別を推定する人物属性評価値は、−１．０〜＋１．０の範囲の値として算出される。この場合、人物属性推定部１９０は、例えば人物属性評価値が０よりも大きい場合に人物属性は男性であると推定し、人物属性評価値が０よりも小さい場合に人物属性は女性であると推定する。また、人物属性推定処理は、例えば人物属性評価値が０である場合に人物属性は不明であると推定する。

以上、本実施形態に係る本人物属性推定装置１００について説明した。本実施形態に係る人物属性推定装置１００は、３次元正規化法を用いて顔向き正規化を行うことで、顔向きの違いによる見え方の違いを少なくすることができる。これにより、本実施形態に係る本人物属性推定装置１００は、見え方の違いにより生じる人物属性推定に影響する特徴量の違いを少なくすることができる。

また、本実施形態に係る本人物属性推定装置１００は、分割された顔向き正規化処理画像の各領域について人物属性を推定し、推定結果を顔向きに応じた各領域の重み付けで統合し、最終的な人物属性の推定をする。これにより、本実施形態に係る本人物属性推定装置１００では、顔向き正規化の際に生じるノイズの影響を低減することができる。以上、これらのことから、本実施形態に係る本人物属性推定装置１００は、様々な顔向きの顔画像に対して正確に人物属性を推定することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は係る例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本処理例では、推定する人物属性として性別を推定したが、本発明はかかる例に限定されない。例えば、年齢や表情等を人物属性とする場合においても、本発明により人物属性を推定することができる。

例えば、本実施形態では、顔向き正規化処理として投影変換に基づいた３次元正規化法を例に説明したが、本発明はかかる例に限定されない。例えば、他の顔向き正規化処理法を用いて顔向き正規化処理を行ってもよい。

例えば、本処理例では、部分属性推定処理において顔向き正規化画像を左、中央、右の３領域に区分したが、本発明はかかる例に限定されない。例えば、顔向き正規化画像を上、中央、下の３領域に区分してもよい。また、例えば、顔向き正規化画像を左右方向と上下方向に３領域ずつに区分し、計９領域に区分してもよい。さらに、例えば、顔向き正規化画像を左右方向または上下方向の少なくともいずれか一方向に複数の領域に区分してもよい。

この場合、例えば顔向き正規化画像を区分する方向を顔向きに合わせてもよい。前述のように顔向き正規化処理によるノイズの発生は、オクルージョンが影響しているため、顔向きの方向に対応してノイズが発生する。例えば、図５に図示したように、顔向きが右向きになると、顔の右領域でノイズが発生する。このため、例えば顔向きが正面向きから左右方向に傾いている場合は、左右方向に領域を分け、上下方向に傾いている場合は、上下方向に領域を分けてもよい。これにより、オクルージョンが発生する領域に対応した区分けが可能となるため、顔向き正規化画像をノイズが少ない領域と多い領域に適切に分けることができる。

例えば、本処理例では、部分属性推定処理において顔向き正規化画像を左、中央、右の３領域に区分したが、本発明はかかる例に限定されない。例えば、目、鼻、口等の顔のパーツを含む領域に区分し、各領域の人物属性の推定を行ってもよい。

例えば、本実施形態では、部分属性推定処理においてＨａａｒ−ｌｉｋｅ特徴を特徴量としＶｅｃｔｏｒ Ｂｏｏｓｔを識別器として人物属性推定処理をしたが、本発明はかかる例に限定されない。例えば、エッジ量を特徴量としてもよい。また、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を識別器としてもよい。

例えば、本処理例では、推定結果統合処理において重回帰分析を利用して重み付けを算出したが、本発明はかかる例に限定されない。例えば、各領域の属性推定処理の乗算を利用してもよい。また、例えば、各領域の属性推定処理結果を入力ベクトルとして、ＳＶＭ等を構成して識別させてもよい。

例えば、本実施形態では、顔検出処理部１３０により生成される顔画像を使用して、ステップＳ１０４からステップＳ１２４の処理を行ったが、本発明はかかる例に限定されない。例えば、顔検出処理により抽出される画像の顔領域を使用して、ステップＳ１０４からステップＳ１２４の処理を行ってもよい。

例えば、本実施形態では、人物属性推定装置１００は、記憶部１１０と入力部１２０を備えるが、本発明はかかる例に限定されない。例えば、人物属性推定装置１００は、記憶部１１０と入力部１２０のいずれか一方のみを備える構成でもよい。

例えば、本実施形態では、最終的な人物属性の推定を人物属性推定部１９０で行うが、本発明はかかる例に限定されない。例えば、推定結果統合処理部１８０が、人物属性評価値をもとに最終的な人物属性の推定を行ってもよい。

１００ 人物属性推定装置
１１０ 記憶部
１２０ 入力部
１３０ 顔検出部
１４０ 顔特徴点抽出処理部
１５０ 顔向き推定処理部
１６０ 顔向き正規化処理部
１７０ 部分属性推定処理部
１８０ 推定結果統合処理部
１９０ 人物属性推定部
１０ 画像
２０ 顔領域
４０ 第１局所領域
５０ 第２局所領域
Ｐ１〜Ｐ８ 顔特徴点

Claims (9)

1. 顔画像の顔向きを正規化する顔向き正規化処理部と、
   正規化した顔向き正規化画像に基づいて、前記顔向き正規化画像を区分した領域ごとに人物属性をそれぞれ推定する部分属性推定処理部と、
   前記部分属性推定処理部による前記顔向き正規化画像の各領域に対する人物属性推定結果と、顔向きに応じた、前記顔画像の撮影時のオクルージョンによる影響から当該顔向き正規化画像に発生するノイズが多い領域の重みが小さくなり当該ノイズが少ない領域の重みが大きくなるような重み付けと、に基づいて前記顔画像の人物属性を推定するための人物属性評価値を算出する推定結果統合処理部と、
   を備える、人物属性推定装置。
2. 顔画像の特徴点に基づいて顔向きを推定する顔向き推定処理部をさらに備える、請求項１に記載の人物属性推定装置。
3. 前記人物属性推定装置は、前記人物属性評価値に基づいて前記顔画像の人物属性を推定する人物属性推定部をさらに備える、請求項１または２に記載の人物属性推定装置。
4. 前記顔向き正規化処理部は、前記顔画像を、３次元形状モデルを用いて正規化する、請求項１〜３のいずれか１項に記載の人物属性推定装置。
5. 前記推定結果統合処理部は、正規化前の顔向きにより前記顔向き正規化画像のノイズが大きくなる領域の重みが小さくなるように重み付けをする、請求項１〜４のいずれか１項に記載の人物属性推定装置。
6. 前記推定結果統合処理部は、同様な顔向きの複数の画像から学習した結果を用いて、前記部分属性推定処理部の推定結果を顔向きに応じて重み付けで統合する請求項１〜５のいずれか１項に記載の人物属性推定装置。
7. 前記部分属性推定処理部は、前記顔画像を左右または上下の少なくともいずれか一方の方向に分けた領域ごとに人物属性を推定する、請求項１〜６のいずれか１項に記載の人物属性推定装置。
8. 顔画像の顔向きを正規化するステップと、
   正規化した顔向き正規化画像に基づいて、前記顔向き正規化画像を区分した領域ごとに人物属性をそれぞれ推定するステップと、
   前記正規化するステップによる前記顔向き正規化画像の各領域に対する人物属性推定結果と、顔向きに応じた、前記顔画像の撮影時のオクルージョンによる影響から当該顔向き正規化画像に発生するノイズが多い領域の重みが小さくなり当該ノイズが少ない領域の重みが大きくなるような重み付けと、に基づいて前記顔画像の人物属性を推定するための人物属性評価値を算出するステップと、
   を含む、人物属性推定方法。
9. 顔画像の顔向きを正規化する機能と、
   正規化した顔向き正規化画像に基づいて、前記顔向き正規化画像を区分した領域ごとに人物属性をそれぞれ推定する機能と、
   前記正規化する機能による前記顔向き正規化画像の各領域に対する人物属性推定結果と、顔向きに応じた、前記顔画像の撮影時のオクルージョンによる影響から当該顔向き正規化画像に発生するノイズが多い領域の重みが小さくなり当該ノイズが少ない領域の重みが大きくなるような重み付けと、に基づいて前記顔画像の人物属性を推定するための人物属性評価値を算出する機能と、
   をコンピュータに実現させるためのプログラム。