JP5025713B2

JP5025713B2 - 属性識別装置、および属性識別プログラム

Info

Publication number: JP5025713B2
Application number: JP2009271599A
Authority: JP
Inventors: 慎吾安藤; 章鈴木; 秀樹小池
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2009-11-30
Filing date: 2009-11-30
Publication date: 2012-09-12
Anticipated expiration: 2029-11-30
Also published as: JP2011113464A

Description

本発明は、属性識別装置、および属性識別プログラムに関する。特に、撮像画像における被写体の属性識別装置、および属性識別プログラムに関する。

近年、画像や映像から人物の顔を検出し、該人物の性別や年齢層を識別する技術（以下、「属性識別」または「属性推定」とも称する）が研究されている。例えば、２ＤＰＣＡによる特徴抽出とＧＭＭおよびＳＶＭを併用した識別器による手法がある（例えば、非特許文献１参照）。
非特許文献１に開示された技術は、画像や映像において、撮像装置（レンズ）の方向に対する属性識別の対象である人物の顔の向いている方向（以下、「顔方向」と称する）が正面である場合、即ち、正面方向から属性識別の対象者が撮像されている場合には、有効な手法ともいえる。

「顔画像による性別・年齢層推定への複数識別器の統合手法の検討」林田輝英、植木一也、小林哲則信学技法ＰＲＭＵ２００５−９６、２００５年１０月

しかしながら、非特許文献１に開示された技術は、正面方向だけでなく種々の方向から属性識別の対象者が撮像されている場合、属性識別の精度が著しく低下するという問題がある。人物の顔は３次元的な構造であるため、同一人物の顔であっても顔方向が異なると、画像上での明度パターンが大きく変動するからである。
上記問題に対処する簡易な手法としては、学習段階で正面方向の顔画像に加え、種々の方向の顔画像を纏めて１つの識別器に学習させるという手法が考えられる。しかし、正面方向を含む種々の方向の顔画像を学習させる場合、正面方向の顔画像のみを学習させる場合に比べ、パターンの変動がより膨大となるため、識別能力の低下が予想される。また、識別器によっては、処理時間が極端に長くなるという問題がある。

ところで、属性識別のうち、年齢層を識別する技術（以下、「年齢層識別」または「年齢層推定」とも称する）は、性別を識別する技術（以下、「性別識別」または「性別推定」とも称する）に比べ、一般に、非常に困難である。個人差や化粧などによって、他者（他人）の主観による年齢（以下、「主観年齢」という）が、実年齢と多分に異なる場合が少なくないからである。従って、年齢層識別の識別器を学習する際に、他者による評価に基づき決定された教師信号を用いる方が、良い識別率が得られるものと考えられる。また、他者による評価を考慮した方が、却って実用面において有用性が高い場合も多いと考えられる。しかし、他者による評価には、評者者の評価における個人差が反映されるため、上記評価を集計した場合に、分布にばらつきが生じ、必ずしも１つの年齢層のクラスに決定できるとは限らない。つまり、適切な教師信号の設定が難しく、年齢層識別において、主観年齢層を精度良く識別できないという問題がある。

本発明は、このような事情を考慮してなされたものであり、その目的は、被写体の顔方向に対しロバストかつ処理速度の速い属性識別を実現する技術を提供することにある。また、被写体の年齢層識別において、主観年齢層を精度良く識別できる技術を提供することにある。

上述した課題を解決するために、本発明の一実施態様である属性識別装置は、学習用データとして、種々の方向から撮像された顔画像データ、前記顔画像データの被写体の顔の向いている方向を示す学習用顔方向パラメータ、前記被写体の属性データを取得する学習用データ取得部と、前記学習用データ取得部によって取得された前記顔画像データから、被写体の顔領域を検出して切り出した顔切出画像データを出力する学習用顔領域検出部と、前記学習用顔領域検出部によって出力された前記顔切出画像データであって前記学習用顔方向パラメータが同一である複数の前記顔切出画像データと、当該複数の顔切出画像データそれぞれの前記属性データとに基づいて、前記被写体の顔の向いている方向別に、前記被写体の属性を識別する属性識別器を生成する顔方向別属性識別器生成部と、前記顔方向別属性識別器生成部によって生成された前記属性識別器を記憶する顔方向別属性識別器記憶部と、被写体の属性識別の対象である対象画像データを取得する対象画像データ取得部と、前記対象画像データ取得部によって取得された前記対象画像データから、被写体の顔領域を検出し顔切出画像データを出力する認識用顔領域検出部と、前記認識用顔領域検出部によって出力された前記顔切出画像データに基づいて、前記対象画像の被写体の顔の向いている方向を推定し、前記被写体の顔の向いている方向を示す属性識別用顔方向パラメータを出力する顔方向推定部と、前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記対象画像データから、被写体の顔領域を再度検出して切り出した顔切出画像データを出力する認識用顔領域再検出部と、前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記顔方向別属性識別器記憶部に記憶されている複数の前記属性識別器のなかから１または２以上の前記属性識別器を選択し、当該選択した１または２以上の前記属性識別器に、前記認識用顔領域再検出部が出力した前記顔切出画像データを入力し、前記対象画像の被写体に係る識別結果を取得する属性識別部とを備え、前記顔方向推定部は、前記属性識別用顔方向パラメータとして前記対象画像の被写体の顔の向いている方向を示すｙａｗ角およびｐｉｔｃｈ角を出力し、前記属性識別部は、前記顔方向別属性識別器記憶部に記憶されている複数の前記属性識別器のそれぞれを、前記顔方向推定部から出力された前記ｙａｗ角およびｐｉｔｃｈ角から構成される２次元空間に配置したときの、ユークリッド距離に基づいて近傍の前記属性識別器を２つ以上選択し、前記距離による重み付き平均を用いて、前記対象画像の被写体に係る識別結果を取得することを特徴とする。

上述した課題を解決するために、本発明の他の実施態様である属性識別装置は、学習用データとして、種々の方向から撮像された顔画像データ、前記顔画像データの被写体の顔の向いている方向を示す学習用顔方向パラメータ、前記被写体の属性データを取得する学習用データ取得部と、前記学習用データ取得部によって取得された前記顔画像データから、被写体の顔領域を検出して切り出した顔切出画像データを出力する学習用顔領域検出部と、前記学習用顔領域検出部によって出力された前記顔切出画像データであって前記学習用顔方向パラメータが同一である複数の前記顔切出画像データと、当該複数の顔切出画像データそれぞれの前記属性データとに基づいて、前記被写体の顔の向いている方向別に、前記被写体の属性を識別する属性識別器を生成する顔方向別属性識別器生成部と、前記顔方向別属性識別器生成部によって生成された前記属性識別器を記憶する顔方向別属性識別器記憶部と、被写体の属性識別の対象である対象画像データを取得する対象画像データ取得部と、前記対象画像データ取得部によって取得された前記対象画像データから、被写体の顔領域を検出し顔切出画像データを出力する認識用顔領域検出部と、前記認識用顔領域検出部によって出力された前記顔切出画像データに基づいて、前記対象画像の被写体の顔の向いている方向を推定し、前記被写体の顔の向いている方向を示す属性識別用顔方向パラメータを出力する顔方向推定部と、前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記対象画像データから、被写体の顔領域を再度検出して切り出した顔切出画像データを出力する認識用顔領域再検出部と、前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記顔方向別属性識別器記憶部に記憶されている複数の前記属性識別器のなかから１または２以上の前記属性識別器を選択し、当該選択した１または２以上の前記属性識別器に、前記認識用顔領域再検出部が出力した前記顔切出画像データを入力し、前記対象画像の被写体に係る識別結果を取得する属性識別部とを備え、前記学習用データ取得部は、前記顔画像データを多数の人物に予め提示して得られた前記顔画像データの被写体の主観年齢の割合を集計データした集計データを学習用データとして更に取得し、前記顔方向別属性識別器生成部は、所定の閾値に基づいて、集計データによって示される各主観年齢層の正解／不正解を判定し、複数の主観年齢層を正解と判定した場合に、正解と判定した主観年齢層における評価の割合に応じて重み付けした内分値、又は、上記評価の割合を等価とした内分値を教師信号として属性識別器に渡して、属性識別器を生成することを特徴とする。

上述属性識別装置において、前記顔方向推定部は、前記属性識別用顔方向パラメータとして前記対象画像の被写体の顔の向いている方向を示すｙａｗ角およびｐｉｔｃｈ角を出力し、前記属性識別部は、前記顔方向別属性識別器記憶部に記憶されている複数の前記属性識別器のそれぞれを、前記顔方向推定部から出力された前記ｙａｗ角およびｐｉｔｃｈ角から構成される２次元空間に配置したときの、ユークリッド距離に基づいて近傍の前記属性識別器を２つ以上選択し、前記距離による重み付き平均を用いて、前記対象画像の被写体に係る識別結果を取得するようにしてもよい。

上述した課題を解決するために、本発明の他の実施態様であるプログラムは、上述の属性識別装置を構成する各手段としてコンピュータを機能させるための属性識別プログラムである。

本発明によれば、被写体の顔方向に対しロバストかつ処理速度の速い属性識別を実現できるようになる。また、被写体の年齢層識別において、主観年齢層を精度良く識別できるようになる。

本発明の一実施形態による属性識別装置１の構成の一例を示す機能ブロック図である。認識用顔領域再検出部２４の動作を説明する説明図である。属性識別装置１における年齢層識別について説明した説明図である。属性識別装置１における年齢層識別について説明した説明図である。属性識別装置１の動作の一例を示すフローチャートである。

以下、本発明の一実施形態について図面を参照して説明する。図１は、本発明の一実施形態による属性識別装置１の構成の一例を示すブロック図である。図２は、認識用顔領域再検出部２４の動作を説明する説明図である。

属性識別装置１は、図１に示すように、学習処理部１０および認識処理部２０を備える。学習処理部１０は、学習用データ取得部１１、学習用顔領域検出部１２、顔方向別属性識別器生成部１３および顔方向別属性識別器記憶部１４を備える。認識処理部２０は、対象画像データ取得部２１、認識用顔領域検出部２２、顔方向推定部２３、認識用顔領域再検出部２４、属性識別部２５および結果出力部２６を備える。

学習用データ取得部１１は、学習用データとして、種々の方向から撮像された顔画像データ、上記顔画像データの被写体の顔方向を示す学習用顔方向パラメータ、被写体の属性データを取得する。

つまり、学習用データ取得部１１は、撮像装置（例えば、デジタルカメラ）によって種々の方向から撮像された複数の顔画像データを学習用データとして取得する。学習用データ取得部１１は、顔画像データを学習用顔領域検出部１２に供給する。

また、学習用データ取得部１１は、学習用顔方向パラメータ（例えば、ｙａｗ角の値、ｐｉｔｃｈ角の値など）を学習用データとして取得する。学習用データ取得部１１は、学習用顔方向パラメータを、何れの顔画像データに係る学習用顔方向パラメータであるかわかる態様（顔画像データと学習用顔方向パラメータとの対応関係がわかる態様）により、顔方向別属性識別器生成部１３に供給する。例えば、学習用データ取得部１１は、学習用顔方向パラメータを、顔画像データを識別する識別情報に対応付けて顔方向別属性識別器生成部１３に供給する。なお、学習用顔方向パラメータは、各顔画像データの撮像時に設定した顔方向を手作業で入力したものである。

また、学習用データ取得部１１は、各顔画像データの被写体の属性データを学習用データとして取得する。学習用データ取得部１１は、属性データを、何れの顔画像データに係る属性データであるかわかる態様（顔画像データと属性データとの対応関係がわかる態様）により、顔方向別属性識別器生成部１３に供給する。例えば、学習用データ取得部１１は、属性データを、顔画像データを識別する識別情報に対応付けて顔方向別属性識別器生成部１３に供給する。

また、学習処理部１０において、主観年齢層を識別する属性識別器を生成する場合、学習用データ取得部１１は、主観年齢に係る集計データ（顔画像データを多数の人物に予め提示して得られた当該顔画像データの被写体の主観年齢の割合を集計した集計データ）を学習用データとして取得する。学習用データ取得部１１は、集計データを、何れの顔画像データに係る集計データであるかわかる態様（顔画像データと集計データとの対応関係がわかる態様）により、顔方向別属性識別器生成部１３に供給する。例えば、学習用データ取得部１１は、集計データを、顔画像データを識別する識別情報に対応付けて顔方向別属性識別器生成部１３に供給する。なお、主観年齢層を識別する識別器を生成する場合の具体例などについては後述する

学習用顔領域検出部１２は、学習用データ取得部１１から顔画像データを取得し、顔画像データから顔領域を検出する。例えば、学習用顔領域検出部１２は、確率的増分符号相関などの統計的手法（例えば、参考文献１参照）を利用し、顔領域を高速に検出してもよい。
（参考文献１）
「個体差のある対象の画像照合に適した確率的増分符号相関」三田雄志、金子敏充、堀修電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１６１４−１６２３，２００５．

顔領域を検出した学習用顔領域検出部１２は、顔画像データから顔領域を切り出した画像（以下、「顔切出画像データ」という）を、何れの顔画像データに係る顔切出画像データであるかわかる態様（顔画像データと顔切出画像データとの対応関係がわかる態様）により、顔方向別属性識別器生成部１３に供給する。例えば、学習用顔領域検出部１２は、顔切出画像データを、切り出し元の顔画像データを識別する識別情報に対応付けて顔方向別属性識別器生成部１３に供給する。なお、学習処理部１０の学習用顔領域検出部１２は、認識処理部２０の認識用顔領域検出部２２に比べ、処理時間における制約は厳しくない。認識用顔領域検出部２２は認識時に顔領域を検出するが、学習用顔領域検出部１２は属性識別器の学習時に顔領域を検出するからである。

顔方向別属性識別器生成部１３は、学習用データ取得部１１から学習用データ（学習用顔方向パラメータ、属性データ）を取得する。また、顔方向別属性識別器生成部１３は、学習用顔領域検出部１２から顔切出画像データを取得する。なお、学習用顔方向パラメータ、属性データおよび顔切出画像データは、何れも、それぞれが何れの顔画像データに係る情報であるか識別可能である。換言すれば、学習用顔方向パラメータ、属性データおよび顔切出画像データのぞれぞれは互いに対応付けられている。

また、学習処理部１０において、主観年齢層を識別する属性識別器を生成する場合、顔方向別属性識別器生成部１３は、学習用データ取得部１１から学習用データ（集計データ）を取得する。なお、集計データは、何れも、それぞれが何れの顔画像データに係る情報であるか識別可能である。換言すれば、学習用顔方向パラメータ、属性データ、集計データおよび顔切出画像データのぞれぞれは互いに対応付けられている。

学習用データ取得部１１および学習用顔領域検出部１２を取得した顔方向別属性識別器生成部１３は、顔方向別に、属性識別器を生成する。例えば、顔方向別属性識別器生成部１３は、男性か女性かを識別できる性別識別器などの属性識別器を顔方向別に生成する。

具体的には、顔方向別属性識別器生成部１３は、学習用顔領域検出部１２によって出力された顔切出画像データであって学習用顔方向パラメータが同一である複数の顔切出画像データと、当該複数の顔切出画像データそれぞれの属性データとに基づいて、被写体の顔方向別に、被写体の属性を識別する属性識別器を生成する。より詳細には、顔方向別属性識別器生成部１３は、学習用顔方向パラメータの値が一致する顔切出画像データ（顔方向の一致する顔切出画像データ）を１つのグループとし、各グループ内の属性（各グループ内の顔切出画像データに対応する属性データに基づく属性）を教師信号として属性識別器に学習させる。顔方向別属性識別器生成部１３は、全ての顔方向に対して当該処理を行うことによって、顔方向別の属性識別器を生成する。なお、顔方向別属性識別器生成部１３は、学習用顔方向パラメータに基づいて、各属性識別器に顔方向に係る情報（例えば、ｙａｗ角およびｐｉｔｃｈ角の組合せ）を示すタグを付加する。

顔方向別属性識別器生成部１３は、生成した全ての属性識別器を顔方向別属性識別器記憶部１４に記憶する。なお、顔方向別属性識別器生成部１３は、属性識別器の生成結果を管理し、全ての顔方向の属性識別器を生成したか否かを判断する。なお、顔方向別属性識別器生成部１３が生成する属性識別器の種類は、２クラスを判別できるものであれば何でもよい。例えば、サポートベクトルマシンやフィードフォワード型ニューラルネットワークなどが代表的なところである。

また、主観年齢層を識別する識別器を生成する場合、顔方向別属性識別器生成部１３は、所定の閾値に基づいて、集計データによって示される各主観年齢層（各クラス）の正解／不正解を判定し、複数の主観年齢層を正解と判定した場合に、正解と判定した主観年齢層における評価の頻度（正解と判定した各クラスに属すると評価した他者の割合）に応じて重み付けした内分値、又は、上記評価の割合を等価とした内分値を教師信号として属性識別器に渡して、属性識別器を生成する。

顔方向別属性識別器記憶部１４は、メモリまたはＨＤＤであって、顔方向別属性識別器生成部１３によって生成された全ての属性識別器を記録する。顔方向別属性識別器記憶部１４に記憶された属性識別器は、属性識別部２５からの要求に応じて属性識別部２５に供給される。

対象画像データ取得部２１は、属性識別の対象となる対象画像データを取得する。対象画像データ取得部２１は、対象画像データを認識用顔領域検出部２２および認識用顔領域再検出部２４に供給する。

認識用顔領域検出部２２は、対象画像データ取得部２１から対象画像データを取得し、対象画像データから顔領域を検出する。例えば、認識用顔領域検出部２２は、学習用顔領域検出部１２と同様の手法を利用し、対象画像データから顔領域を検出する。顔領域を検出した認識用顔領域検出部２２は、対象画像データから顔領域を切り出した顔切出画像データを顔方向推定部２３に供給する。なお、認識処理部２０の認識用顔領域検出部２２は、学習処理部１０の学習用顔領域検出部１２に比べ、処理時間における制約は厳しい。学習用顔領域検出部１２は属性識別器の学習時に顔領域を検出するが、認識用顔領域検出部２２は認識時に顔領域を検出するからである。従って、確率的増分符号相関などの統計的手法を利用し、顔領域を高速に検出することが好ましい。

顔方向推定部２３は、認識用顔領域検出部２２から顔切出画像データを取得する。顔切出画像データを取得した顔方向推定部２３は、認識用顔領域検出部２２によって出力された顔切出画像データに基づいて、対象画像の被写体の顔方向を推定し、被写体の顔方向を示す属性識別用顔方向パラメータを出力する。属性識別用顔方向パラメータは、例えば、ｙａｗ角、ｐｉｔｃｈ角、ｒｏｌｌ角およびスケール値に係るものである。スケール値とは、顔領域として検出される方形枠に対する顔の占める大きさ（例えば、ドット数）を定量的に算出したものである（例えば、ある基準値に対する相対値として表現してもよい）。

より詳細には、顔方向推定部２３は、顔切出画像データから顔領域の明度パターンを検出し、検出した顔領域の明度パターンに基づいて、属性識別用顔方向パラメータを推定する。例えば、顔方向推定部２３は、主成分分析とサポートベクトル回帰を組み合わせたパラメータ推定法（例えば、参考文献２参照）を利用し、高精度に、属性識別用顔方向パラメータを推定する。参考文献２参照の手法を利用することによって、学習していない顔方向を含む連続的な顔方向推定が可能となる。
（参考文献２）
「サポートベクトル回帰を用いた三次元物体の姿勢推定法」安藤慎吾，草地良規，鈴木章，荒川賢一電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８９−ＤＮｏ．８，ｐｐ．１８４０−１８４７，２００６．

顔方向を推定した顔方向推定部２３は、ｒｏｌｌ角およびスケール値に係る属性識別用顔方向パラメータを認識用顔領域再検出部２４に供給し、ｙａｗ角およびｐｉｔｃｈ角に係る属性識別用顔方向パラメータを属性識別部２５に供給する。

認識用顔領域再検出部２４は、対象画像データ取得部２１から対象画像データを取得する。また、認識用顔領域再検出部２４は、顔方向推定部２３からｒｏｌｌ角およびスケール値に係る属性識別用顔方向パラメータを取得する。対象画像データ、ｒｏｌｌ角およびスケール値に係る属性識別用顔方向パラメータを取得した認識用顔領域再検出部２４は、顔方向推定部２３によって出力された属性識別用顔方向パラメータ（ｒｏｌｌ角およびスケール値）に基づいて、対象画像データから、被写体の顔領域を再度検出して切り出した顔切出画像データを出力する。具体的には、認識用顔領域再検出部２４は、図２に示すように、ｒｏｌｌ角が０°かつスケール値が１になるように正規化されるように、対象画像データから顔領域を切り出した顔切出画像データを出力する。つまり、認識用顔領域再検出部２４は、回転や大きさの微妙なぶれを補正するために、再度、対象画像データから顔領域を切り出した顔切出画像データを出力している。認識用顔領域再検出部２４は、顔切出画像データを属性識別部２５に供給する。

属性識別部２５は、顔方向推定部２３からｙａｗ角およびｐｉｔｃｈ角に係る属性識別用顔方向パラメータを取得する。また、属性識別部２５は、認識用顔領域再検出部２４から顔切出画像データを取得する。ｙａｗ角およびｐｉｔｃｈ角に係る属性識別用顔方向パラメータ、顔切出画像データを取得した属性識別部２５は、顔方向推定部２３によって出力された属性識別用顔方向パラメータ（ｙａｗ角およびｐｉｔｃｈ角）に基づいて、顔方向別属性識別器記憶部１４に記憶されている複数の属性識別器のなかから１または２以上の属性識別器を選択する。

属性識別部２５による属性識別器の選択基準は種々の方法が考えられるが、本実施形態においては、属性識別部２５は、基準基準１または選択基準２の何れかに従って属性識別器を選択する。
（選択基準１）
顔方向別属性識別器記憶部１４に記憶されている複数の属性識別器がｙａｗ角とｐｉｔｃｈ角に関する２次元空間上に格子状に並べられていると想定し、ユークリッド距離による最近傍の属性識別器を１つ選択する。換言すれば、顔方向別属性識別器記憶部１４に記憶されている複数の属性識別器のそれぞれを、顔方向推定部２３から出力されたｙａｗ角およびｐｉｔｃｈ角から構成される２次元空間に配置したときの、ユークリッド距離に基づいて最近傍の属性識別器を１つ選択する。
（選択基準２）
顔方向別属性識別器記憶部１４に記憶されている複数の属性識別器がｙａｗ角とｐｉｔｃｈ角に関する２次元空間上に格子状に並べられていると想定し、ユークリッド距離による４近傍の識別器を選択する。換言すれば、顔方向別属性識別器記憶部１４に記憶されている複数の属性識別器のそれぞれを、顔方向推定部２３から出力されたｙａｗ角およびｐｉｔｃｈ角から構成される２次元空間に配置したときの、ユークリッド距離に基づいて近傍の属性識別器を２つ以上選択する。

基準基準１に従って１つの属性識別器を選択した場合、属性識別部２５は、当該選択した１つの属性識別器に、認識用顔領域再検出部２４から取得した顔切出画像データを入力し、識別結果を得る。そして、属性識別部２５は、当該識別結果を結果出力部２６に供給する。

基準基準２に従って４つの属性識別器を選択した場合、属性識別部２５は、当該選択した４つの属性識別器のそれぞれに、認識用顔領域再検出部２４から取得した顔切出画像データを入力し、それぞれから識別結果を得る。そして、属性識別部２５は、それぞれから取得した識別結果から最終的な識別結果を算出し（例えば、距離による重み付き平均を用いて対象画像の被写体に係る最終的な識別結果を算出する）、最終的な識別結果を結果出力部２６に供給する。
例えば、サポートベクトルマシン等では最後にｓｉｇｎ関数を乗じて１か−１の何れかを出力するが、本実施形態では、それぞれから取得した識別結果について、ｓｉｇｎ関数を乗じる前の数値を（一時的な）識別結果とし、デジタル画像の拡大などで用いられるバイリニア補間と同様の手法を用いて、それぞれの識別結果を重み付き平均する。次いで、ｓｉｇｎ関数をかけ、（最終的な）識別結果として結果出力部２６に供給する。なお、バイキュービック補間のように５近傍以上の重み付き平均を利用した手法、スプライン補間などの、より高度な手法を利用可能であり、バリエーションは多彩である。

結果出力部２６では、属性識別部２５から識別結果を取得し出力する。

以下、図３および図４を用いて、年齢層識別において、主観年齢層を識別する属性識別器を生成する場合の具体例などについて説明する。図３および図４は、主観年齢層の概念を説明するための説明図である。図３（ａ）に示すように、一人の顔画像に対し、多数の人物の主観年齢層を集計すると、複数のクラス（層）にばらつく可能性が高い。そのため、まず、主観年齢層で全体のａ％（ａはあらかじめ決定するパラメータ値）を超えるもクラスのみを正解とする。例えば、図３（ｂ）に示す例では、２０歳〜３４歳のクラスおよび３５歳〜４９歳のクラスは正解とするが、１９歳以下のクラスおよび５０歳以上のクラスは不正解とする。

ところで、主観年齢層を分けるときのクラスの分け方も種々の分け方が考えられるが（例えば、図３に示す方法やｎ十代毎に分ける方法）、通常、主観年齢層が３クラス以上となるような分け方を設定する。４クラスの主観年齢層（１９歳以下のクラス、２０歳〜３４歳のクラス、３５歳〜４９歳のクラス、５０歳以上のクラス）を設定する場合、例えば、図４（ａ）のように、１９歳以下と２０歳以上を識別する属性識別器１、３４歳以下と３５歳以上を識別する属性識別器２、４９歳以下と５０歳以上を識別する属性識別器２をそれぞれ学習する。つまり、属性識別器１、２、３の識別結果を分析すれば、上記４クラスの主観年齢層に対応できる。各属性識別器は２クラスの年齢層（例えば、図４（ａ）に示す属性識別器２の場合、３４歳以下のクラスと３５歳以上のクラス）を判別し、１か−１として出力する最も単純な識別器の組合せで構成可能である。

問題は、正解が２クラス以上発生する場合（例えば、図３（ｂ）のような結果が出る顔画像の場合）の対処であるが、当該問題の対処としては、例えば、属性識別器を学習するために渡す教師信号として、下記式（１）に従って算出される内分値を与えるようにしてもよい。

内分値＝（Ｏ_Ｓ×Ｐ_Ｓ＋Ｏ_Ｂ×Ｐ_Ｂ）÷（Ｐ_Ｓ＋Ｐ_Ｂ）・・・（１）
但し、Ｏ_Ｓはある属性識別器Ｘにおいて小さい方の年齢層Ｓであると判別された場合の出力値、Ｏ_Ｂは当該属性識別器Ｘにおいて大きい方の年齢層Ｂであると判別された場合の出力値、Ｐ_Ｓは年齢層Ｓに含まれる最大の主観年齢層に属すると評価した他者の割合（頻度）、Ｐ_Ｂは年齢層Ｂに含まれる最小の主観年齢層に属すると評価した他者の割合（頻度である。

具体的には、属性識別器２の場合、図４（ａ）に示すように、小さい方の年齢層Ｓ（３４歳以下のクラス）であると判別された場合の出力値Ｏ_Ｓ＝−１、大きい方の年齢層Ｂ（３５歳以上のクラス）であると判別された場合の出力値Ｏ_Ｂ＝１、図３（ａ）に示すように、年齢層Ｓ（３４歳以下のクラス）に含まれる最大の主観年齢層（２０〜３４歳のクラス）に属すると評価した他者の頻度Ｐ_Ｓ＝０．６、年齢層Ｂ（３５歳以上のクラス）に含まれる最小の主観年齢層（３５〜４９歳のクラス）に属すると評価した他者の頻度P_Ｂ＝０．３である。従って、属性識別器２に係る内分値（教師信号）は、上記式（１）に従って、図４（ｂ）に示すように、（−１×０．６＋１×０．３）÷（０．６＋０．３）＝−０．３３３と算出される。

同様に、属性識別器１の場合、図４（ａ）に示すように、小さい方の年齢層Ｓ（１９歳以下のクラス）であると判別された場合の出力値Ｏ_Ｓ＝−１、大きい方の年齢層Ｂ（２０歳以上のクラス）であると判別された場合の出力値Ｏ_Ｂ＝１、図３（ａ）に示すように、年齢層Ｓ（１９歳以下のクラス）に含まれる最大の主観年齢層（１９歳以下のクラス）に属すると評価した他者の頻度Ｐ_Ｓ＝０．１、年齢層Ｂ（２０歳以上のクラス）に含まれる最小の主観年齢層（２０〜３４歳のクラス）に属すると評価した他者の頻度P_Ｂ＝０．６である。従って、属性識別器１に係る内分値（教師信号）は、上記式（１）に従って、図４（ｂ）に示すように、（−１×０．１＋１×０．６）÷（０．１＋０．６）＝０．７１４と算出される。

同様に、属性識別器３の場合、図４（ａ）に示すように、小さい方の年齢層Ｓ（４９歳以下のクラス）であると判別された場合の出力値Ｏ_Ｓ＝−１、大きい方の年齢層Ｂ（５０歳以上のクラス）であると判別された場合の出力値Ｏ_Ｂ＝１、図３（ａ）に示すように、年齢層Ｓ（４９歳以下のクラス）に含まれる最大の主観年齢層（３５〜４９歳以下のクラス）に属すると評価した他者の頻度Ｐ_Ｓ＝０．３、年齢層Ｂ（５０歳以上のクラス）に含まれる最小の主観年齢層（５０歳以上のクラス）に属すると評価した他者の頻度P_Ｂ＝０である。従って、属性識別器３に係る内分値（教師信号）は、上記式（１）に従って、図４（ｂ）に示すように、（−１×０．３＋１×０）÷（０．３＋０）＝−１と算出される。

また、より単純に、それぞれの頻度（割合）を等価と考え、下記式（２）に従って内分値を算出してもよい。即ち、上記式（１）において、Ｐ_Ｓ＝Ｐ_Ｂ＝０．５としてもよい。

内分値＝（Ｏ_Ｓ×０．５＋Ｏ_Ｂ×０．５）÷（０．５＋０．５）・・・（２）

なお、上記式（２）に従えば、例えば、属性識別器２に係る内分値（教師信号）は、（−１×０．５＋１×０．５）÷（０．５＋０．５）＝０と算出される。

なお、基礎実験等により、パラメータａを適切に設定すれば、クラス間が隣接せずに正解が２クラス以上発生するケースは稀であることが分かっている。そのため、複数の正解クラスが隣接しないケースは無視する。仮に、複数の正解クラスが隣接しないようなデータが出現した場合には、当該データを学習データから除外する。また、属性識別器から矛盾する結果（例えば、１９歳以下、かつ、３５歳以上であるという結果）が出力される可能性を否定できないため、矛盾した結果の出力されたときのルール（例えば、「常に、年齢が少ない方のクラスを優先して出力する」というようなルール）を予め設定しておくことよい。

続いて、図５を用いてパターン認識方法１の動作を説明する。図５（ａ）に示すフローチャートは、学習処理部１０の動作の流れである。図５（ｂ）に示すフローチャートは、認識処理部２０の動作の流れである。図５（ｃ）に示すフローチャートは、顔方向別属性識別器生成部１３が主観年代に係る教師信号を作成する場合の動作の流れである。

図５（ａ）において、学習用データ取得部１１は、学習用データ（顔画像データ、学習用顔方向パラメータ、属性データ、集計データ）を取得する（ステップＳ１１）。学習用データ取得部１１は顔画像データを学習用顔領域検出部１２に供給し、学習用顔方向パラメータおよび属性データを顔方向別属性識別器生成部１３に供給する。

次いで、学習用顔領域検出部１２は、顔画像データから顔領域を検出する（ステップＳ１２）。学習用顔領域検出部１２は、顔切出画像データを顔方向別属性識別器生成部１３に供給する。

次いで、顔方向別属性識別器生成部１３は、属性識別器を生成する（ステップＳ１３）。具体的には、顔方向別属性識別器生成部１３は、図５（ｃ）のフローチャートを実行し、教師信号を用いて属性識別器を生成する。顔方向別属性識別器生成部１３は、生成した属性識別器を顔方向別属性識別器記憶部１４に記憶する（ステップＳ１４）。

次いで、顔方向別属性識別器生成部１３は、全ての顔方向の属性識別器を生成したか否かを判断する（ステップＳ１５）。顔方向別属性識別器生成部１３は、全ての顔方向の属性識別器を生成していないと判断した場合（ステップＳ１５：Ｎｏ）、ステップＳ１１に戻る。一方、顔方向別属性識別器生成部１３は、全ての顔方向の属性識別器を生成したと判断した場合（ステップＳ１５：Ｙｅｓ）、図５（ａ）に示すフローチャートは終了する。

図５（ｂ）において、対象画像データ取得部２１は、対象画像データを取得する（ステップＳ２１）。対象画像データ取得部２１は、対象画像データを認識用顔領域検出部２２および認識用顔領域再検出部２４に供給する。

次いで、認識用顔領域検出部２２は、対象画像データから顔領域を検出する（ステップＳ２２）。認識用顔領域検出部２２は、顔切出画像データを顔方向推定部２３に供給する。

次いで、顔方向推定部２３は、認識用顔領域検出部２２によって出力された顔切出画像データに基づいて、対象画像の顔方向を推定する（ステップＳ２３）。顔方向推定部２３は、対象画像の被写体の顔方向を示す属性識別用顔方向パラメータ（ｒｏｌｌ角およびスケール値）を認識用顔領域再検出部２４に供給し、対象画像の被写体の顔方向を示す属性識別用顔方向パラメータ（ｙａｗ角およびｐｉｔｃｈ角）を属性識別部２５に供給する。

次いで、認識用顔領域再検出部２４は、顔方向推定部２３によって出力された属性識別用顔方向パラメータ（ｒｏｌｌ角およびスケール値）に基づいて、対象画像データから顔領域を再度切り出す（ステップＳ２４）。認識用顔領域再検出部２４は、顔切出画像データを属性識別部２５に供給する。

次いで、属性識別部２５は、顔方向推定部２３によって出力された属性識別用顔方向パラメータ（ｙａｗ角およびｐｉｔｃｈ角）に基づいて、顔方向別属性識別器記憶部１４に記憶されている複数の属性識別器のなかから１または２以上の属性識別器を選択する（ステップＳ２５）。そして、属性識別部２５は、選択した属性識別器に、認識用顔領域再検出部２４から取得した顔切出画像データを入力し、識別結果を得る（ステップＳ２６）。結果出力部２６では、属性識別部２５から識別結果を取得し出力する（ステップＳ２７）。そして、図５（ｂ）に示すフローチャートは終了する。

図５（ｃ）において、顔方向別属性識別器生成部１３は、学習用データ取得部１１から学習用データ（集計データ）を取得する。具体的には、顔方向別属性識別器生成部１３は、学習用データ取得部１１から、例えば、図３（ａ）に示すように、主観年齢層頻度データを取得する（ステップＳ３１）。

次いで、顔方向別属性識別器生成部１３は、図３（ｂ）に示すように、予め設定した閾値ａに基づいて、各クラスについて正解／不正解を判別する（ステップＳ３２）。顔方向別属性識別器生成部１３は、正解になったクラスについて、主観年齢層頻度データにばらつきがある場合は、上述の如く、複数隣り合う正解クラス同士での頻度による重み付き内分値を算出し、教師信号を作成する（ステップＳ３３）（例えば図４（ｂ）を参照）。

なお、図３（ｂ）は２クラスに正解がまたがる場合を示しているが、３クラス以上に正解がまたがる場合でも、教師信号”−１”に該当する正解クラスの頻度の割合の合計値と、教師信号”１”に該当する正解クラスの頻度の割合の合計値とで内分値を容易に算出することができる。また、前述したが、頻度の割合を全て等価とし内分値を計算してもよい。なお、正解になったクラスについて、主観年齢層頻度データにばらつきがない場合は、通常通り適切に、１または−１を教師信号として各属性識別器に出力する。また、不正解になったクラスは無視する。

顔方向別属性識別器生成部１３は、全ての人物の教師信号を作成したか否かを判断する（ステップＳ３４）。顔方向別属性識別器生成部１３は、全ての人物の教師信号を作成していないと判断した場合（ステップＳ３４：Ｎｏ）、ステップＳ３１に戻る。一方、顔方向別属性識別器生成部１３は、全ての顔方向の属性識別器を生成したと判断した場合（ステップＳ３４：Ｙｅｓ）、図５（ｃ）に示すフローチャートは終了する。

以上、本実施形態によれば、顔検出後に顔の姿勢を示すｙａｗ角、ｐｉｔｃｈ角、ｒｏｌｌ角およびスケール値を推定し、その結果をもとに入力画像から顔領域を再度切出すとともに、最も適切な識別器を１つ、あるいは複数個選択し、重み付き平均等を利用して結果を統合することにより、被写体の顔方向に対しロバストかつ処理速度の速い属性識別を実現できるようになる。
また、適切な教師信号を算出して設定するため、主観年齢層を精度良く識別できるようになる。具体的には、年齢層識別においては、予め集計した主観年齢層の頻度分布を基に、ある閾値を通して正解／不正解を決定し、さらに、正解クラスの頻度の割合を重みとした内分値（正解と判定した各クラスに属すると評価した他者の割合を重みとした内分値）、または、頻度の割合を全て等価とした内分値を教師信号として識別器に渡すことによって、主観年齢層を精度良く識別できるようになる。

なお、本発明の一実施形態による属性識別装置１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の一実施形態による属性識別装置１の各処理に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１属性識別装置、１０学習処理部、１１学習用データ取得部、１２学習用顔領域検出部、１３顔方向別属性識別器生成部、１４顔方向別属性識別器記憶部、２０認識処理部、２１対象画像データ取得部、２２認識用顔領域検出部、２３顔方向推定部、２４認識用顔領域再検出部、２５属性識別部、２６結果出力部

Claims

学習用データとして、種々の方向から撮像された顔画像データ、前記顔画像データの被写体の顔の向いている方向を示す学習用顔方向パラメータ、前記被写体の属性データを取得する学習用データ取得部と、
前記学習用データ取得部によって取得された前記顔画像データから、被写体の顔領域を検出して切り出した顔切出画像データを出力する学習用顔領域検出部と、
前記学習用顔領域検出部によって出力された前記顔切出画像データであって前記学習用顔方向パラメータが同一である複数の前記顔切出画像データと、当該複数の顔切出画像データそれぞれの前記属性データとに基づいて、前記被写体の顔の向いている方向別に、前記被写体の属性を識別する属性識別器を生成する顔方向別属性識別器生成部と、
前記顔方向別属性識別器生成部によって生成された前記属性識別器を記憶する顔方向別属性識別器記憶部と、
被写体の属性識別の対象である対象画像データを取得する対象画像データ取得部と、
前記対象画像データ取得部によって取得された前記対象画像データから、被写体の顔領域を検出し顔切出画像データを出力する認識用顔領域検出部と、
前記認識用顔領域検出部によって出力された前記顔切出画像データに基づいて、前記対象画像の被写体の顔の向いている方向を推定し、前記被写体の顔の向いている方向を示す属性識別用顔方向パラメータを出力する顔方向推定部と、
前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記対象画像データから、被写体の顔領域を再度検出して切り出した顔切出画像データを出力する認識用顔領域再検出部と、
前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記顔方向別属性識別器記憶部に記憶されている複数の前記属性識別器のなかから１または２以上の前記属性識別器を選択し、当該選択した１または２以上の前記属性識別器に、前記認識用顔領域再検出部が出力した前記顔切出画像データを入力し、前記対象画像の被写体に係る識別結果を取得する属性識別部と
を備え、
前記顔方向推定部は、
前記属性識別用顔方向パラメータとして前記対象画像の被写体の顔の向いている方向を示すｙａｗ角およびｐｉｔｃｈ角を出力し、
前記属性識別部は、
前記顔方向別属性識別器記憶部に記憶されている複数の前記属性識別器のそれぞれを、前記顔方向推定部から出力された前記ｙａｗ角およびｐｉｔｃｈ角から構成される２次元空間に配置したときの、ユークリッド距離に基づいて近傍の前記属性識別器を２つ以上選択し、前記距離による重み付き平均を用いて、前記対象画像の被写体に係る識別結果を取得する
ことを特徴とする属性識別装置。
学習用データとして、種々の方向から撮像された顔画像データ、前記顔画像データの被写体の顔の向いている方向を示す学習用顔方向パラメータ、前記被写体の属性データを取得する学習用データ取得部と、
前記学習用データ取得部によって取得された前記顔画像データから、被写体の顔領域を検出して切り出した顔切出画像データを出力する学習用顔領域検出部と、
前記学習用顔領域検出部によって出力された前記顔切出画像データであって前記学習用顔方向パラメータが同一である複数の前記顔切出画像データと、当該複数の顔切出画像データそれぞれの前記属性データとに基づいて、前記被写体の顔の向いている方向別に、前記被写体の属性を識別する属性識別器を生成する顔方向別属性識別器生成部と、
前記顔方向別属性識別器生成部によって生成された前記属性識別器を記憶する顔方向別属性識別器記憶部と、
被写体の属性識別の対象である対象画像データを取得する対象画像データ取得部と、
前記対象画像データ取得部によって取得された前記対象画像データから、被写体の顔領域を検出し顔切出画像データを出力する認識用顔領域検出部と、
前記認識用顔領域検出部によって出力された前記顔切出画像データに基づいて、前記対象画像の被写体の顔の向いている方向を推定し、前記被写体の顔の向いている方向を示す属性識別用顔方向パラメータを出力する顔方向推定部と、
前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記対象画像データから、被写体の顔領域を再度検出して切り出した顔切出画像データを出力する認識用顔領域再検出部と、
前記顔方向推定部によって出力された前記属性識別用顔方向パラメータに基づいて、前記顔方向別属性識別器記憶部に記憶されている複数の前記属性識別器のなかから１または２以上の前記属性識別器を選択し、当該選択した１または２以上の前記属性識別器に、前記認識用顔領域再検出部が出力した前記顔切出画像データを入力し、前記対象画像の被写体に係る識別結果を取得する属性識別部と
を備え、
前記学習用データ取得部は、
前記顔画像データを多数の人物に予め提示して得られた前記顔画像データの被写体の主観年齢の割合を集計データした集計データを学習用データとして更に取得し、
前記顔方向別属性識別器生成部は、
所定の閾値に基づいて、集計データによって示される各主観年齢層の正解／不正解を判定し、複数の主観年齢層を正解と判定した場合に、正解と判定した主観年齢層における評価の割合に応じて重み付けした内分値、又は、上記評価の割合を等価とした内分値を教師信号として属性識別器に渡して、属性識別器を生成する
ことを特徴とする属性識別装置。
前記顔方向推定部は、
前記属性識別用顔方向パラメータとして前記対象画像の被写体の顔の向いている方向を示すｙａｗ角およびｐｉｔｃｈ角を出力し、
前記属性識別部は、
前記顔方向別属性識別器記憶部に記憶されている複数の前記属性識別器のそれぞれを、前記顔方向推定部から出力された前記ｙａｗ角およびｐｉｔｃｈ角から構成される２次元空間に配置したときの、ユークリッド距離に基づいて近傍の前記属性識別器を２つ以上選択し、前記距離による重み付き平均を用いて、前記対象画像の被写体に係る識別結果を取得する
ことを特徴とする請求項２に記載の属性識別装置。
請求項１ないし請求項３のいずれか１項に記載の属性識別装置を構成する各手段としてコンピュータを機能させるための属性識別プログラム。