JP4668680B2 - 属性識別システムおよび属性識別辞書生成装置 - Google Patents

Description

この発明は、画像中の対象の属性を識別するための属性識別システムに関する。また、この発明は、属性の識別のための辞書を作成するための属性識別辞書作成装置に関する。

市場における消費者の消費傾向を調査し、経営計画を適切に策定するには、商品やサービスを購入する客層の把握が不可欠である。たとえば、コンビニエンスストアでは、店員は、支払いのためにレジカウンターに現れた客の外観を観察し、年齢、性別その他の属性を判断する。店員は、判断した属性をキャッシュレジスターに入力し、さらに、商品情報等の入力を行う。キャッシュレジスターに入力された情報は、たとえば、ネットワークを介して情報センターに集められ、統計処理が施される。こうして、個々の商品の購買客層の傾向を表すデータが作成され、これを用いて経営計画が策定される。

しかし、店員の主観的な判断には個人差があるから、必ずしも正確な属性が収集されるとは限らない。したがって、収集される情報の信頼性は必ずしも高くなく、このような情報に基づく経営判断は、不適切であるおそれがある。
この問題は、顧客の属性判断を機械化することによって緩和される。たとえば、下記特許文献１には、未知の顔画像を入力して、人の性別や年齢層などの属性を識別する人物属性識別装置の発明が開示されている。

この特許文献１の装置では、多数の学習用顔画像が、性別、年齢層などの属性毎にグループ化され、人物の顔画像と各グループの顔画像との類似度が求められる。そして、顧客の顔画像と最も類似する顔画像グループの属性が、当該顧客の属性であると判断される。
特開平１１−１７５７２４号公報 Yoav Freundら著、「Experiments with a New Boosting Algorithm」、Machine Learning: Proceedings of the Thirteenth International Conference, 1996

このように、特許文献１の発明では、顔画像の類似度が判定され、これを基に人物の属性の判定が行われている。
ところが、顔の類似度と属性の一致／不一致とは判定基準が同じではないから、顔の類似度の判定を基礎とした属性判定では、必ずしも正確な結果が得られない。
すなわち、顔認識技術では、人物間の差異になるべく反応し、かつ、同一人物内差異にはなるべく反応しない識別器が求められる。しかし、このような識別器の特性は、年齢、性別その他の人物属性を識別する属性識別には必ずしも適していない。

たとえば、顔画像から抽出される複数種類の特徴量を個々の次元に採った多次元空間に複数の顔画像をプロットしたときに、図１６に図解的に示す結果が得られたとする。ただし、「○」はａさんの複数の顔画像、「▽」はｂさんの複数の顔画像、「□」はｃさんの複数の顔画像、「△」はｄさんの複数の顔画像、「☆」は識別対象の未知の顔画像であるとする。同一人物の複数の顔画像が同一点にプロットされないのは、同じ人物の顔画像であっても、表情、照明条件その他の変動要因でばらつきが生じるからである。

このような場合に、未知の顔画像「☆」の人物が誰であるかを特定するときには、未知の顔画像「☆」は顔画像群「○」に対応した「ａさん」と判定されることが好ましい。より具体的に説明すると、未知の顔画像「☆」の近くには、２つの顔画像群「○」および顔画像群「□」がプロットされている。そして、顔画像群「○」は、図１６の空間において上下方向に分布してプロットされている。これに対して顔画像群「□」は、図１６の空間において左右方向に分布してプロットされている。したがって、未知の顔画像「☆」は、顔画像群「○」の広がり方向に位置しているが、顔画像群「□」の広がり方向には位置していない。そのため、未知の顔画像「☆」は顔画像群「○」と同一人物の顔画像であると判定するのが適切である。

一方、未知の顔画像「☆」の人物の属性を特定する場合には、事情は異なる。たとえば、顔画像群「○」のａさんと顔画像群「▽」のｂさんとが、共通の属性Ａのクラスに分類され、顔画像群「□」のｃさんと顔画像群「△」のｄさんとが共通の属性Ｂのクラスに分類される場合を想定する。そうすると、属性Ａの顔画像群「▽」および「○」は、図１６の空間において左右方向に広がって分布している。これに対して、属性Ｂの顔画像群「□」および「△」は、図１６の空間において上下方向に広がって分布している。したがって、未知の顔画像「☆」は、属性Ａの顔画像群の広がり方向には位置しておらず、属性Ｂの顔画像群の広がり方向に位置していると言える。よって、その人物の属性は「Ｂ」であると判定するのが適切である。

このように、画像中の対象の同定とその属性の識別とは、判定の内容が異なるがゆえに、同じ基準では、必ずしも適切な判断することができない。
そこで、この発明の目的は、画像に含まれる対象の属性を正確に識別することができる属性識別システムを提供することである。
また、この発明の他の目的は、画像に含まれる対象の属性を正確に識別することができる属性識別辞書を生成する属性識別辞書生成装置を提供することである。

上記の目的を達成するための請求項１記載の発明は、画像中に含まれる対象の属性を識別するための属性識別システムであって、属性が既知の対象をそれぞれ含む複数枚の画像に対応した複数のサンプル画像データと個々のサンプル画像データ中に含まれる対象の属性とを対応付けた学習サンプルデータを蓄積する学習サンプル蓄積手段と、この学習サンプル蓄積手段に蓄積された学習サンプルデータを用いた学習によって、画像中に含まれる対象の属性を識別するための属性識別辞書を生成する属性識別辞書生成手段と、この属性識別辞書生成手段によって生成された属性識別辞書に基づいて、属性が未知の対象を含む画像に対応した画像データを処理し、当該対象の属性を判定する属性判定手段とを含み、前記属性識別辞書生成手段は、画像中のエッジ部（明暗部）を検出するために画像データに適用される複数種類のフィルタを生成するフィルタ生成手段と、このフィルタ生成手段によって生成される個々のフィルタをサンプル画像データに適用して得られるフィルタ応答値のヒストグラム（好ましくは正規化したもの）を個々の属性毎（より正確には識別しようとする属性のクラス毎）に作成するヒストグラム作成手段と、このヒストグラム作成手段によって作成された各ヒストグラムについて、フィルタ応答最大値からフィルタ応答最小値に向かって個々のフィルタ応答値までの累積頻度値を求め、この累積頻度値を各フィルタ応答値に対応付けた第１方向累積ヒストグラムと、フィルタ応答最小値からフィルタ応答最大値に向かって個々のフィルタ応答値までの累積頻度値を求め、この累積頻度値を各フィルタ応答値に対応付けた第２方向累積ヒストグラムとを作成する方向付き累積ヒストグラム作成手段と、前記学習サンプル蓄積手段に蓄積された学習サンプルデータに対して、前記方向付き累積ヒストグラム作成手段によって作成された前記第１方向および第２方向累積ヒストグラムを弱仮説として用いたAdaBoost.M2アルゴリズムを適用することにより、画像中に含まれる対象の属性を識別するための特徴量の集合として、フィルタおよび弱仮説の組の群を生成する辞書データ生成手段とを含むものであることを特徴とする属性識別システムである。「画像データ」は、画像を構成する複数の画素の各輝度値を表すデータである。

この構成によれば、サンプル画像データとその画像中に含まれる対象の属性とを対応付けた学習サンプルデータを用いた学習によって、対象の属性を識別するための属性識別辞書が生成される。したがって、この属性識別辞書は、画像の類似度という観点からではなく、属性の識別という観点から最適化されている。そのため、この属性識別辞書を判断基準として用いることによって、未知の画像中に含まれる対象の属性を正確に識別することができる。

前記「対象」の例としては、人、動物、植物（果実、樹木、野菜など）その他の生物、および缶、ビン、箱その他の無生物を挙げることができる。一般に、その一部または全部が撮像可能な対象については、この発明を適用することができる。
画像データは、識別対象の全部を撮影して得られたものであってもよいし、その一部を撮影して得られたものであってもよい。たとえば、対象が人や動物の場合には、画像データ中に対象全体が含まれていてもよいが、顔や頭部のような一部のみが含まれていてもよい。より具体的には、同一個体内での変動の少ない部分を選択して抽出した画像データを用いて属性識別を行うことが好ましい。さらに具体的には、人物の属性を識別する場合には、髪型や服装の影響を受けないように、頭髪や着衣の部分を排除した顔画像部分の画像データを用いて属性識別を行うことが好ましい。

前記「属性」としては、人または動物の年齢、性別および人種を挙げることができる。属性は、静的な属性であってもよく、動的な属性であってもよい。静的な属性としては、対象が人である場合に、醤油顔／ソース顔、金持顔／貧乏顔、文系顔／理系顔といった属性を挙げることができる。また、動的な属性としては、表情によって分類される属性、感情によって分類される属性、疲労による分類される属性を例示することができる。

さらに、対象が樹木や果物のような場合には、その種類を属性とすることができる。
前記「属性識別辞書」とは、サンプル画像データ中に含まれる対象の属性の識別に適した特徴量データの集合である。

AdaBoost.M2アルゴリズムは、サンプル番号ｉ＝１，２，……，ｍ（ｍは２以上の整数）として、入力ベクトルｘ_i（サンプル画像データ）とこれに対応する出力ラベルｙ_i（サンプル画像データに対応する属性のクラスを表すもの）との組がｍ個与えられたときに、新たな入力ベクトルｘ（属性が未知の入力画像）に対応する出力ラベルｙ（入力画像に含まれる対象が属すべき属性のクラス）を言い当てる判別基準を導出する多値識別アルゴリズムである。ただし、ラベルｙ_iは、属性をｋ個（ｋは２以上の整数）のクラスに分類する場合、集合Ｙ＝｛１，２，……，ｋ｝に属する（つまり、ｙ_i∈Ｙ）。たとえば、人の顔画像に基づいてその性別を属性として識別することとし、男を「クラス１」に分類し、女を「クラス２」に分類する場合を例にとれば、集合Ｙ＝｛１，２｝である。

このようなAdaBoost.M2アルゴリズムを用いた学習によって、画像中に含まれる対象の属性を正確に識別できる特徴量の集合を得ることができる。この特徴量の集合を属性識別辞書として用いることによって、未知の入力画像中に含まれる対象の属性を正確に識別することができる。

この発明では、画像中のエッジ部（明暗部）を検出する複数種類のフィルタが生成される。これにより、画像中の特徴を効果的に抽出できるから、より正確に属性の識別を行うことができる。
前記複数種類のフィルタは、画像中に適用される位置、大きさ、形状、エッジ検出方向およびエッジ検出手法のうちの少なくとも一つが異なる複数種類のフィルタを含むことが好ましい。これにより、画像中のさまざまな特徴を抽出できるから、属性の識別を正確に行える。

この発明によれば、フィルタ応答値のヒストグラムを用いて、さらに、方向付きの累積ヒストグラム（第１方向および第２方向累積ヒストグラム）が作成される。つまり、個々のフィルタ毎に、分類すべき複数の属性（正確には、属性の個々のクラス）に対応した第１方向および第２方向累積ヒストグラムが作成される。
或る属性（正確にはクラス）について求めた第１方向および第２方向累積ヒストグラムにおいて、識別対象を含む画像に対するフィルタ応答値に対応した頻度値（累積頻度値）は、当該フィルタを尺度としたときに、当該識別対象が当該属性を有する（当該クラスに属する）確からしさ（尤度）を表す。すなわち、第１方向および第２方向累積ヒストグラムは、いずれも、入力画像に含まれる対象の属性を識別するための独立した弱仮説として用いることができる。

そこで、学習によって、属性の誤識別が最小となるフィルタおよび弱仮説（当該フィルタに対応した第１方向累積ヒストグラムまたは第２方向累積ヒストグラム）の組の群が、属性識別のための特徴量の集合として生成される。このような特徴量の集合を含む属性識別辞書を用いることによって、より正確な属性識別が可能となる。
たとえば、対象の属性をｋ個のクラスに分類する場合に、各フィルタに関して、第１方向および第２方向累積ヒストグラムがｋ個のクラス毎に作成される。つまり、１つのフィルタに対して、２ｋ個の方向付き累積ヒストグラムが作成されることになる。この場合、１つのフィルタについて、２^k通りの方向付き累積ヒストグラムの組合せが可能となる。

AdaBoost.M2アルゴリズムにおいて繰り返されるＴ回の学習の各ラウンドでは、前記２^k個の組み合わせのなかから、重み付けされた学習サンプルデータに関して、属性の誤識別が最小となる組み合わせが弱仮説テーブルとして抽出されるとよい。こうして、すべてのフィルタに関して、弱仮説テーブルが求められたあとで、複数のフィルタのなかから、誤識別が最小となるフィルタが選択されるとよい。

したがって、前記辞書データ生成手段は、学習サンプルデータに重み配分する重み配分手段と、この重み配分手段によって重み配分された学習サンプルデータを個々のフィルタの弱仮説の組み合わせ（２^k通りの方向付き累積ヒストグラムの組み合わせ）に適用してロス(pseudo-loss)を演算するロス演算手段と、このロス演算手段によって演算されるロスが最小となる弱仮説の組み合わせを弱仮説テーブルとして個々のフィルタ毎に求める弱仮説テーブル演算手段と、この弱仮説テーブル演算手段によってすべてのフィルタに関して求められた弱仮説テーブルのなかからロスが最小のフィルタを選択するフィルタ選択手段と、このフィルタ選択手段によって選択されたフィルタおよびそれに対応する前記弱仮説テーブルを特徴量の集合の要素として属性識別辞書に加える手段とを含むことが好ましい。

請求項２記載の発明は、前記複数種類のフィルタは、画像中における輝度値（画素値）の空間変動を検出する微分フィルタを含むことを特徴とする請求項１記載の属性識別システムである。この構成により、画像の特徴を効率的に抽出できる。
請求項３に記載されているように、前記微分フィルタは、所定方向に関する輝度値の空間変動を検出する一次微分フィルタを含むことが好ましい。一次微分フィルタにより、画像のエッジ部を検出できる。

また、請求項４に記載されているように、前記微分フィルタは、所定方向に関する輝度値の空間変動を検出する二次微分フィルタを含むことが好ましい。二次微分フィルタにより、画像中の輝度の極部（極大部、極小部）を検出できる。
前記微分フィルタは、ガウシアン微分フィルタ（とくに、一次微分フィルタおよび／または二次微分フィルタ）を含んでいてもよい。

また、微分フィルタによる輝度値空間変動の検出方向は、複数種類に設定されてもよい。この場合、検出方向が異なる微分フィルタは、異なる種類のフィルタである。

請求項５記載の発明は、画像中に含まれる対象の属性を識別するために用いられる属性識別辞書を生成する属性識別辞書生成装置であって、属性が既知の対象をそれぞれ含む複数枚の画像に対応した複数のサンプル画像データと個々のサンプル画像データ中に含まれる対象の属性とを対応付けた学習サンプルデータを蓄積する学習サンプル蓄積手段と、
この学習サンプル蓄積手段に蓄積された学習サンプルデータを用いた学習によって、画像中に含まれる対象の属性を識別するための属性識別辞書を生成する属性識別辞書生成手段とを含み、前記属性識別辞書生成手段は、画像中のエッジ部（明暗部）を検出するために画像データに適用される複数種類のフィルタを生成するフィルタ生成手段と、このフィルタ生成手段によって生成される個々のフィルタをサンプル画像データに適用して得られるフィルタ応答値のヒストグラム（好ましくは正規化したもの）を個々の属性毎（より正確には識別しようとする属性のクラス毎）に作成するヒストグラム作成手段と、このヒストグラム作成手段によって作成された各ヒストグラムについて、フィルタ応答最大値からフィルタ応答最小値に向かって個々のフィルタ応答値までの累積頻度値を求め、この累積頻度値を各フィルタ応答値に対応付けた第１方向累積ヒストグラムと、フィルタ応答最小値からフィルタ応答最大値に向かって個々のフィルタ応答値までの累積頻度値を求め、この累積頻度値を各フィルタ応答値に対応付けた第２方向累積ヒストグラムとを作成する方向付き累積ヒストグラム作成手段と、前記学習サンプル蓄積手段に蓄積された学習サンプルデータに対して、前記方向付き累積ヒストグラム作成手段によって作成された前記第１方向および第２方向累積ヒストグラムを弱仮説として用いたAdaBoost.M2アルゴリズムを適用することにより、画像中に含まれる対象の属性を識別するための特徴量の集合として、フィルタおよび弱仮説の組の群を生成する辞書データ生成手段とを含むものであることを特徴とする属性識別辞書生成装置である。

この構成によれば、属性識別の観点から属性識別辞書が作成されるので、対象の属性を直接的に識別することができる属性識別辞書を提供できる。これにより、属性識別の精度の向上に寄与することができる。

さらに、この発明では、フィルタ応答値にヒストグラムから方向付き累積ヒストグラムが作成され、これを弱仮説として用いてAdaBoost.M2を実行することによって、属性の正確な識別が可能な属性識別辞書を生成できる。
請求項６記載の発明は、前記複数種類のフィルタは、画像中における輝度値（画素値）の空間変動を検出する微分フィルタを含むことを特徴とする請求項５記載の属性識別辞書生成装置である。この構成により、微分フィルタによって画像中の特徴を効果的に抽出できるから、属性をより正確に識別できる属性識別辞書を生成できる。

前記複数種類の微分フィルタは、請求項７に記載されているように、所定方向に関する輝度値の空間変動を検出する一次微分フィルタを含んでいてもよいし、請求項８に記載されているように、所定方向に関する輝度値の空間変動を検出する二次微分フィルタを含んでいてもよい。

以下では、この発明の実施の形態を、添付図面を参照して詳細に説明する。
図１は、この発明の一実施形態に係る人物属性識別システムの構成を示す図解的なブロック図である。この人物属性識別システムは、たとえば、コンビニエンスストアやスーパーマーケットのレジカウンターのような所定の場所に現れた人物の属性を自動的に識別し、その識別結果を蓄積するために用いられる。

この人物属性識別システムは、前述のような所定の場所に配置され、この場所に現れた者の顔画像を撮像する撮像手段としてのカメラ１と、このカメラ１にケーブル２を介して接続された属性識別装置本体としてのコンピュータ３とを備えている。これらはオンライン動作システムとしての属性識別装置を構成している。コンピュータ３は、たとえば、ネットワークを介して情報センター４との間の通信を行うことができる。

コンピュータ３は、属性識別辞書生成装置としてのコンピュータ３３によって作成された属性識別辞書に基づいて、カメラ１によって撮像された人物の属性を識別する。このコンピュータ３３は、オフライントレーニングシステムを構成しており、この実施形態の人物属性識別システムの構成要素の一部をなす。
図２は、コンピュータ３のハードウェア構成を説明するためのブロック図である。このコンピュータ３には、マンマシンインタフェースとしてのディスプレイ５および入力操作部６（たとえば、キーボードおよびマウス）が接続されている。コンピュータ３は、ＣＰＵ１０、ＲＯＭ１１およびＲＡＭ１２を備え、これらがバス１３に接続された一般的な構成のものである。バス１３には、さらに、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）１４、記録媒体の一例であるＣＤ−ＲＯＭ８に記録されたデータを読み取ることができる記録媒体読取装置としてのＣＤ−ＲＯＭドライブ１５、ディスプレイ５の制御のためのディスプレイコントローラ１６、および入力操作部６の制御のための入力部コントローラ１７（たとえば、キーボードコントローラおよびマウスコントローラ）が接続されている。また、カメラ１から生成される撮像画像に対応した画像データを受け入れるための画像入力インタフェース部１８が、バス１３に接続されている。

このコンピュータ３のハードディスクドライブ１４内の一部の記憶領域である属性識別辞書記憶部２０（属性識別辞書記憶手段）には、人物の顔画像に基づいてその属性を識別するための属性識別辞書が予め格納されている。
前述の所定の場所に現れた者の画像は、カメラ１によって撮像される。撮像された画像を表す画像データは、コンピュータ３へと伝送され、ＲＡＭ１２内に格納される。この画像データからその者の顔画像データを抽出するための顔検出処理が行われる。この抽出された顔画像データが、前記属性識別辞書に従って処理され、当該顔画像の人物の属性が識別される。識別結果は、ハードディスクドライブ１４内の一部の記憶領域である識別結果蓄積部２１に蓄積される。その後の適当なタイミングで、情報センター４（図１参照）に伝送される。

コンピュータ３によるこのような働きを実現するための属性識別用コンピュータプログラムは、たとえば、記録媒体の一例であるＣＤ−ＲＯＭ８に記録されて提供されてもよい。この場合、このＣＤ−ＲＯＭ８をＣＤ−ＲＯＭドライブ１５に装填し、所定のインストール操作を行って、当該コンピュータプログラムをコンピュータ３にインストールすることによって、コンピュータ３は、前述のような機能を実現可能となる。

図３は、人物の属性を識別するための指標となる属性識別辞書を作成するコンピュータ３３のハードウェア構成を説明するためのブロック図である。このコンピュータ３３には、マンマシンインタフェースとしてのディスプレイ３５および入力操作部３６（たとえば、キーボードおよびマウス）が接続されている。コンピュータ３３は、ＣＰＵ４０、ＲＯＭ４１およびＲＡＭ４２を備え、これらがバス４３に接続された一般的な構成のものである。バス４３には、さらに、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）４４、記録媒体の一例であるＣＤ−ＲＯＭ４８に記録されたデータを読み取ることができる記録媒体読取装置としてのＣＤ−ＲＯＭドライブ４５、ディスプレイ３５の制御のためのディスプレイコントローラ４６、および入力操作部３６の制御のための入力部コントローラ４７（たとえば、キーボードコントローラおよびマウスコントローラ）が接続されている。

属性識別辞書の作成は、属性が既知の人物の顔画像に対応した多数（たとえば、１６０００枚）のサンプル画像データと、個々のサンプル画像データの人物の属性（既知の属性）とを対応付けた学習サンプルデータを用いた学習によって行われる。このような学習サンプルデータは、たとえば、ハードディスクドライブ４４内の一部の記憶領域である学習サンプル蓄積部５１（学習サンプル蓄積手段）に予め蓄積される。たとえば、学習サンプルデータは、ＣＤ−ＲＯＭ等の記録媒体の形態で入手されてもよいし、コンピュータ３３に接続されたネットワークを介して入手されてもよい。なんらかの形態で入手された学習サンプルデータが、学習サンプル蓄積部５１に予め蓄積される。この学習サンプルデータを用いた学習がＣＰＵ４０などの働きによって実行され、この学習によって作成された属性識別辞書は、ハードディスクドライブ４４内の一部の記憶領域である属性識別辞書記憶部６０に格納される。

コンピュータ３３によるこのような働きを実現するための属性識別辞書作成用コンピュータプログラムは、たとえば、記録媒体の一例であるＣＤ−ＲＯＭ４８に記録されて提供されてもよい。この場合、このＣＤ−ＲＯＭ４８をＣＤ−ＲＯＭドライブ４５に装填し、所定のインストール操作を行って、当該コンピュータプログラムをコンピュータ３３にインストールすることによって、コンピュータ３３は、前述のような機能を実現可能となる。

属性識別辞書記憶部６０に格納された属性識別辞書は、書き込み可能な記録媒体に書き出し、この記録媒体を介してコンピュータ３のハードディスクドライブ１４に格納することができる。むろん、ネットワークを介して、属性辞書作成装置としてのコンピュータ３３から属性識別装置本体としてのコンピュータ３へと属性識別辞書データを転送するようにしてもよい。

この実施形態の人物属性識別システムでは、コンピュータ３３によって属性識別辞書を作成するためのオフライン処理を行い、別のコンピュータ３によって、属性識別辞書を用いた人物属性識別のためのオンライン処理を行うようにしている。しかし、一つのコンピュータによって、前述のようなオフライン処理およびオンライン処理の両方を行うようにしてもよいことは言うまでもない。

図４は、前記属性識別辞書作成用コンピュータプログラムの実行状態におけるコンピュータ３３の機能的な構成を説明するためのブロック図である。コンピュータ３３は、ＣＰＵ４０によって前記コンピュータプログラムを実行させることにより、このＣＰＵ４０がＲＯＭ４１、ＲＡＭ４２その他のハードウェア資源と協働することによって実現される複数の機能処理部を実質的に備えることになる。この複数の機能処理部は、学習サンプル蓄積部５１に蓄積された学習サンプルに対して、学習の前処理としての加工を施す学習サンプル加工処理部６１と、この学習サンプル加工処理部６１によって加工された学習サンプルデータを用いた学習によって属性識別辞書データを生成する属性識別辞書生成部６２（属性識別辞書生成手段）とを備えている。

たとえば、学習サンプル蓄積部５１に、下記表１に示すｍ個（この例ではｍ＝６）の学習サンプルデータが蓄積されているとする（むろん、実際には、もっと大量の学習サンプルデータが必要である）。

この学習サンプルデータは、サンプル番号ｉ（ｉ＝１，２，……，ｍ）、このサンプル番号ｉに対応した顔画像データｘ_i、およびこの顔画像データｘ_iに対応した属性データ（この例では、性別、年齢および人種のデータ）を含む。顔画像データｘ_iは、たとえば、３２画素×３２画素の矩形画像であり、画像を構成する各画素の輝度値を表す。

この場合において、たとえば、人物の属性を次のようなｋ個（ｋは２以上の整数。次の例ではｋ＝４）のクラスに分類して識別する場合を想定する。
クラス１：女性 ４０歳未満
クラス２：男性 ４０歳未満
クラス３：女性 ４０歳以上
クラス４：男性 ４０歳以上
この場合、学習サンプル加工処理部６１は、各学習サンプルデータに対して、当該学習サンプルデータが分類されるべき正しいクラスのラベル（真ラベル）ｙ_i（ｙ_i∈Ｙ＝｛１，２，……，ｋ｝を求め、これを原学習サンプルデータに付加する。すなわち、表１の学習サンプルデータに対して加工を施したのちの学習サンプルデータは、次の表２のとおりである。この加工後の学習サンプルデータのうち、属性識別辞書生成のための学習に用いられるのは、顔画像データｘ_iおよびこれに対応するラベルｙ_iである。

属性識別辞書生成部６２は、顔画像の特徴を検出するための多数種類のフィルタ（たとえば、４８７２０種類の画像フィルタ）から、人物の属性の識別に適した複数のフィルタの集合（組合せ）を選択するフィルタ選択手段として機能する。前記多数種類のフィルタを表すデータは、ハードディスクドライブ４４内の記憶領域であるフィルタ蓄積部５２（フィルタ生成手段）に蓄積されている。

具体的には、属性識別辞書生成部６２は、フィルタ蓄積部５２に蓄積されているフィルタを学習サンプルデータを構成する顔画像データに適用し、その適用結果であるフィルタ応答値を演算するフィルタ処理部６３と、このフィルタ処理部６３によって演算されたフィルタ応答値のヒストグラムを作成するヒストグラム作成処理部６４（ヒストグラム作成手段）とを備えている。このヒストグラム作成処理部６４は、たとえば、人物の属性をｋ個のクラスに分類する場合に、個々のクラスｋ（すなわち、個々のラベルｙ）ごとのヒストグラムを作成する。より具体的には、前記加工後の学習サンプルデータを同一クラスのデータ毎に処理して、フィルタ応答値のヒストグラムが作成される。この処理が、すべてのクラスに関して行われ、さらに同様の処理が、フィルタ蓄積部５２に蓄積されているすべてのフィルタに関して実行される。

作成されたヒストグラムは、ハードディスクドライブ４４内の記憶領域であるヒストグラム記憶部５３に格納される。
属性識別辞書生成部６２は、さらに、ヒストグラム記憶部５３に格納された各ヒストグラムの方向付き累積ヒストグラムを作成する方向付き累積ヒストグラム作成処理部６５（方向付き累積ヒストグラム作成手段）を備えている。方向付き累積ヒストグラムは、第１方向累積ヒストグラムと、第２方向累積ヒストグラムとを含む。第１方向累積ヒストグラムは、前記ヒストグラムにおいて、フィルタ応答最大値からフィルタ応答最小値に向かって個々のフィルタ応答値までの累積頻度値を求め、この累積頻度値を各フィルタ応答値に対応付けたものである。第２方向累積ヒストグラムは、前記ヒストグラムにおいて、フィルタ応答最小値からフィルタ応答最大値に向かって個々のフィルタ応答値までの累積頻度値を求め、この累積頻度値を各フィルタ応答値に対応付けたものである。

図５に、ヒストグラム作成処理部６４によって作成されるヒストグラムの例を示し、図６に方向付き累積ヒストグラム作成処理部６５によって作成される方向付き累積ヒストグラムの例を示す。図５に示すヒストグラムは、ラベルｙ（ｙ∈Ｙ＝｛１，２，……，ｋ｝が既知の学習サンプルデータ（ｘ_i，ｙ_i）に対する、或る一つのフィルタの出力（フィルタ応答値）ｆ(x_i)をビンにとった正規化ヒストグラムＨ_yである。図５では、クラス１，２，３に対応したヒストグラムＨ₁，Ｈ₂，Ｈ₃が示されている。

一方、前述の第１方向累積ヒストグラムｈ⁺は下記(1)式により表され、第２方向累積ヒストグラムｈ^-は下記(2)式により表される。ただし、いずれも正規化されており、下記(3)式が成立する。なお、式中、ｆ_maxはフィルタ応答最大値であり、ｆ_minはフィルタ応答最小値である。

図６では、クラス１およびクラス２のヒストグラムＨ₁，Ｈ₂にそれぞれ対応した第１方向累積ヒストグラムｈ⁺と、クラス３のヒストグラムＨ₃に対応した第２方向累積ヒストグラムｈ^-とが表されている。

前記式(1)および(2)の方向付き累積ヒストグラムは、いずれも、サンプル画像ｘがクラスｙに属する尤もらしさ（ｘのｙらしさ）を表す弱仮説として用いられる。すなわち、たとえば、或る画像について求めたフィルタ応答値を図６に示す方向付き累積ヒストグラムによって評価するとする。この場合に、フィルタ応答値ｆ(x)が、図６に示す「Ａ」であったとすると、この画像の人物がクラス１に属する尤もらしさは「０．０３」、クラス２に属する尤もらしさは「０．１」、クラス３に属する尤もらしさは「０．６」と見積もられる。

再び、図４を参照する。
方向付き累積ヒストグラム作成処理部６５は、すべてのフィルタについて求められたヒストグラムに関して、識別しようとする属性の個々のクラス毎に、前記第１方向および第２方向累積ヒストグラムｈ⁺，ｈ^-を演算し、これを方向付き累積ヒストグラム記憶部５４に格納する。この方向付き累積ヒストグラム記憶部５４は、ハードディスクドライブ４４内の記憶領域である。

属性識別辞書生成部６２は、さらに、AdaBoost.M2アルゴリズム（非特許文献１参照）による学習によって、顔画像データに基づいて人物の属性を識別するのに適した特徴量の集合を演算する学習処理部６６（辞書データ生成手段）を備えている。この学習処理部６６は、特徴量の集合として、人物の属性を識別するのに適したフィルタおよび弱仮説の組（弱識別器）の群を生成する。

より具体的には、学習処理部６６は、学習サンプルデータの偽ラベル（後述）に重み付けする重み付け処理部６７と、弱仮説テーブル作成処理部６８と、弱識別器作成処理部６９と、弱識別器に付与すべき重み係数αを演算する重み演算部７０とを備えている。
表２の学習サンプルデータを例にとると、顔画像ｘ_iに対する真ラベル（正しいクラスのラベル）ｙ_iの対応関係は、それぞれ次のとおりである。

ｘ₁，ｙ₁＝１
ｘ₂，ｙ₂＝４
ｘ₃，ｙ₃＝２
ｘ₄，ｙ₄＝３
ｘ₅，ｙ₅＝１
ｘ₆，ｙ₆＝４
これに対して、「偽ラベル」とは、顔画像ｘ_iに対して真ラベルｙ_i以外のラベルｙ（≠ｙ_i）である。したがって、表２の学習サンプルデータの場合に、顔画像ｘ_iに対する偽ラベルの対応関係は、それぞれ次のとおりである。

ｘ₁：ｙ＝２，３，４
ｘ₂：ｙ＝１，２，３
ｘ₃：ｙ＝１，３，４
ｘ₄：ｙ＝１，２，４
ｘ₅：ｙ＝２，３，４
ｘ₆：ｙ＝１，２，３
Ｔ回の学習のうちの第１回目の学習に当たり、重み付け処理部６７は、すべての偽ラベルｙに対して、初期配分重みＤ１を、次の(4)式の値に等しく定める。ただし、ｍはサンプル数であり、ｋはクラス数である。

Ｄ₁＝１／（ｍ×（ｋ−１）） ……(4)
すなわち、下記表３にまとめて示すとおりとなる。

弱仮説テーブル作成処理部６８は、各フィルタについてクラス毎に求められた第１および第２方向累積ヒストグラムｈ⁺，ｈ^-に基づいて、弱学習を行う。属性をｋ個のクラスに分類する場合、個々のフィルタの各クラスは２つの方向付き累積ヒストグラムを持つ。したがって、各フィルタについて、方向付き累積ヒストグラムの組み合わせは、２^k個存在する。前述の「弱学習」とは、前記２^k個の組み合わせのなかから、重み付け処理部６７によって重み付けされた偽ラベルｙに対して最小のロス（pseudo-loss。誤識別の程度を表す。）が得られる組み合わせを見つける処理を言う。この組み合わせを表すデータは、当該フィルタに対応した弱仮説テーブルとして弱仮説テーブル記憶部５５に格納される。この弱仮説テーブル記憶部５５は、ハードディスクドライブ４４内の記憶領域である。この弱仮説テーブル記憶部５５には、すべてのフィルタについての弱仮説テーブルが格納されることになる。

弱仮説テーブル作成処理部６８は、ロス演算部７１を備えている。このロス演算部７１は、各フィルタについて、方向付き累積ヒストグラムの任意の組み合わせに関するロス(pseudo-loss)を演算するものである。このロスが最小となる方向付き累積ヒストグラムの組み合わせが前記弱仮説テーブルとして弱仮説テーブル記憶部５５に格納される。このとき、当該弱仮説テーブルのロスも、弱仮説テーブル記憶部５５に併せて格納される。

図７は、前述の表２に示す学習サンプルデータに或る一つのフィルタを適用してフィルタ応答値ｆ(x)を求め、そのヒストグラム（正規化したもの）を作成した例である。この例では、クラス１，２および３に対しては第１方向累積ヒストグラムｈ⁺を選択し、クラス４に対しては第２方向累積ヒストグラムｈ^-を選択するとロスが小さくなる。したがって、この場合の弱仮説テーブルは、図８のように表される。

一方、画像サンプルｘ_iのフィルタ応答値ｆ(x_i)が下記表４のとおりであったとする。この表４には、各画像サンプルｘ_iの偽ラベルｙ、初期重みＤ₁、真ラベルｙ_iの弱仮説ｈ(x_i,y_i)の値、偽ラベルｙの弱仮説ｈ(x_i,y)（ただし、ｙ≠ｙ_i）の値が併せて示されている。弱仮説（方向付き累積ヒストグラム）の値とは、フィルタ応答値ｆ(x_i)に対応する当該方向付き累積ヒストグラムの頻度値（正規化された値）である。

AdaBoost.M2アルゴリズムにおいて、第ｔ（ｔ＝１，２，……，Ｔ。Ｔは学習の回数を表す。）ラウンドにおけるロス(pseudo-loss)は、次の(5)式によって与えられる。

これに表４の各欄の値を当てはめて、第１ラウンドのロスを計算すると、次のとおりである。このような計算がロス演算部７１によって行われる。

図４を再び参照する。弱識別器作成処理部６９は、弱仮説テーブル記憶部５５を参照して、前記ロスが最も少ないフィルタを選択する。そして、このフィルタと、このフィルタに対応した弱仮説テーブルとの組合せが、弱識別器とされる。この弱識別器は、属性識別のための特徴量の集合の要素として、属性識別辞書記憶部６０に格納される。

重み演算部７０は、第ｔラウンドの学習で求められた弱識別器に付与すべき重み係数α_tを演算する。この重み係数α_tは、弱仮説テーブル記憶部５５に格納されているロスε_t（当該弱識別器に対応するロス）に基づいて求められる。この重み係数α_tは、属性識別辞書の要素として属性識別辞書記憶部６０に格納される。重み係数α_tは、次の(6)式により求められる。

重み付け処理部６７は、弱識別器作成処理部６９によって生成された弱識別器と、前記重み演算部７０によって演算された重み係数αとに基づいて、偽ラベルに対して重みＤを再配分する。第ｔ＋１番目のラウンドの配分重みＤ_t+1は、次の(7)式で与えられる。

学習処理部６６を構成する処理部６７〜７１は、同様の処理を、所定回数Ｔ（たとえば、Ｔ＝１０００）だけ繰り返し実行する。これにより、Ｔ個の弱識別器（フィルタおよび弱仮説の組）と、各弱識別器に対応する重み係数α₁〜α_Tとが求まり、これが属性識別辞書データとして、属性識別辞書記憶部６０に格納される。こうして、Ｔ回の学習によって、次の(8)式で示す最尤属性判断式が得られる。

すなわち、Ｔ個の弱識別器に対応した弱仮説ｈ₁(x,y)〜ｈ_T(x,y)に重み付け係数α₁〜α_Tをそれぞれ乗じて総和を求めた場合に、その総和が最大となるラベルｙが、最終識別結果ｈ_fin(x)とされる。こうして、顔画像ｘが属すべきクラスｙを求めることができる。

図９は、学習に用いられるサンプル顔画像の例を示す。この例の顔画像は、３２画素×３２画素の正方形画像であり、画像中の顔の傾きおよびサイズが正規化されている。この例では、顔画像のうち、髪型の影響を受けにくく、かつ、発話時の顎の上下動の影響を受けにくい領域が切り出されている。より具体的には、左右方向に関しては両目尻の間を含み、上下方向に関しては眉から口元までの範囲を含む矩形領域が顔画像領域として切り出されている。

このような顔画像の特徴の抽出には、画像中のエッジ部（明暗部）を抽出する微分フィルタが適している。より具体的には、ガウシアン微分フィルタを適用することができる。
２ｎ×２ｎ（ｎは２以上の自然数）の正方領域におけるガウシアンは、次の(9)式で与えられ、そのイメージは、図１０Ａに表されている。

これに対するｘ方向の一次微分ｇ₁ ⁰°およびｙ方向の一次微分ｇ₁ ⁹⁰°は、下記(10)式および(11)式によってそれぞれ与えられる。これらを用いて、ｚ方向まわりの任意の回転角φの方向に関する一次微分ｇ₁ ^φは、下記(12)式によって与えられる。また、図１０Ｂには、φ＝０のときのガウシアン一次微分のイメージを示す。

同様にして、ｘ方向の二次微分ｇ₂ ⁰°およびｙ方向の二次微分ｇ₂ ⁹⁰°は、下記(13)式および(14)式によってそれぞれ与えられる。これらを用いて、ｚ方向まわりの任意の回転角φの方向に関する二次微分ｇ₂ ^φは、下記(15)式によって与えられる。また、図１０Ｃには、φ＝０のときのガウシアン二次微分のイメージを示す。

ここで、たとえば、Ｕ＝６として、φ＝ｕπ／Ｕ（ｕ＝０，１，２，３，４，５）とおけば、一次微分および二次微分のそれぞれに関して、６段階に微分方向（フィルタの方向）を操作することができる。むろん、Ｕは６以外の任意の自然数であってもよい。

図１１は、ｕ＝０，１，２，３，４，５としたときの、ガウシアン一次微分フィルタおよびガウシアン二次微分フィルタを表す。また、図１２は、ｎ＝２，ｕ＝０のガウシアン一次微分フィルタを表す。
３２画素×３２画素の領域内において、（２ｎ＋１）×（２ｎ＋１）画素のサイズの領域は、（３２−（２ｎ＋１）＋１）²個の位置を採りうる。そして、３２画素×３２画素の領域内では、ｎ＝２，３，……，１５のみが許される。そうすると、全体で４０６０個の矩形特徴領域をサンプル顔画像内に定義できる。さらに、ガウシアン一次微分フィルタおよびガウシアン二次微分フィルタのそれぞれに関して、サイズまたは位置の異なる４０６０個のフィルタを定義でき、それらの個々について微分方向の異なる６個のフィルタを定義できる。そうすると、総数で、４８７２０（＝４０６０×２×６）個のガウシアン微分フィルタが定義される。この４８７２０個のフィルタを表すデータが、フィルタ蓄積部５２（図４参照）に予め蓄積される。

フィルタ処理部６３（図４参照）は、サンプル顔画像の各画素値（個々の画素の輝度を表す。）に対して、フィルタの各画素位置の値を掛け、個々の画素について求めた乗算値の総和をフィルタ応答値として演算する。
図１３は、属性識別辞書生成部６２による処理をまとめて示すフローチャートである。属性識別辞書生成部６２は、学習サンプル加工処理部６１によって加工された学習サンプルデータに対してAdaBoost.M2アルゴリズムによる学習を適用することによって、最尤属性判断式（式(8)）を構成する弱識別器（フィルタおよび弱仮説テーブルの組）およびその重み係数α_tを求める。

具体的には、まず、重み付け処理部６７は、初期化処理として、すべての偽ラベルに一律に初期重みＤ₁を配分する（ステップＳ１）。
フィルタ処理部６３はフィルタ蓄積部５２からフィルタを読み出してすべての学習サンプルデータの顔画像に適用し、フィルタ応答値を求める。このフィルタ応答値に基づいて、ヒストグラム作成処理部６４によってヒストグラムが作成される。さらに、方向付き累積ヒストグラム作成処理部６５によって、第１方向および第２方向累積ヒストグラムが作成される。このような処理が、フィルタ蓄積部５２に蓄積されたすべてのフィルタに関して実行される（ステップＳ２）。

次に、最尤属性判断式を構成すべきＴ個の弱識別器ｈ_t(x,y)（画像ｘに対する第ｔ番目のフィルタの応答値ｆ(x)に適用すべきラベルｙ毎の弱仮説ｈ_tの組）を求めるためのＴ回の学習（for t=1 to T ループ）が開始される（ステップＳ３）。
具体的には、まず、弱仮説テーブル作成処理部６８により、個々のフィルタ（特徴量）について、ロスが最小となるように、各クラスのヒストグラム累積方向が定められる。これにより、すべてのフィルタに関して、弱仮説テーブルが求まる（ステップＳ４）。

次に、弱識別器作成処理部６９は、ロスが最小のフィルタ（特徴量）を選択する。これにより、第ｔ番目の弱識別器（フィルタおよび弱仮説テーブルの組）が定まる（ステップＳ５）。
さらに、重み演算部７０は、選択されたフィルタおよび弱仮説テーブルに基づいて、第ｔ弱識別器に付与すべき重み係数α_tを演算する（ステップＳ６）。

次いで、重み付け処理部６７は、第ｔ弱識別器とその重み係数α_tに基づき、第（ｔ＋１）回の学習のために、すべての偽ラベルに重みＤ_t+1を再配分する（ステップＳ７）。
同様の操作をＴ個の弱識別器ｈ₁〜ｈ_Tが得られるまで繰り返す。こうして、属性識別辞書記憶部６０には、Ｔ個の弱識別器ｈ₁〜ｈ_Tと、これらに付与される重み係数α₁〜α_Tとが、属性識別辞書データとして格納されることになる。この属性識別辞書データが、属性識別装置本体としてのコンピュータ３の属性識別辞書記憶部２０に格納されて活用される。

図１４は、属性識別辞書データの一例を示す図である。弱識別器の番号である特徴番号１，２，……，Ｔに対応して、フィルタ（特徴量）を特定する特徴量データ、重み係数、弱仮説テーブルが対応付けられている。特徴量データは、フィルタの種類（ガウシアン一次微分フィルタまたはガウシアン二次微分フィルタ）、フィルタの原点（矩形のフィルタの左下隅）のｘ座標およびｙ座標、フィルタのサイズ、ならびにフィルタの方向（微分方向）を表すデータの組からなる。このデータに基づいて、コンピュータ３は、微分フィルタを生成することができる。むろん、微分フィルタを逐次生成する代わりには、必要なフィルタを予め作成して、ハードディスクドライブ１４の記憶領域内のフィルタ蓄積部（図示せず）に蓄積しておくようにしてもよい。この場合には、属性識別辞書データには、フィルタ蓄積部に蓄積されたフィルタを特定するフィルタ識別情報を特徴番号毎に含めておけばよい。

図１５は、前述の属性識別用コンピュータプログラムの実行状態におけるコンピュータ３の機能的な構成を説明するためのブロック図である。コンピュータ３は、ＣＰＵ１０によって前記コンピュータプログラムを実行させることにより、このＣＰＵ１０がＲＯＭ１１、ＲＡＭ１２その他のハードウェア資源と協働することによって実現される複数の機能処理部を実質的に備えることになる。この複数の機能処理部は、カメラ１が生成した画像データから顔画像の領域を抽出して顔画像データを生成する顔画像検出部８０（識別対象領域抽出手段）と、この顔画像検出部８０が抽出した顔画像データに基づいて、当該顔画像中の人物の属性を識別する属性識別処理部８１（属性判定手段）と、この属性識別処理部８１による識別結果の出力処理を行う出力処理部８２とを備えている。

顔画像検出部８０は、入力画像データから顔画像領域を切り出し、さらに、サイズおよび傾き（左右の傾き）を正規化した顔画像データを被識別顔画像データとして出力する。切り出される顔画像領域は、たとえば、髪型の影響を受けにくく、かつ、発話時の顎の上下動の影響を受けにくい領域である。より具体的には、たとえば、左右方向に関しては両目尻の間を含み、上下方向に関しては眉から口元までの範囲を含む矩形領域が顔画像領域として切り出される。正規化された顔画像データは、たとえば、３２画素×３２画素の正方形画像に対応する。

属性識別処理部８１は、顔画像検出部８０によって検出される被識別顔画像データに対して、属性識別辞書記憶部２０に記憶された属性識別辞書を適用して、最尤属性を判断する。より具体的には、属性識別処理部８１は、フィルタ処理部８５と、弱仮説演算部８６と、重み係数乗算部８７と、加算処理部８８と、最尤属性判断部８９とを備えている。フィルタ処理部８５は、被識別顔画像データに対して、特徴番号ｔ（ｔ＝１，２，３，……，Ｔ）のフィルタを適用して、そのフィルタ応答値を出力する。弱仮説演算部８６は、フィルタ処理部８５によって求められたフィルタ応答値ｆ_t(x)に対応する弱仮説ｈ_t(x,y)をすべてのクラスｙに関して求める。重み係数乗算部８７は、弱仮説演算部８６によってクラスｙ毎に求められた弱仮説ｈ_t(x,y)に重み係数α_tを乗じる。加算処理部８８は、重み係数α_tによる重みが与えられた弱仮説ｈ_t(x,y)のクラスｙごとの総和Σα_tｈ_t(x,y)（ｔ＝１〜Ｔについての総和）を演算する。最尤属性判断部８９は、加算処理部８８によって求められる総和Σα_tｈ_t(x,y)が最大となるラベルｙを、識別結果ｈ_fin(x)として求める。

このようにして、属性識別処理部８１は、属性識別辞書を用いて、前記最尤属性判断式(8)に基づき、被識別顔画像に含まれている対象の属性を判断する。
出力処理部８２は、属性識別処理部８１による判断結果をディスプレイ５に表示したり、識別結果蓄積部２１に蓄積したりする処理を行う。このようにして、被識別者がカメラ１の前に立つだけで、その者の性別および年代といった属性を正確に判別でき、その判別結果を表示したり蓄積したりすることができる。

以上のようにこの実施形態によれば、サンプル顔画像データとこれに対応した属性とを含む学習サンプルデータを用いてAdaBoost.M2アルゴリズムによる学習を行い、人物の属性を顔画像に基づいて識別するための属性識別辞書が作成される。したがって、この属性識別辞書は、属性の識別に最適化された判断基準を提供する。そのため、顔画像データに基づく人物の属性識別を高精度に行うことができる。すなわち、前述のような属性識別辞書に基づく人物の属性識別は、顔画像の類似／非類似の判断を前提とした間接的な識別ではなく、顔画像データに基づいて人物の属性を直接的に識別するものである。こうして、顔画像の類似／非類似の判断とは全く独立した判断基準に基づいて属性識別を行うことができ、属性識別の精度を高めることができる。

以上、この発明の一実施形態について説明したが、この発明は、さらに他の形態で実施することが可能である。たとえば、前述の実施形態では、微分フィルタとして、ガウシアン一次微分フィルタおよびガウシアン二次微分フィルタを適用した例について説明したが、ガウシアン一次微分フィルタのみを適用することとしてもよい。また、ガウシアン微分フィルタに限らず、ハールウェーブレットやガボールウェーブレットなどの他の種類のフィルタが適用されてもよい。

また、前述の実施形態では、女性４０歳未満、男性４０歳未満、女性４０歳以上および男性４０歳以上の４つのクラスに属性を分類する例について説明したが、どのような属性分類をするかは、任意であり、属性識別の用途に応じて適宜定めればよい。たとえば、国内の消費者マーケティングの分野では、次の表５に示す１０クラス分類が一般的に用いられる。

また、前述の実施形態では、コンビニエンスストアやスーパーマーケットのレジカウンターのような所定の場所に現れた人物の属性を自動的に識別し、これをマーケティングに利用する例について説明したが、むろん、他の用途にこの発明を適用することもできる。たとえば、テーマパークのようなクローズドエリアで運行するランドカーに応用し、性別や年代に適合した案内プランを提供する用途に、この発明が適用されてもよい。

さらに、前述の実施形態では、人物の属性識別を行う例について説明したが、この発明は、人以外の動物その他の生物の属性識別や無生物の属性識別にも適用可能である。より広くは、外観に基づいて属性の識別が可能な対象に対して、この発明の適用が可能である。
その他、特許請求の範囲に記載された事項の範囲で種々の設計変更を施すことが可能である。

この発明の一実施形態に係る人物属性識別システムの構成を示す図解的なブロック図である。 属性識別装置本体としてのコンピュータのハードウェア構成を説明するためのブロック図である。 人物の属性を識別するための指標となる属性識別辞書を作成する属性識別辞書生成装置としてのコンピュータのハードウェア構成を説明するためのブロック図である。 属性識別辞書作成用コンピュータプログラムの実行状態におけるコンピュータの機能的な構成を説明するためのブロック図である。 フィルタ応答値のヒストグラムの例を示す。 方向付き累積ヒストグラムの例を示す。 学習サンプルデータに或る一つのフィルタを適用してフィルタ応答値を求め、そのヒストグラムを作成した例を示す。 弱仮説テーブルの例を示す図である。 学習に用いられるサンプル顔画像の例を示す。 ガウシアン微分フィルタを説明するための図である。図１０Ａはガウシアン、図１０Ｂはガウシアン一次微分フィルタ、図１０Ｃはガウシアン二次微分フィルタをそれぞれ示す。 微分方向を様々に設定したガウシアン一次微分フィルタおよびガウシアン二次微分フィルタを示す。 最小サイズのガウシアン一次微分フィルタを示す。 属性識別辞書生成部による処理をまとめて示すフローチャートである。 属性識別辞書データの一例を示す図である。 前述の属性識別用コンピュータプログラムの実行状態におけるコンピュータの機能的な構成を説明するためのブロック図である。 顔認識処理と属性識別処理との相違点を説明するための図解図である。

符号の説明

１ カメラ
３ コンピュータ
４ 情報センター
５ ディスプレイ
６ 入力操作部
８ ＣＤ−ＲＯＭ
１０ ＣＰＵ
１１ ＲＯＭ
１２ ＲＡＭ
１４ ハードディスクドライブ
１５ ＣＤ−ＲＯＭドライブ
１６ ディスプレイコントローラ
１７ 入力部コントローラ
１８ 画像入力インタフェース部
２０ 属性識別辞書記憶部
２１ 識別結果蓄積部
３３ コンピュータ
３５ ディスプレイ
３６ 入力操作部
４０ ＣＰＵ
４１ ＲＯＭ
４２ ＲＡＭ
４４ ハードディスクドライブ
４５ ＣＤ−ＲＯＭドライブ
４６ ディスプレイコントローラ
４７ 入力部コントローラ
４８ ＣＤ−ＲＯＭ
５１ 学習サンプル蓄積部
５２ フィルタ蓄積部
５３ ヒストグラム記憶部
５４ 方向付き累積ヒストグラム記憶部
５５ 弱仮説テーブル記憶部
６０ 属性識別辞書記憶部
６１ 学習サンプル加工処理部
６２ 属性識別辞書生成部
６３ フィルタ処理部
６４ ヒストグラム作成処理部
６５ 方向付き累積ヒストグラム作成処理部
６６ 学習処理部
６７ 重み付け処理部
６８ 弱仮説テーブル作成処理部
６９ 弱識別器作成処理部
７０ 重み演算部
７１ ロス演算部
８０ 顔画像検出部
８１ 属性識別処理部
８２ 出力処理部
８５ フィルタ処理部
８６ 弱仮説演算部
８７ 重み係数乗算部
８８ 加算処理部
８９ 最尤属性判断部

Claims (8)

1. 画像中に含まれる対象の属性を識別するための属性識別システムであって、
   属性が既知の対象をそれぞれ含む複数枚の画像に対応した複数のサンプル画像データと個々のサンプル画像データ中に含まれる対象の属性とを対応付けた学習サンプルデータを蓄積する学習サンプル蓄積手段と、
   この学習サンプル蓄積手段に蓄積された学習サンプルデータを用いた学習によって、画像中に含まれる対象の属性を識別するための属性識別辞書を生成する属性識別辞書生成手段と、
   この属性識別辞書生成手段によって生成された属性識別辞書に基づいて、属性が未知の対象を含む画像に対応した画像データを処理し、当該対象の属性を判定する属性判定手段とを含み、
   前記属性識別辞書生成手段は、
   画像中のエッジ部を検出するために画像データに適用される複数種類のフィルタを生成するフィルタ生成手段と、
   このフィルタ生成手段によって生成される個々のフィルタをサンプル画像データに適用して得られるフィルタ応答値のヒストグラムを個々の属性毎に作成するヒストグラム作成手段と、
   このヒストグラム作成手段によって作成された各ヒストグラムについて、フィルタ応答最大値からフィルタ応答最小値に向かって個々のフィルタ応答値までの累積頻度値を求め、この累積頻度値を各フィルタ応答値に対応付けた第１方向累積ヒストグラムと、フィルタ応答最小値からフィルタ応答最大値に向かって個々のフィルタ応答値までの累積頻度値を求め、この累積頻度値を各フィルタ応答値に対応付けた第２方向累積ヒストグラムとを作成する方向付き累積ヒストグラム作成手段と、
   前記学習サンプル蓄積手段に蓄積された学習サンプルデータに対して、前記方向付き累積ヒストグラム作成手段によって作成された前記第１方向および第２方向累積ヒストグラムを弱仮説として用いたAdaBoost.M2アルゴリズムを適用することにより、画像中に含まれる対象の属性を識別するための特徴量の集合として、フィルタおよび弱仮説の組の群を生成する辞書データ生成手段とを含むものであることを特徴とする属性識別システム。
2. 前記複数種類のフィルタは、画像中における輝度値の空間変動を検出する微分フィルタを含むことを特徴とする請求項１記載の属性識別システム。
3. 前記微分フィルタは、所定方向に関する輝度値の空間変動を検出する一次微分フィルタを含むことを特徴とする請求項２記載の属性識別システム。
4. 前記微分フィルタは、所定方向に関する輝度値の空間変動を検出する二次微分フィルタを含むことを特徴とする請求項２または３記載の属性識別システム。
5. 画像中に含まれる対象の属性を識別するために用いられる属性識別辞書を生成する属性識別辞書生成装置であって、
   属性が既知の対象をそれぞれ含む複数枚の画像に対応した複数のサンプル画像データと個々のサンプル画像データ中に含まれる対象の属性とを対応付けた学習サンプルデータを蓄積する学習サンプル蓄積手段と、
   この学習サンプル蓄積手段に蓄積された学習サンプルデータを用いた学習によって、画像中に含まれる対象の属性を識別するための属性識別辞書を生成する属性識別辞書生成手段とを含み、
   前記属性識別辞書生成手段は、
   画像中のエッジ部を検出するために画像データに適用される複数種類のフィルタを生成するフィルタ生成手段と、
   このフィルタ生成手段によって生成される個々のフィルタをサンプル画像データに適用して得られるフィルタ応答値のヒストグラムを個々の属性毎に作成するヒストグラム作成手段と、
   このヒストグラム作成手段によって作成された各ヒストグラムについて、フィルタ応答最大値からフィルタ応答最小値に向かって個々のフィルタ応答値までの累積頻度値を求め、この累積頻度値を各フィルタ応答値に対応付けた第１方向累積ヒストグラムと、フィルタ応答最小値からフィルタ応答最大値に向かって個々のフィルタ応答値までの累積頻度値を求め、この累積頻度値を各フィルタ応答値に対応付けた第２方向累積ヒストグラムとを作成する方向付き累積ヒストグラム作成手段と、
   前記学習サンプル蓄積手段に蓄積された学習サンプルデータに対して、前記方向付き累積ヒストグラム作成手段によって作成された前記第１方向および第２方向累積ヒストグラムを弱仮説として用いたAdaBoost.M2アルゴリズムを適用することにより、画像中に含まれる対象の属性を識別するための特徴量の集合として、フィルタおよび弱仮説の組の群を生成する辞書データ生成手段とを含むものであることを特徴とする属性識別辞書生成装置。
6. 前記複数種類のフィルタは、画像中における輝度値の空間変動を検出する微分フィルタを含むことを特徴とする請求項５記載の属性識別辞書生成装置。
7. 前記微分フィルタは、所定方向に関する輝度値の空間変動を検出する一次微分フィルタを含むことを特徴とする請求項６記載の属性識別辞書生成装置。
8. 前記微分フィルタは、所定方向に関する輝度値の空間変動を検出する二次微分フィルタを含むことを特徴とする請求項６または７記載の属性識別辞書生成装置。