JP6029041B2 - 顔印象度推定方法、装置、及びプログラム - Google Patents

Description

本発明は、人物の属性を推定する方法、装置、及びプログラムに関し、特に、人物の顔画像からその人物の印象度を推定する方法、装置、及びプログラムに関する。

背景情報

近年、人物の顔画像からその人物の属性（性別、年齢、表情など）を推定する研究が著しく発展している。中でも性別・年齢推定は、マーケティング戦略、セキュリティ、アミューズメントなどの用途に応用され、製品化されている。
例えば、特許文献１は、人間が知覚する結果に近い認識結果を得られる「年齢推定装置及び方法並びにプログラム」を開示している。特許文献１に開示された年齢推定装置では、回帰分析（ｒｅｇｒｅｓｓｉｏｎ）で年齢推定のモデルを作る際に、若年層の学習重みを強くすることで、若年層の推定精度を改善している。具体的には、特許文献１では、特徴ベクトルの抽出元であるテストデータの真の年齢を予測する教師付き回帰問題において、カーネル正則化重み付き最小二乗法（ＫＲＷＬＳ：Ｋｅｒｎｅｌ Ｒｅｇｕｌａｒｉｚｅｄ Ｗｅｉｇｈｔｅｄ Ｌｅａｓｔ Ｓｑｕａｒｅｓ）を用いて、年齢推定関数を正定値カーネルの線形結合でモデル化している。
また、最小二乗確率的識別器（ＬＳＰＣ：Ｌｅａｓｔ Ｓｑｕａｒｅ Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｃｌａｓｓｉｆｉｅｒ）と呼ばれる学習効率の良い識別器も知られている（例えば、非特許文献１、非特許文献２参照）。ＬＳＰＣは、二乗損失のもとでクラスの事後確率モデルを学習する識別手法であり、解が解析的に計算できることが最大の特徴である。また、ＬＳＰＣは、事後確率を密度比の形でクラス毎に直接推定する為、各クラスの学習データ数のアンバランスに強いという特徴も併せ持つ。ＬＳＰＣでは、事後確率を二乗損失を用いて学習を行う。これにより、ＬＳＰＣは、従来手法と同程度のパターン認識精度を維持しながら、学習時間を数百倍短縮することが可能となる。また、ＬＳＰＣでは、特定のクラスのデータ数の偏りの影響を受けにくい。
さらに、ランキング学習も知られている。ここで、「ランキング学習」とは、関連度の高さや順列に応じて、データに高いスコアを付与出来る様、教師付き学習の枠組みで最適化する手法である。例えば、ペアワイズ・アプローチに基づくランキング学習の代表例な例として、ｒａｎｋｉｎｇ ＳＶＭ（ｒａｎｋｉｎｇ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）が知られている（例えば、非特許文献３参照）。ｒａｎｋｉｎｇ ＳＶＭでは、学習データのペアに対する損失を考えることで、ＳＶＭによる２クラス識別問題に帰着させ、スコア関数の最適化を行う。

特許第４７４２１９２号公報

Ｓｕｇｉｙａｍａ，Ｍ，"Ｓｕｐｅｒｆａｓｔ−ｔｒａｉｎａｂｌｅ ｍｕｌｔｉ−ｃｌａｓｓ ｐｒｏｂａｂｌｉｓｔｉｃ ｃｌａｓｓｉｆｉｅｒ ｂｙ ｌｅａｓｔ−ｓｑｕａｒｅ ｐｏｓｔｅｒｉｏｒ ｆｉｔｔｉｎｇ，"ＩＥＩＣＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｓｙｓｔｅｍｓ，ｖｏｌ．Ｅ９３−Ｄ，ｎｏ．１０，ｐｐ．２６９０−２７０１，２０１０ 伊原 康行、杉山 将、植木 一也、藤田 光洋、"複数識別器の重み付き統合による多人種の年代識別"、動的画像処理実利用化ワークショップ２０１１（ＤＩＡ２０１１）予稿集、ｐｐ．３１７−３２２、徳島、２０１１．３．３−４ Ｒ．Ｈｅｒｂｒｉｃｈ，Ｔ．Ｇｒａｅｐｅｌ ａｎｄ Ｋ．Ｏｂｅｒｍａｙｅｒ："Ｌａｒｇｅ ｍａｒｇｉｎ ｒａｎｋ ｂｏｕｎｄａｒｉｅｓ ｆｏｒ ｏｒｄｉｎａｌ ｒｅｇｒｅｓｓｉｏｎ"，Ａｄｖａｎｃｅｓ ｉｎ Ｌａｒｇｅ Ｍａｒｇｉｎ Ｃｌａｓｓｉｆｉｅｒｄｓ，Ｃａｍｂｒｉｇｅ，ＭＡ，ＭＩＴ Ｐｒｅｓｓ，ｐｐ．１１５−１３２（２０００）

最近では、「かわいらしい」、「明るくさわやか」、などといった、化粧の趣向に深く関わる‘人の見た目の印象度’を推定する新たな属性領域への取り組みも行われている。尚、人物の印象としては、例えば、「明るくさわやか」、「かわいらしい」、「ビジネス的」、「やさしい」、および「健康的」の５種類の印象が挙げられる。そして、その評価（印象度）としては、その各印象を、複数段階（例えば、５段階）で評価（推定）することになる。
しかしながら、特許文献１などで用いている「回帰分析」では、両端の精度（とてもかわいい、全くかわいくない等）に相当する顔画像の印象度を精度よく推定するのは困難である。この問題は、従属変数（目的変数）の値が両端付近のデータに対して推定精度を確保するのが困難といった回帰分析に特有な普遍的な問題、両端の印象度に相当する顔画像を十分に収集するのが困難といったデータ収集の問題に起因するものと考えられる。
両端の印象度（とてもかわいい、全くかわいくない）は、平均的な印象度（平均的なかわいらしさ）に比べて人の記憶に残りやすい為、両端の印象度に相当する顔に対して精度良く推定出来ることは重要な意味を持つ。
非特許文献１および非特許文献２に開示されたＬＳＰＣでも、人物の両端の印象度の推定精度が悪いという問題がある。
また、従来のランキング学習による最適化手法では、２つの従属変数（目的変数）の差の大小の度合いを最適化問題に反映させることが難しいという問題がある。
上述したように、従来の手法では、人物の‘両端の印象度’を精度良く推定するのは困難である。
［発明の目的］
したがって、本発明の目的は、人物の両端の印象度を精度よく推定する方法、装置、およびプログラムを提供することにある。

本発明の一形態は、画像データに写された人物の印象度を、印象度推定装置を用いて推定する印象度推定方法であって、画像データから顔画像を抽出する抽出工程と、顔画像から顔特徴ベクトルを算出する算出工程と、二標本間の印象度の大小関係を複数クラスのランキング最小二乗確率的識別器によりモデル化し、顔画像ベクトルを説明変数とするテストデータと学習データから既に得られた複数個の比較用基底データとを複数クラスのランキング最小二乗確率的識別器によって順次比較することよって得られる各クラスの確信度を元にスコアリングして、人物の印象度を推定する推定工程と、を含む。

本発明の効果は、人物の両端の印象度を精度よく推定することができることである。

図１は本発明の実施の形態における印象度推定方法で用いられるスコアリングのイメージ図であり、
図２は本発明の第１の実施例による印象度推定装置の構成を示すブロック図であり、
図３は図２の印象度推定装置で使用される、回帰分析モードのニューラルネットワーク（連続量推定手段）の構成を示すブロック図であり、
図４は図２の印象度推定装置で使用される、ランキング最小二乗確率的識別器（順序推定手段）の構成を示すブロック図である。
図５は本発明の第２の実施例による印象度推定装置の構成を示すブロックであり、
図６は図５の印象度推定装置で使用される、ランキング最小二乗確率的識別器（順序推定手段）の構成を示すブロック図であり、
図７は本発明の第３の実施例による印象度推定装置の構成を示すブロックであり、
図８は「かわいらしい印象度」を識別問題として解いた場合の、各手法での各クラスの認識率の実験結果を示す表であり、
図９は「かわいらしい印象度」を回帰問題として解いた場合の、各手法での絶対誤差平均（ＭＡＥ）の実験結果を示す表である。

本発明の理解を容易にするために、関連技術について説明する。
［関連技術１］
最初に、第１の関連技術として、上記非特許文献１および２に記載されている、ＬＳＰＣについて説明する。
ＬＳＰＣは、二乗損失のもとでクラスの事後確率モデルを学習する識別手法であり、解が解析的に計算できることが最大の特徴である。
また、ＬＳＰＣでは、事後確率を密度比の形でクラス毎に直接推定する為、各クラスの学習データ数のアンバランスに強いという特徴も併せ持つ。ＬＳＰＣのこの特徴は、後述する本発明の実施形態に係る、ｒａｎｋｉｎｇ ＬＳＰＣを解く際に好都合である。
ＬＳＰＣでは、入力ベクトル（顔特徴量）ｘにおけるクラスｙの事後確率分布ｐ（ｙ｜ｘ）を下記の式（１）の密度比の形で推定する。

ただし、ｐ（ｘ）はサンプルの確率密度、ｐ（ｘ，ｙ）は同時確率密度である。最終的には、事後確率が最大になるクラスを、次の式（２）で表される推定クラスとする。

ＬＳＰＣでは、事後確率ｐ（ｙ｜ｘ）を二乗損失を用いて学習を行う。これにより、ＬＳＰＣでは、回帰分析の従来手法（カーネル正則化最小二乗法：ＫＲＬＳ）と同程度のパターン認識精度を維持しながら、学習時間を数百倍短縮することが可能となる。
また、ＬＳＰＣでは、事後確率を上記数１で表される密度比の形で推定するため、訓練データにおける、特定のクラスのデータ数の偏りの影響を受けにくい。
まず、ＬＳＰＣでは、クラスｙの事後確率ｐ（ｙ｜ｘ）を、次の式（３）で表される線形モデルでモデル化する。

る。
ＬＳＰＣでは、パラメータα＝（α_１，…，α_ｂ）^Ｔを、下記の式（４）で表される二乗誤差Ｊ_０が最小となるように学習する。

なお、Ｔは転置行列である。
二乗誤差Ｊ_０の期待値の近似値を標本平均で考えることにより、上記式（４）の解は、解析的に次の式（５）で与えられる。

ここで、

である。
ＬＳＰＣでは、最後に、全クラスの事後確率の総和が１になるように正規化補正することにより、下記の式（６）で示されるように、事後確率の解を得る。

しかしながら、上述したように、ＬＳＰＣでは、人物の両端の印象度の推定精度が悪いという問題がある。
［関連技術２］
次に、第２の関連技術として、ランキング学習の定式化について説明する。
上述したように、ランキング学習とは、関連度の高さや順列に応じて、データに高いスコアを付与出来る様、教師付き学習の枠組みで最適化する手法である。近年、ランキング学習は、クエリと関連性の高いデータを優先的に抽出する情報検索や、ユーザに関心の高い商品情報を優先的に提示する推薦システムなどの領域で、盛んに応用されている。
データ空間をχとするとき、ｎ個の教師付き学習データ

ここで、ベクトルｘ_ｉは説明変数（顔画像の特徴量）であり、スカラｙ_ｉは目的変数（印象度の大小をあらわしたもの）である。例えば、‘かわいらしい’の印象度を表す場合、ｙ_ｉの値域を０．０〜４．０（全くかわいくない：０．０、とてもかわいい：４．０）で定め、‘かわいらしい’の度合いが大きいほど、数値が大きくなる様に取る。
従来のランキング学習では、印象度が高い順に出力値がソートされ、つまり、下記の式（７）

となる様な、スコア関数ｆ：χ→Ｒを最適化する。
この場合、Ｎｏｒｍａｌｉｚｅｄ Ｄｉｓｃｏｕｎｔｅｄ Ｃｕｍｕｌａｔｉｖｅ Ｇａｉｎ（ＮＤＣＧ）や、Ｍｅａｎ Ｒｅｃｉｐｒｏｃａｌ Ｒａｎｋ（ＭＲＲ）などが、モデルの評価基準として用いられるが、最適化問題を容易にするため、便宜的に学習データのペアやリストに対する損失を考えることが多い。
次に、第２の関連技術として、上記非特許文献３に記載されている、ペアワイズ・アプローチに基づくランキング学習の代表的な例として、ｒａｎｋｉｎｇ ＳＶＭについて述べる。
ｒａｎｋｉｎｇ ＳＶＭでは、学習データのペアに対する損失を考えることで、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）による２クラス識別問題に帰着させ、スコア関数ｆの最適化を行う。
ｒａｎｋｉｎｇ ＳＶＭでは、スコア関数ｆ：χ→Ｒを、下記の式（８）で表されるように、正定値カーネルｋ（ｘ’，ｘ）の線形結合でモデル化する。

集合を用いても良い。そして、下記パラメータα＝（α_１，…，α_ｎ）^Ｔを、次の関係が成り立つ様に最適化する。

ここで、Φ（ｘ）＝（ｋ（ｘ_１，ｘ），…ｋ（ｘ_ｎ，ｘ））^Ｔである。このとき、ｒａｎｋｉｎｇ ＳＶＭの主問題は次の式（１０）の形で定式化される。

は分離可能で無い場合を考慮して導入したスラック変数である。
ランキング学習の従来の定式化では、上述したように、下記の式（１１）

となる様な、スコア関数ｆ：χ→Ｒを最適化することを考えた。しかしながら、この最適化手法には、２つの従属変数（目的変数）ｙ_ｉ，ｙ_ｊの差の大小の度合いを最適化問題に反映させることが難しいという問題点がある。
［実施の形態］
次に、本発明の一実施形態に係る印象度推定方法について説明する。
本実施形態に係る印象度推定方法は、「二標本間の印象度の大小関係」を多クラスのＬＳＰＣによりモデル化（ｒａｎｋｉｎｇ ＬＳＰＣの導入）し、ＬＳＰＣの出力するクラスの確信度を元に、出力のスコアリングを行うことによって、人物の両端の印象度を精度良く推定する。換言すれば、本実施の形態に係る印象度推定方法におけるランキング学習（ペアワイズ・アプローチ）では、識別問題に帰着させて解く際に、多クラス確率的識別器であるＬＳＰＣを使用する。
すなわち、本実施形態に係る印象度推定方法は、比較的正解の得られやすい‘二標本間の印象度の大小関係’に着目して、二標本間の印象度の大小関係をランキング学習によりモデル化し、このモデルを用いた推定結果（ベアワイズで比較した時の印象度の大小）の集計により、両端の印象度に相当する顔画像に対する推定精度を改善する手法である。
上記第２の関連技術でおいて述べた従来のランキング学習手法と、本実施の形態に係るランキング学習手法との間には、次に述べるような相違点がある。
まず、従来のランキング学習手法では、ペアワイズで解くアプローチ（例えば、２データ間の比較で考えるアプローチ）を考える際、２クラスの識別問題に帰着させて解いている。したがって、従来のランキング学習手法は、どちらが「上又は下」の識別のみである。また、従来のランキング学習手法ではＳＶＭを使用して解くことが多い。
これに対して、本実施の形態に係るランキング学習手法では、ペアワイズで解くアプローチ（例えば、２データ間の比較で考えるアプローチ）を考える際、多クラスの識別問題に帰着させて解く。したがって、本実施の形態に係るランキング学習手法は、どちらが「上又は下」の判断だけでなく、差の大小も加味する。そして、本実施の形態に係るランキング学習手法ではＬＳＰＣを採用する。
本発明の実施形態では、次の形でランキング学習を再定式化する。
まず、サンプルのペア（ｘ_ｉ，ｙ_ｉ）、（ｘ_ｊ、ｙ_ｊ）が与えられた時に、従属変数（目的変数）の差（ｙ_ｉ−ｙ_ｊ）を、大小の度合いに応じて、Ｃクラスにクラス分けする。具体的には、２クラス（Ｃ＝２）の場合には、下記の式（１２）

といったクラス分けを考え、４クラス（Ｃ＝４）の場合には、下記の式（１３）

といったクラス分けを考える。
Ｌ（ｙ_ｉ，ｙ_ｊ）は差（ｙ_ｉ−ｙ_ｊ）の属するクラスラベルを表す。この時、クラス毎に、スコア関数ｆｋ：χ×χ→Ｒ（ｋ＝１，…，Ｃ）を定義し、それぞれ、下記の式（１４）となる様にそれぞれ最適化する。

このスコア関数は、上記第２の関連技術における従来のスコア関数の特別な場合（線形性を持つ場合）の一般化と考えてよい。例えば、上記第２の関連技術において述べたｒａｎｋｉｎｇ ＳＶＭにおいて、スコア関数ｆの正定値カーネルの線形カーネルを用い、従属変数（目的変数）の差を上記式（１２）のように２クラスに分類する場合を考える。この時、２組のスコア関数をそれぞれ、下記の式（１５）

と定義すれば、ランキング学習は、上記式（１４）で表される最適化問題に帰着することに注意されたい。
スコア関数の最適化問題を考える際は、最適化問題を容易にするため、学習データのペアに対する損失を考えるペアワイズ・アプローチを便宜的に採用する。具体的には、本実施形態では、以下に説明するｒａｎｋｉｎｇ ＬＳＰＣを考えることで、多クラス識別問題に帰着させて、スコア関数の最適化を行う。
次に、ｒａｎｋｉｎｇ ＬＳＰＣについて説明する。ｒａｎｋｉｎｇ ＬＳＰＣは、上記第２の関連技術において述べたｒａｎｋｉｎｇ ＳＶＭと同様に、ペアワイズ・アプローチに基づくものであり、学習データのペアに対する損失を考えることで、上記第１の関連技術において述べたＬＳＰＣによる多クラス識別問題に帰着させ、下記の式（１６）で表されるスコア関数ｆ_ｋの最適化を行う。

このように、本実施の形態において、識別問題に関して、従来手法でよく使われるＳＶＭでなく、ＬＳＰＣを用いた理由は、次の４点である。
（１）ＬＳＰＣは、二乗損失のもとでクラスの事後確率モデルを学習する識別手法であり、従来手法（第２の関連技術）と同程度のパターン認識精度を維持しながら、学習時間を数百倍短縮することが出来る。一方、ペアワイズ・アプローチに基づくランキング学習は、学習データ数が飛躍的に増大する。元お学習データがｎ個の場合、ランキング学習で使用する学習データはｎ^２倍となる。ＬＳＰＣのこの学習効率の良さは、ランキング学習における大規模サンプル数の問題を緩和することが出来る。
（２）ＬＳＰＣでは、クラス毎に事後確率をモデル化するため、各クラスの学習データのアンバランスに強いという特徴も併せ持つ。従属変数（目的変数）の差分の大小によりクラス分類する問題を考える場合、各クラスの学習データ数にアンバランスが生じやすい。しかしながら、ＬＳＰＣのこの特徴は、データ数のアンバランスの認識精度に与える悪影響を緩和するのに好都合である。
（３）ＬＳＰＣは、多クラスの非線形識別問題を解くことが出来、クラス毎に事後確率をモデル化するため、上述したように、クラス毎のスコア関数のモデル化が可能である。特に、ＬＳＰＣでは、後述する多クラスのランキング学習を考えた場合、クラスによっては‘正解率の高い出力’が得られやすい。これはランキング学習の出力を集計して、回帰問題を解く際に有益である。
（４）ランキング学習の出力は、ペアワイズ的なアプローチの場合、通常、クラス識別結果の出力（予測クラス）のみであり、出力の確信度の情報は含まれない。これに対して、ＬＳＰＣの場合、クラス識別結果を各クラスの確信度で出力する為、後述するように、ランキング学習の出力を集計して、回帰問題を解く際に好都合である。
次に、ｒａｎｋｉｎｇ ＬＳＰＣの定式化について説明する。換言すれば、ｒａｎｋｉｎｇ ＬＳＰＣの「学習フェーズ」について説明する。

（目的変数））、従属変数（目的変数）の差（ｙ_ｉ−ｙ_ｊ）を、大小の度合いに応じて、Ｃクラスにクラス分けする。ここで、前述したように、ベクトルｘ_ｉは顔画像の特徴量を表わす説明変数であり、ｙ_ｉは印象度の大小を数値化したものを表す目的変数（従属変数）である。ここで、ｙ_ｉの値は、主観的に（例えば多数決などにより）印象度として既に決められた値（既知の値）である。
具体的には、２クラスであれば上記式（１２）、４クラスであれば上記式（１３）の形を考える。
この時、ｒａｎｋｉｎｇ ＬＳＰＣでは、各クラスのスコア関数

正定値カーネルφ_ｉ，ｊの線形結合で、下記の式（１７）で表されるように、それぞれモデル化する。

る最小二乗誤差Ｊ_０が最小になる様に学習する。

ＰＣと同様である。
以上の説明が、ｒａｎｋｉｎｇ ＬＳＰＣの「学習フェーズ」の説明である。
次に、本発明の実施の形態に係る印象度推定方法の核心部分である、ｒａｎｋｉｎｇ ＬＳＰＣの推定結果を元に、回帰分析の問題を解く手法について説明する。換言すれば、ｒａｎｋｉｎｇ ＬＳＰＣを用いた「認識（推定）フェーズ」について説明する。
まず、テストデータ（ｘ^ｔｅ，ｙ^ｔｅ）との従属変数（目的変数）の差を比較するため

する。ここで、テストデータの特徴変数（ベクトル）ｘ^ｔｅは、顔画像から特徴ベクトル算出部（後述する）によって算出された顔特徴ベクトルである。一方、テストデータの目的変数ｙ^ｔｅは、未知の変数である。比較用基底データ数ｂの大きさを適宜変えることで、モデル学習時の計算負荷を調整出来る。
また、印象度ｙは、下限値０．０と上限値４．０をそれぞれ持つ、すなわち、０．０≦ｙ≦４．０であるとする。
簡単のため、まず２クラスのｒａｎｋｉｎｇ ＬＳＰＣの場合について説明する。従属変数（目的変数）の差のクラス区分は、上記数２２に従うものとする。
テストデータ（ｘ^ｔｅ，ｙ^ｔｅ）と比較用基底データ（ｂ_１、ｙ_１）のペアを入力した際のｒａｎｋｉｎｇ ＬＳＰＣの出力が、‘クラス１，クラス２の確信度はそれぞれ０．７，０．３’であったとする（ｙ^ｔｅ＜ｙ_１である確率が０．７）。
この時、下記の式（１９）で表される、ベクトル形式の印象度スコア

を印象度ｙの値に応じて次の式（２０）のように割り当てる（ｙの値の取り方は任意で決めて良いが、ｙの全値域に対して密になる様取得するのが望ましい）。

図１は、このスコアリングのイメージ図である。図１において、横軸は印象度スコアを示し、縦軸は確信度を示す。印象度スコアは、０．０〜４．０の間の範

で表されるベクトルｇ_１に正規化処理しておく。

次に、他の比較用基底データ（ｂ_２、ｙ_２）、（ｂ_３、ｙ_３）に対しても、同様にス

_３に正規化しておく。
この時、次の式（２２）

の最大成分に該当するｙ^＊、つまり、下記の式（２３）

となる様なｙ^＊を、テストデータ（ｘ^ｔｅ，ｙ^ｔｅ）を入力した場合の印象度の推定結果とする。
以上の説明が、２クラスのｒａｎｋｉｎｇ ＬＳＰＣを用いた「認識（推定）フェーズ」の説明である。
次に、４クラスのｒａｎｋｉｎｇ ＬＳＰＣの場合について説明する。従属変数（目的変数）の差のクラス区分は、上記式（１３）に従うものとする。
テストデータ（ｘ^ｔｅ，ｙ^ｔｅ）と比較用基底データ（ｂ_１、ｙ_１）のペアを入力した際のｒａｎｋｉｎｇ ＬＳＰＣの出力が、‘クラス１〜クラス４の確信度がそれぞれ０．６５，０．２，０．１，０．０５’であったとする（ｙ^ｔｅ＜ｙ_１−０．５である確率が最も高い（０．６５））。
この時、下記の式（２４）で表されるベクトル形式の印象度スコア

を、印象度ｙの値に応じて次の式（２５）のように割り当てる。

以後は、上述した２クラスのｒａｎｋｉｎｇ ＬＳＰＣの場合と同様に、比較用基底データ毎にスコア化を行い、テストデータ（ｘ^ｔｅ，ｙ^ｔｅ）に対する印象度の推定値を求める。
差分の大きなクラス（クラス１，４）に属するデータは認識率が高く、逆に、差分の小さなクラス（クラス２，３）に属するデータは認識率が低いことに注意されたい。そこで、ε−Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｒｅｇｒｅｓｓｉｏｎと同様、許容誤差を設定し（ここでは０．５）、これをクラス２，３の値域設定に用いる。
以上の説明が、２クラスのｒａｎｋｉｎｇ ＬＳＰＣを用いた「認識（推定）フェーズ」の説明である。

次に、図２を参照して、本発明の第１の実施例に係る印象度推定装置１０について説明する。
図示の印象度推定装置１０は、下記の５種類の人物の印象を「０，１，２，３，４」の５段階（５クラス）で評価（推定）する装置である。
１．明るくさわやか
２．かわいらしい
３．ビジネス的
４．やさしい
５．健康的
そして、例えば、「かわいらしい」の印象度を表す場合、後述する目的変数（従属変数）ｙの値域を０．０〜４．０（「全くかわいくない」を０．０に、「とてもかわいい」を４．０）で定め、「かわいらしい」の度合いが大きいほど、数値が大きくなる様に取る。
尚、本第１の実施例では、人物の印象として上記５種類を挙げているが、本発明はそれらに限定されず、それら５種類の印象から少なくとも１つの印象を選択しても良いし、他の印象を用いても良いのは勿論である。
そして、印象度推定装置１０は、印象度（目的変数）ｙを大小の度合いにより、下記の５クラスに分類（５段階で評価）する。
（クラス１） ０．０≦ｙ＜０．５
（クラス２） ０．５≦ｙ＜１．５
（クラス３） １．５≦ｙ＜２．５
（クラス４） ２．５≦ｙ＜３．５
（クラス５） ３．５≦ｙ≦４．０
尚、本第１の実施例では、印象度を５クラスに分類（５段階で評価）しているが、本発明はこれに限定されず、２以上のクラスに分類（２以上の段階で評価）してもよいのは勿論である。
印象度推定装置１０は、頭部検出部１２と、顔検出部１４と、回帰分析モードのニューラルネットワーク１６と、ランキング最小二乗確率的識別器（ｒａｎｋｉｎｇ ＬＳＰＣ）１８とから成る。
頭部検出部１２は、人物を撮影したカラー静止画ファイルから、頭部検出プログラムによって、目・鼻・口の位置の推定を行う。顔検出部１４は、目などの顔部品の位置情報をもとにして、６４×６４ピックセルに正規化された顔画像の抽出を行う。したがって、頭部検出部１２と顔検出部１４との組み合わせは、人物画像から顔画像を抽出するデータ取得手段（顔画像抽出手段）３２として働く。
この技術分野において周知のように、ニューラルネットワーク１６は、図３に示されるように、入力層１６２と、中間層１６４と、出力層１６６とから成る。
ニューラルネットワーク１６の中間層１６４のデータ（中間層データ）が、顔特徴ベクトルとして、ランキング最小二乗確率的識別器（ｒａｎｋｉｎｇ ＬＳＰＣ）１８に供給される。従って、ニューラルネットワーク１６の入力層１６２と中間層１６４との組み合わせは、抽出した顔画像から顔特徴ベクトルを算出する特徴ベクトル算出部３４として働く。
尚、本第１の実施例では、顔特徴ベクトルを算出する手段として、ニューラルネットワーク１６中の特徴ベクトル算出部３４を利用しているが、本発明はこれに限定されず、他の周知な種々の顔特徴ベクトル算出手段を用いても良いのは勿論である。
図示のランキング最小二乗確率的識別器１８は、２クラスのランキング最小二乗確率的識別器から成る。したがって、ランキング最小二乗確率的識別器１８は、上記式（２３）で表されるｙ^＊を、テストデータ（ｘ^ｔｅ，ｙ^ｔｅ）を入力した場合の印象度の推定結果として出力する。
図４は、２クラスのランキング最小二乗確率的識別器１８の構成を示すブロック図である。２クラスのランキング最小二乗確率的識別器１８は、２クラスのｒａｎｋｉｎｇ ＬＳＰＣを用いた大小比較判定部１８２と、スコア化処理部１８４と、スコア合計処理部１８６とから成る。
２クラスのｒａｎｋｉｎｇ ＬＳＰＣを用いた大小比較判定部１８２には、１個のテストデータ（ｘ^ｔｅ，ｙ^ｔｅ）と、複数個の比較用基底データ（ｘ_１、ｙ_１）とが供給される。
テストデータ（ｘ^ｔｅ，ｙ^ｔｅ）は、顔画像形式のテストデータを、回帰分析モードのニューラルネットワーク１６に入力した際の中間層データ（顔特徴ベクトル）である。以降、これをテストデータのテスト用説明変数に用い、ｘ^ｔｅで表す。また、この段階では、未知のテスト用目的変数（例えば「かわいらしい」に関する印象度の正解値）をｙ^ｔｅで表す。
複数個の比較用基底データ（ｘ_１、ｙ_１）は、顔画像形式の比較用基底データ（学習データから複数個取得したもの）を、回帰分析モードのニューラルネットワーク１６に入力した際の中間層データ（顔特徴ベクトル）である。これらは、２クラスのｒａｎｋｉｎｇ ＬＳＰＣのモデル学習段階で既に得られたものであり、テストデータに対する推定処理の段階で、新たに算出することはない。以降、これらを比較用基底データの比較用説明変数に用いて、それぞれ、ｘ_１，ｘ_２，・・・，ｘ_ｋ，・・・とする。なお、また、ｘ_１，ｘ_２，・・・，ｘ_ｋ，・・・に対応する比較用目的変数（例えば「かわいらしい」に関する印象度の正解値）を、それぞれ、ｙ_１，ｙ_２，・・・，ｙ_ｋ，・・・とする。
２クラスのｒａｎｋｉｎｇ ＬＳＰＣを用いた大小比較判定部１８２は、２クラスのｒａｎｋｉｎｇ ＬＳＰＣを用い、テストデータ（ｘ^ｔｅをテスト用説明変数に持つ）と比較用基底データ（ｘ_ｋを比較用説明変数に持つ）との印象度の大小判定を行う（全ての比較用基底データｘ_ｋに対し、同じ処理を繰り返す）。
本例では、２クラスでのｒａｎｋｉｎｇ ＬＳＰＣによる大小判定を行うので、２クラスのｒａｎｋｉｎｇ ＬＳＰＣを用いた大小比較判定部１８２は、テストデータと比較用基底データとの説明変数の差分（ｘ^ｔｅ−ｘ_ｋ）に対し、２データ間の目的変数の大小を推定（ｙ^ｔｅ＜ｙ_ｋか、ｙ^ｔｅ≧ｙ_ｋかを推定）して、上記式（１２）のように２つにクラス分けする。
そして、２クラスのｒａｎｋｉｎｇ ＬＳＰＣを用いた大小比較判定部１８２は、上記大小判定結果を各クラスの確信度の形式で出力する。例えば、ｘ^ｔｅとｘ_ｋとの比較のケースにおいては、２クラスのｒａｎｋｉｎｇ ＬＳＰＣを用いた大小比較判定部１８２は、例えば、クラス１、クラス２の確信度がそれぞれ０．７，０．３であるとして出力する（図１参照）。
スコア化処理部１８４は、比較用基底データ毎に出力した大小判定比較結果を用いて、それぞれスコア化処理を、上記式（１９）〜式（２１）に従って実施する。
スコア合計処理部１８６は、比較用基底データ毎に算出したスコアを全て加算し、上記数４４に示されるように、算出したスコアが最大になる箇所を、印象度の推定結果として出力する。印象度の推定結果は、『テストデータｘ^ｔｅを入力した場合の、２クラスのｒａｎｋｉｎｇ ＬＳＰＣによる目的変数の推定結果（例えば、「かわいらしい」に関する印象度推定結果）』である。
電子機器で第１の実施例に係る印象度推定装置１０を構成する場合、印象度推定装置１０は、プログラム制御により動作するコンピュータで実現可能である。図示はしないが、この種のコンピュータは、周知のように、データを入力する入力装置と、データ処理装置と、データ処理装置での処理結果を出力する出力装置と、種々のデータベースとして働く補助記憶装置とを備えている。そして、データ処理装置は、プログラムを記憶するリードオンリメモリ（ＲＯＭ）と、データを一時的に記憶するワークメモリとして使用されるランダムアクセスメモリ（ＲＡＭ）と、ＲＯＭに記憶されたプログラムに従って、ＲＡＭに記憶されているデータを処理する中央処理装置（ＣＰＵ）とから構成される。
この場合、入力装置は、人物画像（画像データ）を入力するための装置（図示せず）として動作する。データ処理装置は、データ取得手段３２、回帰分析モードのニューラルネットワーク（連続量推定手段）１６、およびランキング最小二乗確率的識別器（順序推定手段）１８として動作する。そして、補助記憶装置が、複数個の比較用基底データを蓄積する蓄積手段（図示せず）として働く。
換言すれば、第１の実施例に係る印象度推定装置１０の各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＯＭに記憶された印象度推定プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該印象度推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された印象度推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
このような構成の印象度推定装置１０は、人物の両端の印象度を精度よく推定することが出来る。

次に、図５を参照して、本発明の第２の実施例に係る印象度推定装置１０Ａについて説明する。
図示の印象度推定装置１０Ａは、ランキング最小二乗確率的識別器の構成が相違している点を除いて、図２に示した印象度推定装置１０と同様の構成を有し、動作をする。したがって、ランキング最小二乗確率的識別器に１８Ａの参照符号を付してある。図２に示したものと同様の構成要素には同一の参照符号を付し、説明の簡略化のために、それらの説明について省略する。
図示のランキング最小二乗確率的識別器１８Ａは、４クラスのランキング最小二乗確率的識別器から成る。
図６は、４クラスのランキング最小二乗確率的識別器１８Ａの構成を示すブロック図である。４クラスのランキング最小二乗確率的識別器１８Ａは、４クラスのｒａｎｋｉｎｇ ＬＳＰＣを用いた大小比較判定部１８２Ａと、スコア化処理部１８４Ａと、スコア合計処理部１８６とから成る。
すなわち、４クラスのランキング最小二乗確率的識別器１８Ａは、図４に示した２クラスのランキング最小二乗確率的識別器１８とは、ｒａｎｋｉｎｇ ＬＳＰＣを用いた大小比較判定部とスコア化処理部との構成および動作が異なっている。以下では、説明の簡略化のために、相違点についてのみ説明する。
４クラスのｒａｎｋｉｎｇ ＬＳＰＣを用いた大小比較判定部１８２Ａは、４クラスのｒａｎｋｉｎｇ ＬＳＰＣを用い、テストデータ（ｘ^ｔｅをテスト用説明変数に持つ）と比較用基底データ（ｘ_ｋを比較用説明変数に持つ）との印象度の大小判定を行う（全ての比較用基底データｘ_ｋに対し、同じ処理を繰り返す）。
本例では、４クラスでのｒａｎｋｉｎｇ ＬＳＰＣによる大小判定を行うので、４クラスのｒａｎｋｉｎｇ ＬＳＰＣを用いた大小比較判定部１８２Ａは、テストデータと比較用基底データとの説明変数の差分（ｘ^ｔｅ−ｘ_ｋ）に対し、２データ間の目的変数の大小を推定（ｙ^ｔｅ＜ｙ_ｋか、ｙ^ｔｅ≧ｙ_ｋかを推定）して、上記式（１３）のように４つにクラス分けする。
そして、４クラスのｒａｎｋｉｎｇ ＬＳＰＣを用いた大小比較判定部１８２Ａは、上記大小判定結果を各クラスの確信度の形式で出力する。例えば、ｘ^ｔｅとｘ_ｋの比較のケースにおいては、４クラスのｒａｎｋｉｎｇ ＬＳＰＣを用いた大小比較判定部１８２Ａは、例えば、クラス１〜クラス４の確信度がそれぞれ０．６５，０．２，０．１，０．０５であるとして出力する。
スコア化処理部１８４Ａは、比較用基底データ毎に出力した大小判定比較結果を用いて、それぞれスコア化処理を、上記式（２４）、式（２５）、および式（２１）に従って実施する。
そして、スコア合計処理部１８６は、比較用基底データ毎に算出したスコアを全て加算し、上記式（２３）に示されるように、算出したスコアが最大になる箇所を、印象度の推定結果として出力する。印象度の推定結果は、『テストデータｘ^ｔｅを入力した場合の、ｒａｎｋｉｎｇ ＬＳＰＣによる目的変数の推定結果（例えば、「かわいらしい」に関する印象度推定結果）』である。
電子機器で第２の実施例に係る印象度推定装置１０Ａを構成する場合、印象度推定装置１０Ａは、プログラム制御により動作するコンピュータで実現可能である。図示はしないが、この種のコンピュータは、周知のように、データを入力する入力装置と、データ処理装置と、データ処理装置での処理結果を出力する出力装置と、種々のデータベースとして働く補助記憶装置とを備えている。そして、データ処理装置は、プログラムを記憶するリードオンリメモリ（ＲＯＭ）と、データを一時的に記憶するワークメモリとして使用されるランダムアクセスメモリ（ＲＡＭ）と、ＲＯＭに記憶されたプログラムに従って、ＲＡＭに記憶されているデータを処理する中央処理装置（ＣＰＵ）とから構成される。
この場合、入力装置は、人物画像（画像データ）を入力するための装置（図示せず）として動作する。データ処理装置は、データ取得手段３２、回帰分析モードのニューラルネットワーク（連続量推定手段）１６、およびランキング最小二乗確率的識別器（順序推定手段）１８Ａとして動作する。そして、補助記憶装置が、複数個の比較用基底データを蓄積する蓄積手段（図示せず）として働く。
換言すれば、第２の実施例に係る印象度推定装置１０Ａの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＯＭに記憶された印象度推定プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該印象度推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された印象度推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
このような構成の印象度推定装置１０Ａは、人物の両端の印象度を精度よく推定することが出来る。
尚、本第２の実施例でも、顔特徴ベクトルを算出する手段として、ニューラルネットワーク１６中の特徴ベクトル算出部３４を利用しているが、それに限定されず、他の周知な種々の顔特徴ベクトル算出手段を用いても良い。

次に、図７を参照して、本発明の第３の実施例に係る印象度推定装置１０Ｂについて説明する。
図示の印象度推定装置１０Ｂは、最小二乗確率的識別器（ＬＳＰＣ）２０および識別器出力の重み付き統合部２２がさらに付加されている点を除いて、図５に示した印象度推定装置１０Ａと同様の構成を有し、動作をする。したがって、図５に示したものと同様の構成要素には同一の参照符号を付し、説明の簡略化のために、それらの説明について省略する。
上述したように、多クラスのｒａｎｋｉｎｇ ＬＳＰＣを導入することにより、人物の両端の印象度の精度は改善するが、人物の真ん中付近の印象度の精度は芳しくない。
そこで、本第３の実施例に係る印象度推定装置１０Ｂでは、多クラスのｒａｎｋｉｎｇ ＬＳＰＣによる識別器に加えて、従来技術の手法である回帰分析（ｒｅｇｒｅｓｓｉｏｎ）とクラス識別（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）の識別器とを統合することにより、印象度の推定結果の安定化を図っている。
最初に、回帰分析モードのニューラルネットワーク１６について説明する。回帰分析モードのニューラルネットワーク１６は、人物の印象度を連続量として推定する回帰問題として解く、回帰モードのニューラルネットワークである。複数種類の印象度推定問題を扱う場合は、マルチタスクで学習する場合もある。
引き続いて、ニューラルネットワーク１６の出力のスコア化について説明する。

する。ここでは、推定誤差の標準偏差を０．５とした。各印象度ｚ（０．０≦ｚ≦４．０）（０．２５間隔）に対し、一度、下記の式（２６）

によりスコアを割り当てたのち、スコアを下記の式（２７）で正規化する。

そして、ベクトルｆ_１＝｛ｆ_１（ｚ）｝_{０．０≦ｚ≦４．０}をニューラルネットワーク（回帰モード）１６の出力スコア（第１の印象度スコア）とする。
上述したように、回帰分析モードのニューラルネットワーク１６は、人物の印象度を連続量として推定する回帰問題として解くので、連続量推定手段とも呼ばれる。
次に、最小二乗確率的識別器（ＬＳＰＣ）２０について説明する。最小二乗確率的識別器（ＬＳＰＣ）２０は、ニューラルネットワーク１６の中間層１６４の出力を顔特徴ベクトルとして、印象度推定問題を識別問題として解く。この場合、人物の印象度の値域を、例えば（０．０〜／０．５〜／１．５〜／２．５〜／３．５〜）の様に、数クラスに区分し、これらのクラスを識別する様にする。印象度の大小に従って区分を行っているため、これは、ポイントワイズ・アプローチに基づくランキング学習の１種と解釈することも出来る。
引き続いて、最小二乗確率的識別器（ＬＳＰＣ）２０の出力のスコア化について説明する。
最小二乗確率的識別器（ＬＳＰＣ）２０は、各クラスの確信度を確率形式で出力する。ここでは、前述したニューラルネットワーク（回帰モード）１６の出力に対する第１の印象度スコア（ベクトル）ｆ_１の形式に合わせる様に、スコア化を行う。
例えば、印象度を０．０〜／０．５〜／１．５〜／２．５〜／３．５〜４．０の５クラスで識別を行う時、最小二乗確率的識別器（ＬＳＰＣ）２０の出力した確信度が順にｐ_１，ｐ_２，・・・，ｐ_５であったする。この時、各印象度ｚに対し、一旦、次の（式２８）

（ｉは、印象度ｚの属するクラスに対応）によりスコアを割り当てたのち、スコアを下記の式（２９）で正規化する。

そして、ベクトルｆ_２＝｛ｆ_２（ｚ）｝_{０．０≦ｚ≦４．０}を最小二乗確率的識別器（ＬＳＰＣ）２０の出力スコア（第２の印象度スコア）とする。
最小二乗確率的識別器（ＬＳＰＣ）２０では、人物の印象度を離散量として推定するので、離散量推定手段とも呼ばれる。
４クラスのランキング最小二乗確率的識別器１８Ａでは、上記数４３で表されるベクトルｆ_３をその出力スコア（第３の印象度スコア）とする。このスコアの形式は、上記ベクトルｆ_１，ｆ_２に合わせるものとする。
ランキング最小二乗確率的識別器１８Ａは、人物の印象度を、上述したように、テストデータと複数の比較用基底データとを順序的に比較することにより推定するので、順序推定手段とも呼ばれる。
次に、識別器出力の重み付き統合部２２について説明する。
識別器出力の重み付き統合部２２は、重みｗ_１、ｗ_２、ｗ_３を用いて、各印象度ｙ（０．０≦ｙ≦４．０，０．２５間隔）における各識別器１６，２０，１８Ａの出力スコア（第１乃至第３の印象度スコア）を、下記の式（３０）で表せるように、重み付きで加算する。

そして、識別器出力の重み付き統合部２２は、下記の式（３１）で表されるｙ^＊

となる様なｙ^＊を、印象度の推定結果として出力する。
識別器出力の重み付き統合部２２は、統合手段と呼ばれる。
また、回帰分析モードのニューラルネットワーク１６、最小二乗確率的識別器（ＬＳＰＣ）２０、ランキング最小二乗確率的識別器１８Ａ、および識別器出力の重み付き統合部２２の組み合わせは、統合識別器（１６，２０，１８Ａ，２２）と呼ばれる。
次に、重みの探索方法について説明する。
検証データ（モデル学習に用いていないデータ）を用いて、最適な重みｗ_１、ｗ_２、ｗ_３を虱潰しに探索する。具体的には、数値幅を、０≦ｗ_ｉ≦１、探索間隔を０．０５に設定し、検証用データで、統合識別器（１６，２０，１８Ａ，２２）の評価を実施する。検証用データで評価した時のスコア（各カテゴリの認識率の平均値）が最も高くなる様な重み（ｗ_１、ｗ_２、ｗ_３）を採択する。
電子機器で第３の実施例に係る印象度推定装置１０Ｂを構成する場合、印象度推定装置１０Ｂは、プログラム制御により動作するコンピュータで実現可能である。図示はしないが、この種のコンピュータは、周知のように、データを入力する入力装置と、データ処理装置と、データ処理装置での処理結果を出力する出力装置と、種々のデータベースとして働く補助記憶装置とを備えている。そして、データ処理装置は、プログラムを記憶するリードオンリメモリ（ＲＯＭ）と、データを一時的に記憶するワークメモリとして使用されるランダムアクセスメモリ（ＲＡＭ）と、ＲＯＭに記憶されたプログラムに従って、ＲＡＭに記憶されているデータを処理する中央処理装置（ＣＰＵ）とから構成される。
この場合、入力装置は、人物画像（画像データ）を入力するための装置（図示せず）として動作する。データ処理装置は、データ取得手段３２、回帰分析モードのニューラルネットワーク（連続量推定手段）１６、最小二乗確率的識別器（連続量推定手段）２０、ランキング最小二乗確率的識別器（順序推定手段）１８Ａ、および識別器出力の重み付き統合部（統合手段）２２として動作する。そして、補助記憶装置が、複数個の比較用基底データを蓄積する蓄積手段（図示せず）として働く。
換言すれば、第３の実施例に係る印象度推定装置１０Ｂの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＯＭに記憶された印象度推定プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該印象度推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された印象度推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
次に、人の顔画像を用いて、‘かわいらしい’印象度を推定した場合の実験結果（すなわち、第３の実施例による印象度推定装置１０Ｂの効果）について説明する。
以下では、回帰分析モードのニューラルネットワーク（連続量推定手段）１６を使用した手法を「手法１」と呼び、最小二乗確率的識別器（ＬＳＰＣ）（離散量推定手段）２０を使用した手法を「手法２」と呼び、２クラスのランキング最小二乗確率的識別器（順序推定手段）１８を使用した手法を「手法３’」と呼び、４クラスのランキング最小二乗確率的識別器（順序推定手段）１８Ａを使用した手法を「手法３」と呼ぶことにする。
また、本例では、統合識別器（１６，２０，１８Ａ，２２）における、（手法１：手法２：手法３）の統合比を、０．３５：０．１５：０．５０とした。
印象度区分が（０．０〜／０．５〜／１．５〜／２．５〜／３．５〜４．０）の５クラス識別問題として解いたとする。図８はその識別問題として解いた場合の各クラスの認識率を示し、図９は回帰問題として解いた場合のＭＡＥ（絶対誤差平均）を示す。認識率は、１００％であれば誤りなく認識されたことを示す。また、ＭＡＥ（絶対誤差平均）は、その小さいほど誤差が小さいことを示す。
図８および図９から、手法３において、人物の両端の印象度の推定精度が従来手法（手法１、手法２）より改善していることが分かる。また、（手法３）の４クラスのｒａｎｋｉｎｇ ＬＳＰＣの方が、（手法３’）の２クラスのｒａｎｋｉｎｇ ＬＳＰＣより、やや良いことが見て取れる。
このように、本第３の実施例に係る印象度推定装置１０Ｂでは、複数の識別器１６、２０、１８Ａの出力を重み付きで統合しているので、各識別器の弱点を相補することが出来、単体の識別器では成し得なかった安定した識別精度を実現することが出来る。
尚、本第３の実施例では、順序推定手段として、４クラスのランキング最小二乗確率的識別器１８Ａを使用しているが、その代わりに２クラスのランキング最小二乗確率的識別器１８を使用してもよい。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
例えば、上記第３の実施例では、３つの識別器（連続量推定手段；離散量推定手段；順序推定手段）を統合した場合の例を示しているが、本発明は２つの識別器を統合するようにしても良い。具体的には、本発明の印象度推定装置は、連続量推定手段１６と順序推定手段１８Ａ（又は１８）とを統合しても良いし、離散量推定手段２０と順序推定手段１８Ａ（又は１８）とを統合しても良い。また、上記実施例では、ランキング最小二乗確率的識別器として、２クラスのランキング最小二乗確率的識別器１８と２クラスのランキング最小二乗確率的識別器１８Ａとの例のみを挙げて説明しているが、一般的に、複数クラス（２クラス以上）のランキング最小二乗確率的識別器を使用してよい。

本発明は、顔の印象を変化させる化粧品、メガネ等の販売支援への活用が考えらえる。例えば、化粧品のｗｅｂ販売の場合、消費者は自宅で、スマートフォン・タブレット等のスマートデバイスにより、手元でメイク時の印象変化を確認することが出来る。この際、シミュレーションに利用したメイクアイテムを推薦して購入を促すことが出来る。また、自宅での利用の他に、ドラッグストア店頭やメイクが出来るカフェ等での利用も考えられる。人の第一印象は社会的交流・活動の中で関心を持たれることが多いので、本発明は、今後様々な活用シーンが広がっていくことが期待される。

１０、１０Ａ、１０Ｂ 印象度推定装置
１２ 頭部検出部
１４ 顔検出部
１６ 回帰分析モードのニューラルネットワーク（連続量推定手段）
１６２ 入力層
１６４ 中間層
１６６ 出力層
１８、１８Ａ ランキング最小二乗確率的識別器（順序推定手段）
１８２、１８２Ａ 大小比較判定部
１８４、１８４Ａ スコア化処理部
１８６ スコア合計処理部
２０ 最小二乗確率的識別器（離散量推定手段）
２２ 識別器出力の重み付き統合部（統合手段）
３４ 特徴ベクトル算出部
この出願は、２０１３年７月１８日に出願された、日本特許出願第２０１３−１４９１２３号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (24)

1. 画像データに写された人物の印象度を、印象度推定装置を用いて推定する印象度推定方法であって、
   前記画像データから顔画像を抽出する抽出工程と、
   前記顔画像から顔特徴ベクトルを算出する算出工程と、
   二標本間の印象度の大小関係を複数クラスのランキング最小二乗確率的識別器によりモデル化し、前記顔画像ベクトルを説明変数とするテストデータと学習データから既に得られた複数個の比較用基底データとを前記複数クラスのランキング最小二乗確率的識別器によって順次比較することよって得られる各クラスの確信度を元にスコアリングして、前記人物の印象度を推定する推定工程と、
   を含む印象度推定方法。
2. 前記複数個の比較用基底データの各々は、顔画像の特徴量である比較用説明変数と該比較用説明変数に対応する印象度の大小を数値化した既知の比較用目的変数とから成る学習データであり、
   前記テストデータは、前記顔特徴ベクトルのテスト用説明変数と該テスト用説明変数に対応する未知のテスト用目的変数とから成り、
   前記推定工程は、
   前記テストデータと前記複数個の比較用基底データとを前記複数クラスのランキング最小二乗確率的識別器を用いて順次に比較して、前記テストデータのテスト用説明変数と各比較用基底データの比較用説明変数の差分に対して、前記テストデータのテスト用目的変数と各比較用基底データの比較用目的変数の差を、大小の度合いに応じて複数のクラスにクラス分けして、前記各クラスの確信度を得る工程と、
   該各クラスの確信度を前記比較用基底データ毎にスコア処理してスコアを得る工程と、
   前記比較用基底データ毎に算出したスコアを全て加算して、算出した合計スコアが最大となる箇所を、前記人物の印象度と推定する工程と、
   を有する、請求項１に記載の印象度推定方法。
3. 前記複数個の比較用基底データは、前記複数クラスのランキング最小二乗確率的識別器のモデル学習段階で既に得られたものである、請求項２に記載の印象度推定方法。
4. 前記複数クラスのランキング最小二乗確率的識別器は、２クラスのランキング最小二乗確率的識別器から成る、請求項１乃至３のいずれか１項に記載の印象度推定方法。
5. 前記複数クラスのランキング最小二乗確率的識別器は、３クラス以上のランキング最小二乗確率的識別器から成る、請求項１乃至３のいずれか１項に記載の印象度推定方法。
6. 前記人物の印象度は、「明るくさわやか」、「かわいらしい」、「ビジネス的」、「やさしい」、および「健康的」を含む印象から選択された少なくとも１つの印象の度合いを表す、請求項１乃至５のいずれか１項に記載の印象度推定方法。
7. 前記推定工程は、前記人物の印象度として、前記少なくとも１つの印象を複数段階で評価する、請求項６に記載の印象度推定方法。
8. 画像データに写された人物の印象度を推定する印象度推定装置であって、
   前記画像データから顔画像を抽出するデータ取得手段と、
   前記顔画像から顔特徴ベクトルを算出する特徴ベクトル算出手段と、
   二標本間の印象度の大小関係を複数クラスのランキング最小二乗確率的識別器によりモデル化し、前記顔画像ベクトルを説明変数とするテストデータと学習データから既に得られた複数個の比較用基底データとを前記複数クラスのランキング最小二乗確率的識別器によって順次比較することよって得られる各クラスの確信度を元にスコアリングして、前記人物の印象度を推定する順序推定手段と、
   を含む印象度推定装置。
9. 前記複数個の比較用基底データの各々は、顔画像の特徴量である比較用説明変数と該比較用説明変数に対応する印象度の大小を数値化した既知の比較用目的変数とから成る学習データであり、
   前記テストデータは、前記顔特徴ベクトルのテスト用説明変数と該テスト用説明変数に対応する未知のテスト用目的変数とから成り、
   前記順序推定手段は、
   前記テストデータと前記複数個の比較用基底データとを前記複数クラスのランキング最小二乗確率的識別器を用いて順次に比較して、前記テストデータのテスト用説明変数と各比較用基底データの比較用説明変数の差分に対して、前記テストデータのテスト用目的変数と各比較用基底データの比較用目的変数の差を、大小の度合いに応じて複数のクラスにクラス分けして、前記各クラスの確信度を得る大小比較判定部と、
   該各クラスの確信度を前記比較用基底データ毎にスコア処理してスコアを得るスコア化処理部と、
   前記比較用基底データ毎に算出したスコアを全て加算して、算出した合計スコアが最大となる箇所を、前記人物の印象度と推定するスコア合計処理部と、
   を有する、請求項８に記載の印象度推定装置。
10. 前記複数個の比較用基底データは、前記複数クラスのランキング最小二乗確率的識別器のモデル学習段階で既に得られたものである、請求項９に記載の印象度推定装置。
11. 前記複数クラスのランキング最小二乗確率的識別器は、２クラスのランキング最小二乗確率的識別器から成る、請求項８乃至１０のいずれか１項に記載の印象度推定装置。
12. 前記複数クラスのランキング最小二乗確率的識別器は、３クラス以上のランキング最小二乗確率的識別器から成る、請求項８乃至１０のいずれか１項に記載の印象度推定装置。
13. 前記人物の印象度は、「明るくさわやか」、「かわいらしい」、「ビジネス的」、「やさしい」、および「健康的」を含む印象から選択された少なくとも１つの印象の度合いを表す、請求項８乃至１２のいずれか１項に記載の印象度推定装置。
14. 前記順序推定手段は、前記人物の印象度として、前記少なくとも１つの印象を複数段階で評価する、請求項１３に記載の印象度推定装置。
15. コンピュータに、画像データに写された人物の印象度を推定させる印象度推定プログラムであって、前記コンピュータに、
    前記画像データから顔画像を抽出する抽出手順と、
    前記顔画像から顔特徴ベクトルを算出する算出手順と、
    二標本間の印象度の大小関係を複数クラスのランキング最小二乗確率的識別器によりモデル化し、前記顔画像ベクトルを説明変数とするテストデータと学習データから既に得られた複数個の比較用基底データとを前記複数クラスのランキング最小二乗確率的識別器によって順次比較することよって得られる各クラスの確信度を元にスコアリングして、前記人物の印象度を推定する推定手順と、
    を実行させる印象度推定プログラム。
16. 前記複数個の比較用基底データの各々は、顔画像の特徴量である比較用説明変数と該比較用説明変数に対応する印象度の大小を数値化した既知の比較用目的変数とから成る学習データであり、
    前記テストデータは、前記顔特徴ベクトルのテスト用説明変数と該テスト用説明変数に対応する未知のテスト用目的変数とから成り、
    前記推定手順は、前記コンピュータに、
    前記テストデータと前記複数個の比較用基底データとを前記複数クラスのランキング最小二乗確率的識別器を用いて順次に比較して、前記テストデータのテスト用説明変数と各比較用基底データの比較用説明変数の差分に対して、前記テストデータのテスト用目的変数と各比較用基底データの比較用目的変数の差を、大小の度合いに応じて複数のクラスにクラス分けして、前記各クラスの確信度を得る手順と、
    該各クラスの確信度を前記比較用基底データ毎にスコア処理してスコアを得る手順と、
    前記比較用基底データ毎に算出したスコアを全て加算して、算出した合計スコアが最大となる箇所を、前記人物の印象度と推定する手順と、
    を実行させる、請求項１５に記載の印象度推定プログラム。
17. 前記複数個の比較用基底データは、前記複数クラスのランキング最小二乗確率的識別器のモデル学習段階で既に得られたものである、請求項１６に記載の印象度推定プログラム。
18. 前記複数クラスのランキング最小二乗確率的識別器は、２クラスのランキング最小二乗確率的識別器から成る、請求項１５乃至１７のいずれか１項に記載の印象度推定プログラム。
19. 前記複数クラスのランキング最小二乗確率的識別器は、３クラス以上のランキング最小二乗確率的識別器から成る、請求項１５乃至１７のいずれか１項に記載の印象度推定プログラム。
20. 前記人物の印象度は、「明るくさわやか」、「かわいらしい」、「ビジネス的」、「やさしい」、および「健康的」を含む印象から選択された少なくとも１つの印象の度合いを表す、請求項１５乃至１９のいずれか１項に記載の印象度推定プログラム。
21. 前記推定手順は、前記コンピュータに、前記人物の印象度として、前記少なくとも１つの印象を複数段階で評価させる、請求項２０に記載の印象度推定プログラム。
22. 画像データに写された人物の印象度を、印象度推定装置を用いて推定する印象度推定方法であって、
    前記画像データから顔画像を抽出する抽出工程と、
    前記顔画像をニューラルネットワークに入力して得られる連続量である推定印象度をスコアリングすることによって第１の印象度スコアを推定すると共に、前記顔画像を前記ニューラルネットワークに入力して該ニューラルネットワークの中間層から得られる中間層データを顔特徴ベクトルとして出力する第１の推定工程と、
    前記顔特徴ベクトルを最小二乗確率的識別器に入力して得られる離散量である各クラスの確信度をスコアリングすることによって第２の印象度スコアを推定する第２の推定工程と、
    二標本間の印象度の大小関係を複数クラスのランキング最小二乗確率的識別器によりモデル化し、前記顔画像ベクトルを説明変数とするテストデータと学習データから既に得られた複数個の比較用基底データとを前記複数クラスのランキング最小二乗確率的識別器によって順次比較することよって得られる各クラスの確信度を元にスコアリングすることによって第３の印象度スコアを推定する第３の推定工程と、
    前記第１乃至第３の印象度スコアを重み付きで統合して、前記人物の印象度を推定する統合工程と、
    を含む印象度推定方法。
23. 画像データに写された人物の印象度を推定する印象度推定装置であって、
    前記画像データから顔画像を抽出するデータ取得手段と、
    前記顔画像をニューラルネットワークに入力して得られる連続量である推定印象度をスコアリングすることによって第１の印象度スコアを推定すると共に、前記顔画像を前記ニューラルネットワークに入力して該ニューラルネットワークの中間層から得られる中間層データを顔特徴ベクトルとして出力する連続量推定手段と、
    前記顔特徴ベクトルを最小二乗確率的識別器に入力して得られる離散量である各クラスの確信度をスコアリングすることによって第２の印象度スコアを推定する離散量推定手段と、
    二標本間の印象度の大小関係を複数クラスのランキング最小二乗確率的識別器によりモデル化し、前記顔画像ベクトルを説明変数とするテストデータと学習データから既に得られた複数個の比較用基底データとを前記複数クラスのランキング最小二乗確率的識別器によって順次比較することよって得られる各クラスの確信度を元にスコアリングすることによって第３の印象度スコアを推定する順序推定手段と、
    前記第１乃至第３の印象度スコアを重み付きで統合して、前記人物の印象度を推定する統合手段と、
    を含む印象度推定装置。
24. コンピュータに、画像データに写された人物の印象度を推定させる印象度推定プログラムであって、前記コンピュータに、
    前記画像データから顔画像を抽出する抽出手順と、
    前記顔画像をニューラルネットワークに入力して得られる連続量である推定印象度をスコアリングすることによって第１の印象度スコアを推定すると共に、前記顔画像を前記ニューラルネットワークに入力して該ニューラルネットワークの中間層から得られる中間層データを顔特徴ベクトルとして出力する第１の推定手順と、
    前記顔特徴ベクトルを最小二乗確率的識別器に入力して得られる離散量である各クラスの確信度をスコアリングすることによって第２の印象度スコアを推定する第２の推定手順と、
    二標本間の印象度の大小関係を複数クラスのランキング最小二乗確率的識別器によりモデル化し、前記顔画像ベクトルを説明変数とするテストデータと学習データから既に得られた複数個の比較用基底データとを前記複数クラスのランキング最小二乗確率的識別器によって順次比較することよって得られる各クラスの確信度を元にスコアリングすることによって第３の印象度スコアを推定する第３の推定手順と、
    前記第１乃至第３の印象度スコアを重み付きで統合して、前記人物の印象度を推定する統合手順と、
    を実行させる印象度推定プログラム。

Images