JP6750055B2 - 顔画像からの定性的特徴を評価するコンピュータ実行ツールを構築する方法 - Google Patents

Description

本発明は、人物の顔の画像から識別される健康状態などの定性的特徴の評価のためのコンピュータ実行ツールを構築する方法及び該方法によって得られるツールに関する。

いずれの顔の表情が健康状態の識別のような定性的特徴の識別を変えるのかを理解することについて多くの研究が注目されている。この研究を実行するには、研究者は、健康状態の識別についてレーティングの差異を説明可能な顔の表情における客観的差異を指摘する前に、顔による健康状態識別レーティングを収集する。

しかしながら、顔について人間から健康状態のレーティングを収集することは、費用及び時間の掛かるタスクである。実際に、各レーティング部が健康状態のレーティングを示す非常に大きなサイズのレーティング部のパネルに各顔画像を提示してから、与えられたすべてのレーティングの平均健康状態のレーティングを各顔について計算する必要がある。

結果として、健康状態のレーティングに関連付けられる顔画像のデータベースは非常に小さい。これは、多くの問題をもたらす。第１に、小さなサイズのデータベースでは、研究者が関連性及び信頼性のある統計結果を取得するのが困難となる。

第２に、既存のデータベースを強化するために、新たな画像から健康状態のレーティングを出力するようにニューラルネットワークなどの人工知能ツールをトレーニングすることが望ましい。しかしながら、既存のデータベースは、そのようなツールをトレーニングするには小さ過ぎる。実際に、ニューラルネットワークの学習を実行するための最小サイズのデータベースは通常、数十万枚の画像までの少なくとも数千枚の画像のものであり、一方の画像及び健康状態のレーティングの利用可能なデータベースのサイズは多くても画像約数百枚分のものである。

したがって、健康状態の識別の現象をより理解し、研究者によって使用されるデータベースを強化するために、顔画像からの健康状態の識別などの定性的特徴の自動的評価を可能とするツールのニーズがある。

本発明は、現在利用可能な非常に小さなサイズのデータベースにもかかわらず、顔画像からの定性的特徴の自動的評価を可能とするツールを構築する方法を提供することによって、上記の問題を解決することを目的とする。

発明の他の目的は、限られた時間及びリソースで現在利用可能なデータベースの強化を可能とすることである。

この目的のため、発明は、人間の顔の画像の処理から、顔の定性的特徴を示すスコアを決定するのに適合されたツールを構築する方法を開示し、ツールはニューラルネットワークを備え、
方法は、コンピュータによって実行され、
−人物の顔の画像から人物の推定年齢を評価するように構成された初期ニューラルネットワークの少なくとも１つのトレーニングセッションを実行するステップであって、初期ニューラルネットワークがニューロン及び関連する重み付けのレイヤを備え、各トレーニングセッションは各顔画像が画像上の人物の生物学的年齢に関連付けられた顔画像の第１のデータベースにおいて実行され、各トレーニングセッションは重み付けが変化したニューラルネットワークの更新バージョンを出力する、ステップと、
−トレーニングセッションに対応する初期ニューラルネットワークの各更新バージョンについて、各顔画像が定性的特徴を示す参照スコアに関連付けられた顔画像の第２のデータベースにおける初期ニューラルネットワークの一部分の誤差を評価するステップであって、第２のデータベースは第１のデータベースよりも下位のサイズを有する、ステップと、
−更新バージョンのすべてから評価された誤差について最小の評価誤差に対応する更新バージョンにおける初期ニューラルネットワークの前記部分をツールのニューラルネットワークとして選択するステップと
を備える。

好ましくは、初期ニューラルネットワークは、顔の画像から特徴を抽出するように構成された特徴抽出部分、及び抽出された特徴から推定年齢を出力するように構成された年齢評価部分を備え、誤差が評価されツールに対するニューラルネットワークとして選択される初期ニューラルネットワークの部分は特徴抽出部分である。

実施形態において、誤差を評価するステップは、顔画像に対する初期ニューラルネットワークの部分の出力と画像に関連するスコアとの間の線形回帰をトレーニングするステップを備える。

好ましい実施形態において、線形回帰をトレーニングするステップは、ｋ−分割交差検証によって実行される。パラメータｋは２〜Ｎであってもよく、Ｎは第２のデータベースにおける画像の枚数である。

好ましくは、方法は、ツールのニューラルネットワークが選択されると、複数の推定器候補の中からある推定器を選択するステップをさらに備え、それは、推定器により推定されるスコアと第２のデータベースの各画像について対応する参照スコアとの間の平均誤差を最小化する。

一実施形態において、各推定器候補は、ｋ’−分割構成でトレーニングされる。

推定器候補は、線形回帰、リッジ回帰、ラッソ回帰又はニューラルネットワークのうちの少なくとも１つを備え得る。

定性的特徴は、以下の、健康状態の推定、魅力度の推定、性別の推定、自信の推定及び女性らしさの推定のうちの１つであってもよい。

発明の他の目的によると、プロセッサによって実行された場合に上記の方法を実行するための命令のセットを備えるコンピュータプログラム製品が開示される。

発明の他の目的によると、人間の顔の画像からの定性的特徴の評価のためのツールが開示され、ツールは、画像を処理して特徴を抽出するように適合されたニューラルネットワークと、抽出された特徴から定性的特徴を示すスコアを推測するように適合された推定器とを備え、上記の方法により構築されることを特徴とする。

発明の他の目的によると、人間の顔の画像から定性的特徴を評価するためのコンピュータ実行方法が開示され、定性的特徴を示すスコアを出力するように画像への前記ツールの適用を備える。

実施形態において、画像は第２のデータベースの画像の部分から構築される顔画像であり、方法は画像及び対応するスコアを第２のデータベースに追加するステップをさらに備える。

発明による方法は、健康状態の識別などの定性的特徴を人間の顔から評価するためのツールを構築することを可能とする。方法は、より大きなサイズの第１のデータベース上で年齢の推定に専用の初期ネットワークをトレーニングすることによって、利用可能なデータベースの制限されたサイズの問題を回避し、このデータベースは画像に示された人物の年齢に関連付けられた顔の画像を備える。年齢を指定するのにデータベースの各画像が閲覧される必要がないので、この種類のデータベースは取得が非常に容易となり、それゆえ一層大きくなる。

そして、方法は、顔画像からの特徴抽出に専用のトレーニングされたネットワークの一部分を抽出する。この部分は、定性的特徴を評価するためのツールのニューラルネットワークを形成する。実際に、顔画像からの特徴抽出も、健康状態又は他の任意の定性的特徴を評価するよりも前に実行されなければならない。

抽出されるニューラルネットワークが定性的特徴の評価に対して関連性を確実に有するために、選択されるトレーニングされたネットワークのバージョンは、定性的特徴を示すスコアに関連付けられた顔画像のより制限されたデータベースにおけるｋ−分割交差検証によって、定性的特徴の評価について最良の決定をもたらすものである。

したがって、方法は、他のより大きなデータベースにおいてトレーニングされた他のネットワークを用いることによってニューラルネットワークをトレーニングするのに利用可能なデータの欠損を補償する。

発明の他の構成及び効果は、添付の図面を参照して非限定的な例によって与えられる以下の詳細な説明から明らかとなる。

実施形態による方法の主なステップを概略的に示す。 顔画像から推定年齢を出力するように構成された初期ニューラルネットワークの概略図である。 トレーニングセット及び検証セットのトレーニング中の初期ネットワークの平均絶対誤差の低下を示す。 初期ネットワークのトレーニングされたバージョンによる初期ネットワークの抽出部分の健康状態の識別についての平均絶対誤差の展開を示す。 方法により得られるツールを概略的に示す。 図６ａは、実施形態によるツール及び閲覧者によってそれぞれ実行された健康状態の識別の性能を示す。図６ｂは、実施形態によるツール及び閲覧者によってそれぞれ実行された健康状態の識別の性能を示す。

図１を参照して、人間の顔の画像からの定性的特徴の自動的評価のためのツールを構築する方法を説明する。

この方法は、少なくとも、プロセッサ、マイクロプロセッサ、コントローラ又は他の任意の等価デバイスである計算機、及び方法を実行するために計算機によって実行される命令を記憶するメモリを備えるコンピュータによって実行される。メモリはまた、これ以降で詳述する第１及び第２のデータベースも記憶し得る。代替的に、第１及び第２のデータベースは、個別のメモリ（例えば、リモートサーバ）に記憶されてもよく、例えば、インターネットなどの電気通信ネットワーク及びコンピュータ上の対応するネットワークインターフェースを通じてコンピュータによってアクセス可能であってもよい。

好ましくは、定性的特徴は健康状態の識別である。他の実施形態において、定性的特徴は、女性らしさ、性別、魅力度又は他の自信の推定であってもよい。

方法により構築されるツールはまた、コンピュータによっても実行される。それは人間の顔の画像を入力として受信し、評価される定性的特徴を示すスコアを出力する。

図５に示すように、方法により構築されるツールは、人間の顔の画像を処理して特徴を抽出するように構成されたニューラルネットワーク、及び抽出された特徴を処理して所望のスコアを出力するように構成された推定器を備える。

先に示したように、ニューラルネットワークは、識別される健康状態スコアに関連付けられた顔画像を備えるデータベースなどの過小なデータベースにおいてはトレーニングされることができず、そのようなデータベースは多くても数百枚の画像及びそれぞれのスコアしか備えない。

この問題を回避するには、図１において、方法は第１のデータベースの初期ニューラルネットワークをトレーニングする第１のステップ１００を備え、第１のデータベースは人間の顔の画像を備え、各画像が画像に示された人物の年齢に関連している。このデータベースは、好ましくは、少なくとも１０，０００枚の画像及び関連する年齢、さらに好ましくは、少なくとも約１００，０００枚の画像及び関連する年齢を備える。

初期ニューラルネットワークは、人間の顔の画像から、画像に示された人物の推定年齢を出力するように構成されたネットワークである。この目的のため、図２に概略的に示すように、初期ニューラルネットワークは、画像から一連の特徴を抽出するように適合された特徴抽出部分ＦＰと、入力として抽出された特徴を受信するとともに推定年齢を出力する年齢評価部分ＥＰとを備える。

当業者には周知のように、初期ニューラルネットワークはニューロンのレイヤを備え、各ニューロンは、他のレイヤによる他のニューロンに接続され、その入力を処理するのに重み付けを用いる。

図２に概略的に示すように、初期ニューラルネットワークの特徴抽出部分ＦＰは多数のブロックを備え得るものであり、各ブロックは、入力画像にフィルタ処理を実行するように適合された少なくとも１つの畳み込みレイヤ、及びプーリングレイヤを備える。

好ましいが限定的でない実施形態によると、初期ニューラルネットワークは、ＶＧＧ−１６ニューラルネットワークであってもよい。このニューラルネットワークは、対象の分類に用いられる直ちに利用可能なネットワークである。さらにより好ましくは、初期ニューラルネットワークはＶＧＧ−１６ニューラルネットワークの変形バージョンであってもよく、変形は年齢評価部分においてニューロンが減少している。したがって、学習努力は年齢評価部分ではなく特徴抽出部分に着目しているので、初期ニューラルネットワークは、この部分が次のステップでは除去されることになるので、過剰に評価部分ＥＰを用いることが防止される。

トレーニングするステップ１００は、第１のデータベースにおいて初期ニューラルネットワークの、エポックとしても知られる複数のトレーニングセッションを実行するステップを備え、各トレーニングセッションは、ネットワークのニューロンの重み付けの変形、及び初期ニューラルネットワークの更新バージョンの出力を備える。

上記で示された例において、変形ＶＧＧ−１６ネットワークは、エポック当たり１０ステップ（すなわち、１０回の学習反復、各学習反復はニューロン重み付けの変形を暗示する）の６００エポックにおける１０−４の学習レートの確率的勾配降下法によりトレーニング可能である。

図３に、トレーニングセッション（又はエポック）の数に従って、初期ニューラルネットワークトレーニングのセット及び検証セットにおける平均絶対誤差をそれぞれ示す。図３の曲線は、平滑化されている。

平均絶対誤差は、トレーニングセッション数とともに減少することが分かる。しかしながら、初期ニューラルネットワークは年齢の推定のためにトレーニングされるので、非常に重要な学習は、このネットワークの特異性を高くし、定性的特徴を示すスコアを出力する所望のアプリケーションに対する関連性を低下させ得る。

したがって、図１において、方法は、初期ニューラルネットワークの各更新バージョンに対して、すなわち、重み付け係数がトレーニングセッション後に更新された初期ニューラルネットワークの各バージョンについて、定性的特徴の推定における前記更新された初期ニューラルネットワークの一部分の誤差を評価するステップ２００を備える。

一実施形態において、このステップは各トレーニングセッションの後に実行されてもよく、それによりステップ１００及び２００は交互に反復して実行される。他の実施形態において、各トレーニングセッション後の重み付け係数は、すべてのトレーニングセッションに対して記憶され、そして、各誤差評価に対して読み込まれる。その場合に、ステップ１００はすべてのトレーニングセッションに対して１回実行され、ステップ２００もステップ１００の後に１回実行される。

更新された初期ニューラルネットワークの前記部分は、好ましくは、前述の特徴抽出部分である。

評価ステップは、評価されるニューラルネットワークの一部分の出力において、ニューラルネットワークの部分によって抽出された特徴から評価される定性的特徴を示すスコアを出力する推定器を追加することによって実行される。好ましい実施形態において、推定器は線形回帰である。

線形回帰は、評価される定性的特徴を示すスコアに関連付けられた顔画像を備える第２のデータベースにおいてトレーニングされる。このデータベースにおいて、スコアは、通常、レーティング部のグループによって提供されている。したがって、この第２のデータベースは、第１のものよりも小さなサイズのものであり、百又は数百枚までの画像及び関連スコアしか備えないこともある。

この非常に小さなサイズの第２のデータベースを仮定すると、線形回帰はｋ−分割交差検証によってトレーニングされ、ここでｋは、Ｎをデータベースにおける画像の枚数として２〜Ｎの間で選択される。例えば、１３０枚の画像のデータベースでは、ｋは２０と等しくてもよい。

したがって、ステップ２００は、第２のデータベースを概ね同じサイズのｋ個のサブセットに分割するステップと、そして、トレーニングセッションの後に得られる初期ニューラルネットワークの各更新バージョンに対して、ｋ個のサブセットの各々について、
−サブセットを選択するステップと、
−サブセットに含まれていない第２のデータベースの各画像について、初期ニューラルネットワークの部分を適用することによって特徴のそれぞれのセットを抽出するステップと、
−画像から抽出された特徴の各セットと画像に関連したスコアとの間の回帰関数を決定するステップと、
−サブセットの各画像について、特徴のセットを抽出するように初期ニューラルネットワークの前記部分を適用するステップと、
−推定スコアを推測するように特徴の各セットに回帰関数を適用するステップと、
−各推定スコアと画像に関連する対応するスコアとの間の全体の誤差を計算するステップとを備える。

初期ニューラルネットワークの各更新バージョンについてステップ２００で出力される誤差は、ｋ個のサブセットの各々について計算された誤差に基づいて計算される。例えば、それは、ｋ個のサブセットの各々について計算されたすべての誤差の平均絶対誤差である。

図４には、各トレーニングセッションについて平均絶対誤差が示され、他の曲線は平滑化された平均絶対誤差である例を示す。

平滑化された平均絶対誤差の曲線は、初期ニューラルネットワークをトレーニングするステップ１００とともに減少し始めてから再度増加し、重要な多数のトレーニングセッション後について、初期ニューラルネットワークは年齢の推定のタスクに非常に特異的となることに気付くはずである。

そして、方法は、定性的特徴を評価するためのツールのニューラルネットワークとして、ステップ２００で最低誤差を示す更新バージョンにおける初期ニューラルネットワークの部分（例えば、特徴抽出部分）を選択するステップ３００を備える。言い換えると、ステップ３００は、定性的特徴の評価に最小誤差をもたらす重み付け係数で初期ニューラルネットワークの部分を選択することを備える。

図４に示す例において、選択されるバージョンは、約４１０番目のトレーニングセッション又はエポックである。

ツールのニューラルネットワークＮが決定されると、その後方法は、ニューラルネットワークＮによって抽出される特徴から、評価される定性的特徴を示すスコアを推測するように最良の推定器を決定するステップ４００を備える。

このステップ４００は、推定器によって出力されるスコアとデータベースの各画像に指定されたスコアとの間の平均絶対誤差を各推定器について推測するように、第２のデータベースにおいて複数の候補推定器をｋ’−分割交差検証によってトレーニングするステップ４１０によって実行される。このステップの間、ｋ’は、好ましくは、ステップ２００において用いられたｋに等しい。したがって、ｋ’は、例えば、ｋと同じであってもよい。そして、ステップ４００は、最低平均絶対誤差を示す候補推定器を選定するステップ４２０を備える。

候補推定器は、線形回帰、リッジ回帰、ラッソ回帰などを備え得る。それらはまた、異なるパラメータを有する同じタイプの回帰のいくつかのバージョンも備え得る。それらはまた、抽出された特徴からスコアを出力するように構成された他のニューラルネットワークも備え得る。

以下の表１に一例を詳述す。ここで、３つの候補推定器は、健康状態スコアが注釈された１３０枚の画像を備える第２のデータベースにおいてテストされている。最良の推定器はα＝１０^−３によるリッジ回帰であり、αはＬ_２正規化に対するペナルティ係数であることが分かる。

第２のデータベースにおける非常に少ない枚数（例えば、１３０枚）の画像によって、リッジ回帰の線形回帰などの単純な推定器がニューラルネットワークなどのより複雑な推定器よりも性能が優れることとなることが強調される。

図５を参照すると、方法によって得られるツールは、顔画像から特徴を抽出するように構成されたニューラルネットワークＮである第１のブロック、及びニューラルネットワークによって抽出される特徴から定性的特徴を示すスコアを出力するように構成された推定器Ｅである第２のブロックを備える。

このツールがあれば、識別される健康状態又は他の定性的特徴のスコアを取得するために数十のレーティング部によって閲覧される画像を有する必要はなくなる。代わりに、ツールによって画像を処理するステップ及びスコアを出力するステップしか必要とならない。

比較結果を図６ａ及び６ｂに示す。図６ａは、白人レーティング部のセットによる白人女性の画像からの健康状態の評価の結果を示す。横座標には画像による平均スコアを示し、縦座標には各レーティング部によって与えられる個々のスコアを示す。したがって、この図面は、レーティング部の平均に対する単一レーティング部の性能を示す。この場合における決定係数Ｒ２は−０．３８７であり、ピアソン相関係数は６４．７％のものである。

図６ｂは、レーティング部による平均健康状態スコアと比較した（縦軸における）ツールの予測を示す。そして、決定係数はＲ２＝０．７２２であり、ピアソン相関係数は８５．１％である。したがって、上記によって与えられる方法により展開されるツールは、人間のレーティング部よりも高い精度を発揮しそうである。

さらに、このツールによって、顔画像及び対応するスコアのデータベースが強化され得る。

データベースに既に存在する顔画像は、例えば、１枚の画像から目を、他の画像から鼻などを選出することによって、新たな顔画像を構築するのに用いられてもよい。そして、ツールは、識別される健康状態又は他の定性的特徴の対応するスコアを推測するように、新たに作成された画像上で稼働されてもよく、画像及び対応するスコアがデータベースに追加されてもよい。

したがって、より大きなデータベースが、さらなる研究に利用可能となり得る。

Claims (12)

1. 人間の顔の画像の処理から、前記顔の定性的特徴を示すスコアを決定するように適合されたツールを構築するための方法であって、前記ツールはニューラルネットワーク（Ｎ）を備え、
   前記方法は、コンピュータによって実行され、
   −人物の顔の画像から、前記人物の推定年齢を評価するように構成された初期ニューラルネットワークの少なくとも１つのトレーニングセッションを実行するステップ（１００）であって、前記初期ニューラルネットワークは、顔の画像から特徴を抽出するように構成された特徴抽出部分（ＦＰ）及び前記抽出された特徴から推定年齢を出力するように構成された年齢評価部分（ＥＰ）を備え、前記初期ニューラルネットワークはニューロン及び関連する重み付けのレイヤを備え、各トレーニングセッションは各顔画像が前記画像上の前記人物の生物学的年齢に関連付けられた顔画像の第１のデータベースにおいて実行され、各トレーニングセッションは重み付けが変化した前記ニューラルネットワークの更新バージョンを出力する、ステップ（１００）と、
   −トレーニングセッションに対応する前記初期ニューラルネットワークの各更新バージョンについて、各顔画像が前記定性的特徴を示す参照スコアに関連付けられた顔画像の第２のデータベースにおける前記初期ニューラルネットワークの前記特徴抽出部分（ＦＰ）の誤差を評価するステップ（２００）であって、前記第２のデータベースが前記第１のデータベースよりも下位のサイズを有する、ステップ（２００）と、
   −前記更新バージョンのすべてから評価される前記誤差について最小の評価誤差に対応する前記更新バージョンにおける前記初期ニューラルネットワークの前記特徴抽出部分（ＦＰ）を前記ツールの前記ニューラルネットワーク（Ｎ）として選択するステップ（３００）と
   を備える前記方法。
2. 前記誤差を評価するステップ（２００）が、顔画像に対する前記初期ニューラルネットワークの前記特徴抽出部分（ＦＰ）の出力と前記画像に関連する前記スコアとの間の線形回帰をトレーニングするステップを備える、請求項１に記載の方法。
3. 前記線形回帰をトレーニングするステップが、ｋ−分割交差検証によって実行される、請求項２に記載の方法。
4. ｋが２〜Ｎからなり、Ｎが前記第２のデータベースにおける画像の枚数である、請求項３に記載の方法。
5. 前記ツールの前記ニューラルネットワークが選択されると、複数の推定器候補の中から、推定器であって該推定器によって推定されるスコアと前記第２のデータベースの各画像についての前記対応する参照スコアとの間の平均誤差を最小化する推定器を選択するステップ（４２０）をさらに備える請求項１〜４のいずれかに記載の方法。
6. 各推定器候補がｋ’−分割構成でトレーニングされる（４１０）、請求項５に記載の方法。
7. 前記推定器候補が、線形回帰、リッジ回帰、ラッソ回帰又はニューラルネットワークのうちの少なくとも１つを備える、請求項５又は６に記載の方法。
8. 前記定性的特徴が、以下の、健康状態の推定、魅力度の推定、性別の推定、自信の推定及び女性らしさの推定のうちの１つである、請求項１〜７のいずれかに記載の方法。
9. プロセッサによって実行された場合に、請求項１〜８のいずれかに記載の方法を実行するための命令のセットを備えるコンピュータプログラム製品。
10. 人間の顔の画像からの定性的特徴の評価のためのツールであって、前記画像を処理して特徴を抽出するように適合されたニューラルネットワーク（Ｎ）と、前記抽出された特徴から前記定性的特徴を示すスコアを推測するように適合された推定器（Ｅ）とを備え、請求項１〜８のいずれかに記載の方法によって構築されることを特徴とする前記ツール。
11. 人間の顔の画像から定性的特徴を評価するためのコンピュータ実行方法であって、前記定性的特徴を示すスコアを出力するように請求項１０に記載のツールを前記画像に適用することを備えた前記方法。
12. 前記画像が前記第２のデータベースの画像の部分から構築される顔画像であり、
    前記方法が、前記画像及び対応するスコアを前記第２のデータベースに追加するステップをさらに備える、請求項１１に記載の方法。