JPWO2011148596A1 - 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム - Google Patents

Abstract

顔特徴点信頼度生成手段が、顔画像から各顔特徴点の信頼度マップを生成する。初期顔特徴点位置計算手段が、信頼度マップにもとづいて顔画像における各顔特徴点の位置を計算する。外れ顔特徴点判定手段が、各顔特徴点ごとに、所定の条件に合致しない外れ顔特徴点であるか否かを判定する。顔特徴点差異計算手段が、各顔特徴点のうち、外れ顔特徴点であると判定された顔特徴点を除外したそれぞれの顔特徴点の位置と、それぞれの顔特徴点の対応点の位置との差異をそれぞれ計算する。顔特徴点位置補正手段が、外れ顔特徴点判定手段の判定結果、および顔特徴点差異計算手段の計算結果にもとづいて、所定の顔特徴点の位置を補正する。

Description

本発明は、画像から検出した目、鼻等の顔の器官の特徴点位置を補正する顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラムに関する。

顔が撮影された画像（以下、顔画像という）から目、および鼻等の顔の器官の特徴点（以下、顔特徴点という）の位置（以下、顔特徴点位置という）を検出して出力する技術は、顔の向きの推定や、顔の認証、および表情の認識等の処理を高い精度で行うために重要であり、種々の方法が提案されている。

例えば、非特許文献１には、顔特徴点を検出して顔特徴点位置を出力する方法として、統計的な顔形状モデルにもとづいて、検出した顔特徴点位置を補正する方法が記載されている。この方法では、まず、顔特徴点ごとに構築した顔特徴点検出器が顔領域に適用されて顔特徴点が検出され、検出された顔特徴点ごとに顔特徴点らしさを表す信頼度マップが生成される。

次に、顔特徴点ごとに、信頼度が高く、統計的な顔形状モデルによって示される位置との差が小さくなるような顔特徴点位置が所定の評価関数にもとづいて探索される。このとき、統計的な顔形状モデルによって示される位置から遠く離れた顔特徴点位置にはペナルティが与えられる（具体的には、重み付けがされない）。そのため、顔画像において顔特徴点の一部または全部が遮蔽されている場合でも、尤もらしい顔特徴点位置が得られる。

また、特許文献１には、顔特徴点を検出して顔特徴点位置を出力する方法として、幾何学的な配置関係にもとづいて、検出した顔特徴点位置を補正する方法が記載されている。この方法では、まず、入力された信頼度マップにもとづいて顔画像中の顔特徴点が予め設定された探索範囲で探索され、探索結果として初期顔特徴点位置が得られる。

次に、得られた初期顔特徴点位置が、その位置関係にもとづいて、固有空間を利用した統計的な幾何拘束処理で補正される。次に、補正された初期顔特徴点位置にもとづいて探索範囲が再設定され、再設定された範囲で顔特徴点位置が探索される。最後に、初期顔特徴点位置と、再探索結果の顔特徴点位置とについて、それぞれ位置の信頼性が判定されることによって、尤もらしい顔特徴点位置が得られる。

特開２００９−２１１１７７号公報

Ｄ． Ｃｒｉｓｔｉｎａｃｃｅ ａｎｄ Ｔ． Ｆ． Ｃｏｏｔｅｓ，"Ａ Ｃｏｍｐａｒｉｓｏｎ ｏｆ Ｓｈａｐｅ Ｃｏｎｓｔｒａｉｎｅｄ Ｆａｃｉａｌ Ｆｅａｔｕｒｅ Ｄｅｔｅｃｔｏｒｓ"，Ｉｎ ６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ ２００４，Ｋｏｒｅａ，ｐｐ．３５７−３８０

非特許文献１に記載されている方法では、顔画像撮影時の照明の変動や遮蔽等の要因によって、１つまたは複数の顔特徴点について誤った内容の信頼度マップが生成された場合、それらの顔特徴点の位置は、所定の評価関数によりペナルティが与えられて顔形状モデルから計算される平均的な位置の近くの位置に修正される。しかし、当該顔特徴点の信頼度も含めて所定の評価関数の計算が行われるので、誤った内容の信頼度マップの影響を受けて他の顔特徴点の位置がずれてしまうという問題がある。

また、特許文献１に記載されている方法では、１つまたは複数の顔特徴点について信頼度の低い情報が入力された場合に、それ以外の顔特徴点位置が正しく求められていれば幾何学的な配置関係にもとづいて顔特徴点位置が正しく補正される。しかし、さらに、顔検出に失敗するなどして顔領域の位置、大きさおよび画面内回転の正規化に失敗すると、顔特徴点位置が固有空間として表現された標準的な顔形状から全体的に外れてしまう。この場合、どの顔特徴点位置が標準的な顔形状から外れているのかを判断することができない。従って、幾何学的な配置関係を正しく計算することができず、正確な顔特徴点位置を得ることができないという問題がある。

そこで、本発明は、１つまたは複数の顔特徴点について信頼度の低い情報が入力された場合においても、高精度の顔特徴点位置の出力が可能な顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラムを提供することを目的とする。

本発明による顔特徴点位置補正装置は、入力された顔の写った画像から顔の各器官の特徴点である各顔特徴点の特徴点らしさを表す信頼度マップを各顔特徴点ごとに生成する顔特徴点信頼度生成手段と、顔特徴点信頼度生成手段が生成した信頼度マップにもとづいて、顔の写った画像における各顔特徴点の位置を計算する初期顔特徴点位置計算手段と、各顔特徴点ごとに、初期顔特徴点位置計算手段が計算した各顔特徴点の位置と、統計的な顔形状モデルにおいて各顔特徴点にそれぞれ対応する各対応点の位置とにもとづく所定の条件に合致しない顔特徴点である外れ顔特徴点であるか否かを判定する外れ顔特徴点判定手段と、所定の評価関数に従って、各顔特徴点のうち、外れ顔特徴点判定手段が外れ顔特徴点であると判定した顔特徴点を除外したそれぞれの顔特徴点の位置と、それぞれの顔特徴点に対応する対応点の位置との差異をそれぞれ計算する顔特徴点差異計算手段と、外れ顔特徴点判定手段の判定結果、および顔特徴点差異計算手段の計算結果にもとづいて、各顔特徴点のうち、所定の顔特徴点の位置を補正する顔特徴点位置補正手段とを備えたことを特徴とする。

本発明による顔特徴点位置補正方法は、入力された顔の写った画像から顔の各器官の特徴点である各顔特徴点の特徴点らしさを表す信頼度マップを各顔特徴点ごとに生成し、生成した信頼度マップにもとづいて、顔の写った画像における各顔特徴点の位置を計算し、各顔特徴点ごとに、計算した各顔特徴点の位置と、統計的な顔形状モデルにおいて各顔特徴点にそれぞれ対応する各対応点の位置とにもとづく所定の条件に合致しない顔特徴点である外れ顔特徴点であるか否かを判定し、所定の評価関数に従って、各顔特徴点のうち、外れ顔特徴点であると判定した顔特徴点を除外したそれぞれの顔特徴点の位置と、それぞれの顔特徴点に対応する対応点の位置との差異を計算し、外れ顔特徴点であるか否かの判定結果、およびそれぞれの顔特徴点の位置と、それぞれの顔特徴点に対応する対応点の位置との差異の計算の結果にもとづいて、各顔特徴点のうち、所定の顔特徴点の位置を補正することを特徴とする。

本発明による顔特徴点位置補正プログラムは、コンピュータに、入力された顔の写った画像から顔の各器官の特徴点である各顔特徴点の特徴点らしさを表す信頼度マップを各顔特徴点ごとに生成する顔特徴点信頼度生成処理と、顔特徴点信頼度生成処理で生成した信頼度マップにもとづいて、顔の写った画像における各顔特徴点の位置を計算する初期顔特徴点位置計算処理と、各顔特徴点ごとに、初期顔特徴点位置計算処理で計算した各顔特徴点の位置と、統計的な顔形状モデルにおいて各顔特徴点にそれぞれ対応する各対応点の位置とにもとづく所定の条件に合致しない顔特徴点である外れ顔特徴点であるか否かを判定する外れ顔特徴点判定処理と、所定の評価関数に従って、各顔特徴点のうち、外れ顔特徴点判定処理で外れ顔特徴点であると判定した顔特徴点を除外したそれぞれの顔特徴点の位置と、それぞれの顔特徴点に対応する対応点の位置との差異を計算する顔特徴点差異計算処理と、外れ顔特徴点判定処理の判定結果、および顔特徴点差異計算処理の計算結果にもとづいて、各顔特徴点のうち、所定の顔特徴点の位置を補正する顔特徴点位置補正処理とを実行させることを特徴とする。

本発明によれば、１つまたは複数の顔特徴点について信頼度の低い情報が入力された場合においても、当該顔特徴点の位置を補正して、高精度の顔特徴点位置の出力を可能にすることができる。

本発明による顔特徴点位置補正装置の実施形態の構成例を示す説明図である。 本実施形態の顔特徴点位置補正装置の動作を示すフローチャートである。 顔画像入力手段が入力する顔の写った画像の例を示す説明図である。 顔の写った画像において、検出したい顔特徴点を示す説明図である。 右目の瞳中心の信頼度マップの例を示す説明図である。 右目の瞳中心周辺の信頼度マップにおいて、信頼度が最大値となる位置を×印で示す説明図である。 初期顔特徴点位置計算手段が計算した初期顔特徴点の位置を示す説明図である。 ランダムに選択された２個の顔特徴点の例を示す説明図である。 外れ顔特徴点判定手段の判定結果の例を示す説明図である。 顔特徴点位置補正手段が顔形状モデルから外れた顔特徴点の位置を補正した結果の例を示す説明図である。 本発明の概要を示すブロック図である。

本発明による顔特徴点位置補正装置の実施形態について、図面を参照して説明する。図１は、本発明による顔特徴点位置補正装置の実施形態の構成例を示す説明図である。

図１に示すように、本発明による顔特徴点位置補正装置１は、データ処理装置１００と、記憶装置２００とを含む。データ処理装置１００は、顔画像入力手段１１０と、顔特徴点信頼度生成手段１２０と、初期顔特徴点位置計算手段１３０と、外れ顔特徴点判定手段１４０と、顔特徴点差異計算手段１５０と、顔特徴点位置補正手段１６０とを含む。記憶装置２００は、顔形状モデル記憶手段２１０を含む。

顔画像入力手段１１０は、顔の写った画像を入力する。顔特徴点信頼度生成手段１２０は、顔画像入力手段１１０が入力した顔の写った画像から目や鼻などの顔特徴点の特徴点らしさを表す信頼度マップを顔特徴点ごとに生成する。初期顔特徴点位置計算手段１３０は、顔特徴点信頼度生成手段１２０が生成した信頼度マップにもとづいて、顔特徴点位置を計算する。なお、初期顔特徴点位置計算手段１３０によって算出された顔特徴点位置を初期顔特徴点位置という。

外れ顔特徴点判定手段１４０は、初期顔特徴点位置計算手段１３０が計算した初期顔特徴点位置にもとづいて、当該初期顔特徴点位置にある顔特徴点が顔形状モデル記憶手段２１０に記憶されている統計的な顔形状モデルから外れた位置にある顔特徴点である外れ顔特徴点であるか否かを判定する。顔特徴点差異計算手段１５０は、外れ顔特徴点判定手段１４０が外れ顔特徴点であると判定した顔特徴点を除く顔特徴点の位置と、所定の評価関数に従って統計的な顔形状モデルにおいて対応する顔特徴点（対応点）の位置との差異を計算する。顔特徴点位置補正手段１６０は、外れ顔特徴点判定手段１４０の判定結果、および顔特徴点差異計算手段１５０が計算した結果にもとづいて、顔形状モデル記憶手段２１０に記憶されている統計的な顔形状モデルにおいて対応する顔特徴点の位置との誤差の大きな顔特徴点の位置を補正する。

次に、顔特徴点位置補正装置１の動作について、図面を参照して説明する。図２は、図１に示す顔特徴点位置補正装置１の動作を示すフローチャートである。

まず、顔画像入力手段１１０が、顔の写った画像を入力する（ステップＳ１１１）。次に、顔特徴点信頼度生成手段１２０が、目や鼻などの顔特徴点の特徴点らしさを表す信頼度マップをステップＳ１１１の処理で入力された顔の写った画像から生成する（ステップＳ１１２）。初期顔特徴点位置計算手段１３０が、初期顔特徴点位置をステップＳ１１２の処理で生成された信頼度マップにもとづいて計算する（ステップＳ１１３）。

次に、外れ顔特徴点判定手段１４０が、ステップＳ１１３の処理で計算された初期顔特徴点位置にもとづいて、当該初期顔特徴点位置にある顔特徴点が顔形状モデル記憶手段２１０に記憶されている統計的な顔形状モデルから外れた位置にある外れ顔特徴点であるか否かを判定する（ステップＳ１１４）。顔特徴点差異計算手段１５０が、ステップＳ１１４の処理で外れ顔特徴点であると判定された顔特徴点を除く顔特徴点の位置と、所定の評価関数に従って統計的な顔形状モデルにおいて対応する顔特徴点の位置との差異を計算する（ステップＳ１１５）。そして、顔特徴点位置補正手段１６０が、ステップＳ１１４の処理の判定結果、およびステップＳ１１５の処理で計算した結果にもとづいて、顔形状モデル記憶手段２１０に記憶されている統計的な顔形状モデルにおいて対応する顔特徴点の位置との誤差の大きな顔特徴点の位置を補正する（ステップＳ１１６）。

本実施形態によれば、顔画像から検出した顔特徴点のうち、統計的な顔形状モデルにおいて対応する顔特徴点の位置から外れた位置にある顔特徴点を除外して所定の評価関数に従って統計的な顔形状モデルにおいて対応する顔特徴点の位置との差異を計算し、顔特徴点の位置を補正するように構成されているので、高精度の顔特徴点位置の出力が可能である。

次に、本発明の実施形態の構成と動作とについて、具体的な実施例を用いて説明する。
図１に示す本発明による顔特徴点位置補正装置１において、記憶装置２００は、例えば、半導体メモリまたはハードディスクによって実現される。顔画像入力手段１１０は、例えば、デジタルカメラによって実現される。顔画像入力手段１１０、顔特徴点信頼度生成手段１２０、初期顔特徴点位置計算手段１３０、外れ顔特徴点判定手段１４０、顔特徴点差異計算手段１５０、および顔特徴点位置補正手段１６０は、例えば、プログラム制御に従って処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって実現される。また、顔形状モデル記憶手段２１０は、例えば、半導体メモリまたはハードディスクによって実現される。

顔画像入力手段１１０は、顔の写った画像を入力する。図３は、顔画像入力手段１１０が入力する顔の写った画像の例を示す説明図である。顔画像入力手段１１０が入力する画像には、顔の他に背景が含まれていてもよい。また、顔画像入力手段１１０は、予め顔検出を行って、顔の写った画像から顔が写っている領域のみを切り出して入力してもよい。

顔特徴点信頼度生成手段１２０は、顔画像入力手段１１０が入力した顔の写った画像から、目や鼻などの顔特徴点の特徴点らしさを表す信頼度マップを、顔特徴点ごとに生成する。図４は、顔の写った画像において、検出したい顔特徴点を示す説明図である。図４に示す例では、検出したい顔特徴点が×印で示されている。本例では、図４に示すように、左右の眉の両端部と、左右の目の中央部および両端部と、鼻の下部と、口の両端部および中央部との１４点に×印が付されている。顔特徴点信頼度生成手段１２０は、各点に対応して信頼度マップを１４個生成する。なお、顔特徴点の特徴点らしさを表す信頼度マップを生成するための手法は、従来提案されている種々の手法を用いることが可能である。例えば、非特許文献１と同様に、顔画像入力手段１１０が入力した画像の領域全体に、ＶｉｏｌａとＪｏｎｅｓによるＨａａｒ−ｌｉｋｅ特徴にもとづくＡｄａＢｏｏｓｔを用いて構成した顔特徴点ごとの検出器を適用することで信頼度マップを生成してもよい。

図５は、右目の瞳中心の信頼度マップの例を示す説明図である。図５に示す例では、顔特徴点らしさを表す信頼度が高いほど、濃い黒で示されている。図５に示す例では、右目の瞳中心以外に、左目の瞳中心付近、右眉付近、および鼻下付近の信頼度が高いことが示されている。

初期顔特徴点位置計算手段１３０は、顔特徴点信頼度生成手段１２０が生成した信頼度マップにもとづいて初期顔特徴点の位置を計算する。図４に示す１４点の顔特徴点の位置を検出したい場合、１４個の初期顔特徴点の位置が計算される。初期顔特徴点位置計算手段１３０は、例えば、顔特徴点信頼度生成手段１２０が生成した各信頼度マップにおいて、信頼度が最大値となる位置（信頼度が最も高い位置）を初期顔特徴点の位置とする。また、初期顔特徴点位置計算手段１３０は、信頼度マップにおける信頼度が最大値となる位置を初期顔特徴点の位置に用いる以外に、顔特徴点位置の事前分布と顔特徴点信頼度との積が最大となる位置を初期顔特徴点の位置に用いてもよい。

図６は、右目の瞳中心周辺の信頼度マップにおいて、信頼度が最大値となる位置を×印で示す説明図である。図６には、右目の瞳中心以外に、左目の瞳中心付近、右眉付近、および鼻下付近の信頼度も高いことが示されている。しかし、右目の瞳中心の位置の信頼度が最も高いので、右目の瞳中心（×印で示す位置）が初期顔特徴点の位置として選ばれたことが示されている。

外れ顔特徴点判定手段１４０は、初期顔特徴点位置計算手段１３０が計算した初期顔特徴点の位置にもとづいて、当該初期顔特徴点位置にある顔特徴点が顔形状モデル記憶手段２１０に記憶されている統計的な顔形状モデルから外れた位置にある外れ顔特徴点であるか否かを判定する。顔形状モデル記憶手段２１０には、統計的な顔形状モデルとして、図４に示す１４個の顔特徴点の座標値が記録されている。

ここで、１４個の顔特徴点の座標値は、例えば、個人差、表情、および顔向きの変動を含む多数の顔画像の顔特徴点の座標値の平均値としてもよい。また、顔形状モデル記憶手段２１０には、様々な変動を含む多数の顔画像の顔特徴点の座標値にｋ−ｍｅａｎｓ法を適用して得られる複数の座標値の組が顔形状モデルとして記録されていてもよい。統計的な顔形状モデルから外れた位置にある顔特徴点である外れ顔特徴点であるか否かの判定には、例えば、ロバスト推定の手法が適用可能である。

ここで、ロバスト推定の手法の１つである最小メジアン法（ＬＭｅｄＳ（ｌｅａｓｔ ｍｅｄｉａｎ ｏｆ ｓｑｕａｒｅｓ）法）を用いた外れ顔特徴点の判定方法について、図面を参照して説明する。図７は、初期顔特徴点位置計算手段１３０が計算した初期顔特徴点の位置を示す説明図である。ここで、図７に示すように、初期顔特徴点位置計算手段１３０は、顔画像撮影時の照明変動等の要因によって右目の瞳中心部、右目の目頭部、および口の右端部の初期顔特徴点の位置を、顔が撮影された画像において対応する位置から大きく外れた位置に計算したとする。

外れ顔特徴点判定手段１４０は、まず、図４に示す１４個の顔特徴点から２個の顔特徴点をランダムに選択する。図８は、ランダムに選択された２個の顔特徴点の例を示す説明図である。図８（ａ）に示す例では、右目の目尻の顔特徴点、および口の左端の顔特徴点が選択されたことが示されている。

以下、外れ顔特徴点判定手段１４０によって選択された各顔特徴点にａまたはｂを付して説明する。そして、入力画像において、ランダムに選択された２個の顔特徴点に対応する初期顔特徴点の座標値の組を（ｔ_ａ，ｔ_ｂ）とする。なお、ｔ_ａおよびｔ_ｂはそれぞれ入力画像における座標値を表す２次元ベクトルである。また、図８（ｂ）に示すように、顔形状モデル記憶手段２１０に記憶されている統計的な顔形状モデルにおいて、外れ顔特徴点判定手段１４０によって選択された顔特徴点（本例では右目の目尻の点および口の左端の点）に対応する２個の顔特徴点の座標値（つまり、顔形状モデルにおける右目の目尻の点および口の左端の点の座標値）の組を（ｋ_ａ，ｋ_ｂ）とする。なお、ｋ_ａおよびｋ_ｂはそれぞれ顔形状モデルにおける座標値を表す２次元ベクトルである。

ここで、顔形状モデルの顔特徴点の座標系と、初期顔特徴点の座標系とは相違しているので、両者の座標系にもとづく座標値を対応付ける必要がある。そこで、外れ顔特徴点判定手段１４０は、初期顔特徴点の座標値の組の（ｔ_ａ，ｔ_ｂ）から、顔形状モデルの座標値の組の（ｋ_ａ，ｋ_ｂ）への座標変換ｐを求める。座標変換ｐは、ｘ軸方向の平行移動成分、ｙ軸方向の平行移動成分、画面内方向の回転成分、およびスケール成分を有する４次元ベクトルである。次に、外れ顔特徴点判定手段１４０は、式（１）に従って、座標変換ｐを用いて変換した初期顔特徴点の残りの１２個の座標値と、顔形状モデルにおいて当該初期顔特徴点にそれぞれ対応する１２個の顔特徴点の座標値との二乗誤差を計算し、１２個の二乗誤差の中央値を求める。

式（１）におけるｍｅｄは中央値を算出する関数を示す。外れ顔特徴点判定手段１４０は、ランダムに２個の顔特徴点を選択し、座標変換ｐを求め、各座標値の二乗誤差を計算する一連の動作を複数回行う。そして、外れ顔特徴点判定手段１４０は、二乗誤差の中央値が最も小さかった座標変換ｐをｐ’として保持する。最後に、外れ顔特徴点判定手段１４０は、座標変換ｐ’で変換した初期顔特徴点の座標値と顔形状モデルの座標値との二乗誤差が、所定の閾値より大きな顔特徴点を外れ顔特徴点と判定する。

図９は、外れ顔特徴点判定手段１４０の判定結果の例を示す説明図である。図９において、外れ顔特徴点判定手段１４０によって外れ顔特徴点と判定された顔特徴点を丸で囲われた×印で示す。図９には、右目の瞳中心部、右目の目頭部、および口の右端部の初期顔特徴点が外れ顔特徴点と判定されたことが示されている。

なお、外れ顔特徴点判定手段１４０が座標変換ｐを求めるためにランダムに選択する顔特徴点の数は、３個以上であってもよい。例えば、外れ顔特徴点判定手段１４０が、図４に示す１４個の顔特徴点から３個の顔特徴点をランダムに選択したとする。ここで、外れ顔特徴点判定手段１４０によって選択された各顔特徴点にａ、ｂまたはｃを付して説明する。そして、入力画像において、ランダムに選択された３個の顔特徴点に対応する初期顔特徴点の３個の顔特徴点の座標値の組を（ｔ_ａ，ｔ_ｂ，ｔ_ｃ）とする。また、顔形状モデル記憶手段２１０に記憶されている統計的な顔形状モデルにおいて、外れ顔特徴点判定手段１４０によって選択された顔特徴点に対応する３個の顔特徴点の座標値の組を（ｋ_ａ，ｋ_ｂ，ｋ_ｃ）とする。

そして、外れ顔特徴点判定手段１４０は、初期顔特徴点の座標値の組の（ｔ_ａ，ｔ_ｂ，ｔ_ｃ）から、顔形状モデルの座標値の組の（ｋ_ａ，ｋ_ｂ，ｋ_ｃ）に座標変換したときの顔形状モデルの他の座標値と当該座標値に対応する初期顔特徴点の座標値との二乗誤差が最小となる座標変換ｐを求める。そして、外れ顔特徴点判定手段１４０は、ランダムに選択する顔特徴点の数が２個の場合と同様に、外れ顔特徴点であるか否かを判定することができる。

顔特徴点差異計算手段１５０は、外れ顔特徴点判定手段１４０が外れ顔特徴点であると判定した顔特徴点を除外して、顔特徴点の位置について、所定の評価関数に従って統計的な顔形状モデルにおいて対応する顔特徴点の位置との差異を計算する。

なお、顔特徴点差異計算手段１５０は、例えば、外れ顔特徴点判定手段１４０が外れ顔特徴点であると判定した顔特徴点を除く初期顔特徴点の座標値から、当該初期顔特徴点に対応する顔形状モデルにおける顔特徴点の座標値への座標変換ｐを最小二乗法を用いて求める。そして、顔特徴点差異計算手段１５０は、座標変換ｐで変換した初期顔特徴点の座標値と顔形状モデルの座標値との二乗誤差を当該外れ顔特徴点を除く顔特徴点と統計的な顔形状モデルにおける顔特徴点の位置との差異に用いてもよい。また、顔特徴点差異計算手段１５０は、外れ顔特徴点判定手段１４０が求めた座標変換ｐ’を座標変換ｐとして代用してもよい。また、顔特徴点差異計算手段１５０は、座標変換した初期顔特徴点の座標値と顔形状モデルの座標値との二乗誤差以外に、初期顔特徴点の座標における顔特徴点信頼度等を用いてもよい。

顔特徴点差異計算手段１５０は、顔特徴点信頼度を用いる場合には、例えば、座標変換した初期顔特徴点の座標値と顔形状モデルの座標値との二乗誤差と、顔特徴点信頼度の逆数との積を、座標変換した初期顔特徴点の座標値と顔形状モデルの座標値との誤差として出力してもよい。

顔特徴点位置補正手段１６０は、外れ顔特徴点判定手段１４０の判定結果、および顔特徴点差異計算手段１５０が計算した結果にもとづいて、統計的な顔形状モデルとの誤差の大きな顔特徴点の位置を補正する。顔特徴点位置補正手段１６０が位置を補正する顔特徴点は、外れ顔特徴点判定手段１４０によって外れ顔特徴点であると判定された顔特徴点、および顔特徴点差異計算手段１５０が計算した顔形状モデルにおける位置との誤差が所定の閾値以上の顔特徴点である。

顔特徴点位置補正手段１６０は、顔特徴点の補正に、例えば、顔形状モデル記憶手段２１０に記憶されている顔形状モデルを使用してもよい。具体的には、顔特徴点位置補正手段１６０は、顔特徴点差異計算手段１５０が求めた座標変換ｐの逆変換ｐ^〜を用いて、補正対象の顔特徴点に対応する顔形状モデルの顔特徴点の座標値を変換することにより、顔形状モデルから外れた顔特徴点（つまり、補正対象の顔特徴点）の補正後の座標値を求めることができる。

図１０は、顔特徴点位置補正手段１６０が顔形状モデルから外れた顔特徴点の位置を補正した結果の例を示す説明図である。図１０には、図９において、外れ顔特徴点と判定された右目の瞳中心部、右目の目頭部、および口の右端部の位置が適当な位置に補正されたことが示されている。

本実施例によれば、統計的な顔形状モデルにおいて対応する顔特徴点の位置から外れた位置にあると検出された顔特徴点を適当な位置に補正して、高精度の顔特徴点位置を出力することができる。

次に、本発明の概要について説明する。図１１は本発明の概要を示すブロック図である。図１１に示すように、本発明による顔特徴点位置補正装置３００は、顔特徴点信頼度生成手段３０１と、初期顔特徴点位置計算手段３０２と、外れ顔特徴点判定手段３０３と、顔特徴点差異計算手段３０４と、顔特徴点位置補正手段３０５とを含む。

顔特徴点信頼度生成手段３０１は、入力された顔の写った画像から顔の各器官の特徴点である各顔特徴点の特徴点らしさを表す信頼度マップを各顔特徴点ごとに生成する。初期顔特徴点位置計算手段３０２は、顔特徴点信頼度生成手段３０１が生成した信頼度マップにもとづいて、顔の写った画像における各顔特徴点の位置を計算する。外れ顔特徴点判定手段３０３は、各顔特徴点ごとに、初期顔特徴点位置計算手段３０２が計算した各顔特徴点の位置と、統計的な顔形状モデルにおいて各顔特徴点にそれぞれ対応する各対応点の位置とにもとづく所定の条件に合致しない顔特徴点である外れ顔特徴点であるか否かを判定する。

顔特徴点差異計算手段３０４は、所定の評価関数に従って、各顔特徴点のうち、外れ顔特徴点判定手段３０３が外れ顔特徴点であると判定した顔特徴点を除外したそれぞれの顔特徴点の位置と、それぞれの顔特徴点に対応する対応点の位置との差異をそれぞれ計算する。顔特徴点位置補正手段３０５は、外れ顔特徴点判定手段３０３の判定結果、および顔特徴点差異計算手段３０４の計算結果にもとづいて、各顔特徴点のうち、所定の顔特徴点の位置を補正する。

そのような構成によれば、例えば、顔画像撮影時の照明の変動や遮蔽等の要因によって、１つまたは複数の顔特徴点について信頼度の低い（具体的には、例えば、不鮮明な）画像が入力された場合においても、当該顔特徴点の位置を補正して、高精度の顔特徴点位置の出力を可能にすることができる。

また上記の実施形態では、以下の（１）〜（４）に示すような顔特徴点位置補正装置も開示されている。

（１）外れ顔特徴点判定手段３０３が、ロバスト推定の手法を用いて、各顔特徴点が外れ顔特徴点であるか否かを判定する顔特徴点位置補正装置。

（２）外れ顔特徴点判定手段３０３が、各顔特徴点からランダムに顔特徴点を選択する動作、選択した顔特徴点の位置を示す座標値を顔特徴点の対応点の位置を示す座標値に変換するベクトルにもとづいて、当該動作で選択されなかった顔特徴点の位置を示す座標値を変換する動作、および変換後の座標値と顔特徴点の対応点の位置を示す座標値との二乗誤差の中央値を算出する動作を複数回繰り返し、各回の動作で座標値の変換に用いられたベクトルのうち、最も小さい中央値が算出されたベクトルにもとづいて変換された各顔特徴点の座標値と、各顔特徴点の対応点の位置を示す座標値との二乗誤差が所定の閾値よりも大きい顔特徴点を外れ顔特徴点であると判定する顔特徴点位置補正装置。

（３）統計的な顔形状モデルの情報を記憶する顔形状モデル記憶手段を備えた顔特徴点位置補正装置。

（４）顔特徴点位置補正手段３０５が、各顔特徴点のうち、外れ顔特徴点判定手段３０３によって外れ顔特徴点であると判定された顔特徴点、および顔特徴点差異計算手段３０４の計算結果の差異が予め決められた値以上である顔特徴点の位置を補正する顔特徴点位置補正装置。

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１０年５月２６日に出願された日本特許出願２０１０−１２１０１７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明を、顔向き推定や顔認証システムの高精度化、表情認識等に広く利用可能である。

１、３００ 顔特徴点位置補正装置
１００ データ処理装置
１１０ 顔画像入力手段
１２０、３０１ 顔特徴点信頼度生成手段
１３０、３０２ 初期顔特徴点位置計算手段
１４０、３０３ 外れ顔特徴点判定手段
１５０、３０４ 顔特徴点差異計算手段
１６０、３０５ 顔特徴点位置補正手段
２００ 記憶手段
２１０ 顔形状モデル記憶手段

【０００３】
顔特徴点の位置がずれてしまうという問題がある。
［００１０］
また、特許文献１に記載されている方法では、１つまたは複数の顔特徴点について信頼度の低い情報が入力された場合に、それ以外の顔特徴点位置が正しく求められていれば幾何学的な配置関係にもとづいて顔特徴点位置が正しく補正される。しかし、さらに、顔検出に失敗するなどして顔領域の位置、大きさおよび画面内回転の正規化に失敗すると、顔特徴点位置が固有空間として表現された標準的な顔形状から全体的に外れてしまう。この場合、どの顔特徴点位置が標準的な顔形状から外れているのかを判断することができない。従って、幾何学的な配置関係を正しく計算することができず、正確な顔特徴点位置を得ることができないという問題がある。
［００１１］
そこで、本発明は、１つまたは複数の顔特徴点について信頼度の低い情報が入力された場合においても、高精度の顔特徴点位置の出力が可能な顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラムを提供することを目的とする。
課題を解決するための手段
［００１２］
本発明による顔特徴点位置補正装置は、顔の映った画像から生成され、顔の各器官の特徴点である顔特徴点ごとに生成されるその顔特徴点の特徴点らしさを表す信頼度マップにもとづいて、顔の写った画像における各顔特徴点の位置を計算する初期顔特徴点位置計算手段と、各顔特徴点ごとに、初期顔特徴点位置計算手段が計算した各顔特徴点の位置と、統計的な顔形状モデルにおいて各顔特徴点にそれぞれ対応する各対応点の位置とにもとづく所定の条件に合致しない顔特徴点である外れ顔特徴点であるか否かを判定する外れ顔特徴点判定手段と、所定の評価関数に従って、各顔特徴点のうち、外れ顔特徴点判定手段が外れ顔特徴点であると判定した顔特徴点を除外したそれぞれの顔特徴点の位置と、それぞれの顔特徴点に対応する対応点の位置との差異をそれぞれ計算する顔特徴点差異計算手段と、外れ顔特徴点判定手段の判定結果、および顔特徴点差異計算手段の計算結果にもとづいて、各顔特徴

【０００４】
点のうち、所定の顔特徴点の位置を補正する顔特徴点位置補正手段とを備えたことを特徴とする。
［００１３］
本発明による顔特徴点位置補正方法は、顔の映った画像から生成され、顔の各器官の特徴点である顔特徴点ごとに生成されるその顔特徴点の特徴点らしさを表す信頼度マップにもとづいて、顔の写った画像における各顔特徴点の位置を計算し、各顔特徴点ごとに、計算した各顔特徴点の位置と、統計的な顔形状モデルにおいて各顔特徴点にそれぞれ対応する各対応点の位置とにもとづく所定の条件に合致しない顔特徴点である外れ顔特徴点であるか否かを判定し、所定の評価関数に従って、各顔特徴点のうち、外れ顔特徴点であると判定した顔特徴点を除外したそれぞれの顔特徴点の位置と、それぞれの顔特徴点に対応する対応点の位置との差異を計算し、外れ顔特徴点であるか否かの判定結果、およびそれぞれの顔特徴点の位置と、それぞれの顔特徴点に対応する対応点の位置との差異の計算の結果にもとづいて、各顔特徴点のうち、所定の顔特徴点の位置を補正することを特徴とする。
［００１４］
本発明による顔特徴点位置補正プログラムは、コンピュータに、顔の映った画像から生成され、顔の各器官の特徴点である顔特徴点ごとに生成されるその顔特徴点の特徴点らしさを表す信頼度マップにもとづいて、顔の写った画像における各顔特徴点の位置を計算する初期顔特徴点位置計算処理と、各顔特徴点ごとに、初期顔特徴点位置計算処理で計算した各顔特徴点の位置と、統計的な顔形状モデルにおいて各顔特徴点にそれぞれ対応する各対応点の位置とにもとづく所定の条件に合致しない顔特徴点である外れ顔特徴点であるか否かを判定する外れ顔特徴点判定処理と、所定の評価関数に従って、各顔特徴点のうち、外れ顔特徴点判定処理で外れ顔特徴点であると判定した顔特徴点を除外したそれぞれの顔特徴点の位置と、それぞれの顔特徴点に対応する対応点の位置との差異を計算する顔特徴点差異計算処理と、外れ顔特徴点判定処理の判定結果、および顔特徴点差異計算処理の計算結果にもとづ

Claims (7)

1. 入力された顔の写った画像から前記顔の各器官の特徴点である各顔特徴点の特徴点らしさを表す信頼度マップを前記各顔特徴点ごとに生成する顔特徴点信頼度生成手段と、
   前記顔特徴点信頼度生成手段が生成した前記信頼度マップにもとづいて、前記顔の写った画像における前記各顔特徴点の位置を計算する初期顔特徴点位置計算手段と、
   前記各顔特徴点ごとに、前記初期顔特徴点位置計算手段が計算した前記各顔特徴点の位置と、統計的な顔形状モデルにおいて前記各顔特徴点にそれぞれ対応する各対応点の位置とにもとづく所定の条件に合致しない顔特徴点である外れ顔特徴点であるか否かを判定する外れ顔特徴点判定手段と、
   所定の評価関数に従って、前記各顔特徴点のうち、外れ顔特徴点判定手段が外れ顔特徴点であると判定した顔特徴点を除外したそれぞれの顔特徴点の位置と、前記それぞれの顔特徴点に対応する対応点の位置との差異をそれぞれ計算する顔特徴点差異計算手段と、
   前記外れ顔特徴点判定手段の判定結果、および前記顔特徴点差異計算手段の計算結果にもとづいて、前記各顔特徴点のうち、所定の顔特徴点の位置を補正する顔特徴点位置補正手段とを備えた
   ことを特徴とする顔特徴点位置補正装置。
2. 外れ顔特徴点判定手段は、ロバスト推定の手法を用いて、各顔特徴点が外れ顔特徴点であるか否かを判定する
   請求項１記載の顔特徴点位置補正装置。
3. 外れ顔特徴点判定手段は、各顔特徴点からランダムに顔特徴点を選択する動作、選択した前記顔特徴点の位置を示す座標値を前記顔特徴点の対応点の位置を示す座標値に変換するベクトルにもとづいて、前記動作で選択されなかった顔特徴点の位置を示す座標値を変換する動作、および変換後の座標値と前記顔特徴点の対応点の位置を示す座標値との二乗誤差の中央値を算出する動作を複数回繰り返し、各回の動作で座標値の変換に用いられたベクトルのうち、最も小さい中央値が算出されたベクトルにもとづいて変換された前記各顔特徴点の座標値と、前記各顔特徴点の対応点の位置を示す座標値との二乗誤差が所定の閾値よりも大きい顔特徴点を外れ顔特徴点であると判定する
   請求項２記載の顔特徴点位置補正装置。
4. 統計的な顔形状モデルの情報を記憶する顔形状モデル記憶手段を備えた
   請求項１から請求項３のうちいずれか１項記載の顔特徴点位置補正装置。
5. 顔特徴点位置補正手段は、各顔特徴点のうち、外れ顔特徴点判定手段によって外れ顔特徴点であると判定された顔特徴点、および顔特徴点差異計算手段の計算結果の差異が予め決められた値以上である顔特徴点の位置を補正する
   請求項１から請求項４のうちいずれか１項記載の顔特徴点位置補正装置。
6. 入力された顔の写った画像から前記顔の各器官の特徴点である各顔特徴点の特徴点らしさを表す信頼度マップを前記各顔特徴点ごとに生成し、
   生成した前記信頼度マップにもとづいて、前記顔の写った画像における前記各顔特徴点の位置を計算し、
   前記各顔特徴点ごとに、計算した前記各顔特徴点の位置と、統計的な顔形状モデルにおいて前記各顔特徴点にそれぞれ対応する各対応点の位置とにもとづく所定の条件に合致しない顔特徴点である外れ顔特徴点であるか否かを判定し、
   所定の評価関数に従って、前記各顔特徴点のうち、外れ顔特徴点であると判定した顔特徴点を除外したそれぞれの顔特徴点の位置と、前記それぞれの顔特徴点に対応する対応点の位置との差異を計算し、
   外れ顔特徴点であるか否かの判定結果、および前記それぞれの顔特徴点の位置と、前記それぞれの顔特徴点に対応する対応点の位置との差異の計算の結果にもとづいて、前記各顔特徴点のうち、所定の顔特徴点の位置を補正する
   ことを特徴とする顔特徴点位置補正方法。
7. コンピュータに、
   入力された顔の写った画像から前記顔の各器官の特徴点である各顔特徴点の特徴点らしさを表す信頼度マップを前記各顔特徴点ごとに生成する顔特徴点信頼度生成処理と、
   前記顔特徴点信頼度生成処理で生成した前記信頼度マップにもとづいて、前記顔の写った画像における前記各顔特徴点の位置を計算する初期顔特徴点位置計算処理と、
   前記各顔特徴点ごとに、前記初期顔特徴点位置計算処理で計算した前記各顔特徴点の位置と、統計的な顔形状モデルにおいて前記各顔特徴点にそれぞれ対応する各対応点の位置とにもとづく所定の条件に合致しない顔特徴点である外れ顔特徴点であるか否かを判定する外れ顔特徴点判定処理と、
   所定の評価関数に従って、前記各顔特徴点のうち、外れ顔特徴点判定処理で外れ顔特徴点であると判定した顔特徴点を除外したそれぞれの顔特徴点の位置と、前記それぞれの顔特徴点に対応する対応点の位置との差異を計算する顔特徴点差異計算処理と、
   前記外れ顔特徴点判定処理の判定結果、および前記顔特徴点差異計算処理の計算結果にもとづいて、前記各顔特徴点のうち、所定の顔特徴点の位置を補正する顔特徴点位置補正処理とを実行させる
   ための顔特徴点位置補正プログラム。

Images