JP6465027B2 - 特徴点位置推定装置、特徴点位置推定方法および特徴点位置推定プログラム - Google Patents

Description

本発明は、顔などの画像から目や鼻などの特徴点の位置を検出するための特徴点位置推定装置、特徴点位置推定方法および特徴点位置推定プログラムに関する。

特徴点位置検出とは、顔などの画像中から目、鼻、口などの器官の特徴点位置を検出する技術である。特徴点位置検出は、高精度な顔認証や表情認識などを行うための重要な技術である。

顔の特徴点位置を検出する技術として、例えば、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ（ＡＡＭ）が知られている（非特許文献１）。ＡＡＭでは、複数の顔画像と複数の顔画像に予め入力された特徴点位置の情報から、統計的手法により顔のテクスチャと形状に関するモデルが構築される。ＡＡＭでは、この構築されたモデルが、検出対象の顔が含まれる画像にフィッティングされる。

すなわち、ＡＡＭでは、検出対象の顔画像とモデルから計算される顔画像が近くなるようにモデルのパラメータが繰り返し更新されることで、特徴点位置が検出される。ＡＡＭは、提案されて以来様々な拡張がなされている。例えば、横顔の検出に対応させるために複数のモデルを組み合わせる方法や、高速化または高精度化のための改良案が数多く提案されている。

ＡＡＭは、例えば、一人の人物の顔を学習することによってその人に特化したモデルを構築するなど、少人数の顔を学習および検出する目的で使用される場合には高精度であることが知られている。それに対して、多人数、非コントロール下（様々な照明、姿勢など）の顔を学習および検出する目的で使用される場合には、ＡＡＭは、性能が極端に悪化することが知られている。

そこで、非特許文献１には、ＡＡＭのモデルとは異なり、目、鼻、口などの顔特徴点が全て正しい位置である状態（以下、正しい形状という。）から得られる顔画像と、顔特徴点の一つ以上の点が正しい位置から外れた状態（以下、ずれた形状という。）から得られる顔画像の２クラスに顔画像を識別する２クラス識別器を構築し、この２クラス識別器の識別スコアが向上するようにモデルのパラメータを繰り返し更新することによって顔特徴点を検出する手法が提案されている。

Ｘｉａｏｍｉｎｇ Ｌｉｕ， "Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ Ｆａｃｅ Ａｌｉｇｎｍｅｎｔ，" ＩＥＥE Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌlｉｇｅｎｃｅ （ＰＡＭＩ）， Ｖｏｌ． ３１， Ｎｏ． １１， ｐｐ． １９４１−１９５４， ２００９． Ｄ． Ｃｒｉｓｔｉｎａｃｃｅ ａｎｄ Ｔ． Ｆ． Ｃｏｏｔｅｓ， "Ａ Ｃｏｍｐａｒｉｓｏｎ ｏｆ Ｓｈａｐｅ Ｃｏｎｓｔｒａｉｎｅｄ Ｆａｃｉａｌ Ｆｅａｔｕｒｅ Ｄｅｔｅｃｔｏｒｓ，" Ｉｎ ６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ ２００４， Ｋｏｒｅａ， ｐａｇｅｓ ３５７−３８０， ２００４． ＳＡＴＯ Ａ．， "Ｇｅｎｅｒａｌｉｚｅｄ Ｌｅａｒｎｉｎｇ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ，" Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ８， ４２３−４２９， １９９６．

非特許文献１に記載されている手法では、特徴量としてＨａａｒ−ｌｉｋｅ、識別器としてＢｏｏｓｔｉｎｇの一種であるＧｅｎｔｌｅ Ｂｏｏｓｔが利用されている。しかし、Ｂｏｏｓｔｉｎｇは特徴量を１次元ずつ選択する方式であるため、非特許文献１に記載されている手法を使用した場合、検出される顔特徴点が局所解に陥る傾向にある。すなわち、非特許文献１に記載されている手法を使用した場合、高い精度の顔特徴点を得にくいという課題がある。

そこで、本発明は、モデルのフィッティングが局所解に陥ることを減らし、より実用的な精度で顔特徴点を検出できる特徴点位置推定装置、特徴点位置推定方法および特徴点位置推定プログラムを提供することを目的とする。

本発明による特徴点位置推定装置は、外部から顔画像を入力する画像入力部と、正例と負例で構成される複数の顔画像のテンプレートの中から、顔特徴点位置探索パラメータを用いて入力された顔画像から計算される画像に最も近いテンプレートである最近傍テンプレートを、正例及び負例の中からそれぞれ求め、顔特徴点位置探索パラメータと最近傍テンプレートとから、顔特徴点位置探索パラメータの勾配方向を計算するパラメータ勾配方向計算部と、計算された勾配方向を加算することにより、顔特徴点位置探索パラメータを更新する探索パラメータ更新部と、更新された顔特徴点位置探索パラメータが収束したか否かを判定する収束判定部と、顔特徴点位置探索パラメータが収束したと判定された場合、顔特徴点位置探索パラメータから計算される顔特徴点位置を探索結果として出力する探索結果出力部とを備えることを特徴とする。

本発明による特徴点位置推定方法は、外部から顔画像を入力し、正例と負例で構成される複数の顔画像のテンプレートの中から、顔特徴点位置探索パラメータを用いて入力された顔画像から計算される画像に最も近いテンプレートである最近傍テンプレートを、正例及び負例の中からそれぞれ求め、顔特徴点位置探索パラメータと最近傍テンプレートとから、顔特徴点位置探索パラメータの勾配方向を計算し、計算した勾配方向を加算することにより、顔特徴点位置探索パラメータを更新し、更新した顔特徴点位置探索パラメータが収束したか否かを判定し、顔特徴点位置探索パラメータが収束したと判定した場合、顔特徴点位置探索パラメータから計算される顔特徴点位置を探索結果として出力することを特徴とする。

本発明による特徴点位置推定プログラムは、コンピュータに、外部から顔画像を入力する入力処理、正例と負例で構成される複数の顔画像のテンプレートの中から、顔特徴点位置探索パラメータを用いて入力された顔画像から計算される画像に最も近いテンプレートである最近傍テンプレートを、正例及び負例の中からそれぞれ求め、顔特徴点位置探索パラメータと最近傍テンプレートとから、顔特徴点位置探索パラメータの勾配方向を計算する計算処理、計算された勾配方向を加算することにより、顔特徴点位置探索パラメータを更新する更新処理、更新された顔特徴点位置探索パラメータが収束したか否かを判定する判定処理、および顔特徴点位置探索パラメータが収束したと判定された場合、顔特徴点位置探索パラメータから計算される顔特徴点位置を探索結果として出力する出力処理を実行させることを特徴とする。

本発明によれば、モデルのフィッティングが局所解に陥ることを減らし、より実用的な精度で顔特徴点を検出できる。

顔特徴点位置推定装置１の構成例を示すブロック図である。 顔特徴点位置推定装置１の顔特徴点探索処理の動作を示すフローチャートである。 顔特徴点位置推定装置１が処理の対象にする顔画像の例を示す説明図である。 顔特徴点位置推定装置１の初期位置入力手段１２０が入力の対象にする顔特徴点の例を示す説明図である。 本発明による特徴点位置推定装置の概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。図１は、顔特徴点位置推定装置１の構成例を示すブロック図である。図１に示す顔特徴点位置推定装置１は、データ処理装置１００と、記憶装置２００とを含む。

データ処理装置１００は、画像入力手段１１０と、初期位置入力手段１２０と、最近傍テンプレート計算手段１３０と、パラメータ勾配方向計算手段１４０と、探索パラメータ更新手段１５０と、収束判定手段１６０と、探索結果出力手段１７０とを有する。また、記憶装置２００は、テンプレート記憶手段２１０を有する。

画像入力手段１１０は、外部から顔画像を入力する機能を有する。

初期位置入力手段１２０は、外部から、探索される顔特徴点の初期位置として用いられる顔特徴点情報を入力する機能を有する。

顔特徴点情報は、例えば、外部の顔特徴点検出装置が出力する目、鼻、口などの複数の顔特徴点の位置を示す情報である。なお、外部から入力される初期位置には、例えば、公知の顔特徴点検出装置や、非特許文献２に記載された顔特徴点検出技術から得られる顔特徴点の位置が用いられる。また、初期位置には、人間の手によって入力された顔特徴点の位置が用いられてもよい。

最近傍テンプレート計算手段１３０は、テンプレート記憶手段２１０に記憶されている複数のテンプレートの中から、現在の顔特徴点位置探索パラメータから計算される画像（以下、Ｗａｒｐ画像という。）に最も近いテンプレートである最近傍テンプレートを求める機能を有する。

複数のテンプレートとして、具体的には、正しい形状から得られる顔画像の代表的な正例のテンプレートと、ずれた形状から得られる顔画像の代表的な負例のテンプレートが、それぞれ少なくとも一つ以上、テンプレート記憶手段２１０に記憶されている。

つまり、最近傍テンプレート計算手段１３０は、正例のテンプレートおよび負例のテンプレートとＷａｒｐ画像との距離をそれぞれ計算する。そして、最近傍テンプレート計算手段１３０は、正例のテンプレートの中でＷａｒｐ画像に最も近いテンプレートを一つと、負例のテンプレートの中でＷａｒｐ画像に最も近いテンプレートを一つそれぞれ選ぶ。

また、顔特徴点位置探索パラメータ（以下、探索パラメータ、または単にパラメータという。）は、顔特徴点位置の特徴を表す複数個の数値から構成される。以下では探索パラメータをベクトルｐとして表す。

なお、上記の正しい形状とは、前述のとおり、目や鼻などの顔特徴点が、全て各特徴点として定義された位置に配置されている状態である。また、上記のずれた形状とは、前述のとおり、全ての顔特徴点のうち一つ以上の特徴点が、定義から外れた位置に配置されている状態である。ずれた形状には、例えば、顔特徴点検出装置による処理が失敗し、幾つかの特徴点が誤った位置に検出された状態が含まれる。

各特徴点の位置の定義は、顔の器官や骨格の構造などの情報を基になされる。例えば、ヒトの瞳中心の特徴点の位置は、瞳孔の中央部として定義される。また、ヒトの鼻下の特徴点の位置は、頭蓋骨の前鼻棘の尖端部として定義される。

ただし、画像上から顔の器官や骨格の正確な構造を把握し特徴点位置を決めることは困難である。よって、本実施形態では、正しい形状として別の基準が用いられてもよい。例えば、上記の特徴点位置の定義を基に画像を目視するなどの方法により、人間が手で入力した画像上の位置（手入力特徴点）を特徴点の基準とし、ある特徴点の位置が全て手入力特徴点上に配置されている状態を「正しい形状」としてもよい。

パラメータ勾配方向計算手段１４０は、現在の探索パラメータｐと、最近傍テンプレート計算手段１３０が計算して求めた最近傍テンプレートとから、所定の評価関数の偏微分により導出される探索パラメータの勾配の計算式により、探索パラメータｐの勾配方向Δｐを計算する機能を有する。

探索パラメータ更新手段１５０は、パラメータ勾配方向計算手段１４０が計算した探索パラメータｐの勾配方向Δｐを、現在の探索パラメータｐに加算し、探索パラメータを更新する機能を有する。

収束判定手段１６０は、探索パラメータ更新手段１５０が更新した探索パラメータｐが収束したか否かを判定する機能を有する。探索パラメータが収束していない場合、最近傍テンプレート計算手段１３０が再度最近傍テンプレートを求める。探索パラメータが収束した場合、収束判定手段１６０は、探索結果出力手段１７０に更新した探索パラメータを出力する。

探索結果出力手段１７０は、最適化された後の探索パラメータｐから顔特徴点位置を計算する機能を有する。探索結果出力手段１７０は、計算した顔特徴点位置を探索結果として出力する。

なお、本実施形態における顔特徴点位置推定装置１において、データ処理装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって実現される。また、データ処理装置１００は、ハードウェアによって実現されてもよい。

また、画像入力手段１１０、初期位置入力手段１２０、最近傍テンプレート計算手段１３０、パラメータ勾配方向計算手段１４０、探索パラメータ更新手段１５０、収束判定手段１６０、および探索結果出力手段１７０は、例えば、プログラム制御に従って処理を実行するＣＰＵによって実現される。

また、本実施形態における顔特徴点位置推定装置１において、記憶装置２００は、例えば、半導体メモリ、またはハードディスクドライブによって実現される。

また、テンプレート記憶手段２１０は、例えば、半導体メモリ、またはハードディスクドライブ上の記憶領域によって実現される。

以下、本実施形態の顔特徴点探索処理の動作を図２のフローチャートを参照して説明する。図２は、顔特徴点位置推定装置１の顔特徴点探索処理の動作を示すフローチャートである。

画像入力手段１１０は、外部から顔画像を入力する（ステップＳ１１１）。

次いで、初期位置入力手段１２０は、外部から、探索される顔特徴点の初期位置として用いられる顔特徴点情報を入力する（ステップＳ１１２）。

次いで、最近傍テンプレート計算手段１３０は、テンプレート記憶手段２１０に記憶されている複数のテンプレートの中から、現在の顔特徴点位置探索パラメータｐから計算される画像に最も近いテンプレートを求める（ステップＳ１１３）。

次いで、パラメータ勾配方向計算手段１４０は、現在の探索パラメータｐと、ステップＳ１１３で計算して求められた最近傍テンプレートから、所定の評価関数の偏微分により導出される探索パラメータの勾配の計算式により、探索パラメータｐの勾配方向Δｐを計算する（ステップＳ１１４）。

次いで、探索パラメータ更新手段１５０は、ステップＳ１１４で計算された探索パラメータｐの勾配方向Δｐを、現在の探索パラメータｐに加算し、探索パラメータを更新する（ステップＳ１１５）。

次いで、収束判定手段１６０は、ステップＳ１１５で更新された探索パラメータｐが収束したか否かを判定する（ステップＳ１１６）。探索パラメータが収束していない場合（ステップＳ１１６のＮｏ）、顔特徴点位置推定装置１は、ステップＳ１１３へ処理を戻す。探索パラメータが収束した場合（ステップＳ１１６のＹｅｓ）、顔特徴点位置推定装置１は、ステップＳ１１７へ処理を進める。

更新された探索パラメータが収束した場合（ステップＳ１１６のＹｅｓ）、探索結果出力手段１７０は、最適化された後の探索パラメータｐから顔特徴点位置を計算する。そして、探索結果出力手段１７０は、計算した顔特徴点位置を探索結果として出力する（ステップＳ１１７）。

以下、本実施形態の動作を、具体例を用いて説明する。ここでは、顔特徴点位置推定装置１に図３に示す顔画像が入力される場合を例に説明する。図３は、顔特徴点位置推定装置１が処理の対象にする顔画像の例を示す説明図である。

画像入力手段１１０は、外部から顔画像を入力する（ステップＳ１１１）。

次いで、初期位置入力手段１２０は、外部から、探索される顔特徴点の初期位置として用いられる顔特徴点情報を入力する（ステップＳ１１２）。

顔特徴点情報は、例えば、顔特徴点検出装置が出力する目、鼻、口などの顔特徴点の位置（座標）を示す情報である。この場合、顔特徴点情報は、顔特徴点位置推定装置１の処理対象である顔画像上における顔特徴点の位置を、顔特徴点ごとにそれぞれｘ座標値、ｙ座標値の二つの数字の組である座標として表す。

外部から入力される顔特徴点情報には、例えば、公知の顔特徴点検出装置や、非特許文献２に記載された顔特徴点検出技術から得られる顔特徴点情報が用いられる。また、顔特徴点情報には、人間の手によって入力された顔特徴点の位置が用いられてもよい。

図４は、顔特徴点位置推定装置１の初期位置入力手段１２０が入力の対象にする顔特徴点の例を示す説明図である。図４に示す例では、処理対象の顔特徴点の位置が×印で示されている。本例では、図４に示すように、目、鼻、口などの７５点に×印が付されている。初期位置入力手段１２０に入力される顔特徴点情報は、図４に示す７５点の顔特徴点の初期位置である。

最近傍テンプレート計算手段１３０は、テンプレート記憶手段２１０に記憶されている複数のテンプレートの中から、現在の顔特徴点位置探索パラメータから計算される画像に最も近いテンプレートを求める（ステップＳ１１３）。

本実施形態におけるテンプレートとは、すなわち顔画像を表す。テンプレート記憶手段２１０には、正しい形状から得られる顔画像を代表する複数個の正例のテンプレートと、ずれた形状から得られる顔画像を代表する複数個の負例のテンプレートが記憶されている。

正例のテンプレートと負例のテンプレートは、各々のテンプレートを用いて所定の計算を行う際に、ある顔画像が、正しい形状から得られた顔画像とずれた形状から得られた顔画像のどちらであるか正確に判別されるように定められることが望ましい。

正例のテンプレートと負例のテンプレートは、例えば、一般化ベクトル量子化（非特許文献３）などの手法が用いられた場合、適切に定められる。一般化ベクトル量子化（ｇｅｎｅｒａｌｉｚｅｄ ｌｅａｒｎｉｎｇ ｖｅｃｔｏｒ ｑｕａｎｔｉｚａｔｉｏｎ；ＧＬＶＱ）を用いて適切なテンプレート（ＧＬＶＱでは参照ベクトルと呼ばれる）を求める方法は、様々な環境で撮影された複数人の顔が映った画像から、正しい形状を用いて生成した顔画像と、ずれた形状を用いて生成した顔画像を、それぞれ複数枚用意する。そして、用意した複数の顔画像に対して、ＧＬＶＱの学習処理を実行する。その結果、適切なテンプレートが定められる。

なお、以下ではＧＬＶＱを用いた場合の顔特徴点位置の推定方法を説明するが、本実施形態の範囲は以下に記載される内容に限定されない。

また、本実施形態における顔特徴点位置探索パラメータｐは、顔特徴点位置の特徴を表す複数個の数値（ベクトル）として構成される。本実施形態では、様々な環境で撮影された複数人の顔の顔特徴点７５点の座標値が主成分分析され、得られた主成分部分空間上の点が、顔特徴点位置探索パラメータｐとして用いられる。

なお、顔特徴点位置探索パラメータｐは、最近傍テンプレート計算手段１３０における処理の前に予め初期化されることが求められる。顔特徴点位置探索パラメータｐの初期化には、初期位置入力手段１２０で入力された顔特徴点の位置が利用される。

顔特徴点位置探索パラメータｐは、顔特徴点７５点の座標値の主成分部分空間上の点である。よって、初期位置入力手段１２０で入力された顔特徴点の位置を主成分部分空間上に射影することによって得られる値が、顔特徴点位置探索パラメータｐの初期値でもよい。

また、初期位置入力手段１２０において適切な顔特徴点の位置が入力されない場合は、平均的な顔特徴点７５点の座標を主成分部分空間上に射影することによって得られる値（すなわち、全てゼロの値）が、顔特徴点位置探索パラメータｐの初期値でもよい。

以上の準備がなされた段階で、最近傍テンプレート計算手段１３０が、テンプレート記憶手段２１０に記憶されている複数のテンプレートの中から、現在の顔特徴点位置探索パラメータｐから計算される画像に最も近いテンプレートを求める。

最近傍テンプレート計算手段１３０は、以下のようにテンプレートを求める。顔特徴点位置探索パラメータｐは顔特徴点７５点の座標値の主成分部分空間上の点であるため、最近傍テンプレート計算手段１３０は、部分空間からの逆射影により現在の顔特徴点位置探索パラメータｐに対応する顔特徴点位置を求める。

次いで、最近傍テンプレート計算手段１３０は、求めた顔特徴点位置を用いて、画像入力手段１１０に入力された画像から顔画像を切り出す。この切り出された顔画像がＷａｒｐ画像である。

次いで、最近傍テンプレート計算手段１３０は、Ｗａｒｐ画像と、テンプレート記憶手段２１０に記憶されている複数のテンプレート（顔画像）の距離を計算し、正しい形状から得られる顔画像を代表する正例のテンプレートの中でＷａｒｐ画像に最も近いテンプレートを一つと、ずれた形状から得られる顔画像を代表する負例のテンプレートの中でＷａｒｐ画像に最も近いテンプレートを一つそれぞれ求める。最近傍テンプレート計算手段１３０は、求めたこれらのテンプレートを最近傍テンプレートとする。

パラメータ勾配方向計算手段１４０は、現在の顔特徴点位置探索パラメータｐと、最近傍テンプレート計算手段１３０で計算して求められた最近傍テンプレートとから、所定の評価関数の偏微分により導出される探索パラメータの勾配の計算式により、探索パラメータｐの勾配方向を計算する（ステップＳ１１４）。以下、勾配方向の具体的な計算手順を示す。

最近傍テンプレートのうち、正しい形状から得られる顔画像を代表する正例のテンプレートをｒ１、ずれた形状から得られる顔画像を代表する負例のテンプレートをｒ２とそれぞれする。このとき、現在の顔特徴点位置探索パラメータｐにより定まる顔特徴点位置から切り出された顔画像（Ｗａｒｐ画像）ｆに対して、ＧＬＶＱにおける誤分類尺度Ｊは、次式で計算される。

ただし、

である。

求めるべき探索パラメータの勾配方向は、現在の探索パラメータｐにおける誤分類尺度Ｊが改善する方向（勾配）Δｐである。誤分類尺度Ｊをモデルパラメータｐにより偏微分すると、Δｐは、次式で計算される。

ただし、

である。

探索パラメータ更新手段１５０は、パラメータ勾配方向計算手段１４０が計算したパラメータの勾配方向Δｐを、現在の探索パラメータｐに加算し、探索パラメータｐを更新する（ステップＳ１１５）。探索パラメータｐは、次式に従って更新される。

ここで、ｃは、探索パラメータｐに加算される勾配方向Δｐの大きさを決める定数である。

収束判定手段１６０は、探索パラメータ更新手段１５０で更新した探索パラメータｐが収束したか否かを判定する（ステップＳ１１６）。パラメータが収束していない場合（ステップＳ１１６のＮｏ）、顔特徴点位置推定装置１は、最近傍テンプレート計算手段１３０にステップＳ１１３の処理を再度実行させる。パラメータが収束した場合（ステップＳ１１６のＹｅｓ）、顔特徴点位置推定装置１は、探索結果出力手段１７０にステップＳ１１７の処理を実行させる。

収束判定手段１６０は、パラメータが収束したか否かを、例えば、最近傍テンプレート計算手段１３０から探索パラメータ更新手段１５０にかけて実行される処理が繰り返し適用された結果としての式（１）の誤分類尺度Ｊの変化分が、所定の閾値よりも小さいか否かによって判定できる。

また、収束判定手段１６０は、パラメータが収束したか否かを、最近傍テンプレート計算手段１３０で計算される顔特徴点位置の変化分が所定の閾値よりも小さいか否かによって判定してもよい。

探索結果出力手段１７０は、最適化された後の探索パラメータｐから顔特徴点位置を計算する。そして、探索結果出力手段１７０は、計算した顔特徴点位置を探索結果として出力する（ステップＳ１１７）。顔特徴点位置の探索パラメータｐは、顔特徴点７５点の座標値の主成分部分空間上の点である。よって、部分空間からの逆射影を行うことにより、現在の顔特徴点位置探索パラメータｐに対する顔特徴点位置が得られる。

本実施形態の特徴点位置推定装置は、正しい形状から得られる顔画像の代表的なテンプレートと、ずれた形状から得られる顔画像の代表的なテンプレートから、正しい形状から得られる顔画像とずれた形状から得られる顔画像を最適に識別できるテンプレートを選択し、選択したテンプレートを用いて、顔特徴点の探索パラメータを最適化できる。

本実施形態の特徴点位置推定装置は、上記の代表的なテンプレートを正例と負例で複数持つことができる。その結果、正しい形状の顔画像とずれた形状の顔画像の２クラスの識別器において複雑な識別面が構築されるため、モデルのフィッティングが局所解に陥ることが減り、高精度な顔特徴点位置が検出される。

次に、本発明の概要を説明する。図５は、本発明による特徴点位置推定装置の概要を示すブロック図である。本発明による特徴点位置推定装置１０は、外部から顔画像を入力する画像入力部１１（例えば、画像入力手段１１０）と、正例と負例で構成される複数の顔画像のテンプレートの中から、顔特徴点位置探索パラメータを用いて入力された顔画像から計算される画像に最も近いテンプレートである最近傍テンプレートを、正例及び負例の中からそれぞれ求める最近傍テンプレート計算部１２（例えば、最近傍テンプレート計算手段１３０）と、顔特徴点位置探索パラメータと最近傍テンプレートとから、顔特徴点位置探索パラメータの勾配方向を計算するパラメータ勾配方向計算部１３（例えば、パラメータ勾配方向計算手段１４０）と、計算された勾配方向を加算することにより、顔特徴点位置探索パラメータを更新する探索パラメータ更新部１４（例えば、探索パラメータ更新手段１５０）と、更新された顔特徴点位置探索パラメータが収束したか否かを判定する収束判定部１５（例えば、収束判定手段１６０）と、顔特徴点位置探索パラメータが収束したと判定された場合、顔特徴点位置探索パラメータから計算される顔特徴点位置を探索結果として出力する探索結果出力部１６（例えば、探索結果出力手段１７０）とを備える。

そのような構成により、この特徴点位置推定装置は、モデルのフィッティングが局所解に陥ることを減らし、より実用的な精度で顔特徴点を検出できる。

また、パラメータ勾配方向計算部１３は、所定の評価関数の偏微分により導出される顔特徴点位置探索パラメータの勾配の計算式により、勾配方向の計算を行ってもよい。

そのような構成により、この特徴点位置推定装置は、顔特徴点位置探索パラメータの勾配の計算式から、勾配方向を計算できる。

また、所定の評価関数は、誤分類尺度の顔特徴点位置探索パラメータに関する評価関数でもよい。

そのような構成により、この特徴点位置推定装置は、一般化ベクトル量子化における誤分類尺度を用いて顔特徴点の探索パラメータを最適化できる。

また、特徴点位置推定装置１０は、複数の顔画像のテンプレートの情報を格納するテンプレート記憶部（例えば、テンプレート記憶手段２１０）を備えていてもよい。

また、特徴点位置推定装置１０は、外部から顔特徴点の初期位置を入力する初期位置入力部を備え、最近傍テンプレート計算部１２は、入力された初期位置を用いて顔特徴点位置探索パラメータを初期化してもよい。

そのような構成により、この特徴点位置推定装置は、外部から入力された初期位置を用いて顔特徴点位置探索パラメータを初期化できる。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１３年８月２８日に出願された日本特許出願２０１３−１７６２８３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

産業上の利用の可能性

本発明に係る顔特徴点位置推定装置、顔特徴点位置推定方法、および顔特徴点位置推定プログラムは、顔検出、顔認証、表情認識等の顔画像を入力する処理における高精度化に広く適用可能である。

１ 顔特徴点位置推定装置
１０ 特徴点位置推定装置
１１ 画像入力部
１２ 最近傍テンプレート計算部
１３ パラメータ勾配方向計算部
１４ 探索パラメータ更新部
１５ 収束判定部
１６ 探索結果出力部
１００ データ処理装置
１１０ 画像入力手段
１２０ 初期位置入力手段
１３０ 最近傍テンプレート計算手段
１４０ パラメータ勾配方向計算手段
１５０ 探索パラメータ更新手段
１６０ 収束判定手段
１７０ 探索結果出力手段
２００ 記憶装置
２１０ テンプレート記憶手段

Claims (9)

1. 外部から顔画像を入力する画像入力部と、
   正例と負例で構成される複数の顔画像のテンプレートの中から、顔特徴点位置探索パラメータを用いて入力された顔画像から計算される画像に最も近いテンプレートである最近傍テンプレートを、正例及び負例の中からそれぞれ求め、前記顔特徴点位置探索パラメータと前記最近傍テンプレートとから、前記顔特徴点位置探索パラメータの勾配方向を計算するパラメータ勾配方向計算部と、
   計算された前記勾配方向を加算することにより、前記顔特徴点位置探索パラメータを更新する探索パラメータ更新部と、
   更新された前記顔特徴点位置探索パラメータが収束したか否かを判定する収束判定部と、
   前記顔特徴点位置探索パラメータが収束したと判定された場合、前記顔特徴点位置探索パラメータから計算される顔特徴点位置を探索結果として出力する探索結果出力部とを備える
   ことを特徴とする特徴点位置推定装置。
2. 前記パラメータ勾配方向計算部は、所定の評価関数の偏微分により導出される前記顔特徴点位置探索パラメータの勾配の計算式により、前記勾配方向の計算を行う
   請求項１記載の特徴点位置推定装置。
3. 前記所定の評価関数は、誤分類尺度の顔特徴点位置探索パラメータに関する評価関数である
   請求項２記載の特徴点位置推定装置。
4. 複数の顔画像のテンプレートの情報を格納するテンプレート記憶部を備える
   請求項１から請求項３のうちのいずれか１項に記載の特徴点位置推定装置。
5. 外部から顔特徴点の初期位置を入力する初期位置入力部を備え、
   前記パラメータ勾配方向計算部は、入力された前記初期位置を用いて顔特徴点位置探索パラメータを初期化する
   請求項１から請求項４のうちのいずれか１項に記載の特徴点位置推定装置。
6. 外部から顔画像を入力し、
   正例と負例で構成される複数の顔画像のテンプレートの中から、顔特徴点位置探索パラメータを用いて入力された顔画像から計算される画像に最も近いテンプレートである最近傍テンプレートを、正例及び負例の中からそれぞれ求め、前記顔特徴点位置探索パラメータと前記最近傍テンプレートとから、前記顔特徴点位置探索パラメータの勾配方向を計算し、
   計算した前記勾配方向を加算することにより、前記顔特徴点位置探索パラメータを更新し、
   更新した前記顔特徴点位置探索パラメータが収束したか否かを判定し、
   前記顔特徴点位置探索パラメータが収束したと判定した場合、前記顔特徴点位置探索パラメータから計算される顔特徴点位置を探索結果として出力する
   ことを特徴とする特徴点位置推定方法。
7. 所定の評価関数の偏微分により導出される前記顔特徴点位置探索パラメータの勾配の計算式により、前記勾配方向の計算を行う
   請求項６記載の特徴点位置推定方法。
8. コンピュータに、
   外部から顔画像を入力する入力処理、
   正例と負例で構成される複数の顔画像のテンプレートの中から、顔特徴点位置探索パラメータを用いて入力された顔画像から計算される画像に最も近いテンプレートである最近傍テンプレートを、正例及び負例の中からそれぞれ求め、前記顔特徴点位置探索パラメータと前記最近傍テンプレートとから、前記顔特徴点位置探索パラメータの勾配方向を計算する計算処理、
   計算された前記勾配方向を加算することにより、前記顔特徴点位置探索パラメータを更新する更新処理、
   更新された前記顔特徴点位置探索パラメータが収束したか否かを判定する判定処理、および
   前記顔特徴点位置探索パラメータが収束したと判定された場合、前記顔特徴点位置探索パラメータから計算される顔特徴点位置を探索結果として出力する出力処理
   を実行させるための特徴点位置推定プログラム。
9. コンピュータに、
   計算処理で、所定の評価関数の偏微分により導出される前記顔特徴点位置探索パラメータの勾配の計算式により、前記勾配方向を計算させる
   請求項８記載の特徴点位置推定プログラム。

Images