JP6835223B2

JP6835223B2 - 顔認証装置、顔認証方法およびプログラム

Info

Publication number: JP6835223B2
Application number: JP2019526808A
Authority: JP
Inventors: 巧一高橋
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2017-06-26
Filing date: 2018-06-18
Publication date: 2021-02-24
Anticipated expiration: 2038-06-18
Also published as: JP7230939B2; US20230360435A1; US11915518B2; US20230360434A1; US20200184198A1; US20230360432A1; JPWO2019003973A1; US11210498B2; JP2021064424A; WO2019003973A1; US20220075993A1

Description

本発明は、顔画像を利用して顔認証を行う顔認証装置、顔認証方法およびプログラム記録媒体に関する。

人の顔画像から個人を特定する顔認証技術は、セキュリティ分野をはじめとする様々な場面で利用されている。例えば、監視カメラにより撮影された映像（動画像）を用いて、その動画像から抽出される顔情報から人物を特定することが行われている。

動画像を利用した顔認証に際して、動画像を構成する複数のフレームに渡って人物の顔が写っている場合、顔の写っているすべてのフレームに対して顔認証を行うと、認証のための計算処理が増大し、認証結果を得るのに時間がかかる。また、複数のフレームのなかには、画像のぼけや部分遮蔽等が発生しているような、顔認証に適さない顔を含んだフレームもある。よって、動画像から、顔認証に適したフレームを選択して顔認証を行うことが望ましい。

顔認証では、あらかじめ登録された、特定したい人物の顔が写った照合用の顔画像と、動画像から選択された、照合対象の顔を含むフレーム（以降、「照合対象の顔画像」とも称する）との間で照合が行われる。照合では、照合用の顔画像と、照合対象の顔画像のそれぞれから、目や鼻等の顔の器官や骨格などの際立った特徴点（以下、顔特徴点という）が検出され、検出された顔特徴点に基づいて、２つの画像が照合される。照合の結果、照合用の顔画像と照合対象の顔画像にそれぞれ写っている顔が、同一人物の顔であるか否かの判断が行われる。

ここで、顔認証に適した画像を選択する技術の一例が、特許文献１に開示されている。
特許文献１には、対象となるユーザの顔の向きを検出し、その顔の向きに応じた顔認識を実行して個人認証を行う個人認証装置が開示されている。

特許文献２には、顔パーツ検出部からの検出信号に基づいて、遮蔽物の有無を判定し、遮蔽物が有る場合には、ユーザに遮蔽物をどけるように誘導する顔認識装置が開示されている。

特許文献３には、顔認識処理に必要な顔画像データの転送方法を顔の大きさに合わせて制御することで、転送量を削減する顔認識装置が開示されている。特許文献４には、１つまたは複数の顔特徴点について信頼度の低い情報が入力された場合においても、高精度の顔特徴点位置の出力が可能な顔特徴点位置補正装置が開示されている。

非特許文献１には、瞬きをしていない顔画像を選択して顔認証を行う顔認識手法が開示されている。非特許文献２、３には、顔特徴点検出方法の一例が開示されている。

非特許文献４には、顔が傾いた顔画像でも正確に目領域を抽出する技術が開示されている。

特開２００２−２８８６７０号公報特開２０１６−０９９９３９号公報国際公開第２０１０／０４４２１４号国際公開第２０１１／１４８５９６号

大森匡彦、村上和人「動画像中のベストショット抽出のための顔認識手法について」、電子情報通信学会、技術研究報告、ＨＩＰ、ヒューマン情報処理 101(423)、2001年11月8日、p.27-32 Ｔ．Ｆ．Ｃｏｏｔｅｓ、Ｇ．Ｊ．Ｅｄｗａｒｄｓ、Ｃ．Ｊ．Ｔａｙｌｏｒ、「Ａｃｔｉｖｅａｐｐｅａｒａｎｃｅｍｏｄｅｌｓ」、ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎｐａｔｔｅｒｎａｎａｌｙｓｉｓａｎｄｍａｃｈｉｎｅｉｎｔｅｌｌｉｇｅｎｃｅ、第２３巻、第６号、２００１年６月、p.681-685 ＸｉａｎｇｘｉｎＺｈｕ、ＤｅｖａＲａｍａｎａｎ、「Ｆａｃｅｄｅｔｅｃｔｉｏｎ，ｐｏｓｅｅｓｔｉｍａｔｉｏｎ，ａｎｄｌａｎｄｍａｒｋｌｏｃａｌｉｚａｔｉｏｎｉｎｔｈｅｗｉｌｄ」、ＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２０１２ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎ、２０１２年新覚碧、外２名、「Haar-like 特徴を用いた目検出処理による顔認証の高精度化」、［online］、[２０１７年５月１５日検索]、インターネット＜https://www.ieice.org/tokyo/gakusei/kenkyuu/14/pdf/80.pdf＞

上述したように、特許文献１では、正面を向いている顔の画像を選択して、予め登録された正面向きの顔画像と照合することで、人の識別を高精度に行うことが開示されている。

一方で、顔認証において行われる、照合用の顔画像と照合対象の顔画像との照合では、検出される顔特徴点の位置ずれに起因して、認証の精度が低下しやすいという問題がある。

ここで、位置ずれとは、目や鼻などの顔特徴点が、顔画像におけるそれらの位置とはずれた位置で検出されてしまう状態をいう。例えば、ある顔画像において、右目の瞳中心を示す顔特徴点を検出するとき、右目の瞳の左側の点や右側の点が顔特徴点として検出される場合がある。このように、顔特徴点が、検出したい位置、例えば右目の瞳中心からずれた位置で検出されるような状態を、位置ずれと称する。位置ずれは、例えば、顔画像にノイズが多く含まれていたり、写っている顔のサイズが小さかったり、顔に遮蔽が生じていたりする等に起因して生じる。

上記のような位置ずれが生じると、照合用の顔画像と照合対象の顔画像との間で、比較する顔特徴点が互いにずれた位置で検出された状態で顔画像の照合が行われる。したがって、顔認証の精度が低下するという課題がある。

特許文献１に開示される技術では、横顔と正面顔の組み合わせで顔認証をしてしまうということを防ぐことはできるが、検出される顔特徴点の位置ずれに起因する顔認証の精度の低下を防ぐことはできない。

特許文献２乃至特許文献４、および、非特許文献１乃至非特許文献４も、検出される顔特徴点の位置ずれに起因する顔認証の精度の低下を防ぐことは開示されていない。

本発明は、上記課題を鑑みてなされたものであり、検出される顔特徴点の位置ずれの影響を抑え、高精度な顔認証を実現することができる顔認証装置等を提供することを主要な目的とする。

本発明の一態様の顔認証装置は、対象の顔を含む複数の顔画像のそれぞれから、前記対象の顔の少なくとも１の顔特徴点について、複数の異なる手法を用いて、複数の顔特徴点候補を検出する検出手段と、前記検出された複数の顔特徴点候補に基づいて得られる統計情報から、それぞれの顔画像の信頼度を算出する信頼度算出手段と、前記算出された信頼度に基づいて、前記複数の顔画像のうち、前記対象の顔の認証に用いる顔画像を選択する選択手段とを備える。

本発明の一態様の顔認証方法は、対象の顔を含む複数の顔画像のそれぞれから、前記対象の顔の少なくとも１の顔特徴点について、複数の異なる手法を用いて、複数の顔特徴点候補を検出し、前記検出された複数の顔特徴点候補に基づいて得られる統計情報から、それぞれの顔画像の信頼度を算出し、前記算出された信頼度に基づいて、前記複数の顔画像のうち、前記対象の顔の認証に用いる顔画像を選択する。

本発明の一態様のプログラム記録媒体は、対象の顔を含む複数の顔画像のそれぞれから、前記対象の顔の少なくとも１の顔特徴点について、複数の異なる手法を用いて、複数の顔特徴点候補を検出する処理と、前記検出された複数の顔特徴点候補に基づいて得られる統計情報から、それぞれの顔画像の信頼度を算出する処理と、前記算出された信頼度に基づいて、前記複数の顔画像のうち、前記対象の顔の認証に用いる顔画像を選択する処理とを、コンピュータに実行させるプログラムを記録する。

本発明によれば、検出される顔特徴点の位置ずれの影響を抑え、高精度な顔認証を実現することができるという効果が得られる。

本発明の第１の実施形態に係る顔認証装置の構成を示すブロック図である。本発明の第２の実施形態に係る顔認証装置の構成を示すブロック図である。本発明の第２の実施形態に係る顔認証装置の選択部による処理を説明するフローチャートである。本発明の第２の実施形態に係る顔認証装置の顔特徴点候補検出部により取得された顔画像に含まれる顔領域の一例を示す図である。本発明の第２の実施形態に係る顔認証装置の顔特徴点候補検出部が検出対象とする顔特徴点の例を示す図である。本発明の第２の実施形態に係る顔認証装置の顔特徴点候補検出部により検出された顔特徴点候補の例を示す図である。本発明の第２の実施形態に係る顔認証装置の顔特徴点候補検出部により検出された顔特徴点候補の例を示す図である。本発明の第２の実施形態に係る顔認証装置の顔特徴点候補検出部により検出された顔特徴点候補の例を示す図である。本発明の第２の実施形態に係る顔認証装置の顔特徴点候補検出部により顔特徴点候補が検出された目領域の一例を示す図である。本発明の第２の実施形態に係る顔認証装置の認証部による処理を説明するフローチャートである。本発明の第２の実施形態に係る顔認証装置の統合顔特徴点算出部により算出された統合顔特徴点の座標値の一例を示す図である。各実施形態の顔認証装置を実現するコンピュータ装置のハードウェア構成の一例を示す図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。

第１の実施形態
図１は、本発明の第１の実施形態に係る顔認証装置１００の構成を示すブロック図である。図１に示すように、顔認証装置１００は、検出部１１０、信頼度算出部１２０および選択部１３０を備える。

検出部１１０は、対象の顔を含む複数の顔画像のそれぞれから、対象の顔の少なくとも１の顔特徴点について、複数の異なる手法を用いて、複数の顔特徴点候補を検出する。信頼度算出部１２０は、検出された複数の顔特徴点候補に基づいて得られる統計情報から、それぞれの顔画像の信頼度を算出する。選択部１３０は、算出された信頼度に基づいて、複数の顔画像のうち、対象の顔の認証に用いる顔画像を選択する。

なお、検出部１１０、信頼度算出部１２０および選択部１３０は、それぞれ一例として、以降の実施形態において説明する顔特徴点候補検出部２３１、信頼度算出部２３２および顔画像選択部２３３により実現される。

本第１の実施形態によれば、複数の顔画像から高精度に顔特徴点が検出された顔画像を選択し、その顔画像を認証に用いるので、検出される顔特徴点の位置ずれの影響を抑え、高精度な顔認証を実現することができるという効果が得られる。

第２の実施形態
図２は、本発明の第２の実施形態に係る顔認証装置２００の構成を示すブロック図である。図２に示すように、顔認証装置２００は、入力部２１０、選択部２３０、認証部２５０および出力部２７０を備える。

選択部２３０は、顔特徴点候補検出部２３１、信頼度算出部２３２および顔画像選択部２３３を備える。認証部２５０は、統合顔特徴点算出部２５１、正規化部２５２、照合部２５３およびテンプレート記憶部２５４を備える。

入力部２１０は、監視カメラ等により生成された映像（動画像）データを取得する。映像データには、人の顔が写った複数のフレーム（静止画）が含まれる。

選択部２３０は、入力部２１０が取得した映像データを構成する連続した複数のフレームから、後述する顔認証のための照合に用いるフレームを選択する機能を有する。認証部２５０は、選択部２３０により選択されたフレームに基づいて、対象の顔の顔認証を行う機能を有する。出力部２７０は、認証部２５０による認証の結果を出力する。

選択部２３０の各構成要素の概略について説明する。

顔特徴点候補検出部２３１は、入力部２１０が取得した映像データから、顔が含まれるフレームである顔画像を取得し、取得した顔画像のそれぞれから、異なる複数の顔特徴点検出手法を用いて、顔特徴点の候補（以降、「顔特徴点候補」とも称する）を検出する。
顔特徴点は、顔の器官や骨格などの情報に基づいて定義される。例えば、口角や瞳中心などが、検出対象の顔特徴点として利用される。顔特徴点候補検出部２３１は、検出対象の顔特徴点のそれぞれについて、異なる複数の顔特徴点検出手法を用いて、複数の顔特徴点候補を検出する。

信頼度算出部２３２は、顔特徴点候補検出部２３１により検出された複数の顔特徴点候補の統計情報に基づいて、それぞれの顔画像の信頼度を計算する（詳細は後述する）。例えば、統計情報として、顔特徴点候補の各位置（座標値）の分散が利用される。

顔画像選択部２３３は、信頼度算出部２３２により計算されたそれぞれの顔画像の信頼度に基づいて、顔認証に適した顔画像を選択する。顔画像選択部２３３は、信頼度が最大値である顔画像を選択してもよいし、信頼度が閾値以上である顔画像を選択してもよい。
以上の手順で、顔認証に適した顔画像が選択される。

次に、認証部２５０の各構成要素の概略について説明する。

統合顔特徴点算出部２５１は、顔画像選択部２３３により選択された顔画像について、検出対象の顔特徴点のそれぞれについて検出された複数の顔特徴点候補に基づいて、顔認証のための照合に利用する統合顔特徴点を算出する。統合顔特徴点算出部２５１は、例えば、各顔特徴点候補の位置（座標値）の平均に基づいて、統合顔特徴点を算出してもよい。

正規化部２５２は、顔画像選択部２３３により選択された顔画像と、統合顔特徴点算出部２５１により算出された統合顔特徴点とに基づいて、顔の位置や向きを補正して正規化する。正規化のための計算処理は、周知の正規化装置や、正規化技術を用いることができる。

照合部２５３は、正規化部２５２により正規化された画像（以降、「正規化画像」とも称する）から、顔照合用のテンプレートを生成し、テンプレート記憶部２５４に記憶されているテンプレートと照合することにより顔認証を行い、映像データに含まれている人物の特定を行う。

テンプレート記憶部２５４は、特定したい人物の顔照合用テンプレートを記憶する。

出力部２７０は、照合部２５３により特定された人物を、顔認証の結果として出力する。出力部２７０は、例えば、特定された人物をディスプレイに出力してもよい。

図３は、第２の実施形態に係る顔認証装置２００の選択部２３０により、映像データから、顔認証に適した顔画像を選択する処理を説明するフローチャートである。図３を参照して、選択部２３０による処理について説明する。

図２の入力部２１０は、外部の監視カメラ等から映像データを取得する。顔特徴点候補検出部２３１は、入力部２１０が取得した映像データから、顔が含まれるフレームである顔画像を取得する（ステップＳ２１０）。顔特徴点候補検出部２３１は、取得した顔画像について、複数の異なる顔特徴点検出手法を用いて、検出対象の顔特徴点のそれぞれについて、複数の顔特徴点候補を検出する（ステップＳ２２０）。

図４は、顔特徴点候補検出部２３１により取得された顔画像に含まれる、顔が写った領域（以降、「顔領域」とも称する）を拡大して示す図である。図５は、顔特徴点候補検出部２３１が検出対象とする顔特徴点の例を示す図である。図５に示す例では、検出対象の顔特徴点が、×印で示されている。図５に示す例では、右目の瞳中心、左目の瞳中心、鼻の頭頂部、右口角および左口角の５点が、検出対象の顔特徴点であることを示す。

顔特徴点候補検出部２３１は、例えば上記５点のそれぞれについて、複数の異なる顔特徴点検出手法を用いて、複数の顔特徴点候補を検出する。顔特徴点候補検出部２３１に用いられる複数の異なる顔特徴点検出手法の数をｎ（ｎは２以上の整数）とすると、顔特徴点候補は、ｎ個の顔特徴点の集合として定義される。

図６Ａ乃至図６Ｃは、それぞれ、映像データから取得された３つの顔画像に含まれる顔領域においてそれぞれ検出された顔特徴点候補の例を示す図である。例えば映像データのうちある人物の顔が写った３つの連続した顔画像における該人物の顔領域について、それぞれ顔特徴点候補が検出されてもよいが、それに限定されない。

図６Ａ乃至図６Ｃでは、３つの顔画像に含まれる顔領域のそれぞれについて、顔特徴点候補検出部２３１が、上記５点（右目の瞳中心、左目の瞳中心、鼻の頭頂部、右口角および左口角）について、それぞれ３つの異なる顔特徴点検出手法を用いて、３つの顔特徴点候補を検出した例を示す。

ここで、顔特徴点検出手法には、例えば、非特許文献２または非特許文献３に記載された顔特徴点検出手法が用いられてもよい。これらの手法は一例であり、他の手法が用いられてもよい。

あるいは、異なるデータセットをそれぞれ学習した周知の顔特徴点検出手法を、異なる複数の顔特徴点検出手法として利用してもよい。例えば、データセットをランダムに２分割し、それぞれのデータセットを、例えば非特許文献２に記載された顔特徴点検出手法により学習する。これにより得られる２種類のモデルを、異なる２種類の顔特徴点検出手法として利用してもよい。

あるいは、異なる特徴量によって表されるそれぞれのデータセットをそれぞれ学習した周知の顔特徴点検出手法を、異なる複数の顔特徴点検出手法として利用してもよい。例えば、カラー画像のＲＧＢ値によって表されるデータセットと、グレイスケール変換した輝度値によって表されるデータセットを、例えば非特許文献２に記載された顔特徴点検出手法により学習する。これにより得られる２種類のモデルを、異なる２種類の顔特徴点検出手法としてもよい。

続いて、信頼度算出部２３２は、上述のように顔特徴点候補検出部２３１により検出された複数の顔特徴点候補の統計情報に基づいて、それぞれの顔画像の信頼度を計算する（ステップＳ２３０）。

信頼度算出部２３２は、統計情報として、顔特徴点候補の各位置の分散を利用してもよい。信頼度算出部２３２は、具体的には、例えば、以下の手順で顔画像の信頼度を計算する。

図７は、例えば図６Ａに示したように顔特徴点候補が検出された顔領域のうちの目が写った領域（以降、「目領域」とも称する）を拡大した図である。図７では、右目の瞳中心の顔特徴点候補３点ｐ、ｑ、ｒが検出されたことを示す。

図７に示す目領域において、例えば、画像の横方向をｘ軸、縦方向をｙ軸とするｘｙ座標系とし、各顔特徴点候補ｐ、ｑ、ｒの座標値を、それぞれｐ（ｘ_１，ｙ_１）、ｑ（ｘ_２，ｙ_２）、ｒ（ｘ_３，ｙ_３）とする。

この場合、顔特徴点候補のそれぞれの位置の分散ｖは、例えば、式（１）で計算される。

ｖ＝（１／３）＊（（ｘ_１−ｍ）＾２＋（ｙ_１−ｎ）＾２＋（ｘ_２−ｍ）＾２＋（ｙ_２−ｎ）＾２＋（ｘ_３−ｍ）＾２＋（ｙ_３−ｎ）＾２）・・・（１）
ここで、
ｍ＝（１／３）＊（ｘ_１＋ｘ_２＋ｘ_３）
ｎ＝（１／３）＊（ｙ_１＋ｙ_２＋ｙ_３）
である。なお、式（１）および以降の式において、「／」は除算、「＊」は乗算、「＾」は累乗を、それぞれ示す。

信頼度算出部２３２は、鼻の頭頂部や口角など、検出された顔特徴点のそれぞれについても、上述の右目の瞳中心と同等に、式（１）を用いて顔特徴点候補のそれぞれの位置の分散ｖを求める。

続いて、信頼度算出部２３２は、検出された顔特徴点ごとに求めた分散ｖの平均値、すなわち平均分散ｕを計算する。ここでは、右目の瞳中心、左目の瞳中心、鼻の頭頂部、右口角および左口角の各顔特徴点候補のそれぞれの位置の分散を、それぞれｖ_１、ｖ_２、ｖ_３、ｖ_４、ｖ_５とすると、平均分散ｕは、式（２）で計算される。
ｕ＝（１／５）＊（ｖ_１＋ｖ_２＋ｖ_３＋ｖ_４＋ｖ_５）・・・（２）
続いて、信頼度算出部２３２は、以下の式（３）により、平均分散ｕの負の指数関数を求めることで、信頼度ｓを算出する。
ｓ＝ｅｘｐ（−ｕ）・・・（３）
信頼度ｓは、０以上１以下の値をとる。

なお、上述のように、信頼度算出部２３２は、統計情報として顔特徴点候補のそれぞれの位置の分散を用い、信頼度の計算に平均分散の負の指数関数を用いることを説明したが、それに限定されない。例えば、信頼度算出部２３２は、分散の代わりに標準偏差を用いてもよい。また、信頼度算出部２３２は、平均分散の負の指数関数の代わりにシグモイド関数を用いてもよい。

また、上記では、検出対象の顔特徴点のすべてに関する顔特徴点候補のそれぞれの位置の分散の平均に基づいて信頼度を求めることを説明したが、それに限定されない。例えば、信頼度算出部２３２は、検出対象の顔特徴点の少なくとも１つに関する顔特徴点候補のそれぞれの位置の分散に基づいて信頼度を算出してもよい。

続いて、顔画像選択部２３３は、上記のように計算された信頼度に基づいて、顔認証に適した顔画像を選択する（ステップＳ２４０）。具体的には、顔画像選択部２３３は、信頼度算出部２３２により計算された信頼度が、最大値である顔画像を、顔認証に適した顔画像として選択してもよい。例えば、図６Ａ乃至図６Ｃに示した図のうち、顔画像選択部２３３は、信頼度が最大値である、すなわち顔特徴点候補のそれぞれの位置のばらつきが最も少ない図６Ｃを、顔認証に適した顔画像として選択してもよい。

顔画像選択部２３３は、また、例えば、任意の閾値以上の信頼度を有する顔画像を選択してもよい。この場合、複数の顔画像が選択されてもよい。

上述のように、顔特徴点候補の分散の平均に基づく信頼度を利用して、顔画像の選択を行うことにより、例えば顔特徴点候補のそれぞれの位置のばらつきが大きい顔画像を、顔認証に用いる顔画像から排除することができる。

例えば、口を手で覆っている顔が写った顔画像では、口の特徴点位置が曖昧になるため、口の顔特徴点候補の分散が上昇する。このような顔画像は、上記のように顔特徴点候補のそれぞれの位置の分散の平均に基づく信頼度を利用すると、顔認証に用いる顔画像から排除することができる。

以上の手順で、選択部２３０は、顔認証に適した顔画像を選択する。

図８は、第２の実施形態に係る顔認証装置２００の認証部２５０により、選択部２３０により選択された顔画像を用いて、顔認証を行う処理を説明するフローチャートである。
図８を参照して、認証部２５０による処理について説明する。

認証部２５０の統合顔特徴点算出部２５１は、顔画像選択部２３３から、選択された顔画像を取得する（ステップＳ３１０）。統合顔特徴点算出部２５１は、取得した顔画像について、検出対象の顔特徴点ごとに検出されている複数の顔特徴点候補に基づいて、照合のために利用する統合顔特徴点を算出する（ステップＳ３２０）。具体的には、統合顔特徴点算出部２５１は、例えば、複数の顔特徴点候補の各座標値の平均値を計算し、その平均値を、統合顔特徴点の座標値とする。

図９は、図７に示した例について、右目の瞳中心に関する複数の顔特徴点候補の各座標値の平均値を、統合顔特徴点の座標値として計算した例を示す図である。図９に示すように、統合顔特徴点算出部２５１は、顔特徴点候補ｐ、ｑ、ｒの各座標値の平均値（ｍ，ｎ）、すなわち、
ｍ＝（１／３）＊（ｘ_１＋ｘ_２＋ｘ_３）
ｎ＝（１／３）＊（ｙ_１＋ｙ_２＋ｙ_３）
を、それぞれ、統合顔特徴点のｘ座標値およびｙ座標値として算出する。

このように、複数の顔特徴点候補を統合することで、ある１つの手法により検出された顔特徴点を使用する場合よりも、顔特徴点検出を高精度化できる。

なお、統合顔特徴点算出部２５１は、顔特徴点候補ごとに任意の重みを加重して求めた、座標値の加重平均値を、統合顔特徴点の座標値としてもよい。

続いて、正規化部２５２は、顔画像選択部２３３により選択された顔画像と、統合顔特徴点算出部２５１により算出された統合顔特徴点とに基づいて、顔の位置や向きを補正することにより顔画像を正規化する（ステップＳ３３０）。ここで、正規化とは、顔画像間の顔の照合のために目や口などの顔のパーツの位置を揃える処理をいう。

正規化部２５２は、正規化に、例えば、非特許文献４等の周知の正規化手法を用いてもよい。正規化部２５２は、例えば、両目の瞳中心の統合顔特徴点の座標値から顔の面内回転角度を求め、右目と左目が水平となるように逆回転し、サイズ６４×６４ピクセルの画像に正規化してもよい。

なお、正規化部２５２による上述した正規化手法は一例であり、その他の周知の正規化手法を用いてもよい。

続いて、照合部２５３は、正規化部２５２により正規化された画像から顔照合用のテンプレートを計算し、計算したテンプレートと、テンプレート記憶部２５４に記憶されている顔照合用テンプレートとを照合して、顔照合スコアを計算する（ステップＳ３４０）。

ここで、顔照合用のテンプレートには、任意のテンプレートが用いられてよい。例えば、正規化画像から抽出したＨｉｓｔｏｇｒａｍｏｆＯｒｉｅｎｔｅｄＧｒａｄｉｅｎｔｓ（ＨＯＧ）特徴量を用いたテンプレートや、正規化画像自体を特徴量としたテンプレートを利用してもよい。また、テンプレート同士の照合スコアの計算には、例えば、正規化相関やユークリッド距離を利用してもよい。

照合部２５３は、例えば非特許文献４に記載されるサイズ６４×６４ピクセルの正規化画像を利用して照合スコアｆを計算してもよい。具体的には、照合部２５３は、例えば、以下のように照合スコアｆを計算してもよい。すなわち、照合部２５３は、正規化画像を、例えばラスタスキャンによって一列の４０９６次元ベクトルに並べ替えたものをテンプレートとして利用する。

２つのテンプレートｔ１、ｔ２が与えられたとき、以下の式（４）によって、正規化相関を用いた照合スコアｆを計算できる。
ｆ＝＜ｔ１・ｔ２＞／（＜ｔ１・ｔ１＞×＜ｔ２・ｔ２＞）＾（１／２）・・・（４）
ただし、＜ｔ１・ｔ２＞はｔ１とｔ２の内積を表す。

正規化相関を用いた照合スコアは、２つのテンプレートが同一ベクトルのときに最大値１となるので、テンプレート同士が類似しているほど高い値となる。したがって、正規化相関を顔の類似度として利用できる。

照合部２５３は、上述のように計算した顔照合スコアが閾値より大きいとき、照合対象のテンプレートと、テンプレート記憶部２５４に記憶されている顔照合用テンプレートとがマッチしたと判定してもよい。顔照合用テンプレートにマッチした場合、照合対象のテンプレートには、顔照合用テンプレートに示される人物が含まれている（本人である）と特定できる。

なお、照合部２５３により用いられる上述した特徴量や顔照合手法は一例であり、その他の周知の特徴量や顔照合手法を用いてもよい。

照合部２５３は、照合の結果を、出力部２７０に通知する。出力部２７０は、照合部２５３から取得した照合結果を出力する（ステップＳ３５０）。出力部２７０は、例えば、特定された人物の顔画像、名前、照合スコアをディスプレイに表示してもよい。

以上のように、本第２の実施形態によれば、顔認証装置２００の顔特徴点候補検出部２３１は、映像データから取得された、顔が含まれるフレームである顔画像から、検出対象の顔特徴点に対して異なる複数の顔特徴点検出手法を用いて、複数の顔特徴点候補を検出する。信頼度算出部２３２は、検出された複数の顔特徴点候補の統計情報、例えば分散に基づいて、顔画像の信頼度を算出する。顔画像選択部２３３は、算出された信頼度に基づいて、顔認証に適した顔画像を選択する。

上記構成を採用することにより、本第２の実施形態によれば、映像データを構成する、顔が含まれるフレームである顔画像から、高精度に顔特徴点が検出された顔画像を選択し、その顔画像を顔照合用のテンプレートとの照合に用いる。これにより、本第２の実施形態によれば、検出される顔特徴点の位置ずれの影響を抑え、高精度な顔認証を実現することができるという効果が得られる。

また、選択された顔画像において、顔特徴点算出部２５１により、複数の顔特徴点候補の各位置の平均を統合顔特徴点として求め、その統合顔特徴点を利用して画像を正規化し、照合に用いる。これにより、本第２の実施形態によれば、顔特徴点検出を高精度化でき、顔認証の精度をより向上させることができるという効果が得られる。

なお、図３の処理Ｓ２４０において、顔画像選択部２３３が、複数の顔画像を選択した場合、複数の顔画像それぞれについて、図８の処理Ｓ３２０乃至Ｓ３４０を行うことで、顔認証の精度をさらに上げることができる。

図１０は、各実施形態の顔認証装置を実現するコンピュータ装置５００のハードウェア構成の一例を示す図である。なお、本発明の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素は、例えば図１０に示すようなコンピュータ装置５００とソフトウェアとの任意の組み合わせにより実現することができる。

図１０に示すように、コンピュータ装置５００は、プロセッサ（ＣＰＵ）５０１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）５０２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）５０３、記憶装置５０５、ドライブ装置５０７、通信インタフェース５０８、入出力インタフェース５１０およびバス５１１を備える。

記憶装置５０５は、プログラム５０４を格納する。ドライブ装置５０７は、記録媒体５０６の読み書きを行う。通信インタフェース５０８は、ネットワーク５０９と接続する。
入出力インタフェース５１０は、データの入出力を行う。バス５１１は、各構成要素を接続する。

プロセッサ５０１は、ＲＡＭ５０３を用いてプログラム５０４を実行する。プログラム５０４は、ＲＯＭ５０２に記憶されていてもよい。また、プログラム５０４は、記録媒体５０６に記録され、ドライブ装置５０７によって読み出されてもよいし、外部装置からネットワーク５０９を介して送信されてもよい。通信インタフェース５０８は、ネットワーク５０９を介して外部装置とデータをやり取りする。入出力インタフェース５１０は、周辺機器（キーボード、マウス、表示装置など）とデータをやり取りする。通信インタフェース５０８及び入出力インタフェース５１０は、データを取得又は出力する手段として機能することができる。出力情報などのデータは、記憶装置５０５に記憶されていてもよいし、プログラム５０４に含まれていてもよい。

なお、顔認証装置の実現方法には様々な変形例がある。例えば、顔認証装置は、専用の装置として実現することができる。また、顔認証装置は、複数の装置の組み合わせにより実現することができる。

顔認証装置におけるテンプレート記憶部２５４は、記憶装置５０５により実現されてもよい。

また、顔認証装置における検出部１１０、信頼度算出部１２０、選択部１３０、入力部２１０、顔特徴点候補検出部２３１、信頼度算出部２３２、顔画像選択部２３３、統合顔特徴点算出部２５１、正規化部２５２、照合部２５３および出力部２７０は、例えば、プログラム制御に従って処理を実行するプロセッサ５０１によって実現されてもよい。

また、これらの機能を実現するように動作させるプログラムを記録媒体５０６に記録させ、その記録媒体５０６に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体５０６も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体５０６はもちろん、そのプログラム自体も各実施形態に含まれる。

以上、上述した実施形態を参照して本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、種々の上記開示要素の多様な組み合わせ乃至選択など、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１７年６月２６日に出願された日本出願特願２０１７−１２４３３５を基礎とする優先権を主張し、その開示のすべてをここに取り込む。

１００顔認証装置
１１０検出部
１２０信頼度算出部
１３０選択部
２００顔認証装置
２１０入力部
２３０選択部
２３１顔特徴点候補検出部
２３２信頼度算出部
２３３顔画像選択部
２５０認証部
２５１統合顔特徴点算出部
２５２正規化部
２５３照合部
２５４テンプレート記憶部
２７０出力部
５００コンピュータ装置
５０１プロセッサ
５０２ＲＯＭ
５０３ＲＡＭ
５０４プログラム
５０５記憶装置
５０６記録媒体
５０７ドライブ装置
５０８通信インタフェース
５０９ネットワーク
５１０入出力インタフェース
５１１バス

Claims

対象の顔を含む複数の顔画像のそれぞれから、前記対象の顔の少なくとも１の顔特徴点について、複数の異なる手法を用いて、複数の顔特徴点候補を検出する検出手段と、
前記検出された複数の顔特徴点候補に基づいて得られる統計情報から、それぞれの顔画像の信頼度を算出する信頼度算出手段と、
前記算出された信頼度に基づいて、前記複数の顔画像のうち、前記対象の顔の認証に用いる顔画像を選択する選択手段と
を備えた顔認証装置。
前記選択手段により選択された顔画像において、前記検出された複数の顔特徴点候補に基づいて、前記対象の顔の認証に利用する統合顔特徴点を算出する統合顔特徴点算出手段をさらに備えた請求項１記載の顔認証装置。
前記信頼度算出手段は、前記複数の顔特徴点候補の各位置の分散または標準偏差から、それぞれの前記顔画像の前記信頼度を算出する
請求項１または請求項２記載の顔認証装置。
前記信頼度算出手段は、前記検出手段により２以上の顔特徴点について、それぞれ複数の顔特徴点候補が検出された場合、前記顔特徴点ごとの前記複数の顔特徴点候補の各位置の分散の平均から、それぞれの前記顔画像の前記信頼度を算出する
請求項３記載の顔認証装置。
前記複数の顔画像は、動画像を構成する連続した顔画像である
請求項１乃至請求項４のうちいずれか１項記載の顔認証装置。
対象の顔を含む複数の顔画像のそれぞれから、前記対象の顔の少なくとも１の顔特徴点について、複数の異なる手法を用いて、複数の顔特徴点候補を検出し、
前記検出された複数の顔特徴点候補に基づいて得られる統計情報から、それぞれの顔画像の信頼度を算出し、
前記算出された信頼度に基づいて、前記複数の顔画像のうち、前記対象の顔の認証に用いる顔画像を選択する
顔認証方法。
対象の顔を含む複数の顔画像のそれぞれから、前記対象の顔の少なくとも１の顔特徴点について、複数の異なる手法を用いて、複数の顔特徴点候補を検出する処理と、
前記検出された複数の顔特徴点候補に基づいて得られる統計情報から、それぞれの顔画像の信頼度を算出する処理と、
前記算出された信頼度に基づいて、前記複数の顔画像のうち、前記対象の顔の認証に用いる顔画像を選択する処理と
を、コンピュータに実行させるプログラム。