WO2012017589A1

WO2012017589A1 - 顔画像登録装置および方法

Info

Publication number: WO2012017589A1
Application number: PCT/JP2011/003146
Authority: WO
Inventors: 伸山田; 宏明由雄
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2010-08-05
Filing date: 2011-06-03
Publication date: 2012-02-09
Anticipated expiration: 2013-02-05
Also published as: US9092660B2; US20130129160A1; JP5753966B2; JP2012037995A; CN103080975A

Abstract

　本人の顔画像が複数あったとき、認証用の顔画像として最も適しているものを選択することが困難であった。　複数の本人の顔画像を入力する画像入力部（２）と、複数の他人顔を保持する他人顔保持部（５）と、前記本人の顔画像と前記他人顔保持部（５）に保持された他人顔とを照合して、前記本人の顔画像の誤報特性を算出する誤報特性算出部（４）と、前記複数の本人の顔画像間で照合を行い、前記本人の顔画像の正報特性を算出する正報特性算出部（６）と、前記本人の顔画像の誤報特性および前記本人の顔画像の正報特性を用いて、前記複数の本人の顔画像の中から登録顔画像を選択する。

Description

顔画像登録装置および方法

　本発明は、顔認識装置の設置環境が変わった場合でも、照合率の高い登録顔を選択できる顔画像登録装置および方法等に適用される技術に関するものである。

　顔認識装置を用いて顔認証を行う際には、まず、認証したい人物の顔画像を本人顔として顔認証装置に登録する。次に、新たに取得した顔画像が登録された顔画像の中のどの人物の顔であるかを調べて、本人を特定する。
　この際、新たな人物を認識しようとする場合には、新たな人物を登録画像として登録する。図２７は、特許文献１に記載された従来の顔認証装置のブロック構成図である。図２７において、撮像手段９によって撮影した画像を表示装置１１に表示、入力装置１２によって登録すべき画像を選択して登録する。

日本国特開２００４－０８６６２５号公報

　しかし、従来の装置では、同一人物の複数の顔があったとき、どの顔画像が照合に適した顔画像であるかを判断することは困難であった。照合に適した顔画像とは、該当人物等の顔画像を顔データベースに登録した後に、該当人物の新たな顔画像を入力して、顔データベースに登録されている顔画像と照合した場合、他人と間違われないという誤報特性と、本人と認識されるという正報特性が良いものである。
　しかし、顔認証装置の特性上、同一人物の顔画像が複数あった場合、どの顔画像が顔照合に適しているか否かを判断することは困難である。
　そこで、本発明はこれらの問題を解決し、同一人物の顔画像が複数あった場合、顔認証に適した顔画像を選択することの出来る、顔画像登録装置および方法を提供することを目的とする。

　本発明の顔画像登録装置は、複数の本人の顔画像を入力する画像入力部と、複数の他人顔を保持する他人顔保持部と、前記本人の顔画像と前記他人顔保持部に保持された他人顔とを照合して、前記本人の顔画像の誤報特性を算出する誤報特性算出部と、前記複数の本人の顔画像間で照合を行い、前記本人の顔画像の正報特性を算出する正報特性算出部と、前記本人の顔画像の誤報特性および前記本人の顔画像の正報特性を用いて、前記複数の本人の顔画像の中から登録顔画像を選択する登録顔画像選択部と、を有している。

　この構成により、複数の本人の顔画像の中から、誤報率を減らし、正報率を高くすることの出来る登録画像を選択することが出来る。

　また、本発明の顔画像登録装置は、前記誤報特性算出部は、前記本人の顔画像と前記他人顔保持部に保持された他人顔との照合結果を誤報率として算出し、前記正報特性算出部は、前記本人の顔画像の正報特性を正報率として算出し、前記登録顔画像選択部は、前記複数の本人の顔画像の中から前記本人の顔画像の正報率が所定の閾値のときの、前記本人の顔画像の正報率と前記本人の顔画像の誤報率の差を用いて前記登録顔画像を選択する構成を有している。

　この構成により、正報率が所定の閾値において、誤報率を減らし、正報率を高くすることの出来る登録画像を選択することが出来る。

　さらに、本発明の顔画像登録装置は、前記誤報特性算出部は、前記本人の顔画像と前記他人顔保持部に保持された他人顔との照合結果を誤報率として算出し、前記正報特性算出部は、前記本人の顔画像の正報特性を正報率として算出し、前記登録顔画像選択部は、前記複数の本人の顔画像の中から前記本人の顔画像の誤報率が所定の閾値のときの、前記本人の顔画像の正報率と前記本人の顔画像の誤報率の差を用いて前記登録顔画像を選択する構成を有している。

　この構成により、誤報率が所定の閾値において、誤報率を減らし、正報率を高くすることの出来る登録画像を選択することが出来る。

　さらに、本発明の顔画像登録装置は、前記画像入力部から入力された前記本人の顔画像の顔向きを算出する顔向き算出部を有し、前記他人顔保持部は顔向きごとに他人顔を保持し、前記誤報特性算出部、前記正報特性算出部および前記登録顔画像選択部は、前記顔向き算出部が算出した顔向き毎に前記誤報特性および前記正報特性を算出し、前記登録顔画像選択部は、前記顔向き算出部が算出した顔向き毎に前記登録画像を選択する構成を有している。

　この構成により、顔向き画像毎に登録画像を選択することが出来る。

　さらに、本発明の顔画像登録装置は、前記画像入力部から前記本人の顔画像を入力する際の前記画像入力部に対する前記本人の撮影位置を取得する位置取得手段を有し、前記他人顔保持部は撮影位置ごとに他人顔を保持し、前記誤報特性算出部、前記正報特性算出部および前記登録顔画像選択部は、前記撮影位置毎に前記誤報特性および前記正報特性を算出し、前記登録顔画像選択部は、前記撮影位置毎に前記登録画像を選択する構成を有している。

　この構成により、画像の撮影位置毎に登録画像を選択することが出来る。

　さらに、本発明の顔画像登録装置は、前記他人顔保持部に保持された他人顔を更新する他人顔更新部を有し、前記誤報特性算出部は前記他人顔更新部が更新した直近の所定の他人顔を用いて前記誤報特性を算出することを特徴とする構成を有している。

　この構成により、直近の他人顔を用いて誤報特性を算出することが出来るので、撮影環境が変わった場合でも精度のよい顔認証を行うことが出来る。

　さらに、本発明の顔画像登録装置は、画像を入力する画像入力部と、登録画像と、前記登録画像の照合閾値と、前記登録画像の類似度と誤報率の対応関係を表す誤報率特性を保持する登録顔画像保持部と、前記画像入力部から入力した画像と前記登録顔画像保持部に保持した顔画像を照合して入力画像の類似度を求め、前記入力画像の類似度と前記照合閾値を比較して個人を判定する個人判定部とを有し、前記画像入力部から入力した画像が、前記登録顔画像保持部に保持された複数の登録画像と同一人物の顔と判定されたとき、前記複数の登録画像に対して、前記誤報率特性から前記入力画像の類似度に対する誤報率を算出し、前記算出した誤報率を比較して前記画像入力部から入力した画像の顔と前記複数の登録画像の顔が同一人物であるか否かを判定する構成を有している。

　この構成により、照合閾値を超える顔画像が複数あったときでも、誤報率特性から求めた類似度に対する誤報率により、個人を特定することが出来る。

　本発明は、誤報特性と正報特性を高くすることが出来る登録画像を選択することが出来る。

本発明の実施の形態１の構成を示すブロック構成図本発明の実施の形態１の動作を示す説明図本発明の実施の形態１の誤報率特性を示す説明図本発明の実施の形態１の正報率特性を示す説明図本発明の実施の形態１の登録候補Ａの特性を示す説明図本発明の実施の形態１の登録候補Ｂの特性を示す説明図本発明の実施の形態１の登録候補Ｃの特性を示す説明図本発明の実施の形態１の処理の流れを示すフロー図本発明の実施の形態２の構成を示すブロック構成図本発明の実施の形態２の顔向きの種類を示す説明図本発明の実施の形態２の登録顔候補を示す説明図本発明の実施の形態２の登録顔の登録方法を示す説明図本発明の実施の形態２の手法１の動作を示す説明図本発明の実施の形態２の手法２の動作を示す説明図本発明の実施の形態２の処理の流れを示す全体フロー図本発明の実施の形態２の処理の流れを示す詳細フロー図本発明の実施の形態３の構成を示すブロック構成図本発明の実施の形態３の動作を示す説明図本発明の実施の形態３の位置の区分を示す説明図本発明の実施の形態３の処理の流れを示す全体フロー図本発明の実施の形態３の処理の流れを示す詳細フロー図本発明の実施の形態４の構成を示すブロック構成図本発明の実施の形態５の構成を示すブロック構成図（ａ），（ｂ）本発明の実施の形態５の動作を示す説明図本発明の実施の形態５の照合閾値の使い方を示す説明図本発明の実施の形態５の処理の流れを示すフロー図従来の顔照合装置のブロック構成図

　（実施の形態１）
　以下、本発明に係わる実施の形態１について、図面により詳細に説明する。図１は本発明の顔画像登録装置の実施の形態１を示すブロック図である。
　図１において、顔画像登録装置１では、画像入力部２によって撮影された人物の画像から顔画像切出部３によって顔画像が切り出され、誤報特性算出部４と正報特性算出部６に送られる。

　誤報特性算出部４では、他人顔保持部５を参照しながら顔照合部７を用いて誤報特性が算出される。また、正報特性算出部６では、顔画像切出部３で切り出された顔画像から顔照合部７を用いて正報特性が算出される。
　最後に、誤報特性算出部４で算出された誤報特性と、正報特性算出部６で算出された正報特性を用いて、登録顔画像選択部である登録顔選択部８が、顔画像切出部３で切り出した顔画像の中から、登録顔画像に適した顔画像を選択する。

　次に、本発明の実施の形態１について詳細に説明する。図２は、本発明の実施の形態１の動作を示した説明図である。図２において、コンビニなどの入口２１から、本人２２が入店している様子を示している。本人２２は軌跡２５にしたがって進んでいく。このとき、画像入力部２よって本人の画像２３が複数枚撮影され、顔画像切出部３によって、本人の顔画像２４が切り出される。

　図１において、誤報特性算出部４は、顔画像切出部３の切り出した本人の顔画像のそれぞれに対して、他人顔保持部５との間で顔照合部７を用いて照合を行う。顔照合部７は、他人顔保持部５に保持された他人顔と本人の顔画像との間の類似度を計算する。
　このとき、閾値を決めておき、類似度が閾値より小さいときは他人と判断し、類似度が閾値より大きなときは本人と判断する。

　このため、閾値を大きな値にしたときは、本人と判断されることが少ないので、誤報率は下がるが、閾値を小さな値にしたときは、本人と判断されることが多くなり、誤報率が上がる。

　図３は、顔画像切出部３によって切り出された本人の顔画像をそれぞれ登録顔候補Ａ、Ｂ、Ｃとしたときの、閾値を変えたときの誤報率を示している。図３では、登録顔候補Ａは閾値が小さいときは他の登録顔候補と比較して誤報率が低いが、閾値を上げても誤報率はそれほど下がらないことを示している。また、登録顔候補Ｂでは、閾値が小さいときは誤報率が高いが、閾値を少し上げると、急激に誤報率が下がることを示している。登録顔候補Ｃはその中間である。

　次に、図１において、顔画像切出部３によって切り出された本人の顔画像は、正報特性算出部６に入力される。正報特性算出部６では、顔照合部７を用いて、本人の顔画像間での正報率を算出する。

　正報率を求める際には、最初に、本人の顔画像の一つを他の全ての本人の顔画像と照合して類似度を計算する。計算される類似度の個数は、本人の顔画像の総数から１を引いた値である。そこで、閾値を設定しておき、類似度が設定した閾値以上になる他の本人の顔画像の個数を、計算された類似度の総数で割った値を正報率とする。閾値を変えると、類似度が閾値を上回る他の本人の顔画像の数が変わるので、各本人の顔画像の一つに対する正報率は、閾値に依存して変動する。

　入力された本人の顔画像の一つの正報率は、閾値を大きくすると、他の本人の顔画像との類似度のうち閾値を超えるものが少なくなるので、正報率は下がり、一方、閾値を小さくすると、他の本人との顔画像との類似度の閾値を超えるものが多くなるので、正報率は上がる。

　図４は、先に述べた登録顔候補Ａ、Ｂ、Ｃについて、閾値を変えたときの正報率の変化を示している。図４では、登録顔候補Ａは、閾値が小さいとき正報率が高く、閾値を上げると徐々に正報率が下がることを示している。これは、登録顔候補Ａは、他の本人の顔画像との類似度を求めると、類似度が小さな物から類似度が大きな物まで、均等にあることを示している。

　また、登録顔候補Ｂは、閾値がある値になると急激に正報率が下がることを示している。これは、類似度の大きな他の本人の顔画像が少ないことを示している。
　さらに、登録顔候補Ｃは、他の登録顔候補と比較して正報率が低く、閾値を変えたとき、不安定に正報率が変化することを示している。これは、類似度が小さな他の本人の顔画像や、類似度の大きな他の本人の顔画像が不均等になっていることを示している。

　図５、図６、図７は、登録候補画像Ａ、Ｂ、Ｃについて、閾値を変えたときの正報率と誤報率の変化を同じグラフに書いたものである。

　図５において正報率が９５％になるときの閾値を求め、さらにこの閾値のときの誤報率を求め、その差を取ると、正報率と誤報率の差（正報率基準）５３が得られる。同じように、図６、図７において、正報率と誤報率の差（正報率基準）６３と、正報率と誤報率の差（正報率基準）７３を求めることができる。正報率と誤報率の差（正報率基準）５３、正報率と誤報率の差（正報率基準）６３、正報率と誤報率の差（正報率基準）７３の中では、正報率と誤報率の差（正報率基準）５３が一番大きい。

　正報率と誤報率の差が大きい登録画像のほうが、この登録画像と新たに入力した本人の顔と照合した場合、本人と正しく判定する正報率が高くなり、他人を本人と判定する誤報率が低くなると考えられるので、登録画像としては登録画像Ａが最も適している。

　同様に、図５において、誤報率５１が１％になるときの閾値を求め、さらにこの閾値のときの正報率５２を求め、その差を取ると、正報率と誤報率の差（誤報率基準）５４を求めることができる。

　正報率と誤報率の差（正報率基準）と同様に、正報率と誤報率の差（誤報率基準）５４、正報率と誤報率の差（誤報率基準）６４、正報率と誤報率の差（誤報率基準）７４の中で、その差が最も大きな物が登録画像としては適していると考えられるので、誤報率１％を基準としたときは、登録候補画像Ｂが最も適している。なお、６１，７１は誤報率であり、６２，７２は正報率である。
　登録する顔画像としては、正報率を基準にして決めてもよいし、誤報率を基準にして決めてもよい。

　図８は、実施の形態１の処理の流れを示したフローチャートである。画像入力部２から本人の画像が入力されるが（Ｓ８１）、通常は図２のように、本人２２を撮影し始めてから一定の時間追跡し、順次画像２３を入力していく。

　追跡が終了すると、画像入力の終了（Ｓ８２）と判断し、各画像から顔画像を切り出す（Ｓ８３）。次に、切り出した各顔画像に対して誤報特性を算出する（Ｓ８４）。次に正報特性を算出する（Ｓ８５）。誤報特性および正報特性を各登録顔候補について算出した後、誤報特性と正報特性から登録画像を選択する（Ｓ８６）。

（実施の形態２）
　次に、本発明に係わる実施の形態２について、図９～図１４を用いて説明する。図９は、実施の形態２を示すブロック構成図である。実施の形態２は実施の形態１とほぼ同じで構成で、画像入力部２から入力された画像の顔向きを算出する顔向き算出部８１を有し、さらに顔画像切出部３によって切り出された顔画像を顔向毎に保持する顔向画像保持部８２を有している。さらに、他人の顔画像を顔向き毎に保持している顔向毎他人顔保持部８３を有する点が異なっている。

　図１０は、顔向きの分け方について説明した説明図である。顔向き検出は、ＡＡＭ（Active Appearance Model）などのアルゴリズムを用いることによって得られるが、これによって得られた顔向きの角度により、例えば上下方向が２０度以上で左右方向が－２０度未満のときは右上３０度の顔画像として分類する。顔の向きは全部で９種類に分けられるが、さらに多くの種類に分けたり、少ない種類に分けることも可能である。

　図１１において、１０１は、画像入力部２によって入力された画像が、顔向き算出部８１によって顔向きが算出され、顔画像切出部３によって切り出された登録顔候補を示している。登録候補の人物が、移動しながら正面や右方向を見ていくため、１０枚の候補画像Ａ～Ｊが得られている。そして、これらの顔画像は、顔向画像保持部８２に顔向き毎に保持されている。

　顔向画像保持部８２に顔向毎に保持された後は、顔向毎に実施の形態１と同じ処理を実行する。例えば正面顔に関しては、Ａ，Ｂ、Ｉの３枚を登録顔画像候補とし、顔向毎他人顔保持部８３には、他人の顔画像が顔向き毎に保持されているので、顔向き毎に正報率および誤報率を算出し、登録顔に最も適したものを選択する。

　次に、本人顔の登録画像のうち、画像入力部２から入力されなかった角度に対応する登録画像の選択方法について、手法１と手法２について述べる。

　最初に、図１２および図１３を用いて、手法１について説明する。図１１に示す場合では、上３０度、右下３０度、下３０度および左下３０度の画像は画像入力部２からは得られていない。

　手法１では、顔向画像保持部８２に保持されているすべての本人の顔について、顔向毎他人顔保持部８３に保持されている画像の中で、該当する顔向きの画像を対象として誤報率を算出する。次に、本人の顔画像の一つを他の全ての本人の顔画像と照合して類似度を計算した後、顔向きにあわせた補正係数をこの類似度にかけて補正する。
　補正係数は、本人の顔画像の一つの顔向き、他の本人の顔画像の顔向きおよび求めようとする登録顔の顔向きに決定され、あらかじめ多数の人物の様々な顔向きの画像同士の類似度を求めて計算しておく。

　補正係数について図１３を用いてさらに説明する。図１３は、補正係数の保持されたデータ構造を示している。図１３において、手前の面の横軸は本人の顔画像の一つ（登録顔候補）の顔向きで、右上３０度から左下３０度まで、９分割されている。また、縦軸は、他の本人の顔画像（計算用本人顔）の顔向きで、同じように、右上３０度から左下３０度まで、９段階に分割されている。さらに、奥行方向は、求めようとする顔画像の顔向きで、同じく右上３０度から左下３０度まで、９段階に分割されている。
　登録顔候補の顔向き、計算用本人顔の顔向きおよび求めようとする顔画像の顔向きが決まると、補正係数が決まる。補正係数はあらかじめ、多くの顔向き画像を用いて学習しておく。

　登録顔候補Ａ～Ｊについて互い同士の類似度を求め、登録顔候補、計算用本人顔および求めようとする登録顔の顔向きから選んだ補正係数かけて、類似度を補正する。
　本人顔間での類似度が求まれば、本人顔毎の正報特性を求めることができるので、実施の形態１と同様にして登録顔候補を選ぶことができる。

　まず最初に、登録顔候補Ａに対する正報特性を計算するときは、計算用本人顔例えばＢとの間の類似度を求める。求めようとする顔画像の顔向きが上３０度とすると、登録顔候補Ａの顔向きが正面、計算用本人顔Ｂの顔向きが正面であり、求めようとする登録顔の顔向きを上３０度なので、図１３のように、登録顔候補が正面、計算用本人顔が正面、求めようとする顔向きが上３０度に対応する補正係数Ｆを選ぶことができる。

　補正係数を求めたのち、登録顔候補Ａと計算用本人顔Ｂとの間で求めた類似度に、補正係数Ｆをかけて、登録顔候補の補正後の類似度とする。
　以上の処理を、登録顔候補Ａについて、他の全ての計算用本人顔Ｃ～Ｊについて計算することにより、登録顔候補Ａについての正報特性を求めることが出来る。同様に、他の登録顔候補についても、正報特性を計算することが出来る。そして、正報特性と誤報特性の差が一番大きい登録顔候補を、該当する角度の登録画像として登録する。

　次に、手法２として、正報特性を算出するとき、照合相手となる他の全ての本人の顔画像に対して、ＡＡＭで推定した３次元モデルを使って、該当する顔向きの本人の顔画像を合成し、この顔を使って類似度を計算する方法について述べる。この場合は類似度の補正は不要である。

　手法１と同じように、図１１で、上３０度の本人顔の登録画像を選ぶ場合、上３０度の顔画像は画像入力部２からは入力されていないので、他の角度の顔画像Ａ～Ｊから選ぶことになる。
　まず最初に、手法１と同じく、図１４に示すように、本人の顔画像Ａ～Ｊのそれぞれに対して、顔向毎他人顔保持部８３に保持された上３０度の画像を用いて誤報率を求める。　　　

　次に、正報率を求めようとする本人の顔画像以外の顔画像（手法１と同じく計算用本人顔と呼ぶ）を、正報率を求めたい角度に合成し、合成した顔画像と、登録顔候補との間で類似度を求める。
　図１４において、正報率を計算する本人の顔候補をＡとし、正報率を求めたい角度を上３０度とすると、計算用本人顔Ｂ～Ｊを、上３０度に合成する。そして、Ａと合成後の顔画像との間で類似度を求めることにより、Ａの正報特性を求めることが出来る。

　同様の処理を登録顔候補Ｂ～Ｊについても計算する。すなわち、登録顔候補Ｂの正報率を求めるときは、計算用本人顔として、Ａ、Ｃ～Ｊまでの顔画像を上３０度に合成し、合成していない登録顔候補Ｂと、合成後の計算用本人顔Ａ，Ｃ～Ｊとの類似度を求めることにより、登録顔候補Ｂの正報率を計算する。Ｃ以下についても同様の処理を行って、それぞれの画像の正報率を求める。

　図１５は実施の形態２の処理の流れを示したフローチャートである。図１５において画像入力の終了（Ｓ８２）までは、実施の形態１と同じである。
　本人顔を一定の時間撮影したら、各画像の顔位置を求めて顔向きを算出する（Ｓ１３１）。そして、顔画像を切り出す（Ｓ８３）。次に、顔向画像保持部８２に顔向き毎に顔画像を保持する（Ｓ１３２）。さらに、顔向毎の登録顔選択（Ｓ１３３）を行う。

　図１６は、顔向毎の登録顔候補選択(Ｓ１３３)の処理の流れを示している。登録顔の選択は、図１０に示した、右上３０度から左下３０度までの９つの角度すべてについて行う。全ての顔向きについて登録画像が選択されたら処理は終了する（Ｓ１４１、ＹＥＳ）。全ての顔向きについての登録顔の選択が終わっていなかったら、選択されていない顔向きを一つ選択する（Ｓ１４２）。

　次に、選択した顔向き（該当する顔向き）について本人顔があるか否かを調べる（Ｓ１４３）。図１１の例では、右上３０度、左上３０度、右３０度、正面、左３０度には、本人の顔があるが、上３０度などの他の顔向きについては、本人の顔画像がないことになる。
　本人の顔がある場合（Ｓ１４３、ＹＥＳ）は、該当する顔向きについて誤報特性を算出する（Ｓ１４４）。この際、図９の顔向毎他人顔保持部８３には、他人の顔が顔向毎に保持されているので、該当する顔向きの他人の顔画像を用いて誤報特性を算出する。

　次に、該当する顔向きについて正報特性を算出する（Ｓ１４５）。そして、該当する顔向きについて登録画像を選択する（Ｓ１４６）。なお、該当する顔向きに対して本人の顔画像が１枚のときはその顔画像を、２枚のときは、誤報特性の低い方を該当する顔向きについての登録画像とする。

　該当する顔向きについて本人の顔画像がない場合（Ｓ１４３、ＮＯ）は、顔向きに関係なく全ての本人の顔画像について、図１２および図１３で説明した手法１、または、図１４で説明した手法２によって正報特性を算出する。（Ｓ１４７）。
　そして、正報特性と誤報特性の差が最も大きい画像を、登録顔画像として選択する（Ｓ１４８）。

（実施の形態３）
　次に、図１７～図１９を用いて、本発明に係わる実施の形態３について述べる。図１７は本発明の実施の形態３のブロック構成図である。実施の形態２と比較して、顔向き算出部８１に代えて位置算出部１２１を有し、顔向画像保持部８２に代えて位置毎画像保持部１２２を有している。また、誤報特性算出部４に代えて顔位置毎誤報特性算出部１２３、正報特性算出部６に代えて顔位置毎正報特性算出部１２４を有している。さらに、顔向毎他人顔保持部８３に代えて、位置毎他人顔保持部１２５を有している。

　図１８は、実施の形態３の動作を説明した説明図である。画像入力部２は、人物１３３が入口１３１やフロア１３４にいるところを撮影する。このとき、照明１３２や、画像入力部２と人物との位置関係によって、様々な条件の画像が得られる。

　図１９は、画像入力部２と人物や照明１３２との位置関係によってどのような条件の画像が入力されるかを示している。図１９に示すように、
　　Ａ：ダウンライト
　　Ｂ：顔サイズ小
　　Ｃ：ノーマル
　　Ｄ：顔が下向き
　　Ｅ：顔が横向きになりやすい
　といった画像が得られる。

　図１７に戻り、実施の形態３では、画像入力部２と人物との位置関係ごとに画像を保持し、正報特性および誤報特性を算出して、位置毎に登録画像を決定する。

　図２０および図２１は、実施の形態３の処理の流れを示すフローチャートである。図２０および図２１においては、実施の形態２のフローチャートである図１５及び図１６と比較して、顔向きを位置に代えている点が異なり他の点については同じである。Ｓ１８１はＳ１３１に対応しており、Ｓ１８２はＳ１３２に対応しており、Ｓ１８３はＳ１３３に対応している。また、Ｓ１９１～Ｓ１９８はＳ１４１～Ｓ１４８にそれぞれ対応している。

　なお、実施の形態３で、本人の顔が撮影されていない撮影位置に対する登録顔を選択する場合は、変換係数を用いる方法で行う。すなわち、図１３の立体は、縦横奥行きが５×５×５の立体とみなし、右上３０度はＢ：ダウンライト、上３０度はＢ：顔サイズ小、とみなして処理を行う。

（実施の形態４）
　次に、図２２を用いて本発明に係わる実施の形態４について述べる。図２２において、顔画像登録装置１は、実施の形態１と同じであるが、他人顔保持部５に保持された他人顔のデータを更新するために、他人顔更新部１５１および画像蓄積部１５２を有している。　　　

　他人顔更新部１５１は、画像切出部３あるいは画像蓄積部１５２から入力された他人の顔画像によって他人顔保持部に保持された他人の顔を更新する。

　他人顔保持部に保持された他人顔の更新の条件としては、以下の場合がある。
（１）直近入場者の顔画像のみを利用する
　画像入力部２から動画が入力された場合、直近入場者１０００人の顔を他人顔保持部に保持し、古い物を順次削除する。これにより時間変動の影響を小さくすることが出来る。　　　

（２）一人当たりの顔画像取得数を制限する
　画像入力部２から動画が入力された場合、追跡処理を行って、一人当たりの登録枚数を減らす。
（３）類似度の平均値が小さくなるように他人顔を選ぶ
　他人顔保持部５の顔画像の総当りで類似度を求め、類似度の平均ができるだけ小さくなるように他人保持部５の顔を選ぶ。他人顔保持部５内の類似度が大きい場合は、似ている顔が多い可能性があるが、類似度の平均値が小さくなるように他人顔を選ぶことにより、他人顔保持部５に不特定多数の顔画像を保持することが出来る。

（実施の形態５）
　次に、図２３～図２６を用いて、本発明に係わる実施の形態５について述べる。図２３は本発明の実施の形態５のブロック構成図を示している。実施の形態５では、実施の形態１の構成要素に対して、個人判定部１６１、登録顔保持部１６２、結果出力部１６７を有している。登録顔保持部１６２の内部には、個人毎情報１６３が個人毎に保持されている。さらに、個人毎情報１６３の内部には、登録画像１６４、照合閾値１６５、誤報特性１６６が保持されている。

　実施の形態５では、登録画像１６４毎に異なる照合閾値１６５を設定することにより、類似度が低くなりやすい登録画像の人物でも、本人と判定されやすいようにしている。

　また、入力画像に対して、複数の登録画像１６４が照合閾値１６５を超えたとき、誤報特性１６６を用いることにより、より本人と判定されやすいようにしている。

　まず最初に、実施の形態１で述べたように、誤報特性算出部４は、画像切出部３が切り出した画像のそれぞれに対して、他人顔保持部５に保持された他人の顔との間で誤報特性を算出する。

　登録顔の選択は実施の形態１と同じように行うが、登録顔選択部８が登録顔を選択して登録画像保持部１６２に保持するとき、登録画像１６４、照合閾値１６５のほかに、誤報特性を保持する。

　誤報特性とは本人顔を複数の他人顔と比較したとき、他人を本人と間違えて判断する場合の確率（誤報率）である。他人顔と比較して類似度をもとめ、類似度が照合閾値より大きいときは本人と判断され、小さいときは他人と判断される。このため、照合閾値が小さいほど、誤って本人と判断されることが多くなり誤報率が高くなる。
　図２４（ａ），（ｂ）に、登録画像がＡＡさん、ＢＢさんのときの誤報特性を示している。ＡＡさんの場合、類似度が５３のとき、誤報率は０．５％であり、ＢＢさんでは、類似度が５８のとき、誤報率は０．８％であることを示している。

　図２５は、登録画像として、ＡＡさん、ＢＢさん、ＣＣさん、およびＤＤさんが登録されており、それぞれの照合閾値が５０、５５、４８、５０であったとき、未知の顔Ｎｏ１(実はＡＡさん)、未知の顔Ｎｏ２(実はＢＢさん)、未知の顔Ｎｏ３（実はＢＢさん）が入力されたときの様子を示している。

　ここで、照合閾値は、例えばＡＡさんの登録顔と入力された画像の類似度が、この照合閾値以上のとき、入力された画像はＡＡさんであると判断する値のことである。

　未知の顔Ｎｏ１が入力されたときの、ＡＡさん、ＢＢさん、ＣＣさん、ＤＤさんとの類似度を求めると、５４、５４、４０、４０になり、ＡＡさんの照合閾値を超えるので、個人判定部１６１によって、未知の顔Ｎｏ１はＡＡさんであると判定される。また、その結果が結果出力部１６７に出力される。

　同様に、未知の顔Ｎｏ２の場合は、ＡＡさんなどとの類似度が、４０、５８、３８、４５になるので、未知の顔Ｎｏ２はＢＢさんと判定される。
　次に、未知の顔Ｎｏ３(実はＡＡさん)が入力されたときの、ＡＡさん等との類似度が、５３、５８、４２、４３であったとする。この場合は、ＡＡさんの照合閾値５０およびＢＢさんの照合閾値５５を共に超えているので、ＡＡさんかＢＢさんかの区別が出来ない。　　　

　そこで、図２４（ａ），（ｂ）に示すように、誤報特性を用いて、ＡＡさんの類似度が５３のときと、ＢＢさんの類似度が５８のときの誤報率を求める。

　類似度が５３のときのＡＡさんとの誤報率は０．３％であり、類似度が５８のときの、ＢＢさんとの誤報率が０．８％のためＡＡさんとの間での方が他人である可能性が低いことが分かるので、未知の顔Ｎｏ３はＡＡさんと判断する。

　図２６は、本発明の実施の形態５の処理の流れを示したフローチャートである。図２３において、画像入力部２から入力された画像は顔画像切出部３によって顔画像が切り出され、個人判定部１６１に送られる。

　図２６において、画像を入力するステップ（Ｓ８１）は画像入力部２によって実施され、画像を切り出すステップ（Ｓ８２）は、顔画像切出部３によって実施される。

　個人判定部１６１は、入力された顔画像と登録画像保持部１６２に保持された個人毎情報１６３の登録画像１６４との間で類似度を求める（Ｓ２２１）。

　全ての登録顔について照合を終了したら（Ｓ２２２）、照合閾値を超えたものがあるか否かを調べる（Ｓ２２３）。

　照合閾値を超えたものがなかったときは（Ｓ２２３、０人）、該当者なし（Ｓ２２４）となる。

　照合閾値を超えたものが１人のときは（Ｓ２２３、１人）、照合閾値を超えた登録人物が入力されたものと判定する（Ｓ２２５）。

　照合閾値を超えたものが２人以上のとき（Ｓ２２３、２人以上）は、図２４（ａ），（ｂ）を用いて述べた方法により、誤報特性から誤報率を求める（Ｓ２２６）。この処理を、照合閾値を超えた登録画像全てついて実施する（Ｓ２２７）。

　照合閾値を超えた全員の顔画像について処理を終えたら、誤報率の一番低い登録人物が入力されたものと判定する（Ｓ２２８）。

　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。

　本出願は、２０１０年８月５日出願の日本特許出願（特願２０１０－１７５９５０）に基づくものであり、その内容はここに参照として取り込まれる。

本発明は、顔認証装置の設置環境が変わったときでも最適な本人の登録画像を選択して登録できる、顔認証装置に係わる発明である。

　１　顔画像登録装置
　２　画像入力部
　３　顔画像切出部
　４　誤報特性算出部
　５　他人顔保持部
　６　正報特性算出部
　７　顔照合部
　８　登録顔選択部

Claims

　複数の本人の顔画像を入力する画像入力部と、
　複数の他人顔を保持する他人顔保持部と、
　前記本人の顔画像と前記他人顔保持部に保持された他人顔とを照合して、前記本人の顔画像の誤報特性を算出する誤報特性算出部と、
　前記複数の本人の顔画像間で照合を行い、前記本人の顔画像の正報特性を算出する正報特性算出部と、
　前記本人の顔画像の誤報特性および前記本人の顔画像の正報特性を用いて、前記複数の本人の顔画像の中から登録顔画像を選択する登録顔画像選択部と、を有することを特徴とする顔画像登録装置。
　前記誤報特性算出部は、前記本人の顔画像と前記他人顔保持部に保持された他人顔との照合結果を誤報率として算出し、
　前記正報特性算出部は、前記本人の顔画像の正報特性を正報率として算出し、
　前記登録顔画像選択部は、前記複数の本人の顔画像の中から前記本人の顔画像の正報率が所定の閾値のときの、前記本人の顔画像の正報率と前記本人の顔画像の誤報率の差を用いて前記登録顔画像を選択することを特徴とする請求項１に記載の顔画像登録装置。
　前記誤報特性算出部は、前記本人の顔画像と前記他人顔保持部に保持された他人顔との照合結果を誤報率として算出し、
　前記正報特性算出部は、前記本人の顔画像の正報特性を正報率として算出し、
　前記登録顔画像選択部は、前記複数の本人の顔画像の中から前記本人の顔画像の誤報率が所定の閾値のときの、前記本人の顔画像の正報率と前記本人の顔画像の誤報率の差を用いて前記登録顔画像を選択することを特徴とする請求項１に記載の顔画像登録装置。
　前記画像入力部から入力された前記本人の顔画像の顔向きを算出する顔向き算出部を有し、
　前記他人顔保持部は顔向きごとに他人顔を保持し、
　前記誤報特性算出部、前記正報特性算出部および前記登録顔画像選択部は、前記顔向き算出部が算出した顔向き毎に前記誤報特性および前記正報特性を算出し、
　前記登録顔画像選択部は、前記顔向き算出部が算出した顔向き毎に前記登録画像を選択することを特徴とする請求項１に記載の顔画像登録装置。
　前記画像入力部から前記本人の顔画像を入力する際の前記画像入力部に対する前記本人の撮影位置を取得する位置取得手段を有し、
　前記他人顔保持部は撮影位置ごとに他人顔を保持し、
　前記誤報特性算出部、前記正報特性算出部および前記登録顔画像選択部は、前記撮影位置毎に前記誤報特性および前記正報特性を算出し、
　前記登録顔画像選択部は、前記撮影位置毎に前記登録画像を選択することを特徴とする請求項１に記載の顔画像登録装置。
　前記他人顔保持部に保持された他人顔を更新する他人顔更新部を有し、
　前記誤報特性算出部は前記他人顔更新部が更新した直近の所定の他人顔を用いて前記誤報特性を算出することを特徴とする請求項１に記載の顔画像登録装置。
　画像を入力する画像入力部と、
　登録画像と、前記登録画像の照合閾値と、前記登録画像の類似度と誤報率の対応関係を表す誤報率特性を保持する登録顔画像保持部と、
　前記画像入力部から入力した画像と前記登録顔画像保持部に保持した顔画像を照合して入力画像の類似度を求め、前記入力画像の類似度と前記照合閾値を比較して個人を判定する個人判定部とを有し、
　前記画像入力部から入力した画像が、前記登録顔画像保持部に保持された複数の登録画像と同一人物の顔と判定されたとき、前記複数の登録画像に対して、前記誤報率特性から前記入力画像の類似度に対する誤報率を算出し、前記算出した誤報率を比較して前記画像入力部から入力した画像の顔と前記複数の登録画像の顔が同一人物であるか否かを判定する顔画像登録装置。
　複数の本人の顔画像を入力する画像入力ステップと、複数の他人顔を保持する他人顔保持ステップと、前記本人の顔画像と前記他人顔保持ステップで保持された他人顔とを照合して、前記本人の顔画像の誤報特性を算出する誤報特性算出ステップと、前記複数の本人の顔画像間で照合を行い、前記本人の顔画像の正報特性を算出する正報特性算出ステップと、前記本人の顔画像の誤報特性および前記本人の顔画像の正報特性を用いて、前記複数の本人の顔画像の中から登録顔画像を選択する登録顔画像選択ステップと、を有することを特徴とする顔画像登録方法。