JP5390228B2 - 顔画像照合装置、顔画像照合方法及び顔画像照合プログラム - Google Patents

Description

本発明は、照合時に入力される入力顔画像と、入力顔画像の比較対象なる参照顔画像として予め登録された初期登録顔画像とを照合する顔画像照合装置、顔画像照合方法及び顔画像照合プログラムに関する。

近年、セキュリティの強化等の理由から、機密等を有する場所に出入りする場合や一定の行為を行う場合には、予め登録しておいた参照顔画像と認証時に撮像された入力顔画像とを照合する顔認証技術が広く利用されている。

顔画像の照合を行う際には、登録時における顔画像の撮像条件と照合時における顔画像の撮像条件の違い、たとえば照明の明るさの違い、眼鏡、帽子などの装着物の有無、化粧の仕方が照合精度に大きな影響を与える。

かかる撮像条件の違いに対応するための技術として、例えば、特許文献１には、カメラにより入力された顔画像から認識対象者の顔の特徴量を抽出し、該抽出した特徴量を予め登録された基準の特徴量と照合することにより認識対象者の顔画像を認識し、その認識率が所定値以下に低下したことを検出し、そのとき入力された顔画像から得られる特徴量を新たな基準の特徴量として追加登録する顔画像認識装置が開示されている。

また、特許文献２には、照明（明るさ）、顔の向き、化粧、装着物や髪形などの撮影条件の相違による顔特徴ベクトルの変化を仮想的に求める特徴量変換器を用いて、新規登録者の登録画像の顔特徴ベクトルを他の条件下で撮影された同一人の顔画像から得られる顔特徴ベクトルに変換し、これら変換元および変換後の顔特徴ベクトルに基づいて新規登録者の顔定義情報を生成する顔照合装置が開示されている。

特開２００２−３３４３３５号公報 特開２００７−２２６４４１号公報

上記の技術は顔の特徴の変化に対応できるものであるが、顔の経年変化に対応したり、化粧や髪型、眼鏡の装着などの顔の一時的な変化に対応しようとすると、不都合が生じる。

例えば、特許文献１では、追加登録する入力顔画像の特徴量が本人の顔のものであっても本人の範囲が広がるためその特徴量の類似範囲には他人の顔を示す特徴量が含まれる可能性があるので、本人の顔画像だけでなく、他人の顔画像を本人と誤判定してしまうおそれがある。すなわち、本人拒否率の上昇は防げても他人受入率が上昇してしまう。

また、特許文献２では、さまざまな顔の特徴変化を想定した上で、登録処理を行う必要がある。しかしながら、どのような化粧をするか、どのような髪型にするか、どのような眼鏡をかけるかを想定し、実際にその状態の顔画像を撮像することは、実際の運用においては難しい。

そこで本発明では、不必要な他人受入率の上昇を抑えつつ、顔の特徴の変化に柔軟に対応できる顔画像照合装置、顔画像照合方法及び顔画像照合プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、照合時に入力される入力顔画像と、予め登録された登録顔画像との類似度を算出する類似度算出ステップと、この類似度が第１の照合閾値より大きいとき、前記入力顔画像と前記登録顔画像は同一人物の顔画像であると判定する照合ステップと、前記入力顔画像を前記登録顔画像として追加登録する追加登録ステップと、前記追加登録ステップによって前記登録顔画像として追加登録された追加登録顔画像と前記入力顔画像との照合を行う場合に用いる追加登録顔画像用の照合閾値として、先に登録されている登録顔画像用の前記第１の照合閾値よりも高い追加登録顔画像用照合閾値を設定する追加登録顔画像用照合閾値設定ステップとを含み、入力顔画像と登録顔画像とを照合する顔画像照合方法であって、前記追加登録顔画像の特徴量と前記追加登録顔画像用照合閾値設定ステップで設定された追加登録顔画像用照合閾値により定まる本人定義範囲が、前記登録顔画像の特徴量とその第１の照合閾値よりも低い所定の許容閾値により定まる類似範囲に含まれるように、前記追加登録顔画像用の追加登録顔画像用照合閾値を設定することを特徴とする。

また、本発明は、照合時に入力される入力顔画像と、予め登録された登録顔画像との類似度を算出する類似度算出手段と、この類似度が第１の照合閾値より大きいとき、前記入力顔画像と前記登録顔画像は同一人物の顔画像であると判定する照合手段と、前記入力顔画像を前記登録顔画像として追加登録する追加登録手段と、前記追加登録手段によって前記登録顔画像として追加登録された追加登録顔画像と前記入力顔画像との照合を行う場合に用いる追加登録顔画像用の照合閾値として、先に登録されている登録顔画像用の前記第１の照合閾値よりも高い追加登録顔画像用照合閾値を設定する追加登録顔画像用照合閾値設定手段とを備え、入力顔画像と登録顔画像とを照合する顔画像照合装置であって、前記追加登録顔画像の特徴量と前記追加登録顔画像用照合閾値設定手段で設定された追加登録顔画像用照合閾値により定まる本人定義範囲が、前記登録顔画像の特徴量とその第１の照合閾値よりも低い所定の許容閾値により定まる類似範囲に含まれるように、前記追加登録顔画像用の追加登録顔画像用照合閾値を設定することを特徴とする。

また、本発明は、照合時に入力される入力顔画像と、予め登録された登録顔画像との類似度を算出する類似度算出手順と、この類似度が第１の照合閾値より大きいとき、前記入力顔画像と前記登録顔画像は同一人物の顔画像であると判定する照合手順と、前記入力顔画像を前記登録顔画像として追加登録する追加登録手順と、前記追加登録手順によって前記登録顔画像として追加登録された追加登録顔画像と前記入力顔画像との照合を行う場合に用いる追加登録顔画像用の照合閾値として、先に登録されている登録顔画像用の前記第１の照合閾値よりも高い追加登録顔画像用照合閾値を設定する追加登録顔画像用照合閾値設定手順とをコンピュータに実行させ、入力顔画像と登録顔画像とを照合する顔画像照合プログラムであって、前記追加登録顔画像の特徴量と前記追加登録顔画像用照合閾値設定手順で設定された追加登録顔画像用照合閾値により定まる本人定義範囲が、前記登録顔画像の特徴量とその第１の照合閾値よりも低い所定の許容閾値により定まる類似範囲に含まれるように、前記追加登録顔画像用の追加登録顔画像用照合閾値を設定することを特徴とする。

これによって、登録顔画像と登録顔画像用の照合閾値から定まる本人定義範囲の外延を他人の顔の類似範囲にできるだけ近づかないように拡張することができ、撮像条件の違いによる本人拒否率の上昇を抑制するために追加登録を行った場合でも、不必要な他人受入率の上昇を抑えることが可能になる。特に、登録顔画像の特徴量と登録顔画像用の照合閾値で定義される元の本人定義範囲を過度に逸脱することを防止することができ、本人定義範囲の外延を適切に拡張することが可能になる。

また、本発明は、上記の発明において、前記追加登録ステップにおいて、前記類似度が前記登録顔画像用の第１の照合閾値よりも大きく、かつ所定の追加登録顔画像用照合閾値未満である入力顔画像を前記追加登録顔画像として追加登録することを特徴とする。

これによって、不必要な登録顔画像の追加を防ぐ。

また、本発明は、上記の発明において、前記追加登録顔画像が所定の条件を満たした場合に当該追加登録顔画像を消去する消去ステップをさらに備えたことを特徴とする。

これによって、本人定義範囲が拡張された状態を一時的なものとでき、不必要な他人受入率の上昇を抑えることができる。

本発明によれば、追加登録する登録画像用の照合閾値を先に登録されている登録画像用の照合閾値よりも高く設定することにより、不必要な他人受入率の上昇を抑えながら本人拒否率の上昇を防ぐことができ、顔の特徴の変化に柔軟に対応できる。

図１は、本実施例と従来技術の差異を説明するための説明図である。 図２は、本実施例に係る顔画像照合装置の構成を示す機能ブロック図である。 図３は、テンプレートの一例を示す図である。 図４は、追加登録テンプレートの遷移例を説明するための説明図である。 図５は、第２の照合閾値の設定内容を説明するための説明図である。 図６は、本実施例に係る顔画像照合処理の全体の流れを示すフローチャートである。 図７は、図６のステップＳ６０５で示した第１の照合処理の手順を示すフローチャートである。 図８は、図６のステップＳ６０６で示した第２の照合処理の手順を示すフローチャートである。

以下に添付図面を参照して、本発明に係る顔画像照合装置、顔画像照合方法及び顔画像照合プログラムの好適な実施例を詳細に説明する。

まず、本実施例に係る顔画像照合装置の概要を説明する。この顔画像照合装置は、予め登録された顔画像と入力された顔画像を照合することによって認証対象者の本人認証又は個別認証を行う装置であり、その用途は、侵入者検知や入退室管理などの広範な用途に適用可能なものである。

この顔画像照合装置では、予め参照顔画像として登録された初期登録顔画像とは別に、初期登録顔画像との間で一定の類似度を有する入力顔画像を参照顔画像として追加登録することにより、登録者本人の顔画像と認証する定義範囲（本人定義範囲）を拡張する。

なぜなら、登録時と照合時では、それぞれの撮像時期が隔絶しており、両者の時点で顔画像の撮像条件が異なるケースが多くある。例えば、化粧の仕方が登録時とは異なったり、眼鏡や帽子などの装着物の着脱状態が登録時とは異なったり、顔のむくみ等の体調状態が登録時とは異なったりというように、これらのファクタの違いによって認証対象者の顔の容姿が一時的に初期登録顔画像から変貌してしまうケースがある。

このような一時的な顔の容姿の変貌に対応し、本人拒否率が上がることを防止するために、本実施例では本人定義範囲の拡張を行っている。

しかしながら、上記の従来技術のように、追加登録顔画像の特徴量の類似範囲を歯止めをかけずに本人定義範囲として拡張したのでは、本人拒否率の上昇を防止できる反面で他人受入率が上がってしまうというジレンマが残る。

そこで、本実施例では、初期登録顔画像との間で一定の類似度を有する入力顔画像を参照顔画像として追加登録するにあたって、その後に入力される入力顔画像と追加登録顔画像との照合を行う場合の追加登録顔画像用の照合閾値を初期登録顔画像用の照合閾値よりも高く設定することとした。これによって、不必要な他人受入率の上昇を抑えつつ、本人拒否率の上昇を防止できる。

図１は、本実施例と従来技術の差異を説明するための説明図である。図１（ａ）に示す例では、特徴ベクトルＡから類似度が０．６及び０．５より大きい範囲を類似範囲として図示するとともに、特徴ベクトルＢから類似度が０．６より大きい範囲を類似範囲として図示している。

ここで、図１（ａ）に示すように、本人拒否率の上昇を抑制する観点から照合閾値を０．６から０．５に下げる手段も取り得るが、このように単純に照合閾値を下げただけでは、特徴ベクトルＡの類似範囲が不必要に広がり、他人受入率が上昇してしまう。

このため、本実施例では、これらの特徴ベクトルのうち特徴ベクトルＡを有する顔画像または特徴ベクトルＡそのものが予め登録されており、初期登録顔画像用の照合閾値を０．６とし、図示の特徴ベクトルＡの類似範囲が本人定義範囲として照合が行われるものとする。

図１（ａ）を前提にして従来技術について説明すると、上記の従来技術では、図１（ｂ）に示すように、特徴ベクトルＡの本人定義範囲に内包される特徴ベクトルＡ′を持つ顔画像が入力された場合には、特徴ベクトルＡ′を持つ入力顔画像が本人のものであると認証し、この入力顔画像を参照顔画像として追加登録することにより、特徴ベクトルＡの類似範囲に特徴ベクトルＡ′の類似範囲を加えた範囲に本人定義範囲を拡張する。

しかしながら、特徴ベクトルＡ′を持つ入力顔画像を追加登録して特徴ベクトルＡ′の類似範囲をそのまま本人定義範囲に含めた場合には、図１（ｂ）に示すように、特徴ベクトルＡの顔を持つ人物とは別の人物、すなわち特徴ベクトルＢの顔を持つ人物に近づいてしまう結果となり、特徴ベクトルＢの顔を持つ人物が顔認証を行った場合に本人であると誤認証されるおそれが高まってしまう。

一方、本実施例では、従来技術と同様に、特徴ベクトルＡ′を持つ入力顔画像を参照顔画像として追加登録するが、特徴ベクトルＡ′の類似範囲を初期登録顔画像の特徴ベクトルＡと同列に扱うようなことはしない。すなわち、図１（ｃ）に示すように、特徴ベクトルＡ′から類似度が０．７５より大きい範囲に限って本人定義範囲を拡張することとしている。

つまり、本実施例では、追加登録顔画像用の照合閾値を初期登録顔画像用の照合閾値である０．６よりも高い０．７５に設定することにより、特徴ベクトルＢの類似範囲にできるだけ近づかないように初期登録顔画像である特徴ベクトルＡの本人定義範囲の外延を拡張する追加登録を行うことができる。なお、登録直後は、一般に高い類似度が出る傾向があるので、初期登録顔画像用の照合閾値よりも高い照合閾値を用いたとしても支障が出ることはない。

したがって、本実施例によれば、撮像条件の違いによる本人拒否率の上昇を抑制するために追加登録を行った場合でも、不必要な他人受入率の上昇を抑えることができる。

なお、図１の例では、説明の便宜上、平面で表現される２次元の特徴量からなる２次元特徴量空間を例示したが、実装のように、任意の次元数の特徴量空間を適用することができる。

続いて、本実施例に係る顔画像照合装置の構成について説明する。図２は、本実施例に係る顔画像照合装置の構成を示す機能ブロック図である。同図に示すように、顔画像照合装置１０は、登録情報取得部１１と、画像入力部１２と、テンプレート記憶部１３と、照合閾値記憶部１４と、特徴量抽出部１５と、照合部１６と、追加登録部１７と、テンプレート消去部１８と、照合閾値設定部１９とを有する。

登録情報取得部１１は、１対１照合を行うために、認証対象者の登録情報を取得するためのインタフェースである。例えば、参照（登録）顔画像の登録を行った登録者に付与される登録ＩＤを磁気カード又はＩＣカード等の記録媒体に記録して配布する場合には、記録媒体から登録ＩＤを読み取る読取装置として構成され、また、登録ＩＤを手入力させる場合には、テンキー等を有する操作装置として構成される。このように、参照顔画像を呼び出す登録ＩＤを取得できる構成であれば既知の技術を任意に選択して使用することができる。なお、１対Ｎ照合を行う場合は登録情報取得部１１はなくてもよい。

画像入力部１２は、認証対象者の顔画像を入力するためのインタフェースであり、顔画像の取得方法または取得経路は既知の技術を任意に選択することができる。例えば、図示しないＣＣＤやＣＭＯＳ等の撮像装置に認証対象者の顔画像を撮像させることとしてもよいし、ＣＤやＤＶＤなどの可搬記録媒体から認証対象者の顔画像を読み出すこととしてもよいし、また、ネットワークを介して認証対象者の顔画像を受信するようにしてもよく、これら撮像装置、読取装置または通信インタフェースなどの手段を任意に選択して構成することができる。

テンプレート記憶部１３は、登録者の顔画像（参照顔画像）であるテンプレートを記憶する記憶部である。具体的には、図３に示すように、予め登録処理された初期登録テンプレート（初期登録顔画像）１３ａと、後述する追加登録部１７によって入力顔画像が参照顔画像として追加登録された追加登録テンプレート（追加登録顔画像）１３ｂとを登録ＩＤに対応付けて記憶している。なお、ここでは、顔画像そのものを登録しておくこととしたが、顔画像の特徴量だけを記憶してもよいし、両方を記憶することとしてもよい。

ここで、追加登録テンプレート１３ｂは、あくまで初期登録テンプレート１３ａで構成される類似範囲の外延を補間するための参照顔画像であり、かかる例外的なものを恒久的に参照顔画像として使用することは、極めて少ない範囲と言えども初期登録テンプレート１３ａからの逸脱を永続的に認めることにつながり好ましいとは言えない。

このため、本実施例では、後述するテンプレート消去部１８によって期間や期日を条件として消去させる趣旨から、追加登録テンプレート１３ｂには追加登録日時を対応付けてテンプレート記憶部１３に登録させることとしている。

照合閾値記憶部１４は、顔画像の照合に用いる照合閾値を記憶する記憶部である。具体的には、入力顔画像と初期登録テンプレートを照合する場合に用いる初期登録テンプレート用の照合閾値（以下、第１の照合閾値と記載）と、入力顔画像と追加登録テンプレートを照合する場合に用いる追加登録テンプレート用の照合閾値（以下、第２の照合閾値と記載）とを記憶している。

これらの照合閾値のうち、第１の照合閾値については、いずれも同一の閾値を用いるが、第２の照合閾値については、第１の照合閾値よりも高い値を設定することはもとより、後述するように、追加登録テンプレートごとに閾値を設定することも可能であるため、その場合には、登録ＩＤまたはテンプレートごとに第２の照合閾値を対応付けて記憶するのが好ましい。

特徴量抽出部１５は、顔画像の特徴量を抽出する処理部であり、概要としては、画像入力部１２によって入力される入力顔画像やテンプレート記憶部１３によって記憶された初期登録テンプレート１３ａまたは追加登録テンプレート１３ｂに対し、顔検出、特徴点の検出、そして特徴量の抽出を行う。なお、登録テンプレートからの特徴量の抽出は、照合時に行ってもよく、予め抽出して特徴量をテンプレート記憶部１３に記憶させてもよい。

具体的には、顔全体の輪郭状に形成された輪郭テンプレートを画像上で移動させながらあてはめるマッチング手法等の既存技術を用いて顔検出を行った後、グラフマッチング等の既存技術を用いて顔画像の照合を行う。グラフマッチングを行う場合は、検出後の顔領域に特徴点を配置し、各特徴点ごとに局所特徴量を抽出する。このようにして抽出した局所特徴量を成分とする特徴ベクトルを顔画像の特徴量とする。

かかる局所特徴量としては、特徴点近傍の濃淡値やその周期性・方向性などを抽出する。これらの局所特徴量は、顔の特徴を数値化したものである。これら特徴点や局所特徴量の数は、目的とする照合精度等により任意に設定することができる。また、目、鼻、口など顔のパーツの位置などを特徴点として照合する技術を用いる場合は、各パーツの位置やパーツ間の距離などを成分とした特徴ベクトルを特徴量として持つ。

照合部１６は、画像入力部１２によって入力された入力顔画像の特徴量と、テンプレート記憶部１３によって記憶されたテンプレートの特徴量とを比較することにより顔照合を行う処理部である。

具体的には、照合部１６は、画像入力部１２によって入力された入力顔画像の特徴量と、テンプレート記憶部１３によって記憶された初期登録テンプレート１３ａまたは追加登録テンプレート１３ｂの特徴量との間の類似度を算出するが、初期登録テンプレート１３ａまたは追加登録テンプレート１３ｂいずれを照合に用いるのかによって照合閾値を変更する。

例えば、初期登録テンプレート１３ａとの照合を行う場合には、入力顔画像の特徴量と初期登録テンプレート１３ａの特徴量との類似度が照合閾値記憶部１４によって記憶された第１の照合閾値よりも大きいか否かを判定し、その結果、第１の照合閾値よりも大きい場合には、認証対象者が登録者本人であると認証し、一方、第１の照合閾値以下である場合には、認証対象者が他人であると認証する。

また、追加登録テンプレート１３ｂとの照合を行う場合には、入力顔画像の特徴量と追加登録テンプレート１３ｂの特徴量との類似度が照合閾値記憶部１４によって記憶された第２の照合閾値よりも大きいか否かを判定し、その結果、第２の照合閾値よりも大きい場合には、認証対象者が登録者本人であると認証し、一方、第２の照合閾値以下である場合には、認証対象者が他人であると認証する。

このように、本実施例では、入力顔画像と追加登録テンプレート１３ｂとの照合を行う場合には、第１の照合閾値よりも大きい第２の照合閾値（第２の照合閾値＞第１の照合閾値）を照合に用いることで、他人の顔の類似範囲に可及的に近づかないように初期登録顔画像で定義される本人定義範囲の外延を拡張して照合を行うこととした。

追加登録部１７は、画像入力部１２によって入力された入力顔画像を参照顔画像としてテンプレート記憶部１３に追加登録する処理部である。具体的には、初期登録テンプレートの特徴量との類似度が第１の照合閾値（例えば、０．６）よりも大きく、かつ所定の追加登録閾値（例えば、０．６５）未満である入力顔画像、すなわち類似度が０．６よりも大きく、かつ０．６５未満である入力顔画像をテンプレート記憶部１３に追加登録する。

すなわち、認証対象者の顔の容姿が一時的に変貌する事態に対応すべく追加登録を行うにしても、初期登録テンプレート１３ａの特徴量から大きく逸脱する入力顔画像を参照顔画像として追加登録したのでは、無防備に他人を受け入れてしまうことになる。また、初期登録テンプレート１３ａの特徴量と極めて近い入力顔画像を追加登録したのでは、初期登録テンプレート１３ａそのものを使用すれば事足り、追加登録テンプレートの存在意義が薄くなる。

このため、本実施例では、追加登録にあたって初期登録テンプレート１３ａとの類似度に関する条件を設けている。

ここで、以下では、テンプレート記憶部１３に追加登録テンプレート１３ｂを１つ格納する形態を例示することとするが、追加登録テンプレート１３ｂを複数登録することとしてもかまわない。

そして、テンプレート記憶部１３に追加登録テンプレート１３ｂを１つだけ格納する場合には、追加登録テンプレート１３ｂが１度登録されてからは、所定の期間や所定の期日が経過するまでその追加登録テンプレート１３ｂを維持することとしてもよいし、任意の上書き条件を適用してより適切なものに上書き更新することとしてもかまわない。

例えば、初期登録テンプレート１３ａの特徴量との類似度がより第１の照合閾値と近く、かつ追加登録閾値未満である入力顔画像を追加登録テンプレート１３ｂとして上書き更新してもよい。

これによって、登録者本人の顔の特徴量から過度に遠ざかることなく、また、他人の顔の特徴量に過度に近づくことない均衡の取れた位置に特徴量を持つ入力顔画像を追加登録テンプレート１３ｂとする更新を行うことができる。

ここで、図４を用いて、追加登録テンプレート１３ｂの遷移例を説明する。図４は、追加登録テンプレートの遷移例を説明するための説明図である。この図４では、１日ごとに追加登録テンプレート１３ｂをリセットすることとしている。すなわち、登録当日のみ追加登録テンプレート１３ｂを有効としている。

図４に示す例では、追加登録テンプレート１３ｂの追加登録が行われるまでは、追加登録テンプレート１３ｂが存在しないので、初期登録テンプレート１３ａを用いて照合が行われる（認証１回目である１−１、２−１または２−２）。

その後、入力顔画像の特徴量と初期登録テンプレート１３ａの特徴量との類似度が第１の照合閾値よりも大きいと判定され、認証に成功した場合には、その類似度が追加登録閾値未満である場合に限り、１−１の認証ＯＫ画像（類似度が０．６よりも大きく０．６５より小さい顔画像）が追加登録テンプレート１３ｂとして登録され、１日目の認証２回目（１−２）のように認証に用いられる。

一方、２日目の認証２回目（２−２）のように、認証に成功した場合であっても、類似度が追加登録閾値よりも高い場合には、照合結果の信用度およびメモリの使用効率の面からも、初期登録テンプレート１３ａを照合に使用した方が効率がよいため、その入力顔画像の追加登録は行われない。

また、１日目の認証３回目（１−３）のように、初期登録テンプレート１３ａの特徴量との類似度が第１の照合閾値よりも大きく、かつ追加登録閾値未満であると判定された入力顔画像が複数ある場合は、最初に登録されている１−１の認証ＯＫ画像を残すようにしてもよいし、複数の入力画像同士の類似度が所定値よりも高い（すなわち似ている）ならいずれか一つの認証ＯＫ画像を残すようにしてもよい。また、１−１の認証ＯＫ画像及び１−２の認証ＯＫ画像の両方を追加登録することとしてもかまわない。

テンプレート消去部１８は、追加登録テンプレート１３ｂを消去する処理部である。具体的には、予め定められた消去条件にしたがってテンプレートの消去を行っており、たとえばテンプレート記憶部１３に記憶された追加登録テンプレート１３ｂの追加登録日時から所定の期間や所定の期日（本例では当日のみ登録）を経過した追加登録テンプレート１３ｂを消去する。

なお、ここでは、追加登録テンプレート１３ｂの登録日にもとづいた期日を消去条件とする場合について説明したが、消去条件は必ずしも期日に限定する必要はなく、たとえば追加登録テンプレート１３ｂとの照合にＮ回連続またはＮ回累積して失敗した場合などの任意の条件を消去条件として設定することができる。

照合閾値設定部１９は、照合閾値記憶部１４に記憶される第１の照合閾値および第２の照合閾値を設定する処理部である。具体的には、初期登録テンプレート１３ａに対して個別または共通に第１の照合閾値を設定することのみならず、追加登録部１７によって追加登録テンプレート１３ｂが追加登録された場合に、当該追加登録テンプレート１３ｂと入力顔画像との照合に用いる第２の照合閾値として、他の追加登録テンプレート１３ｂの照合閾値と共通の照合閾値を画一的に設定したり、また、当該追加登録テンプレート１３ｂ個別の照合閾値を設定する。

照合閾値設定部１９は、第２の照合閾値を追加登録テンプレート１３ｂに個別設定する場合に、第１の照合閾値よりも高い照合閾値を設定することを前提としつつ、初期登録テンプレート１３ａの特徴量との相互関係に基づき、第２の照合閾値を設定する。

すなわち、照合閾値設定部１９は、追加登録テンプレート１３ｂの特徴量とその第２の照合閾値により定まる本人定義範囲が、初期登録テンプレート１３ａの特徴量を基準に定められる類似範囲であって第１の照合閾値０．６よりも低い追加登録許容閾値０．５以内の距離で形成される類似範囲に含まれるように第２の照合閾値を設定する。

例えば、図５（ａ）に示す例では、特徴ベクトルＡ′及び特徴ベクトルＡ″は、いずれも特徴ベクトルＡとの類似度が第１の照合閾値０．６よりも大きく、追加登録閾値０．６５未満であるので追加登録テンプレート１３ｂとして登録されるが、特徴ベクトルＡ′の方が特徴ベクトルＡ″よりも特徴ベクトルＡとの間の距離が小さいので、両者の第２の照合閾値を第１の照合閾値よりも大きい値に設定しつつも、特徴ベクトルＡ′の照合閾値を特徴ベクトルＡ″の照合閾値０．７５に比較して小さい照合閾値０．７に設定することもできる。

このように、特徴ベクトルＡ′とその第２の照合閾値から定まる本人定義範囲及び特徴ベクトルＡ″とその第２の照合閾値から定まる本人定義範囲が、特徴ベクトルＡと追加登録許容閾値０．５から定まる類似範囲に含まれるようにそれぞれの第２の照合閾値０．７及び０．７５を設定する。

これによって、上記の従来技術のように、照合閾値を０．６から０．５に単純に引き下げた場合のように全方向に対して本人定義範囲を広げ、不必要に他人受入率を上昇させることなく、化粧や髪型、眼鏡の装着などの顔の一時的な変化の傾向に追従した方向に本人定義範囲を部分的に拡張することが可能になる。

このため、初期登録テンプレート１３ａの特徴量と第１の照合閾値で定義される元の本人定義範囲を過度に逸脱することなく、本人定義範囲の外延を適切に拡張することが可能になる。

また、照合閾値設定部１９は、初期登録テンプレート１３ａを基準として追加登録テンプレート１３ｂを追加登録するだけでなく、追加登録テンプレート１３ｂを基準に更なる追加テンプレート１３ｂを追加登録することもできる。

例えば、図５（ａ）に示すように、特徴ベクトルＡとの類似度が第１の照合閾値０．６以下であっても、特徴ベクトルＡ′との類似度が第２の照合閾値０．７よりも大きいと判定された特徴ベクトルＡ′′′を持つ入力顔画像を追加登録テンプレート１３ｂとして登録することもできる。

この特徴ベクトルＡ′′′の第２の照合閾値を設定する場合にも、特徴ベクトルＡと追加登録許容閾値０．５から定まる類似範囲に含まれるように特徴ベクトルＡ′′′の追加登録テンプレート１３ｂの本人定義範囲を定めるべく、特徴ベクトルＡ′の第２の照合閾値０．７以上の第２の照合閾値を定める必要がある。

また、ここでは、各追加登録テンプレート１３ｂごとに第２の照合閾値を動的に設定する場合について説明したが、特徴ベクトルＡと追加登録許容閾値０．５から定まる類似範囲に含まれるのであれば、追加登録テンプレート１３ｂの第２の照合閾値を静的に設定することもできる。

すなわち、初期登録テンプレート１３ａからの派生度合を表す階層ごとに派生度合が高くなるほど第２の照合閾値が高くなるように第２の照合閾値を定めたテーブルを保持しておき、追加登録される入力顔画像の派生度合によって第２の照合閾値を設定する。

例えば、図５（ｂ）に示すように、初期登録テンプレート１３ａを階層１とし、初期登録テンプレート１３ａを基準に追加登録される追加登録テンプレート１３ｂを階層２とし、さらに、階層２の追加登録テンプレート１３ｂを基準に追加登録される追加登録テンプレート１３ｂを階層３とした時には、図５（ｂ）に示すように、階層が高くなるにつれて照合閾値が高くなるように、階層１（＝０．６）＞階層２（＝０．７５）＞階層３（＝０．８）と予め規定しておき、階層２の追加登録テンプレート１３ｂには第２の照合閾値として０．７５を一律に付与し、また、階層３の追加登録テンプレート１３ｂには第２の照合閾値として０．８を一律に付与する。

これによって、追加登録テンプレート１３ｂが追加登録される度にその第２の照合閾値を個別に設定する必要がなくなり、第２の照合閾値の設定に係る負荷を低減することができる。

なお、照合閾値の設定は、照合閾値設定部１９に依存して設定される必要はなく、外部接続された外部装置からの設定指示にしたがって照合閾値記憶部１４内の第１の照合閾値および／または第２の照合閾値を更新することもできる。

次に、本実施例に係る顔画像照合装置の処理の流れについて説明する。図６は、本実施例に係る顔画像照合処理の全体の流れを示すフローチャートである。この顔画像照合処理は、登録情報取得部１１によって認証対象者から登録ＩＤが取得されるとともに画像入力部１２によって認証対象者の顔画像が入力されることを条件に開始される。

同図に示すように、登録ＩＤ及び入力顔画像が取得されると（ステップＳ６０１）、特徴量抽出部１５は、取得した登録ＩＤに対応する追加登録テンプレート１３ｂをテンプレート記憶部１３から検索するとともに（ステップＳ６０２）、入力顔画像の特徴量を抽出する（ステップＳ６０３）。

このとき、当該登録ＩＤに対応する追加登録テンプレート１３ｂがテンプレート記憶部１３内に存在しない場合（ステップＳ６０４肯定）には、初期登録テンプレート１３ａとの照合ならびに入力顔画像の追加登録を行う「第１の照合処理」を行う（ステップＳ６０５）。

一方、当該登録ＩＤに対応する追加登録テンプレート１３ｂがテンプレート記憶部１３内に存在する場合（ステップＳ６０４否定）には、追加登録テンプレート１３ｂとの照合を行う「第２の照合処理」を行う（ステップＳ６０６）。

ここで、図６のステップＳ６０５で示した第１の照合処理について説明する。図７は、図６のステップＳ６０５で示した第１の照合処理の手順を示すフローチャートである。

図７に示すように、照合部１６は、特徴量抽出部１５により抽出された入力顔画像の特徴量と、テンプレート記憶部１３に記憶された初期登録テンプレート１３ａの特徴量のうち先のステップＳ６０１で取得された登録ＩＤに対応する初期登録テンプレート１３ａの特徴量との類似度を算出する（ステップＳ７０１）。

このとき、両者の類似度が第１の照合閾値以下であった場合（ステップＳ７０２否定）には、照合部１６は、認証対象者が登録者本人ではなく他人のおそれがある旨の照合結果を所定の表示部または音声出力部に報知させ（ステップＳ７０３）、処理を終了する。

一方、両者の類似度が第１の照合閾値よりも大きい場合（ステップＳ７０２肯定）には、照合部１６は、認証対象者が登録者本人である旨の照合結果を所定の表示部または音声出力部に報知させ（ステップＳ７０４）、当該類似度が所定の追加登録閾値未満であるか否かをさらに判定する（ステップＳ７０５）。

その結果、類似度が所定の追加登録閾値未満であった場合（ステップＳ７０５肯定）には、追加登録部１７は、当該入力顔画像の特徴量を追加登録テンプレート１３ｂとしてテンプレート記憶部１３に追加登録し（ステップＳ７０６）、処理を終了する。なお、類似度が所定の追加登録閾値以上であった場合（ステップＳ７０５否定）には、追加登録の必要性がないため、そのまま処理を終了する。

続いて、図６のステップＳ６０６で示した第２の照合処理について説明する。図８は、図６のステップＳ６０６で示した第２の照合処理の手順を示すフローチャートである。

図８に示すように、照合部１６は、特徴量抽出部１５により抽出された入力顔画像の特徴量と、テンプレート記憶部１３に記憶された追加登録テンプレート１３ｂの特徴量のうち先のステップＳ６０１で取得された登録ＩＤに対応する追加登録テンプレート１３ｂの特徴量との類似度を算出する（ステップＳ８０１）。

ここで、両者の類似度が第２の照合閾値よりも大きい場合（ステップＳ８０２肯定）には、照合部１６は、認証対象者が登録者本人である旨の照合結果を所定の表示部または音声出力部に報知させ（ステップＳ８０３）、処理を終了する。

一方、両者の類似度が第２の照合閾値以下であった場合（ステップＳ８０２否定）には、照合部１６は、図７を用いて説明した「第１の照合」を行い（ステップＳ８０４）、処理を終了する。

上述してきたように、本実施例によれば、入力顔画像を参照顔画像として追加登録し、参照顔画像として追加登録された追加登録テンプレート１３ｂと入力顔画像との照合を行う場合に用いる追加登録テンプレート用の照合閾値として、初期登録テンプレート用の照合閾値よりも高い照合閾値を設定するように構成した。

このように第２の照合閾値を設定した上で、追加登録テンプレート１３ｂを用いて入力顔画像との照合を行う場合には、入力顔画像の特徴量と追加登録テンプレート１３ｂの特徴量との類似度が第２の照合閾値よりも大きいか否かによって顔画像を照合するように構成した。

したがって、本実施例によれば、初期登録テンプレート１３ａと第１の照合閾値から定まる本人定義範囲の外延を他人の顔の類似範囲に可及的に近づかないように拡張することができ、撮像条件の違いによる本人拒否率の低下を防止するために追加登録を行った場合でも、不必要な他人受入率の上昇を抑えることができる。

このように、第２の照合閾値を第１の照合閾値よりも高く設定しながらも追加登録により本人定義範囲を拡張すれば、たとえば追加登録テンプレート１３ｂの追加登録時に初期登録テンプレート１３ａの登録時には装着していない眼鏡を装着しており、第１の照合閾値を辛うじて超えた場合などにおいて、それ以降に撮像条件のばらつき等が原因で登録者が眼鏡を掛けた状態で第１の照合閾値を超えなくとも、第２の照合処理で救済することが可能になる。

図１の例で言えば、登録者が眼鏡を掛けていることが原因で特徴ベクトルＡと第１の照合閾値で定義される本人定義範囲に内包されておらずとも、特徴ベクトルＡ′と第２の照合閾値で定義される新たな本人定義範囲に内包されていれば眼鏡を掛けている状態でも救済することが可能である。

また、本実施例によれば、初期登録テンプレート１３ａの特徴量との類似度が第１の照合閾値よりも大きく、かつ所定の追加登録閾値未満である入力顔画像を参照顔画像として追加登録するように構成したので、無防備に他人を受け入れてしまう事態を防止しつつ、追加登録テンプレート１３ｂの利用効率を高めることが可能である。

さらに、本実施例によれば、初期登録テンプレート１３ａの特徴量との類似度が第１の照合閾値よりも大きいと最初に判定された入力顔画像をまたは初期登録テンプレート１３ａの特徴量との類似度が最も高い入力顔画像を参照顔画像として追加登録するように構成したので、初期登録テンプレート１３ａで定義される本人定義範囲の外延に位置する特徴量を持つ入力顔画像をいち早く追加登録しながらも、追って元の本人定義範囲から逸脱する範囲が小さくなるように追加登録を行うことが可能である。

また、上記の実施例では、追加登録テンプレート１３ｂを追加登録済みの登録ＩＤに関し、追加登録テンプレート１３ｂと入力顔画像の類似度が第２の照合閾値に満たなかった場合に、初期登録テンプレート１３ａと入力顔画像の照合を行うこととしたが、追加登録テンプレート１３ｂ及び初期登録テンプレート１３ａの両方を用いて照合を行う場合には、いずれのテンプレートを先に用いて照合を行うかは任意に設定することができる。

例えば、追加登録テンプレート１３ｂが既に登録されていたとしても、初期登録テンプレート１３ａと入力顔画像との照合を行い、両者の類似度が第１の照合閾値以下である場合には、追加登録テンプレート１３ｂとの照合を行い、その結果、第１の照合閾値よりも高い第２の照合閾値よりも大きい場合には、登録者本人と認証するように構成することで、第１の照合処理を行うことを原則として第２の照合処理を救済（例外）という位置付けで行うこともできる。

また、上記の実施例では、１対１照合を行う場合について例示したが、本発明はこれに限定されるものではない。すなわち、１対Ｎ照合の場合は、初期登録テンプレート１３ａも追加登録テンプレート１３も同等に扱いつつ、第１の照合閾値と第２の照合閾値を区別して扱う。

さらに、上記の実施例では、初期登録テンプレート１３ａとの照合を行った入力顔画像を追加登録する場合について説明したが、追加登録テンプレート１３ｂとの照合を行った入力顔画像を追加登録することもできる。この場合には、追加登録したテンプレートの特徴量の類似範囲が初期登録テンプレート１３ａの特徴量からかい離しやすくなるので、第１の照合閾値よりも低い許容閾値０．５以上もしく０．５よりも大きいことを条件に追加登録を許容するのが好ましい。

以上のように、本発明に係る顔画像照合装置、顔画像照合方法及び顔画像照合プログラムは、登録時と照合時の撮像条件の違いに対応する場合でも不必要な他人受入率の上昇を抑える場合に適している。

１０ 顔画像照合装置
１１ 登録情報取得部
１２ 画像入力部
１３ テンプレート記憶部
１３ａ 初期登録テンプレート
１３ｂ 追加登録テンプレート
１４ 照合閾値記憶部
１５ 特徴量抽出部
１６ 照合部
１７ 追加登録部
１８ テンプレート消去部
１９ 照合閾値設定部

Claims (5)

1. 照合時に入力される入力顔画像と、予め登録された登録顔画像との類似度を算出する類似度算出ステップと、この類似度が第１の照合閾値より大きいとき、前記入力顔画像と前記登録顔画像は同一人物の顔画像であると判定する照合ステップと、前記入力顔画像を前記登録顔画像として追加登録する追加登録ステップと、前記追加登録ステップによって前記登録顔画像として追加登録された追加登録顔画像と前記入力顔画像との照合を行う場合に用いる追加登録顔画像用の照合閾値として、先に登録されている登録顔画像用の前記第１の照合閾値よりも高い追加登録顔画像用照合閾値を設定する追加登録顔画像用照合閾値設定ステップとを含み、入力顔画像と登録顔画像とを照合する顔画像照合方法であって、
   前記追加登録顔画像の特徴量と前記追加登録顔画像用照合閾値設定ステップで設定された追加登録顔画像用照合閾値により定まる本人定義範囲が、前記登録顔画像の特徴量とその第１の照合閾値よりも低い所定の許容閾値により定まる類似範囲に含まれるように、前記追加登録顔画像用の追加登録顔画像用照合閾値を設定する
   ことを特徴とする顔画像照合方法。
2. 前記追加登録ステップにおいて、前記類似度が前記登録顔画像用の第１の照合閾値よりも大きく、かつ所定の追加登録顔画像用照合閾値未満である入力顔画像を前記追加登録顔画像として追加登録することを特徴とする請求項１に記載の顔画像照合方法。
3. 前記追加登録顔画像が所定の条件を満たした場合に当該追加登録顔画像を消去する消去ステップをさらに備えたことを特徴とする請求項１に記載の顔画像照合方法。
4. 照合時に入力される入力顔画像と、予め登録された登録顔画像との類似度を算出する類似度算出手段と、この類似度が第１の照合閾値より大きいとき、前記入力顔画像と前記登録顔画像は同一人物の顔画像であると判定する照合手段と、前記入力顔画像を前記登録顔画像として追加登録する追加登録手段と、前記追加登録手段によって前記登録顔画像として追加登録された追加登録顔画像と前記入力顔画像との照合を行う場合に用いる追加登録顔画像用の照合閾値として、先に登録されている登録顔画像用の前記第１の照合閾値よりも高い追加登録顔画像用照合閾値を設定する追加登録顔画像用照合閾値設定手段とを備え、入力顔画像と登録顔画像とを照合する顔画像照合装置であって、
   前記追加登録顔画像の特徴量と前記追加登録顔画像用照合閾値設定手段で設定された追加登録顔画像用照合閾値により定まる本人定義範囲が、前記登録顔画像の特徴量とその第１の照合閾値よりも低い所定の許容閾値により定まる類似範囲に含まれるように、前記追加登録顔画像用の追加登録顔画像用照合閾値を設定する
   ことを特徴とする顔画像照合装置。
5. 照合時に入力される入力顔画像と、予め登録された登録顔画像との類似度を算出する類似度算出手順と、この類似度が第１の照合閾値より大きいとき、前記入力顔画像と前記登録顔画像は同一人物の顔画像であると判定する照合手順と、前記入力顔画像を前記登録顔画像として追加登録する追加登録手順と、前記追加登録手順によって前記登録顔画像として追加登録された追加登録顔画像と前記入力顔画像との照合を行う場合に用いる追加登録顔画像用の照合閾値として、先に登録されている登録顔画像用の前記第１の照合閾値よりも高い追加登録顔画像用照合閾値を設定する追加登録顔画像用照合閾値設定手順とをコンピュータに実行させ、入力顔画像と登録顔画像とを照合する顔画像照合プログラムであって、
   前記追加登録顔画像の特徴量と前記追加登録顔画像用照合閾値設定手順で設定された追加登録顔画像用照合閾値により定まる本人定義範囲が、前記登録顔画像の特徴量とその第１の照合閾値よりも低い所定の許容閾値により定まる類似範囲に含まれるように、前記追加登録顔画像用の追加登録顔画像用照合閾値を設定する
   ことを特徴とする顔画像照合プログラム。

Images