JP6648769B2 - 顔認証装置 - Google Patents

Description

本発明は、顔認証装置、顔認証方法、およびプログラムに関する。

従来から、入退室監視システムや勤怠管理システムなどの各種のシステムにおいて、ゲートなどを通過する利用者に対して顔画像による個人認証が行われている。

例えば特許文献１および特許文献２には、認証対象の顔画像を取得し、その認証対象の顔画像と予め登録された個人の基準顔画像との間の類似度を算出して閾値と比較することにより、顔認証を行う顔認証装置が記載されている。

また、この種の顔認証装置では、照合に使用する閾値を自動的に変更する構成が採用されている。

例えば特許文献１では、認証に失敗したときに認証対象の顔画像の明るさが適切か否かを判定し、適切でなければ閾値を下げることで本人拒否率を低下させる。また特許文献２では、認証成功時の類似度と閾値との差に応じて閾値を変更する。具体的には、特許文献２では、認証処理が成功したとき、その認証成功時の類似度が閾値を大きく超える場合には、閾値が低すぎるとみなして閾値を上方修正する。

特開２００７−２２６３２７号公報 特開２０１３−１１７８７６号公報

顔認証に失敗したときに顔画像の明るさが適切か否かを判定して適切でなければ閾値を下げる特許文献１に記載の方法では、認証に失敗してからでないと閾値を変更することができないため、利便性が低下する。

一方、顔認証成功時の類似度と閾値との差に応じて閾値を変更する特許文献２に記載の方法によれば、顔認証に失敗する前に閾値を変更できる。しかしながら、特許文献２に記載の方法では、適切に閾値を変更するのは困難である。その理由は、特許文献２に記載の方法では、１回の顔認証成功時における類似度に基づいて閾値を変更しているためである。

本発明の目的は、上述した課題を解決する顔認証装置を提供することにある。

本発明の一形態に係る顔認証装置は、
認証対象の顔画像を取得する顔画像取得部と、
前記認証対象の顔画像に基づく顔情報と登録利用者毎の基準顔情報との間の類似度を算出して閾値と比較することにより、顔認証を行う照合部と、
認証成功時の前記類似度の履歴に基づいて前記類似度の変化を予測する予測部と、
前記予測の結果に基づいて前記閾値を変更する閾値変更部と、を含む。

本発明の他の形態に係る顔認証方法は、
認証対象の顔画像を取得し、
前記認証対象の顔画像に基づく顔情報と予め登録された登録利用者毎の基準顔情報との間の類似度を閾値と比較した結果に基づいて、顔認証を行い、
顔認証に成功したときの前記類似度の履歴に基づいて前記類似度の変化を予測し、
前記予測の結果に基づいて前記閾値を変更する。

本発明の他の形態に係るプログラムは、
コンピュータを、
認証対象の顔画像を取得する顔画像取得部と、
前記認証対象の顔画像に基づく顔情報と登録利用者毎の基準顔情報との間の類似度を算出して閾値と比較することにより、顔認証を行う照合部と、
認証成功時の前記類似度の履歴に基づいて前記類似度の変化を予測する予測部と、
前記予測の結果に基づいて前記閾値を変更する閾値変更部と、して機能させる。

本発明は上述した構成を有することにより、顔認証に失敗する前に閾値を適切に変更することができる。

本発明の第１の実施形態に係る顔認証装置のブロック図である。 本発明の顔認証装置を適用したシステムの例を示す図である。 本発明の第１の実施形態に係る顔認証装置の動作の概要を示すフローチャートである。 本発明の第１の実施形態に係る顔認証装置の予測部の動作の一例を示すフローチャートである。 本発明の第１の実施形態に係る顔認証装置の類似度予測処理の一例を説明するための図である。 本発明の第１の実施形態に係る顔認証装置の閾値変更部の動作の一例を示すフローチャートである。 本発明の第１の実施形態に係る顔認証装置の予測部の動作の他の例を示すフローチャートである。 本発明の第１の実施形態に係る顔認証装置の類似度予測処理の他の例を説明するための図である。 本発明の第１の実施形態に係る顔認証装置の閾値変更部の動作の他の例を示すフローチャートである。 本発明の第２の実施形態に係る顔認証装置のブロック図である。 本発明の第３の実施形態に係る顔認証装置のブロック図である。

次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１は本発明の第１の実施形態に係る顔認証装置１００のブロック図である。また図２は本実施形態に係る顔認証装置１００を含む入退室管理システムの概略図である。図１を参照すると、本実施形態に係る顔認証装置１００は、カメラ部１４１との間のインタフェース部１１１、ゲート装置１４２との間のインタフェース部１１２、通信インタフェース部１１３、操作入力部１１４、画面表示部１１５、記憶部１２０、および演算処理部１３０から構成されている。

インタフェース部１１１は、認証対象である人物の顔を撮像するカメラ部１４１との間で信号を授受するように構成されている。信号の授受は有線または無線の何れであってもよい。カメラ部１４１は、図２に示すように、ゲート装置１４２を通過する利用者１４３の顔部分を撮像できる位置および画角に設定されている。カメラ部１４１は、認証対象である人物の顔を撮像して得られた画像データを、インタフェース部１１１を通じて演算処理部１３０に出力するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子などからなる撮像装置である。カメラ部１４１で撮像される画像データは、例えば２５６階調の白黒濃淡画像であるが、カラー画像であってもよい。

インタフェース部１１２は、ゲート装置１４２との間で顔認証の結果などの信号を授受するように構成されている。信号の授受は有線または無線の何れであってもよい。ゲート装置１４２は、受信した顔認証の結果に従って所定の動作を行う。所定の動作は各種考えられる。例えばゲート装置１４２は、顔認証の結果に従ってゲート装置１４２に取り付けられた扉の開閉動作を自動的に行う。或いはゲート装置１４２は、手動で開閉自在なゲートバーを備え、顔認証に成功したときに限り一定時間だけゲートバーのロックを解除する。或いはゲート装置１４２は、顔認証の結果に従ってゲート装置１４２に取り付けられた報知器から通行可否のメッセージを視覚的または音響的に出力する。ゲート装置１４２は、据え置き型であってもよいし、移動可能な可搬型であってもよい。またゲート装置１４２は、顔認証装置１００と独立した装置であってもよいし、顔認証装置１００と一体となった装置であってもよい。

通信インタフェース部１１３は、端末などの外部装置との間でデータ通信を行う通信装置である。通信方式は、有線または無線の何れであってもよい。

操作入力部１１４は、キーボードやテンキーなどの入力装置であり、オペレータの操作を検出して演算処理部１３０に出力するように構成されている。

画面表示部１１５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）などの画面表示装置である。画面表示部１１５は、演算処理部１３０からの指示に応じて、認証結果などの各種情報を画面表示するように構成されている。

記憶部１２０は、ハードディスクやメモリなどの記憶装置である。記憶部１２０は、演算処理部１３０で行われる各種処理に必要な処理情報およびプログラム１２１を記憶するように構成されている。

プログラム１２１は、演算処理部１３０に読み込まれて実行されることにより各種処理部を実現する。プログラム１２１は、通信インタフェース部１１３などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部１２０に保存される。

記憶部１２０に記憶される主な処理情報には、基準顔画像データ１２２、照合閾値１２３、および認証履歴データ１２４がある。

基準顔画像データ１２２は、顔認証を行う際に用いられる基準となる顔画像と利用者ＩＤを関連付けたデータである。基準顔画像データ１２２には、利用者ＩＤに関連付けて、その利用者ＩＤを有する人物の顔画像が基準顔画像として少なくとも１枚関連付けられていてよい。或いは、基準顔画像データ１２２には、利用者ＩＤに関連付けて、その利用者ＩＤを有する人物の顔画像から抽出された顔の特徴量が基準顔情報として関連付けられていてよい。ここで、顔の特徴量は、顔を構成する目、鼻、口、眉等の各部の位置関係や形状を認識するための顔画像の各部における特徴を示す数値であり、画像どうしの類似判断等を行う場合に用いられる。

照合閾値１２３は、顔認証を行う際に用いられる閾値である。本実施形態の場合、照合閾値１２３は、全ての利用者ＩＤで共通である。

認証履歴データ１２４は、顔認証成功時の類似度と利用者ＩＤと認証時刻を関連付けたデータである。

演算処理部１３０は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有する演算処理装置である。演算処理部１３０は、記憶部１２０からプログラム１２１を読み込んで実行することにより、上記ハードウェアとプログラム１２１とを協働させて各種処理部を実現するように構成されている。演算処理部１３０で実現される処理部として、入力部１３１、顔画像取得部１３２、照合部１３３、出力部１３４、予測部１３５、および閾値変更部１３６がある。

入力部１３１は、通信インタフェース部１１３或いは操作入力部１１４を通じて外部から基準顔画像データ１２２および照合閾値１２３を入力し、記憶部１２０に記憶するように構成されている。

顔画像取得部１３２は、カメラ部１４１から認証対象の人物の顔を撮像して得られた画像データを入力し、その画像データから認証対象の顔画像を取得（検出）するように構成されている。顔画像取得部１３２は、人の一般的な顔の輪郭を示すテンプレートを画像データにマッチングさせることにより、画像データ内に存在する顔画像を取得する。テンプレートマッチング以外に公知の各種の顔検出アルゴリズムを使用してもよい。顔画像取得部１３２は、取得した顔画像を照合部１３３に伝達するように構成されている。

照合部１３３は、記憶部１２０から基準顔画像データ１２２と照合閾値１２３とを読み出し、基準顔画像データ１２２に含まれる基準顔画像と顔画像取得部１３２によって取得された認証対象の顔画像との間の類似度を利用者ＩＤ毎に算出し、算出した利用者ＩＤ毎の類似度を照合閾値１２３と比較した結果に基づいて、認証対象の顔画像が基準顔画像データ１５２に含まれる何れの利用者ＩＤの基準顔画像と一致するか、或いは何れの基準顔画像とも一致しないかを判定するように構成されている。類似度の一例として、顔画像相互間の相互相関係数を用いることができる。その場合、両顔画像に同一人物の顔部分が含まれる場合に類似度が大きくなり、両顔画像に異なる人物の顔部分が含まれる場合に類似度が小さくなる。顔画像間の類似度としては、相互相関係数以外の公知の類似度算出技術を用いることができる。例えば、照合部１３３は、認証対象の顔画像から顔の特徴量を抽出し、基準顔画像データ１２２に含まれる基準顔の特徴量と認証対象の顔画像から抽出した顔の特徴量とを照合して、基準顔画像と認証対象の顔画像との類似度を算出するように構成されていてよい。

また照合部１３３は、顔画像取得部１３２によって取得された認証対象の顔画像との間の類似度が照合閾値１２３以上になる利用者ＩＤの顔画像が基準顔画像データ１２２に１つも存在しない場合、認証失敗の認証結果を生成するように構成されている。また照合部１３３は、顔画像取得部１３２によって取得された認証対象の顔画像との間の類似度が照合閾値１２３以上になる基準顔画像が１以上存在する場合、類似度が最大の利用者ＩＤを含む認証成功の認証結果と、類似度が最大の利用者ＩＤと当該類似度と認証時刻を含む認証履歴データ１２４を生成するように構成されている。さらに照合部１３３は、認証結果を出力部１３４に伝達するように構成されている。また照合部１３３は、認証履歴データ１２４を記憶部１２０に既に記憶されている認証履歴データ１２４の一部として追加登録するように構成されている。

出力部１３４は、照合部１３３によって生成された認証結果を、インタフェース部１１２を通じてゲート装置１４２へ送信するように構成されている。また出力部１３４は、認証結果を画面表示部１１５に表示し、または／および、通信インタフェース部１１３を通じて外部の装置へ送信してもよい。

予測部１３５は、照合閾値を変更する時期が到来すると、記憶部１２０に記録されている認証履歴データ１２４に基づいて、類似度の変化を予測するように構成されている。照合閾値を変更する時期は、前回の変更時期から一定時間が経過したとき、前回の変更時期以降に認証成功した回数が一定数に達したとき、前回の変更時期以降に予め定められた特定の利用者ＩＤについての認証成功回数が一定数に達したときなどとすることができる。また予測部１３５は、予測した類似度の変化を閾値変更部１３６に伝達するように構成されている。

閾値変更部１３６は、予測部１３５が予測した類似度の変化に基づいて、記憶部１２０に記憶されている照合閾値１２３を変更するように構成されている。

図３は顔認証装置１００の動作の概要を示すフローチャートである。図３を参照すると、まず顔認証装置１００の入力部１３１は、外部から基準顔画像データ１２２を入力し、記憶部１２０に記憶する（ステップＳ１）。次に入力部１３１は、外部から照合閾値１２３を入力し、記憶部１２０に記憶する（ステップＳ２）。このステップＳ１、Ｓ２の処理は、顔認証の運用を開始するための準備処理であり、一度実施していれば省略してよい。

次に顔認証装置１００の顔画像取得部１３２は、インタフェース部１１１を通じてカメラ部１４１から認証対象を撮像して得られた画像データを入力し、その画像データから認証対象の顔画像を取得する（ステップＳ３）。次に顔認証装置１００の照合部１３３は、基準顔画像データ１２２に含まれる基準顔画像と顔画像取得部１３２によって取得された認証対象の顔画像との間の類似度を算出して照合閾値１２３と比較することにより、認証対象の顔画像が基準顔画像データ１２２に含まれる何れの基準顔画像と一致するか、或いは何れの基準顔画像とも一致しないかを判定する（ステップＳ４）。このとき照合部１３３は、顔画像取得部１３２によって取得された認証対象の顔画像との間の類似度が照合閾値１２３以上になる基準顔画像が基準顔画像データ１２２に１つも存在しない場合、認証失敗の認証結果を生成して出力部１３４に伝達する。また、照合部１３３は、顔画像取得部１３２によって取得された認証対象の顔画像との間の類似度が照合閾値１２３以上になる基準顔画像が１以上存在する場合、類似度が最大の利用者ＩＤを含む認証成功の認証結果と、類似度が最大の利用者ＩＤと当該類似度と認証時刻を含む認証履歴データ１２４を生成し、前者を出力部１３４に伝達し、後者を記憶部１２０に登録する。次に顔認証装置１００の出力部１３４は、認証結果を、インタフェース部１１２を通じてゲート装置１４２に出力する（ステップＳ５）。

また顔認証装置１００の予測部１３５は、照合閾値１２３を変更する時期が到来したか否かを判定し（ステップＳ６）、変更時期でなければ、ステップＳ３に戻って上述した処理と同様の処理を繰り返す。一方、変更時期であれば、予測部１３５は、記憶部１２０に記憶されている認証履歴データ１２４に基づいて、類似度の変化を予測する（ステップＳ７）。次に顔認証装置１００の閾値変更部１３６は、予測部１３５によって予測された類似度の変化に基づいて、記憶部１２０に記憶されている照合閾値１２３を変更する（ステップＳ８）。そして、顔認証装置１００は、ステップＳ３に戻って、上述した処理と同様の処理を繰り返す。

以上のように、認証成功時の類似度の履歴に基づいて将来の類似度の変化を予測し、その予測の結果に基づいて照合閾値を変更するため、認証に失敗する前に照合閾値を適切に変更することができる。

次に予測部１３５および閾値変更部１３６によるステップＳ７、Ｓ８の詳細を説明する。

図４は予測部１３５によるステップＳ７の一例を示すフローチャートである。図４を参照すると、予測部１３５は、全ての利用者ＩＤの認証履歴データ１２４を対象にして類似度の予測に使用する期間の認証成功時の類似度を記憶部１２０から読み出し、認証時刻順にそれぞれが同じ時間幅のＮ個のグループＧ１〜ＧＮに分割する（ステップＳ１１）。例えば、予測部１３５は、事前に設定された時間Ｔｃと正整数Ｎを使用し、現在時刻ｔ０からＴｃ×Ｎ時間前の時刻（ｔ０−Ｔｃ×Ｎ）以降の認証時刻を有する認証履歴データ１５４中の類似度を利用者ＩＤは問わずに記憶部１２０から読み出し、認証時刻順にそれぞれが同じ時間幅ＴｃのＮ個のグループＧ１〜ＧＮに分割する。

図５は、縦軸に類似度をとり、横軸に時刻をとって、認証成功時の類似度の分布を黒丸印で表現した図である。ステップＳ１１のグループ化は、図５のグループＧ１〜Ｇ５のように黒丸印の類似度の分布を時間軸方向にグループ分けすることに相当する。

次に予測部１３５は、各グループの平均類似度Ｒ１〜ＲＮを算出する（ステップＳ１２）。予測部１３５は、１つのグループに類似度がＭ個含まれる場合、Ｍ個の類似度の合計値をＭで割って平均値を算出する。図５のグラフ中の矩形印は、各グループの平均類似度Ｒ１〜Ｒ５を表している。

次に予測部１３５は、平均類似度Ｒ１〜ＲＮに対し、関数（例えば線形関数）を準備し、最小二乗法を用いてフィッティングを行い、近似関数Ｋ（ｔ）を生成する（ステップＳ１３）。例えば近似関数Ｋ（ｔ）は、以下のように表現される。
Ｋ（ｔ）＝ａ・ｔ＋ｂ …（１）
ここで、ａ、ｂは最小二乗法により定まる定数である。
図５のグラフ中の線分は上記近似関数Ｋ（ｔ）を表している。

次に予測部１３５は、近似関数Ｋ（ｔ）の変数ｔに将来の時刻を代入することにより、将来の時刻における平均類似度を予測する（ステップＳ１４）。図５には、将来の時刻ｔ０＋Δｔ時点の平均類似度が図示されている。Δｔは固定値であってもよいし、可変値であってもよい。

図６は閾値変更部１３６によるステップＳ８の一例を示すフローチャートである。図６を参照すると、閾値変更部１３６は、現在の照合閾値１２３と予測部１３５によって予測された平均類似度との差を算出する（ステップＳ２１）。次に閾値変更部１３６は、上記差を予め定められた値α１と比較し（ステップＳ２２）、上記差が値α１より大きければ、現在の照合閾値１２３は大きすぎると判断して予め定められた値Ｐ１だけ小さくなるように変更する（ステップＳ２３）。また閾値変更部１３６は、上記差が値α１以下であれば、上記差を予め定められた値β１（β１＜α１）と比較し（ステップＳ２４）、上記差が値β１より小さければ、現在の照合閾値１２３は小さすぎると判断して予め定められた値Ｑ１だけ大きくなるように変更する（ステップＳ２５）。それ以外の場合、即ち、上記差が値α１以下、かつ、値β１以上であれば、閾値変更部１３６は、現在の照合閾値１２３を変更しない。

上記図４乃至図６を参照して説明した予測部１３５および閾値変更部１３６の動作によれば、複数の利用者の認証成功時における類似度の履歴に基づいて認証成功時の平均類似度の変化を予測し、その平均類似度の予測結果に基づいて複数の利用者で共通に使用する照合閾値１２３を変更する。このため、図４乃至図６を参照して説明した予測部１３５および閾値変更部１３６は、多くの利用者の類似度が同じ要因で同じように変化する環境に適用すると好適である。その一適用例を図２を参照して以下で説明する。

図２は前述したように本実施形態の顔認証装置１００を含む入退場管理システムの概略図である。図２を参照すると、顔認証装置１００のカメラ部１４１は、ゲート装置１４２を通過する利用者１４３の顔画像を取得するように構成されている。顔認証装置１００は、カメラ部１４１で取得された利用者１４３の顔画像に対して顔認証を行い、その認証結果をインタフェース部１１２からゲート装置１４２に送信する。ゲート装置１４２は、認証結果が成功であればゲートを開き、認証結果が失敗であればゲートを閉じるように構成されている。このようなシステムにおいては、西日の影響を受けて利用者１４３の顔画像の画質が低下するケースが発生することがある。その場合、利用者によらず、ゲート装置１４２を通過する殆ど全ての利用者の顔画像の画質が影響を受ける。そのため、本実施形態の顔認証装置１００を使用すると、西日の影響を受けて利用者１４３の顔画像の画質が劣化して平均類似度が低下していくと、照合閾値１２３がそれに応じて小さくなるように自動的に変更される。その結果、本人拒否が発生するのを防止でき、利便性が向上する。また、西日の影響が薄れてゲート装置１４２を通過する利用者１４３の顔画像の画質が向上して平均類似度が高まると、照合閾値１２３がそれに応じて大きくなるように自動的に変更される。その結果、セキュリティ強度を再び高めることができる。

多くの利用者の類似度に影響を与える要因には、図２で例示した西日以外に、経年変化による照明器具の照度変化、天候悪化による照度変化、花粉症の時期におけるマスク装着率の増大、俯く傾向が高まる雨模様時の正面顔の取得率の低下等がある。これらに対しても本実施形態の顔認証装置１００は有効である。なお、同じ場所にゲート装置１４２が複数台設置されている場合、西日の当たり方や劣化した照明の影響はゲート装置毎に異なる可能性がある。そのため、ゲート装置毎に、認証成功時の類似度の履歴に基づいて類似度の変化を予測し、その予測の結果に応じて照合閾値を変更するのが望ましい。但し、西日の当たり方や劣化した照明の影響がほぼ等しい複数のゲート装置であれば、その何れか１つのゲート装置で上記類似度の変化の予測と変更後の照合閾値の決定を行い、この決定された変更後の照合閾値を使って複数のゲート装置の照合閾値を同じように変更してもよい。

図７は予測部１３５によるステップＳ７の他の例を示すフローチャートである。図７を参照すると、予測部１３５は、類似度の予測に使用する特定の利用者ＩＤを含む認証履歴データ１２４から所定期間の類似度を選択する（ステップＳ３１）。例えば、予測部１３５は、予め定められた特定の利用者ＩＤを有し且つ事前に設定された時間Ｔ前の時刻（ｔ０−Ｔ）以降の認証時刻を有する認証履歴データ１２４中の類似度を記憶部１２０から選択して読み出す。特定の利用者ＩＤは、全体の利用者の中で、認証対象となる頻度が比較的高く、類似度の値が平均的な登録利用者であることが望ましいが、それに限定されない。

図８は、縦軸に類似度をとり、横軸に時刻をとって、特定の利用者ＩＤの認証成功時における類似度の分布を黒丸印で表現した図である。

次に予測部１３５は、特定の利用者ＩＤの類似度に対し、関数（例えば線形関数）を準備し、最小二乗法を用いてフィッティングを行い、近似関数Ｋ（ｔ）を生成する（ステップＳ３２）。例えば近似関数Ｋ（ｔ）は、上述した式１のように表現される。図８のグラフ中の線分は上記近似関数Ｋ（ｔ）を表している。

次に予測部１３５は、近似関数Ｋ（ｔ）の変数ｔに将来の時刻を代入することにより、将来の時刻における特定の利用者ＩＤの認証成功時の類似度を予測する（ステップＳ３３）。図８には、将来の時刻ｔ０＋Δｔ時点における特定の利用者ＩＤの認証成功時の類似度が図示されている。Δｔは固定値であってもよいし、可変値であってもよい。

図９は閾値変更部１３６によるステップＳ８の他の例を示すフローチャートである。図９を参照すると、閾値変更部１３６は、現在の照合閾値１２３と予測部１３５によって予測された特定の利用者ＩＤの認証成功時の類似度との差を算出する（ステップＳ４１）。次に閾値変更部１３６は、上記差を予め定められた値α２と比較し（ステップＳ４２）、上記差が値α２より大きければ、現在の照合閾値１２３は大きすぎると判断して予め定められた値Ｐ２だけ小さくなるように変更する（ステップＳ４３）。また閾値変更部１３６は、上記差が値α２以下であれば、上記差を予め定められた値β２（β２＜α２）と比較し（ステップＳ４４）、上記差が値β２より小さければ、現在の照合閾値１２３は小さすぎると判断して予め定められた値Ｑ２だけ大きくなるように変更する（ステップＳ２５）。それ以外の場合、即ち、上記差が値α２以下、かつ、値β２以上であれば、閾値変更部１３６は、現在の照合閾値１２３を変更しない。

上記図７乃至図９を参照して説明した予測部１３５および閾値変更部１３６の動作によれば、特定の利用者の認証成功時における類似度の履歴に基づいて特定の利用者の認証成功時における類似度の変化を予測し、その予測結果に基づいて複数の利用者で共通に使用する照合閾値１２３を変更する。このため、図７乃至図９を参照して説明した予測部１３５および閾値変更部１３６は、特定の利用者の認証成功時における類似度が他の多くの利用者の認証成功時における類似度と同じ要因で同じように変化する環境に適用すると好適である。その一適用例として、例えば図２で説明したようなシステムが考えられる。

［第２の実施形態］
図１０は本発明の第２の実施形態に係る顔認証装置２００のブロック図である。本実施形態に係る顔認証装置２００は、カメラ部１４１とのインタフェース部２１１、ゲート装置１４２とのインタフェース部２１２、通信インタフェース部２１３、操作入力部２１４、画面表示部２１５、記憶部２２０、および演算処理部２３０から構成されている。このうち、インタフェース部２１１、インタフェース部２１２、通信インタフェース部２１３、操作入力部２１４、および画面表示部２１５は、図１のインタフェース部１１１、インタフェース部１１２、通信インタフェース部１１３、操作入力部１１４、および画面表示部１１５と同じように構成されている。

記憶部２２０は、ハードディスクやメモリなどの記憶装置である。記憶部２２０は、演算処理部２３０で行われる各種処理に必要な処理情報およびプログラム２２１を記憶するように構成されている。

プログラム２２１は、演算処理部２３０に読み込まれて実行されることにより各種処理部を実現する。プログラム２２１は、通信インタフェース部２１３などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部２２０に保存される。

記憶部２２０に記憶される主な処理情報には、基準顔画像データ２２２、照合閾値２２３、および認証履歴データ２２４がある。このうち、基準顔画像データ２２２、および認証履歴データ２２４は、図１の基準顔画像データ１２２、および認証履歴データ１２４と同じように構成されている。

照合閾値２２３は、顔認証を行う際に用いられる閾値である。本実施形態の場合、照合閾値２２３は、利用者ＩＤ毎に存在する。

演算処理部２３０は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有する演算処理装置である。演算処理部２３０は、記憶部２２０からプログラム２２１を読み込んで実行することにより、上記ハードウェアとプログラム２２１とを協働させて各種処理部を実現するように構成されている。演算処理部２３０で実現される処理部として、入力部２３１、顔画像取得部２３２、照合部２３３、出力部２３４、予測部２３５、および閾値変更部２３６がある。このうち、入力部２３１、顔画像取得部２３２、および出力部２３４は、図１の入力部１３１、顔画像取得部１３２、および出力部１３４と同じように構成されている。

照合部２３３は、認証対象の顔画像と利用者ＩＤ毎の基準顔画像との間の類似度を利用者ＩＤ毎の照合閾値２２３と比較する点で、図１の照合部１３３と相違し、それ以外は照合部１３３と同様に構成されている。

予測部２３５は、利用者ＩＤ毎の認証履歴データ２２４を用いて、利用者ＩＤ毎の認証成功時の類似度の変化を予測する点で、図１の予測部１３５と相違し、それ以外は予測部１３５と同様に構成されている。即ち、予測部２３５は、利用者ＩＤ毎に、図７に示した処理と同様の処理を繰り返すことによって、利用者ＩＤ毎の近似関数Ｋ（ｔ）を導出する。

閾値変更部２３６は、予測部２３５が予測した利用者ＩＤ毎の類似度の変化に基づいて、記憶部２２０に記憶されている利用者ＩＤ毎の照合閾値２２３を変更するように構成されている。即ち、閾値変更部２３６は、利用者ＩＤ毎に、図９に示した処理と同様の処理を繰り返すことによって、予測した類似度と現在の照合閾値との差が予め定められた値より大きければ照合閾値を所定値だけ小さくし、上記差が予め定められた値より小さければ照合閾値を所定値だけ大きくし、それ以外は照合閾値を変更しない。

本実施形態によれば、利用者ＩＤの認証成功時における類似度の履歴に基づいてその利用者ＩＤの認証成功時における類似度の変化を予測し、その予測結果に基づいてその利用者ＩＤの照合閾値を変更する。これによって、利用者ＩＤ毎に設定された照合閾値を、例えば利用者毎の顔画像の経年変化に追従して自動的に適切に変更することができる。

本実施形態では、利用者ＩＤの認証成功時における類似度の履歴に基づいてその利用者ＩＤの類似度の変化を予測し、その予測結果に基づいてその利用者ＩＤの照合閾値を変更した。しかし、本実施形態の変形例として、図４で説明した予測方法によって複数の利用者の照合成功時における類似度の履歴に基づいて、複数の利用者の照合成功時における平均の類似度の変化を予測し、その平均の類似度の予測結果に基づいて利用者ＩＤ毎の照合閾値を図６と同様の方法で変更するように構成してもよい。

［第３の実施形態］
図１１は本発明の第３の実施形態に係る顔認証装置３００のブロック図である。図１１を参照すると、本実施形態に係る顔認証装置３００は、顔画像取得部３０１と、照合部３０２と、予測部３０３と、閾値変更部３０４とを備えている。

顔画像取得部３０１は、認証対象の顔画像を取得するように構成されている。顔画像取得部３０１は、例えば図１の顔画像取得部１３２と同様に構成することができるが、それに限定されない。

照合部３０２は、顔画像取得部３０１によって取得された認証対象の顔画像に基づく顔情報と登録利用者毎の基準顔情報との間の類似度を算出して閾値と比較することにより、顔認証を行うように構成されている。照合部３０２は、例えば図１の照合部１３３と同様に構成することができるが、それに限定されない。

予測部３０３は、照合部３０２による認証成功時の類似度の履歴に基づいて、類似度の変化を予測するように構成されている。予測部３０３は、例えば図１の予測部１３５或いは図１０の予測部２３５と同様に構成することができるが、それに限定されない。

閾値変更部３０４は、予測部３０３の予測の結果に基づいて、照合部３０２が使用する上記閾値を変更するように構成されている。閾値変更部３０４は、図１の閾値変更部１３６或いは図１０の閾値変更部２３６と同様に構成することができるが、それに限定されない。

このように構成された本実施形態に係る顔認証装置３００は、以下のように動作する。即ち、まず顔画像取得部３０１が、認証対象の顔画像を取得する。次に照合部３０２が、認証対象の顔画像に基づく顔情報と登録利用者毎の基準顔情報との間の類似度を算出して閾値と比較することにより、顔認証を行う。次に予測部３０３が、認証成功時の類似度の履歴に基づいて前記類似度の変化を予測する。そして閾値変更部３０４が、予測の結果に基づいて閾値を変更する。

このように本実施形態によれば、認証成功時の類似度の履歴に基づいて類似度の変化を予測し、その予測の結果に基づいて照合に使用する閾値を変更するため、認証に失敗する前に閾値を適切に変更することができる。

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。

本発明は、入退室監視システムや勤怠管理システムなどに利用でき、特に利用者の負担を招くことなく、照合に使用する閾値を適切に自動修正して、利便性や安全性の向上を図る場合に適している。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
認証対象の顔画像を取得する顔画像取得部と、
前記認証対象の顔画像に基づく顔情報と登録利用者毎の基準顔情報との間の類似度を算出して閾値と比較することにより、顔認証を行う照合部と、
認証成功時の前記類似度の履歴に基づいて前記類似度の変化を予測する予測部と、
前記予測の結果に基づいて前記閾値を変更する閾値変更部と、を含む
顔認証装置。
［付記２］
前記予測部は、前記認証成功時の類似度の履歴を用いて、時間を関数とした類似度の変化を表す近似関数を生成することによって前記類似度の変化を予測する
付記１に記載の顔認証装置。
［付記３］
前記予測部は、複数の登録利用者の前記認証成功時における前記類似度の履歴を認証時刻に基づいて複数のグループに分類し、前記グループ毎に前記複数の登録利用者の前記認証成功時における前記類似度の平均を算出し、前記平均の類似度を用いて、時間を関数とした類似度の変化を表す近似関数を生成することによって、前記平均の類似度の変化を予測するように構成されている、
付記１または２に記載の顔認証装置。
［付記４］
前記閾値変更部は、前記平均の類似度の変化の予測結果に基づいて、前記閾値を変更する、
付記３に記載の顔認証装置。
［付記５］
前記予測部は、一の登録利用者の前記認証成功時における前記類似度の履歴を用いて、時間を関数とした類似度の変化を表す近似関数を生成することによって、前記一の登録利用者の前記認証成功時における前記類似度の変化を予測するように構成されている、
付記１または２に記載の顔認証装置。
［付記６］
前記閾値変更部は、前記一の登録利用者の前記認証成功時における前記類似度の変化の予測結果に基づいて、前記閾値を変更する、
付記５に記載の顔認証装置。
［付記７］
前記閾値は、複数の登録利用者に共通に設定される閾値である、
付記１乃至６の何れかに記載の顔認証装置。
［付記８］
前記閾値は、登録利用者毎に設定される閾値である、
付記１乃至６の何れかに記載の顔認証装置。
［付記９］
前記照合部は、前記認証対象の顔画像と予め登録された登録利用者毎の基準顔画像との間の類似度を複数の前記登録利用者で共通な閾値と比較した結果に基づいて、前記認証対象の顔画像が何れの前記登録利用者の前記基準顔画像と一致するかを判定し、一致すると判定したときの前記類似度と認証時刻を含む認証履歴データを生成するように構成され、
前記予測部は、前記認証履歴データを前記認証時刻に基づいて複数のグループに分類し、前記グループ毎に前記類似度の平均を算出し、前記平均の類似度を用いて、時間を関数とした類似度の変化を表す近似関数を生成することによって、前記平均の類似度の変化を予測するように構成され、
前記閾値変更部は、前記平均の類似度の変化の予測結果に基づいて前記共通な閾値を変更するように構成されている、
付記１または２に記載の顔認証装置。
［付記１０］
前記照合部は、前記認証対象の顔画像と予め登録された登録利用者毎の基準顔画像との間の類似度を複数の前記登録利用者で共通な閾値と比較した結果に基づいて、前記認証対象の顔画像が何れの前記登録利用者の前記基準顔画像と一致するかを判定し、一致すると判定したときの前記類似度と前記登録利用者を一意に識別する利用者識別情報と認証時刻を含む認証履歴データを生成するように構成され、
前記予測部は、前記認証履歴データを前記利用者識別情報毎の複数のグループに分類し、前記グループの少なくとも１つについて、前記グループの類似度を用いて、時間を関数とした類似度の変化を表す近似関数を生成することによって、前記グループの類似度の変化を予測するように構成され、
前記閾値変更部は、前記グループの類似度の変化の予測結果に基づいて前記共通な閾値を変更するように構成されている、
付記１または２に記載の顔認証装置。
［付記１１］
前記照合部は、前記認証対象の顔画像と予め登録された登録利用者毎の基準顔画像との間の類似度を前記登録利用者毎の閾値と比較した結果に基づいて、前記認証対象の顔画像が何れの前記登録利用者の前記基準顔画像と一致するかを判定し、一致すると判定したときの前記類似度と前記登録利用者を一意に識別する利用者識別情報と認証時刻を含む認証履歴データを生成するように構成され、
前記予測部は、前記認証履歴データを前記利用者識別情報毎の複数のグループに分類し、前記グループの少なくとも１つについて、前記グループの類似度を用いて、時間を関数とした類似度の変化を表す近似関数を生成することによって、前記グループの類似度の変化を予測するように構成され、
前記閾値変更部は、前記グループの類似度の変化の予測結果に基づいて前記グループに対応する前記登録利用者の閾値を変更するように構成されている、
付記１または２に記載の顔認証装置。
［付記１２］
前記照合部は、前記認証対象の顔画像と予め登録された登録利用者毎の基準顔画像との間の類似度を前記登録利用者毎の閾値と比較した結果に基づいて、前記認証対象の顔画像が何れの前記登録利用者の前記基準顔画像と一致するかを判定し、一致すると判定したときの前記類似度と認証時刻を含む認証履歴データを生成するように構成され、
前記予測部は、前記認証履歴データを前記認証時刻に基づいて複数のグループに分類し、前記グループ毎に前記類似度の平均を算出し、前記平均の類似度を用いて、時間を関数とした類似度の変化を表す近似関数を生成することによって、前記平均の類似度の変化を予測するように構成され、
前記閾値変更部は、前記平均の類似度の変化の予測結果に基づいて前記登録利用者毎の閾値を変更するように構成されている、
付記１または２に記載の顔認証装置。
［付記１３］
認証対象の顔画像を取得し、
前記認証対象の顔画像に基づく顔情報と予め登録された登録利用者毎の基準顔情報との間の類似度を閾値と比較した結果に基づいて、顔認証を行い、
認証成功時の前記類似度の履歴に基づいて前記類似度の変化を予測し、
前記予測の結果に基づいて前記閾値を変更する、
顔認証方法。
［付記１４］
前記予測では、前記認証成功時の類似度の履歴を用いて、時間を関数とした類似度の変化を表す近似関数を生成することによって前記類似度の変化を予測する、
付記１３に記載の顔認証方法。
［付記１５］
前記予測では、複数の登録利用者の前記認証成功時における前記類似度の履歴を認証時刻に基づいて複数のグループに分類し、前記グループ毎に前記複数の登録利用者の前記認証成功時における前記類似度の平均を算出し、前記平均の類似度を用いて、時間を関数とした類似度の変化を表す近似関数を生成することによって、前記平均の類似度の変化を予測する、
付記１３または１４に記載の顔認証方法。
［付記１６］
前記変更では、前記平均の類似度の変化の予測結果に基づいて、前記閾値を変更する、
付記１５に記載の顔認証方法。
［付記１７］
前記予測では、一の登録利用者の前記認証成功時における前記類似度の履歴を用いて、時間を関数とした類似度の変化を表す近似関数を生成することによって、前記一の登録利用者の前記認証成功時における前記類似度の変化を予測する、
付記１３または１４に記載の顔認証方法。
［付記１８］
前記変更では、前記一の登録利用者の前記認証成功時における前記類似度の変化の予測結果に基づいて、前記閾値を変更する、
付記１７に記載の顔認証方法。
［付記１９］
前記閾値は、複数の登録利用者に共通に設定される閾値である、
付記１３乃至１８の何れかに記載の顔認証方法。
［付記２０］
前記閾値は、登録利用者毎に設定される閾値である、
付記１３乃至１８の何れかに記載の顔認証方法。
［付記２１］
前記判定では、前記認証対象の顔画像と予め登録された登録利用者毎の基準顔画像との間の類似度を複数の前記登録利用者で共通な閾値と比較した結果に基づいて、前記認証対象の顔画像が何れの前記登録利用者の前記基準顔画像と一致するかを判定し、一致すると判定したときの前記類似度と認証時刻を含む認証履歴データを生成し、
前記予測では、前記認証履歴データを前記認証時刻に基づいて複数のグループに分類し、前記グループ毎に前記類似度の平均を算出し、前記平均の類似度を用いて、時間を関数とした類似度の変化を表す近似関数を生成することによって、前記平均の類似度の変化を予測し、
前記変更では、前記平均の類似度の変化の予測結果に基づいて前記共通な閾値を変更する、
付記１３または１４に記載の顔認証方法。
［付記２２］
前記判定では、前記認証対象の顔画像と予め登録された登録利用者毎の基準顔画像との間の類似度を複数の前記登録利用者で共通な閾値と比較した結果に基づいて、前記認証対象の顔画像が何れの前記登録利用者の前記基準顔画像と一致するかを判定し、一致すると判定したときの前記類似度と前記登録利用者を一意に識別する利用者識別情報と認証時刻を含む認証履歴データを生成し、
前記予測では、前記認証履歴データを前記利用者識別情報毎の複数のグループに分類し、前記グループの少なくとも１つについて、前記グループの類似度を用いて、時間を関数とした類似度の変化を表す近似関数を生成することによって、前記グループの類似度の変化を予測し、
前記変更では、前記グループの類似度の変化の予測結果に基づいて前記共通な閾値を変更する、
付記１３または１４に記載の顔認証方法。
［付記２３］
前記判定では、前記認証対象の顔画像と予め登録された登録利用者毎の基準顔画像との間の類似度を前記登録利用者毎の閾値と比較した結果に基づいて、前記認証対象の顔画像が何れの前記登録利用者の前記基準顔画像と一致するかを判定し、一致すると判定したときの前記類似度と前記登録利用者を一意に識別する利用者識別情報と認証時刻を含む認証履歴データを生成し、
前記予測では、前記認証履歴データを前記利用者識別情報毎の複数のグループに分類し、前記グループの少なくとも１つについて、前記グループの類似度を用いて、時間を関数とした類似度の変化を表す近似関数を生成することによって、前記グループの類似度の変化を予測し、
前記変更では、前記グループの類似度の変化の予測結果に基づいて前記グループに対応する前記登録利用者の閾値を変更する、
付記１３または１４に記載の顔認証方法。
［付記２４］
前記判定では、前記認証対象の顔画像と予め登録された登録利用者毎の基準顔画像との間の類似度を前記登録利用者毎の閾値と比較した結果に基づいて、前記認証対象の顔画像が何れの前記登録利用者の前記基準顔画像と一致するかを判定し、一致すると判定したときの前記類似度と認証時刻を含む認証履歴データを生成し、
前記予測では、前記認証履歴データを前記認証時刻に基づいて複数のグループに分類し、前記グループ毎に前記類似度の平均を算出し、前記平均の類似度を用いて、時間を関数とした類似度の変化を表す近似関数を生成することによって、前記平均の類似度の変化を予測し、
前記変更では、前記平均の類似度の変化の予測結果に基づいて前記登録利用者毎の閾値を変更する、
付記１３または１４に記載の顔認証方法。
［付記２５］
コンピュータを、
認証対象の顔画像を取得する顔画像取得部と、
前記認証対象の顔画像に基づく顔情報と登録利用者毎の基準顔情報との間の類似度を算出して閾値と比較することにより、顔認証を行う照合部と、
認証成功時の前記類似度の履歴に基づいて前記類似度の変化を予測する予測部と、
前記予測の結果に基づいて前記閾値を変更する閾値変更部と、して機能させる
プログラム。
［付記２６］
前記顔認証では、前記認証対象の顔画像から抽出した顔の特徴量と登録利用者毎の基準顔画像から抽出した顔の特徴量とを照合して前記認証対象の顔画像と前記基準顔画像との類似度を算出する、
付記１乃至２５の何れかに記載の顔認証装置、顔認証方法、およびプログラム。

１００…顔認証装置
１１１…インタフェース部
１１２…インタフェース部
１１３…通信インタフェース部
１１４…操作入力部
１１５…画面表示部
１２０…記憶部
１２１…プログラム
１２２…基準顔画像データ
１２３…照合閾値
１２４…認証履歴データ
１３０…演算処理部
１３１…入力部
１３２…顔画像取得部
１３３…照合部
１３４…出力部
１３５…予測部
１３６…閾値変更部
１４１…カメラ部
１４２…ゲート装置
１４３…利用者
２００…顔認証装置
２１１…インタフェース部
２１２…インタフェース部
２１３…通信インタフェース部
２１４…操作入力部
２１５…画面表示部
２２０…記憶部
２２１…プログラム
２２２…基準顔画像データ
２２３…照合閾値
２２４…認証履歴データ
２３０…演算処理部
２３１…入力部
２３２…顔画像取得部
２３３…照合部
２３４…出力部
２３５…予測部
２３６…閾値変更部
３００…顔認証装置
３０１…顔画像取得部
３０２…照合部
３０３…予測部
３０４…閾値変更部

Claims (6)

1. 認証対象の顔画像を取得する顔画像取得部と、
   前記認証対象の顔画像に基づく顔情報と登録利用者毎の基準顔情報との間の類似度を算出して閾値と比較することにより、顔認証を行う照合部と、
   認証成功時の前記類似度の履歴に基づいて前記類似度の変化を予測する予測部と、
   前記予測の結果に基づいて前記閾値を変更する閾値変更部と、を含み、
   前記予測部は、複数の登録利用者の前記認証成功時における前記類似度の履歴を認証時刻に基づいて複数のグループに分類し、前記グループ毎に前記複数の登録利用者の前記認証成功時における前記類似度の平均を算出し、前記平均の類似度を用いて、時間を関数とした類似度の変化を表す近似関数を生成することによって、前記平均の類似度の変化を予測するように構成されている、
   顔認証装置。
2. 前記閾値変更部は、前記平均の類似度の変化の予測結果に基づいて、前記閾値を変更する、
   請求項１に記載の顔認証装置。
3. 前記閾値は、複数の登録利用者に共通に設定される閾値である、
   請求項１または２に記載の顔認証装置。
4. 前記閾値は、登録利用者毎に設定される閾値である、
   請求項１または２に記載の顔認証装置。
5. 認証対象の顔画像を取得し、
   前記認証対象の顔画像に基づく顔情報と予め登録された登録利用者毎の基準顔情報との間の類似度を閾値と比較した結果に基づいて、顔認証を行い、
   認証成功時の前記類似度の履歴に基づいて前記類似度の変化を予測し、
   前記予測の結果に基づいて前記閾値を変更し、
   前記予測では、複数の登録利用者の前記認証成功時における前記類似度の履歴を認証時刻に基づいて複数のグループに分類し、前記グループ毎に前記複数の登録利用者の前記認証成功時における前記類似度の平均を算出し、前記平均の類似度を用いて、時間を関数とした類似度の変化を表す近似関数を生成することによって、前記平均の類似度の変化を予測する、
   顔認証方法。
6. コンピュータを、
   認証対象の顔画像を取得する顔画像取得部と、
   前記認証対象の顔画像に基づく顔情報と登録利用者毎の基準顔情報との間の類似度を算出して閾値と比較することにより、顔認証を行う照合部と、
   認証成功時の前記類似度の履歴に基づいて前記類似度の変化を予測する予測部であって、複数の登録利用者の前記認証成功時における前記類似度の履歴を認証時刻に基づいて複数のグループに分類し、前記グループ毎に前記複数の登録利用者の前記認証成功時における前記類似度の平均を算出し、前記平均の類似度を用いて、時間を関数とした類似度の変化を表す近似関数を生成することによって、前記平均の類似度の変化を予測する予測部と、
   前記予測の結果に基づいて前記閾値を変更する閾値変更部と、して機能させる
   プログラム。

Images