JP4957056B2 - 顔認証システムおよび顔認証方法 - Google Patents

Description

本発明は、入力顔画像の特徴量と登録画像の特徴量とを照合し認証を行う顔認証システムに関するものである。

従来の顔認証システムは、入力画像の部分領域とこれと対応する登録画像の部分領域とのパターン間距離を算出し、各部分領域のパターン間距離に基づき入力画像を識別する照合手段を有し、パターン間距離が小さい、すなわち照合スコアの高い部分領域だけを用いて認証することによって、隠蔽等に対する悪影響を軽減している（例えば、特許文献１参照）。

このような顔認証システムにおいては、例えば、眼鏡を装着していないユーザの認証を行う時、眼鏡を装着していない登録画像の人物と照合され、認証を問題なく行うことができる。
特開２００３−３２３６２２号公報

しかしながら、このような従来の顔認証システムにおいては、例えば眼鏡を装着したユーザの認証を行う時、眼鏡を装着した登録画像の人物と照合される。そして、眼鏡を装着している領域においては、入力画像の部分領域とこれと対応する登録画像の部分領域とは眼鏡を含んでおり、パターン間距離が小さい、すなわち照合スコアが高くなるため、この照合スコアが高い部分領域を認証に用いることとなる。したがって、ユーザと登録画像の人物が、別人物で似たような眼鏡を装着している場合には、人ではなく眼鏡が似ているため、同一人物であると認証してしまい、認証精度が低下してしまうという問題があった。

本発明は、従来の問題を解決するためになされたもので、眼鏡等の装着物の有無に関わらず、高精度な顔認証を行うことができる顔認証システムを提供することを目的とする。

本発明の顔認証システムは、入力顔画像の特徴量と登録画像の特徴量とを照合し認証を行う顔認証システムにおいて、前記入力顔画像のユーザの装着物の有無を判定する装着物有無判定部と、前記装着物有無判定部の判定結果に基づいて前記入力顔画像の特徴量を抽出する特徴量抽出位置を決定する特徴量抽出位置決定部とを備え、前記特徴量抽出位置決定部は、前記装着物有無判定部が装着物ありと判定した場合に、前記入力顔画像の前記装着物の位置を回避して前記入力顔画像に第１の特徴量抽出位置を決定する構成を有する。

この構成により、入力顔画像のユーザに装着物がある場合でも、精度の高い認証を行うことができる。

また、本発明の顔認証システムは、前記特徴量抽出位置決定部は、前記装着物有無判定部が装着物なしと判定した場合に、前記装着物があると想定した位置を回避して前記入力顔画像に第１の特徴量抽出位置を決定するとともに、前記入力顔画像に、前記装着物があると想定した位置を含む第２の特徴量抽出位置を決定する構成を有する。

この構成により、入力顔画像のユーザに装着物がない場合でも、精度の高い認証を行うことができる。

また、本発明の顔認証システムでは、前記第１の特徴量抽出位置を有する画像を前記登録画像として登録する構成を有する。

この構成により、入力顔画像のユーザの装着物の有無に関わらず、精度の高い認証を行うことができる。

また、本発明の顔認証システムでは、前記第１の特徴量抽出位置を有する画像と、前記第２の特徴量抽出位置を有する画像とを前記登録画像として登録する構成を有する。

この構成により、入力顔画像のユーザの装着物の有無に関わらず、精度の高い認証を行うことができる。

また、本発明の顔認証システムは、前記入力顔画像から決定した特徴量抽出位置が前記第１の特徴量抽出位置である場合、前記第１の特徴量抽出位置を有する前記入力顔画像の特徴量を、前記登録画像のうち、前記第１の特徴量抽出位置を有する登録画像の特徴量と照合し、前記入力顔画像から決定した特徴量抽出位置が前記第２の特徴量抽出位置である場合、前記第２の特徴量抽出位置を有する前記入力顔画像の特徴量を、前記登録画像のうち、前記第２の特徴量抽出位置を有する登録画像の特徴量と照合する構成を有する。

この構成により、入力顔画像のユーザの装着物の有無に関わらず、精度の高い認証を行うことができる。

本発明は、眼鏡、マスク等の装着物の有無に関わらず、高精度な顔認証を行うことができる顔認証システムを提供することができるものである。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
本発明の実施の形態１は、入力顔画像のユーザの装着物が眼鏡である場合の例である。

図１は、本発明の実施の形態１における顔認証システムの構成を示すブロック図である。

図１において、本発明の実施の形態１における顔認証システムは、ビデオカメラ、イメージスキャナ等を用いて得られる入力顔画像のユーザと登録されている登録画像の人物とが同一人物であるかどうかを顔認証により判定する顔認証装置１と、あらかじめ登録画像を登録している登録データベース（以下、登録ＤＢという）４とから構成されている。

図１に示すように、顔認証装置１は、入力顔画像から特徴量を生成する特徴量生成部２と、入力顔画像の特徴量と登録画像の特徴量とを照合することで、入力顔画像のユーザと登録されている登録画像の人物とが同一人物であるかどうかを判定する照合部３とから構成されている。

図２に示すように、特徴量生成部２は、画像正規化部２１、装着物有無判定部２２、特徴量抽出位置決定部２３、および特徴量抽出部２４から構成されている。

図５に示すように、照合部３は、特徴量選択部３１、特徴量間距離算出部３２、判定部
３３、登録存否記憶部３４、および判定結果出力部３５から構成されている。

登録ＤＢ４は、登録画像の特徴量を記憶する複数の登録記憶部を持ち、各登録記憶部はＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）と、図８（ａ）、（ｂ）に示すように、登録画像装着物非装着特徴量構造４４３および登録画像装着物装着特徴量構造４４４とを有する。登録画像装着物非装着特徴量構造４４３は、登録画像のユーザが眼鏡を装着していない場合に生成される特徴量の構造である。また、登録画像装着物装着特徴量構造４４４は、登録画像のユーザが眼鏡を装着している場合に生成される特徴量の構造である。

次に、特徴量生成部２および照合部３について、図２〜図８を用いて詳細に説明する。

図２において、画像正規化部２１は、入力画像から顔領域を切り出し、その大きさ等を一定にすることで入力顔画像を正規化する。

装着物有無判定部２２は、画像正規化部２１において正規化された入力顔画像のユーザが装着物を有しているか否かの判定を行う。その判定の結果、装着物があり、その位置が顔画像の高さのほぼ中央にあれば、装着物は眼鏡であると推定できる。

装着物有無判定部２２の前記判定には、すでに知られているブースティング（ＢＯＯＳＴＩＮＧ）やＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等が利用できる。

特徴量抽出位置決定部２３は、装着物有無判定部２２の判定結果が眼鏡を装着している（以下、眼鏡ありという）場合、入力顔画像から特徴量を抽出する位置を、眼鏡フレームを回避した、あらかじめ設定してある装着物装着特徴量抽出位置に決定する。眼鏡フレームを回避した位置とは、眼鏡フレームを回避した目、鼻、口、額、耳等の箇所である。装着物装着特徴量抽出位置が、特許請求の範囲の記載における、装着物の位置を回避して入力顔画像に決定する第１の特徴量抽出位置に相当する。

このように眼鏡フレームを回避して特徴量抽出位置を決定することによって、眼鏡の装着による特徴量の変動を避けることができ、安定した特徴量を取得することができる。

一方、装着物有無判定部２２の判定結果が眼鏡を装着していない（以下、眼鏡なしという）場合には、入力顔画像から特徴量を抽出する位置を、前記装着物装着特徴量抽出位置と、眼鏡があると想定した眼鏡の位置を含み、あらかじめ設定してある装着物非装着特徴量抽出位置との両方に決定する。装着物非装着特徴量抽出位置とは、具体的には目、目の周囲、鼻、口、額、耳等の箇所である。装着物非装着特徴量抽出位置が、特許請求の範囲の記載における、第２の特徴量抽出位置に相当する。

図６は、入力顔画像の特徴量抽出位置を説明する図である。図６において、特徴量抽出位置は、×印の位置であり、特徴量を抽出する領域は×印を中心として点線で囲った矩形の領域Ｒである。図６（ａ）は、眼鏡ありの場合の装着物装着特徴量抽出位置を×印で示している。図６（ｂ）は、眼鏡なしの場合の装着物非装着特徴量抽出位置を×印で示している。具体的には、図６（ａ）では、眉毛の下の２つの目の並んだ所には、目の上に重なるように、それぞれ３個の特徴量抽出位置を集中させ、かつ眼鏡フレーム６１の下側部分にある特徴量抽出位置を下方へずらせて、眼鏡フレーム６１上を回避した形で特徴量抽出位置を配置している。一方、図６（ｂ）では、２つの目の並んだ所には、眼鏡フレーム６１の鼻当て部分が当たる鼻の上、および眼鏡フレーム６１の下側部分にある位置にも眼鏡フレームを回避することなく特徴量抽出位置を配置している。

図６（ａ）と図６（ｂ）との比較からわかるように、図６（ｂ）に示す装着物非装着特徴量抽出位置では、眼鏡なしの場合に、眼鏡があると想定した眼鏡位置を含んでいるのに対し、図６（ａ）に示す装着物装着特徴量抽出位置は、眼鏡フレーム６１のある位置を回避して配置されている。

なお、図６（ａ）に示す装着物装着特徴量抽出位置は、眼鏡のレンズが透明の場合であり、サングラス等のレンズが透明でない場合は、別途眼鏡フレームおよび目の位置を回避した特徴量抽出位置を設定する必要がある。

実施の形態１では、図６（ａ）、（ｂ）に示すように、各特徴量抽出位置を例えば、３０個所に設定している。このように、特徴量抽出位置の個数を固定することにより、入力顔画像のユーザの装着物の有無に関係なく、後述する特徴量間距離の算出時のデータ量および処理時間を一定にすることができる。

なお、特徴量抽出位置は、図６（ａ）、（ｂ）に示す位置、個数および領域の大きさに何ら限定されるものではなく、要求される認証精度、認証システムの認証処理能力等に応じて設定すればよい。

装着物有無判定部２２の判定結果が、眼鏡なしの場合に、前述のように、入力顔画像の特徴量抽出位置を、装着物装着特徴量抽出位置および装着物非装着特徴量抽出位置の両方に設定する理由は、以下のとおりである。

あるユーザが、登録画像の登録時は、眼鏡を装着している状態で顔画像を撮影したが、認証時には眼鏡を装着していない場合、従来であれば、登録画像の眼鏡の影響により、認証精度が低下する。

しかし、このような場合であっても、本発明の実施の形態１によれば、眼鏡フレームのある位置を回避した位置を装着物装着特徴量抽出位置として決定し、この装着物装着特徴量抽出位置を有する入力顔画像の特徴量を、眼鏡を装着した場合の装着物装着特徴量抽出位置を有する登録画像の特徴量と照合を行うことで、認証精度を高めることが可能である。

一方、別のあるユーザが、登録画像の登録時には眼鏡を装着していなかったが、登録時に、装着物非装着特徴量抽出位置による特徴量とともに、眼鏡が装着される位置を回避した位置を装着物装着特徴量抽出位置として決定し、この装着物装着特徴量抽出位置を有する特徴量も登録しておくことにより、認証時に眼鏡を装着して認証を行う場合は、装着物装着特徴量抽出位置を有する入力顔画像の特徴量を、装着物装着特徴量抽出位置を有する登録画像の特徴量と照合を行うことで、認証精度を高めることが可能である。

つまり、ユーザの登録画像の登録時に、少なくとも装着物装着特徴量抽出位置を有する登録画像を登録しておくことで、認証時にユーザの眼鏡装着の有無に関わらず、認証精度を高めることができるからである。

次に、特徴量抽出部２４について説明する。

特徴量抽出部２４は、図３に示すように、複数のガボール係数算出部２４１とガボール係数算出決定部２４６とからなる。装着物有無判定結果が眼鏡なしの場合、ガボール係数算出決定部２４６は、装着物非装着特徴量抽出位置によるガボール係数の算出を行うと決定する。装着特徴量抽出部２４は、装着物装着特徴量抽出位置および装着物非装着特徴量抽出位置と、正規化された入力顔画像とを入力として、ガボール係数算出部２４１より、
眼鏡装着時のガボール係数と眼鏡非装着時のガボール係数とを算出する。

次に、装着物有無判定結果が眼鏡ありの場合、ガボール係数算出決定部２４６は、装着物非装着特徴量抽出位置によるガボール係数の算出は行わないと決定する。

図４は、特徴量抽出部２４のガボール係数算出部２４１を説明する図である。図４において、ガボール係数算出部２４１は、特徴量抽出エリアサイズ規定部２４２と画像領域抽出部２４３とガボールウエーブレットフィルタ格納部２４４と畳み込み演算部２４５とからなる。ガボールウエーブレットフィルタ格納部２４４には４０個のフィルタが格納されている。なお、フィルタの数は４０個に限らず、任意に決定することが可能である。ガボールウエーブレットフィルタ格納部２４４のフィルタサイズは特徴量抽出エリアサイズ規定部２４２で規定されている。

画像領域抽出部２４３は、正規化入力顔画像の特徴量抽出位置を中心に、特徴量抽出エリアサイズ規定部２４２が規定したサイズ領域の画像を抽出する。

畳み込み演算部２４５は、画像領域抽出部２４３で抽出された画像とガボールウエーブレットフィルタ格納部２４４の４０個のフィルタとにより、ガボール係数を取得する。

ここで、ガボール係数を取得するためのガボールウェーブレット変換について説明する。

入力顔画像を

とすると、ガボールウェーブレット変換を行った出力画像

は、（数３）で表される。

ここで、

は、ガボールウェーブレット変換の基底であり、（数５）で表される。

（数５）において、

は波数ベクトルを示す。いま、（数６）を（数７）で定義する。

ただし、νは波数ベクトルの大きさを示すインデックスであり、μは方向を示すインデックスである。

これよりｍ＝５、ｎ＝８のとき、ある点

において４０個の係数が得られる。ガボールウエーブレットフィルタ格納部２４４に格納されている４０個のフィルタは、（数５）の

で表すことが可能である。

特徴量抽出部２４から出力される特徴量のデータ構造は、図７（ａ）に示すように、入
力顔画像装着物非装着特徴量構造３４３、および図７（ｂ）に示すように、入力顔画像装着物装着特徴量構造３４４を有する。

入力顔画像装着物非装着特徴量構造３４３は、装着物有無判定部２２で入力顔画像のユーザが眼鏡を装着していないと判定された場合に特徴量抽出部２４から出力されるものであり、入力顔画像装着物装着特徴量３４５と入力顔画像装着物非装着特徴量３４６と装着物有無判定結果３４７とからなる。

また、入力顔画像装着物装着特徴量構造３４４は、装着物有無判定部２２で入力顔画像のユーザが眼鏡を装着していると判定された場合に特徴量抽出部２４から出力されるものであり、入力顔画像装着物装着特徴量３４８と装着物有無判定結果３４９とからなる。

次に、登録ＤＢ４について、図８を用いて詳細に説明する。

登録ＤＢ４は、図８（ａ）に示すように、登録画像装着物装着特徴量４４５と登録画像装着物非装着特徴量４４６と装着物有無判定結果４４７とを有する登録画像装着物非装着特徴量構造４４３、および図８（ｂ）に示すように、登録画像装着物装着特徴量４４８と装着物有無判定結果４４９とを有する登録画像装着物装着特徴量構造４４４を備えている。

登録画像のユーザが眼鏡を装着していない場合は、図８（ａ）に示すように、登録画像装着物装着特徴量４４５と登録画像装着物非装着特徴量４４６と装着物有無判定結果４４７とを生成し、それぞれを登録ＤＢ４に記憶する。一方、登録画像のユーザが眼鏡を装着している場合は、図８（ｂ）に示すように、登録画像装着物装着特徴量４４８と装着物有無判定結果４４９とを生成し、それぞれを登録ＤＢ４に記憶する。

登録画像の各特徴量を登録ＤＢ４に登録するときは、特徴量生成部２で入力顔画像から特徴量を抽出する方法と同様に、登録画像の特徴量を抽出し、抽出した特徴量を登録ＤＢ４に登録する。

なお、登録ＤＢ４の、登録画像装着物非装着特徴量構造４４３および登録画像装着物 装着特徴量構造４４４は、同一のデータベースに収納しておいてもよく、また別々のデータベースに収納しておき、入力顔画像のユーザの装着物の有無に応じてそれぞれのデータベースにアクセスしてもよい。

次に、照合部３について、図５を用いて詳細に説明する。

特徴量選択部３１は、入力顔画像の装着物有無判定結果３４７、または装着物有無判定結果３４９に応じて、認証を行う登録画像を選択する。

入力顔画像のユーザが眼鏡を装着している場合、つまり装着物有無判定結果３４９がある場合は、入力顔画像装着物装着特徴量３４８と登録画像装着物装着特徴量４４８とを用いて、入力顔画像と登録画像の特徴量間の距離を算出する。

また、入力顔画像装着物装着特徴量３４８と登録画像装着物装着特徴量４４５とで、入力顔画像と登録画像の特徴量間の距離を算出する。

一方、入力顔画像のユーザが眼鏡を装着していない場合、つまり入力顔画像の装着物有無判定結果３４７がある場合は、入力顔画像装着物非装着特徴量３４６と登録画像装着物非装着特徴量４４６とを用いて、入力顔画像と登録画像の特徴量間の距離を算出する。

また、入力顔画像装着物装着特徴量３４５と登録画像装着物装着特徴量４４８とで、入力顔画像と登録画像の特徴量間の距離を算出する。

特徴量間距離算出部３２は、特徴量選択部３１で選択された特徴量を用いて、入力顔画像と登録画像の特徴量間の距離を算出する。

特徴量間距離算出部３２は、特徴量の要素の系列を一次元のベクトルとみなして、ベクトル間の距離を算出する。ベクトル間の距離の算出方法には、特徴量ベクトル間の差分のＬ１ノルムやＬ２ノルムを用いる方法や、特徴量ベクトル間の相関値を用いる方法等がある。

判定部３３は、あらかじめ設定した閾値と比較し、閾値よりも大きいときは、同一人物であるという判定結果を出力し、閾値よりも小さいときは同一人物ではないという判定結果を出力する。入力顔画像がある登録画像と同一であると判定されたとき、判定部３３は、その登録画像のＩＤと登録画像を出力する。

登録存否記憶部３４は、判定部３３が出力した入力顔画像と登録ＤＢ４内の全ての登録データとの判定結果を記憶する。

判定結果出力部３５は、判定部３３の判定結果を出力する。出力は、画像によって行ってもよく、また、音声によって行ってもよい。

次に、本発明の実施の形態１における顔認証システムの動作について、図９に示すフローチャートを用いて説明する。

画像正規化部２１は、ユーザの入力画像（ステップＳ７０１）から顔領域を切り出し、その大きさ等のばらつきを少なくするため正規化する（ステップＳ７０２）。

装着物有無判定部２２は、切り出された入力顔画像のユーザに対し眼鏡の装着の有無を判定する（ステップＳ７０３）。この判定には、前述したように、すでに知られているブースティング（ＢＯＯＳＴＩＮＧ）やＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等が利用できる。

装着物有無判定部２２の判定結果が眼鏡を装着している場合（ステップＳ７０３、ＹＥＳ）、特徴量抽出位置決定部２３は、入力顔画像から特徴量を抽出する位置を、装着物装着特徴量抽出位置に決定し（ステップＳ７０４）、この決定に基づき、特徴量抽出部２４は、入力顔画像装着物装着特徴量３４８を生成する（ステップＳ７０５）。特徴量選択部３１は、入力顔画像装着物装着特徴量３４８と登録画像装着物装着特徴量４４８とを選択し、また入力顔画像装着物装着特徴量３４８と登録画像装着物装着特徴量４４５とを選択し、特徴量間距離算出部３２は、入力顔画像と登録画像の特徴量間の距離を算出する（ステップＳ７０９）。

一方、装着物有無判定部２２の判定結果が眼鏡を装着していない場合（ステップＳ７０３、ＮＯ）、特徴量抽出位置決定部２３は、入力顔画像から特徴量を抽出する位置を、装着物非装着特徴量抽出位置および装着物装着特徴量抽出位置に決定し（ステップＳ７０６）、この決定に基づき、特徴量抽出部２４は、入力顔画像装着物非装着特徴量３４６および入力顔画像装着物装着特徴量３４５を生成する（ステップＳ７０７）。特徴量間距離算出部３２は、登録ＤＢ４の装着物判定結果４４７、４４９を参照し、登録画像は装着物を装着したものである場合（ステップＳ７０８、ＹＥＳ）、特徴量選択部３１は、入力顔画
像装着物装着特徴量３４５と登録画像装着物装着特徴量４４８とを選択し、特徴量間距離算出部３２は、入力顔画像と登録画像の特徴量間の距離を算出する（ステップＳ７０９）。また、登録画像は装着物を装着したものでない場合（ステップＳ７０８、ＮＯ）、特徴量選択部３１は、入力顔画像装着物非装着特徴量３４６と登録画像装着物非装着特徴量４４６とを選択し、特徴量間距離算出部３２は、入力顔画像と登録画像の特徴量間の距離を算出する（ステップＳ７１０）。

判定部３３は、前記特徴量間の距離がある閾値よりも大きいかどうかを判定する（ステップＳ７１１）。ある閾値よりも大きい場合（ステップＳ７１１、ＹＥＳ）は、入力顔画像と登録画像は同一人物であるという結果を出力し（ステップＳ７１２）、ある閾値よりも小さい場合（ステップＳ７１１、ＮＯ）は入力顔画像と登録画像は同一人物ではないという結果を出力する（ステップＳ７１３）。

以上のように、本発明の実施の形態１は、入力顔画像から眼鏡装着の有無に応じた特徴量抽出位置を決定し、決定した特徴量抽出位置に基づき特徴量を算出し、この特徴量と登録画像の特徴量とを照合することにより、入力顔画像および登録画像のユーザの眼鏡装着の有無に関わらず、高精度な顔認証を行うことが可能である。

なお、装着物として眼鏡に限らず、他の物で認証阻害要因があった場合にも、阻害要因別に特徴量抽出位置を定義して、阻害要因の有無を判定する判定部を備えることにより、眼鏡の場合と同様の構成で、高精度な顔認証を可能にする。

（実施の形態２）
本発明の実施の形態２は、入力顔画像のユーザの装着物がマスクである場合について説明する。

本発明の実施の形態２は、実施の形態１とは基本的な構成は同じであり、入力顔画像の特徴量抽出位置が実施の形態１の場合とは異なる。

実施の形態２の場合も、図１〜図５に示す構成でもって実施することができる。

図２において、装着物有無判定部２２は、画像正規化部２１において正規化された入力顔画像から、入力顔画像のユーザが装着物を有しているか否かの判定を行う。装着物があり、その位置が入力顔画像の下部にあれば、装着物はマスクと推定できる。

特徴量抽出位置決定部２３は、装着物有無判定部２２の判定結果がマスクを装着している（以下、マスクありという）場合、入力顔画像から特徴量を抽出する位置を、マスクを回避した、あらかじめ設定してある装着物装着特徴量抽出位置に決定する。マスクを回避した位置とは、マスクを回避した目、鼻、額、耳等の箇所である。装着物装着特徴量抽出位置が、特許請求の範囲の記載における、装着物の位置を回避して顔領域に決定する第１の特徴量抽出位置に相当する。

このようにマスクを回避して特徴量抽出位置を決定することによって、マスクの装着による特徴量の変動を避けることができ、安定した特徴量を取得することができる。

一方、装着物有無判定部２２の判定結果がマスクを装着していない（以下、マスクなしという）場合には、入力顔画像から特徴量を抽出する位置を、前記装着物装着特徴量抽出位置と、マスクがあると想定したマスクの位置を含み、あらかじめ設定してある装着物非装着特徴量抽出位置との両方に決定する。装着物非装着特徴量抽出位置とは、具体的には
目、目の周囲、鼻、口、額、耳等の箇所である。装着物非装着特徴量抽出位置が、特許請求の範囲の記載における、第２の特徴量抽出位置に相当する。

図１０は、入力顔画像の特徴量抽出位置を説明する図である。図１０において、特徴量抽出位置は、×印の位置であり、特徴量を抽出する領域は×印を中心として点線で囲った矩形の領域Ｒである。図１０（ａ）は、マスクありの場合の装着物装着特徴量抽出位置を×印で示している。図１０（ｂ）は、マスクなしの場合の装着物非装着特徴量抽出位置を×印で示している。

図１０（ａ）と図１０（ｂ）との比較からわかるように、図１０（ｂ）に示す装着物非装着特徴量抽出位置では、マスクなしの場合に、マスクがあると想定したマスク位置を含んでいるのに対し、図１０（ａ）に示す装着物装着特徴量抽出位置は、マスク１０１のある位置を回避して配置されている。

なお、特徴量抽出位置は、図１０（ａ）、（ｂ）に示す位置、個数および領域の大きさに何ら限定されるものではなく、要求される認証精度、認証システムの認証処理能力等に応じて設定すればよい。

装着物有無判定部２２の判定結果が装着物なしの場合、入力顔画像の特徴量を抽出する位置を、装着物装着特徴量抽出位置と装着物非装着特徴量抽出位置との両方に設定する理由は、実施の形態１の場合と同様の理由である。

装着物の有無の判定結果に基づき、入力顔画像と登録画像とが同一人物であるか否かの認証については、実施の形態１と同様に、図９のフローチャートに示すステップに従って行われるので、その説明を省略する。

以上のように、本発明の実施の形態２は、入力顔画像からマスク装着の有無に応じた特徴量抽出位置を決定し、決定した特徴量抽出位置に基づき特徴量を算出し、この特徴量と登録画像の特徴量とを照合することにより、入力顔画像および登録画像のマスク装着の有無に関わらず、高精度な顔認証を行うことが可能である。

以上のように、本発明にかかる顔認証システムは、眼鏡、マスク等の装着物の有無に関わらず、高精度な顔認証を行うことができるという効果を有し、入退室管理システム、空港の搭乗手続きのチェックインシステム等の顔認証システムとして有用である。

本発明の実施の形態１における顔認証システムの構成を示すブロック図 本発明の実施の形態１における顔認証システムの特徴量生成部の構成を示すブロック図 本発明の実施の形態１における顔認証システムの特徴量抽出部の構成を示すブロック図 本発明の実施の形態１における顔認証システムのガボール係数算出部の構成を示すブロック図 本発明の実施の形態１における顔認証システムの照合部の構成を示すブロック図 本発明の実施の形態１における顔認証システムにおける入力顔画像の特徴量抽出位置を示す図 本発明の実施の形態１における顔認証システムにおける入力顔画像装着物非装着特徴量構造および入力顔画像装着物装着特徴量構造を示す図 本発明の実施の形態１における顔認証システムにおける登録画像装着物非装着特徴量構造および登録画像装着物装着特徴量構造を示す図 本発明の実施の形態１における顔認証システムの処理手順を示すフローチャート 本発明の実施の形態２の顔認証システムにおける入力顔画像の特徴量抽出位置を示す図

符号の説明

１ 顔認証装置
２ 特徴量生成部
３ 照合部
４ 登録データベース
２１ 画像正規化部
２２ 装着物有無判定部
２３ 特徴量抽出位置決定部
２４ 特徴量抽出部
３１ 特徴量選択部
３２ 特徴量間距離算出部
３３ 判定部
３４ 登録存否記憶部
３５ 判定結果出力部

Claims (5)

1. 入力顔画像の特徴量と登録画像の特徴量とを照合し認証を行う顔認証システムにおいて、
   前記入力顔画像の登録画像の特徴量を登録する際に、前記入力顔画像が装着物なしのときは、前記入力顔画像の特徴量として前記入力顔画像の装着物ありのときの第１の特徴量および前記入力顔画像の装着物なしのときの第２の特徴量を記録し、
   前記入力顔画像が装着物ありのときは前記第１の特徴量を記録する登録特徴量保持部と、
   前記入力顔画像のユーザの装着物の有無を判定する装着物有無判定部と、
   前記装着物有無判定部の判定結果に基づいて前記入力顔画像の特徴量を抽出する特徴量抽出部と、
   前記入力顔画像から抽出した特徴量と前記登録特徴量保持部に保持された登録画像の特徴量を照合する照合部とを備え、
   前記特徴量抽出部は、前記判定結果が装着物ありのとき、前記入力顔画像から前記第１の特徴量を抽出し、前記判定結果が装着物なしのとき、前記入力顔画像から前記第１の特徴量および前記第２の特徴量を抽出し、
   前記照合部は、前記判定結果が装着物ありのとき、前記入力顔画像の第１の特徴量と前記登録特徴量保持部に保持された第１の特徴量を用いて前記入力顔画像の照合を行うことを特徴とする顔認証システム。
2. 前記照合部は、前記判定結果が装着物なしのときであって、
   前記登録特徴量保持部に前記第２の特徴量があるときは、前記入力顔画像の前記第２の特徴量と前記登録画像の第２の特徴量を用いて前記入力顔画像の照合を行い、
   前記登録特徴量保持部に前記第２の特徴量がないときは、前記入力顔画像の前記第１の特徴量と前記登録画像の第１の特徴量を用いて前記入力画像の照合を行うことを特徴とする請求項１記載の顔認証システム。
3. 前記第１の特徴量は、前記入力顔画像の前記装着物の位置を回避した前記入力顔画像の第１の特徴量抽出位置から抽出されることを特徴とする請求項１または２に記載の顔認証システム。
4. 前記第２の特徴量は、前記入力顔画像の前記装着物があると想定した位置を含む第２の特徴量抽出位置から抽出されることを特徴とする請求項１または２に記載の顔認証システム。
5. コンピュータを用いた入力顔画像の特徴量と登録画像の特徴量とを照合し認証を行う顔認証方法において、
   前記入力顔画像の登録画像の特徴量を登録する際に、前記入力顔画像が装着物なしのときは、前記入力顔画像の特徴量として前記入力顔画像の装着物ありのときの第１の特徴量および前記入力顔画像の装着物なしのときの第２の特徴量を記録し、
   前記入力顔画像が装着物ありのときは前記第１の特徴量を記録する登録特徴量保持ステップと、
   前記入力顔画像のユーザの装着物の有無を判定する装着物有無判定ステップと、
   前記装着物有無判定部の判定結果に基づいて前記入力顔画像の特徴量を抽出する特徴量抽出ステップと、
   前記入力顔画像から抽出した特徴量と前記登録特徴量保持部に保持された前記登録画像の特徴量を照合する照合ステップとを備え、
   前記特徴量抽出ステップは、前記判定結果が装着物ありのとき、前記入力顔画像から前記第１の特徴量を抽出し、前記判定結果が装着物なしのとき、前記入力顔画像から前記第１の特徴量および前記第２の特徴量を抽出し、
   前記照合ステップは、前記判定結果が装着物ありのとき、前記入力顔画像の第１の特徴量と前記登録特徴量保持部に保持された第１の特徴量を用いて前記入力顔画像の照合を行うことを特徴とする顔認証方法。

Images