JP5123037B2 - 顔認証装置及び顔認証方法 - Google Patents

Description

本発明は、顔認証装置及び顔認証方法に関するものである。

従来から、認証の対象者を撮像した画像から対象者の顔部分を抽出し、抽出された顔部分の画像（以下、「顔画像」と呼ぶ。）を、予め登録された登録者の顔画像（以下、「登録画像」と呼ぶ。）と比較することにより、認証を行う顔認証装置が提供されている（例えば、特許文献１参照）。

この種の顔認証装置は、例えば電気錠やパソコンと組み合わせて、対象者が登録者であると認証されたときのみ電気錠を開錠したりログインを許可するといったようなセキュリティー用途に使用される。

ここで、上記の顔認証装置が、上記の電気錠によって施錠される扉の前で顔認証を行うことを考えた場合、上記の扉の前の通路を右から来たとき、左から来たとき、正面から来たによって顔認証装置のカメラを見る顔の向きが変わる場合がある。また、登録画像を撮像する登録時に、顔認証装置のカメラの前で静止した状態の顔の向きは正対した、かしこまった顔になっている場合が多い。特に登録時は、顔認証装置に対して初めて触れる機会であり、装置に対する不慣れによって、顔がこわばっていることも十分に考えられる。しかし、顔認証装置に慣れてくると、顔の向きに関してルーズになって正対しなくなったりする。また、通路を歩いてくる方向によって上記のように顔向きが変わったり、さらに顔認証装置に慣れてくると、顔認証装置の反応時間（顔を検出してから扉が自動で開くまで、あるいは電気錠が開錠されるまで）に合わせて、顔認証装置のカメラの前で静止せずに歩く速度を緩めるだけで認証されることを望むようになり、顔の向きが登録時の正対とは大きく異なるようになる。

上記のように、認証時の顔の向きや表情が登録画像とは異なってしまうと、本人拒否率が高くなってしまう。

そこで、登録時に得られた登録画像以外に、実際の運用中に認証が成功したとき（つまり、認証の対象者が登録者であると判定されたとき）、認証中に撮像された顔画像を、次回以降の認証に用いる登録画像として追加登録する更新動作を行うことが提案されている。この構成を採用すれば、上記のような顔の向きや表情の変化に対応した登録画像が追加登録されることにより、当初の登録画像に一致しなくとも上記追加登録された登録画像に一致すれば登録者と判断されることになるから、本人拒否率（すなわち、対象者が登録者であるにも関わらず誤って登録者ではないと判断されてしまう確率）が低下する。
特開２０００−３０６０９５号公報

しかし、更新動作で得られた登録画像で認証に成功した後、さらに更新動作を行うといったことが繰り返されると、別人の顔画像が登録画像として誤って保持されてしまうリスクが徐々に高くなってしまう。

本発明は、上記事由に鑑みて為されたものであり、その目的は、認証中に撮像された顔画像を以後の認証で登録者の顔画像として使用することで本人拒否率を低下させながらも、別人の顔画像が登録者の顔画像として保持されるリスクが低減される顔認証装置及び顔認証方法を提供することにある。

請求項１の発明は、対象者を撮像する撮像部と、登録者毎に、それぞれ顔を撮像した少なくとも１枚ずつの登録画像が、登録者に一対一に対応する識別情報に対応付けて格納された記憶部と、対象者により識別情報が入力される入力部と、入力部に識別情報が入力されたとき、撮像部によって撮像された対象者が登録者であるか否かを判定する認証動作を開始する制御部とを備え、制御部は、認証動作において、対象者を撮像した画像から顔部分を抽出した対象画像を１枚ずつ撮像部から得て、該認証動作の開始時に入力部に入力された識別情報に対応付けられた登録画像のうち少なくとも一部である各対象登録画像のそれぞれと比較して一致するか否かを判定し、いずれかの登録画像が対象画像に一致すると判定されたときに対象者が登録者であると判定する一方、所定の制限枚数の対象画像を用いても対象者が登録者であるとの判定が得られなかったときに対象者を登録者ではないと判定するものであって、登録画像は、識別情報毎に、登録者の登録時に撮像された１枚の基準画像と、認証動作の終了時に追加されることがある追加画像とからなり、追加画像はさらに複数の分類枠に分類されていて、制御部は、認証動作中、各対象画像についてそれぞれ属する分類枠を判定し、対象登録画像としては、該認証動作の開始時に入力部に入力された識別情報に対応付けられた登録画像のうち、少なくとも対象画像と同じ分類枠に属する各追加画像と基準画像とを用い、認証動作中に用いられた対象画像のうち所定の条件を満たしたものを候補画像として認証動作の終了時まで記憶部に保持させるとともに、認証動作の終了時、対象画像に一致すると判定された登録画像が基準画像のみであったときには候補画像のうち少なくとも１枚をそれぞれ上記識別情報に対応付けられ且つ上記分類枠に分類された追加画像として追加するように追加画像を更新する更新動作を行い、いずれかの追加画像が対象画像に一致すると判定されていたとき及び対象者が登録者であると判定されなかったときには更新動作を行なわずに各候補画像をそれぞれ破棄することを特徴とする。

この発明によれば、認証中に撮像された顔画像であって登録者の顔の向きや表情の変化を反映した顔画像である顔画像を、追加画像として登録画像に加えて以後の認証で使用することで、登録者の顔の向きや表情の変化に対応し、本人拒否率を低下させることができる。また、確実に登録者本人の顔画像である基準画像によって対象者が登録者であるとの判定が得られないときには追加画像が更新されないことになるから、対象者が登録者であるとの判定が追加画像でしか得られないときにも追加画像が更新される場合に比べ、別人の顔画像が登録画像（追加画像）とされてしまうリスクが低減される。

請求項２の発明は、請求項１の発明において、制御部は、互いに共通の識別情報に対応付けられ且つ互いに共通の分類枠に分類される追加画像間に優先順位を設定するものであって、追加された更新動作、又は、対象画像に一致すると判定された認証動作として、より新しいものを有する追加画像ほど優先順位は高くされ、更新動作においては、制御部は、分類枠毎に、既に保持されている追加画像との枚数と追加されるべき候補画像の枚数との合計を所定の上限数と比較し、上記合計が上限数以下であれば追加されるべき各候補画像をそれぞれ追加画像として追加し、上記合計が上限数を上回る場合、既に保持されている追加画像を、優先順位が低い追加画像から順に、上記合計が上限数以下となるまで削除した後に、追加されるべき各候補画像をそれぞれ追加画像として追加することを特徴とする。

この発明によれば、古い追加画像や、認証に寄与していない追加画像から削除され、新しく追加された追加画像や最近に認証に寄与した追加画像が残ることになるから、認証にかかる時間が比較的に短くなる。

請求項３の発明は、請求項１又は請求項２の発明において、制御部は、互いに共通の識別情報に対応付けられ且つ互いに共通の分類枠に分類される追加画像間に優先順位を設定するものであって、追加画像として追加された更新動作、又は、対象画像に一致すると判定された認証動作として、より新しいものを有する追加画像ほど優先順位は高くされ、認証動作においては、制御部は、優先順位が高い追加画像ほど先に対象画像と比較することを特徴とする。

この発明によれば、新しく追加された追加画像や最近に認証に寄与した追加画像ほど先に認証に用いられることになるから、認証にかかる時間が比較的に短くなる。

請求項４の発明は、請求項１〜３のいずれかの発明において、分類枠は顔の向きによって分類されることを特徴とする。

この発明によれば、顔の正面を撮像部の方に向けなくとも認証が可能となる。

請求項５の発明は、請求項１〜４のいずれかの発明において、分類枠は眼鏡の有無と前髪の有無との少なくとも一方によって分類されることを特徴とする。

この発明によれば、眼鏡の有無や前髪の有無の状態が異なっていても認証が可能となる。

請求項６の発明は、対象者を撮像する撮像部と、登録者毎に、それぞれ顔を撮像した少なくとも１枚ずつの登録画像が、登録者に一対一に対応する識別情報に対応付けて格納された記憶部と、対象者により識別情報が入力される入力部とを用い、入力部に識別情報を入力して撮像部によって撮像された対象者が登録者であるか否かを判定する顔認証方法であって、対象者を撮像した画像から顔部分を抽出した対象画像を１枚ずつ撮像部から得て、該認証動作の開始時に入力部に入力された識別情報に対応付けられた登録画像のうち少なくとも一部である各対象登録画像のそれぞれと比較して一致するか否かを判定し、いずれかの登録画像が対象画像に一致すると判定されたときに対象者が登録者であると判定する一方、所定の制限枚数の対象画像を用いても対象者が登録者であるとの判定が得られなかったときに対象者を登録者ではないと判定する認証動作を含み、登録画像は、識別情報毎に、登録者の登録時に撮像された１枚の基準画像と、認証動作の終了時に追加される可能性がある追加画像とからなり、追加画像はさらに複数の分類枠に分類されていて、認証動作中、各対象画像についてそれぞれ属する分類枠を判定し、対象登録画像としては、該認証動作の開始時に入力部に入力された識別情報に対応付けられた登録画像のうち、少なくとも対象画像と同じ分類枠に属する各追加画像と基準画像とを用い、認証動作中に用いられた対象画像のうち所定の条件を満たしたものを候補画像として認証動作の終了時まで記憶部に保持させるとともに、認証動作の終了時、対象画像に一致すると判定された登録画像が基準画像のみであったときには候補画像のうち少なくとも１枚をそれぞれ上記識別情報に対応付けられ且つ上記分類枠に分類された追加画像として追加するように追加画像を更新する更新動作を行い、いずれかの追加画像が対象画像に一致すると判定されていたとき及び対象者が登録者であると判定されなかったときには更新動作を行なわずに各候補画像をそれぞれ破棄することを特徴とする。

この発明によれば、対象者が登録者であるとの判定が基準画像によって得られないときには追加画像が更新されないことになるから、対象者が登録者であるとの判定が追加画像でしか得られないときにも追加画像が更新される場合に比べ、別人の顔画像が登録画像（追加画像）とされてしまうリスクが低減される。

請求項１及び請求項６の発明によれば、それぞれ、認証中に撮像された顔画像であって登録者の顔の向きや表情の変化を反映した顔画像である顔画像を、追加画像として登録画像に加えて以後の認証で使用することで、登録者の顔の向きや表情の変化に対応し、本人拒否率を低下させることができる。また、確実に登録者本人の顔画像である基準画像によって対象者が登録者であるとの判定が得られないときには追加画像が更新されないことになるから、対象者が登録者であるとの判定が追加画像でしか得られないときにも追加画像が更新される場合に比べ、別人の顔画像が登録画像（追加画像）とされてしまうリスクが低減される。

請求項２の発明によれば、古い追加画像や、認証に寄与していない追加画像から削除され、新しく追加された追加画像や最近に認証に寄与した追加画像が残ることになるから、認証にかかる時間が比較的に短くなる。

請求項３の発明によれば、新しく追加された追加画像や最近に認証に寄与した追加画像ほど先に認証に用いられることになるから、認証にかかる時間が比較的に短くなる。

請求項４の発明によれば、分類枠は顔の向きによって分類されるので、顔の正面を撮像部の方に向けなくとも認証が可能となる。

請求項５の発明によれば、分類枠は眼鏡の有無と前髪の有無との少なくとも一方によって分類されるので、眼鏡の有無や前髪の有無の状態が異なっていても認証が可能となる。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

本実施形態の顔認証装置Ａは、例えば図２に示すような集合住宅用セキュリティシステムで用いられる。この集合住宅用セキュリティシステムは、マンションなどの集合住宅に設置されるものであって、顔認証装置Ａの他に、ロビーインターホンＢ、警報監視盤Ｃ、電気錠制御装置Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆ、システム制御盤Ｇ、各住戸に設置される住宅情報盤（図示せず）などで構成されている。

ロビーインターホンＢは、来訪者を撮像するカメラ、警報監視盤Ｃや住宅情報盤との間で通話するための通話装置、来訪者が訪問先の住戸の住戸番号などを入力するためのテンキーなどを備え、集合住宅の共同玄関Ｊの外に設置されている。来訪者がロビーインターホンＢのテンキーを操作して訪問先の住戸の住戸番号を入力すると、当該住戸番号の住戸に設置されている住宅情報盤に対し、ロビーインターホンＢから警報監視盤Ｃを経由して、呼出信号並びにロビーインターホンＢのカメラで撮像された訪問者の映像が伝送される。そして、呼出信号を受け取った住宅情報盤においては、ロビーインターホンＢから受け取る映像をディスプレイに表示するとともにスピーカから呼出音を鳴動させる。当該住戸の住人が住宅情報盤の応答釦を押操作すれば、住宅情報盤とロビーインターホンＢとの間に通話路が形成され、来訪者と住人とがそれぞれロビーインターホンＢ及び住宅情報盤を用いて通話することができる。尚、この種のロビーインターホンＢ、警報監視盤Ｃ、住宅情報盤については従来周知であるから詳細な構成についての図示並びに説明は省略する。

電気錠制御盤Ｄは、共同玄関Ｊに設けられた電気錠（図示せず）の施錠・解錠を制御する。エレベータ制御盤Ｅは、集合住宅に設置されているエレベータ（図示せず）の運転を制御する。宅配ボックス制御盤Ｆは、集合住宅に設置されている宅配ボックスの施錠・解錠などを制御する。システム制御盤Ｇは、住宅情報盤から伝送される制御指令や顔認証装置Ａの認証結果に応じて、電気錠制御盤Ｄに電気錠を解錠させたり、エレベータ制御盤Ｅにエレベータを運転させたり、宅配ボックス制御盤Ｆに宅配ボックスを解錠させるといったことを行わせるものである。すなわち、顔認証装置Ａでは、各登録者（すなわち各住戸の住人）にそれぞれ割り当てられている識別情報が入力されると、識別情報を入力した者Ｍ（図３参照。以下、「対象者」と呼ぶ。）に対し、入力された識別情報に対応する顔画像を用いた顔認証を行い、認証できれば（つまり対象者Ｍが登録者であると判定すれば）システム制御盤Ｇに認証可の情報を伝送する。そしてシステム制御盤Ｇは、顔認証装置Ａから認証可の情報を受け取ると電気錠制御盤Ｄに電気錠を解錠させたり、エレベータ制御盤Ｅにエレベータを運転させたり、宅配ボックス制御盤Ｆに宅配ボックスを解錠させる。一方、顔認証装置Ａによる認証が不可であった場合（つまり対象者Ｍが登録者ではないと顔認証装置Ａによって判定された場合）、システム制御盤Ｇでは、顔認証装置Ａから認証不可の情報を受け取ると電気錠制御盤Ｄに電気錠を解錠させず、エレベータ制御盤Ｅにエレベータの運転を行わせず、且つ宅配ボックス制御盤Ｆに宅配ボックスを解錠させない。尚、電気錠制御装置Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆは従来周知のものであるから、詳細な構成の図示並びに説明は省略する。

本実施形態の顔認証装置Ａは、図１に示すように、認証の対象者Ｍを撮像する撮像部１と、登録者毎に、それぞれ顔を撮像した少なくとも１枚ずつの登録画像が、登録者に一対一に対応する識別情報に対応付けて格納された記憶部２と、撮像部１に撮像された画像と記憶部２に格納された画像とを比較することにより対象者が登録者か否かを判定する認証動作を行う制御部３とを備える。

撮像部１は、例えばＣＣＤ（Charge Coupled Device）のような周知の撮像素子を用い、デジタルデータで表現された画像を生成するカメラである。顔認証装置Ａの上記構成のうち少なくとも撮像部１は、図３に示すように、認証による制御の対象である電気錠が設けられた共同玄関Ｊに近接配置される。

また、本実施形態は、登録者に一対一に対応付けられる識別情報（ＩＤ）が入力される入力部としてのＩＤ入力部４を備え、制御部３は、登録された識別情報（すなわち、対応付けられた登録画像が記憶部２に格納されている識別情報）がＩＤ入力部４に入力されたときに認証動作を開始する。ＩＤ入力部４は、例えば識別情報が記録された磁気帯やＩＣチップを有するカードから識別情報を読み取るカードリーダーや、識別情報としてのＩＤ番号を入力する操作入力を受け付けるテンキー装置やタッチパネル等で構成することができる。ＩＤ入力部４は、ＩＤ入力部４に識別情報を入力する対象者Ｍが撮像部１によって撮像されるような位置に配置される。

さらに、本実施形態は、制御部３によって制御されて各種の報知を行う報知部５を備える。報知部５には、例えばスピーカを有して音声により報知を行うものや、液晶パネルを有してテキストにより報知を行うものを用いることができる。さらに報知部は、登録者と判断したか否かの判断結果を信号として外部に出力する部分を兼ねることがあり、出力信号が最終的には電気錠などに伝わって電気錠の制御を行う。

記憶部２において、登録画像は識別情報毎に、登録者の登録時に撮像された１枚の基準画像と、後述する認証動作の終了時に追加されることがある追加画像とから構成される。つまり、登録された後に認証動作が行なわれていない登録者に関しては登録画像は基準画像１枚だけとなる。基準画像を撮影する時は、被験者にとって顔認証装置に触れる最初の時であり、不慣れなために顔向き・立ち位置や表情が特異になるから、基準画像による認証は、実運用中に得られた自然な顔画像である追加画像による認証に比べ、時間がかかったり失敗したりする可能性が高くなる。一方、追加画像は確率は極めて小さいものの他人が登録されてしまう可能性があるのに対し、基準画像は確実に登録者本人が撮像されたものとなる。

また、追加画像はさらに図４に示すように複数の分類枠に分類されている。具体的には例えば、各追加画像は、それぞれ所属する分類枠を示す情報に関連付けて記憶部２に格納され、又は、所属する分類枠毎に記憶部２の異なる領域に格納される。分類枠は、顔の向き、眼鏡の有無、前髪の有無、あるいはそれらのうち複数の組み合わせによって分類されている。例えば、顔の向きで分類する場合、図５に示すように正面ＧＦ、左向きＧＬ、右向きＧＲの３通りに分類する。さらに眼鏡の有無と前髪の有無とによっても分類した場合、分類枠の総数は３×２×２の１２個となる。分類枠を顔の向きによって分類した場合には、顔の向きが異なる追加画像がそれぞれ異なる分類枠で保持されることになるから、顔の正面を撮像部の方に向けなくとも認証が可能となる。また、分類枠を眼鏡の有無や前髪の有無によって分類した場合には、眼鏡の有無や前髪の有無の状態が異なる追加画像がそれぞれ異なる分類枠で保持されることになるから、眼鏡の有無や前髪の有無の状態が異なっていても認証が可能となる。

次に、制御部３の認証動作について、図６〜図８を用いて詳しく説明する。

制御部３は、ＩＤ入力部４に識別情報が入力されて認証動作を開始すると（ステップＳ１）、まず認証動作に用いられるパラメータである比較回数Ｎｃと周回数Ｎｒとをそれぞれ初期値である０に戻す（ステップＳ２）。次に、制御部３は、撮像部１によって撮像された画像から、対象者Ｍの顔の領域を含み認証動作に用いられる対象画像を抽出するとともに、該対象画像がいずれの分類枠に属するかを判定する（ステップＳ３）。ここで、記憶部２には、対象者Ｍの顔の領域を含み判定動作に用いられる対象画像の領域の決定に用いられる平均顔画像が格納されており、ステップＳ３において、制御部３は、撮像部１が出力した画像から、平均顔画像との相関値が所定の顔判定閾値以上となるような領域（すなわち頭部を含むと判断される領域）を対象画像として抽出する。対象画像の抽出（切出し）時には、登録画像に合わせて角度変換（回転）や倍率変換（拡大又は縮小）といった周知の変換が適宜施されるようにしてもよい。

なお、ステップＳ３において対象画像が属する分類枠を選択する方法としては、例えば周知技術により分類枠としての顔の向きや顔への装着物への有無や前髪の有無を対象画像において検出し検出結果に応じた分類枠を選択するという方法が考えられる。顔の向きを検出する方法としては、例えば、対象画像の対象性に基いて図７に示すように顔の中心線ＣＬを検出し、顔の中心線の位置に基いて顔の向きを検出するという方法がある。また、顔への装着物としての眼鏡の有無を検出する方法としては、例えば、眼鏡の反射による輝点を検出するという方法がある。さらに、前髪の有無を検出する方法としては、本発明者が特願２００７−０１７０８７で提案したように、前髪が存在しうる所定の上下位置（例えば目の上）での左右方向での画素値の分布に近似した２次曲線を、前髪が存在しない顔画像から同様にして得られた２次曲線と比較し、これらの２次曲線間のずれ量が一定以上であったときに前髪が有ると判定し、前記ずれ量が一定未満であったときに前髪が無いと判定するという方法がある。

また、ステップＳ３において、上記識別情報に対応付けられた追加画像が存在する場合、制御部３は、いずれの分類枠の追加画像を対象画像と比較するかを決定する。使用する追加画像の分類枠（以下、「対象分類枠」と呼ぶ。）としては、対象画像が属すると判定された１個の分類枠をそのまま対象分類枠としてもよいし、例えば分類枠が顔の向きに応じたものであって対象画像の顔の向きが２個の分類枠の中間付近であった場合、それらの２個の分類枠の両方を対象分類枠としてもよい。また対象画像と比較する追加画像は、分類類枠の中に存在する全ての追加画像である必要はなく、分類枠の中から、別途定めた所定の枚数の追加画像を後述する優先順位に従って選択してもよい。また、２個の分類枠にまたがる時は、両方の対象分類枠の中に存在する追加画像から、所定の枚数の追加画像を後述する優先順位に従って選択、あるいは、両方の対象分類枠の中に存在する追加画像から、個々の追加画像に附属している情報、例えば顔の向きを回転角度数値、にしたがって、対象画像中の顔の向きの回転角度に近いものから順に所定枚数の追加画像を選択する。次に、制御部３は、ＩＤ入力部４に入力された識別情報に対応付けられた登録画像の少なくとも一部を記憶部２から読み出し（ステップＳ４）、ステップＳ３において抽出された対象画像とステップＳ４において読み出された登録画像のうち１枚と比較して一致するか否かを判定する比較動作を行う（ステップＳ５）。具体的には、登録画像と対象画像との相関値を演算し、得られた相関値を所定の認証閾値と比較して、相関値が認証閾値以上であったときに一致すると判定し、相関値が認証閾値未満であったときに一致しないと判定する。ステップＳ５において、登録画像のうち基準画像と追加画像とでは、どちらが先に使用されるようにしてもよい。また、ステップＳ４において登録画像として追加画像が読み出される場合、対象分類枠に属する追加画像が読み出される。ここで、登録画像を構成する各追加画像には、予め優先順位が設定されており、ステップＳ５において登録画像として追加画像が使用される際には、優先順位の高い追加画像から順に使用される。優先順位は、記憶部２において、追加画像に関連付けて格納された数値で表現されていてもよいし、例えば優先順位が高い追加画像ほど番号の若いアドレスに格納されるといったように、追加画像が格納された領域（アドレス）によって表現されていてもよい。

ステップＳ５において対象画像と登録画像とが一致すると判定された場合には、制御部３は、対象者Ｍが登録者であると判定（認証）した上で（ステップＳ６）次のステップＳ７に進む。ここで、認証動作中で１回目のステップＳ６でのみ、制御部３は、対象者Ｍが登録者である場合に行うべき所定の承認動作を行う。承認動作は、本実施形態の場合にはシステム制御盤Ｇへの認証可の情報の伝送である。また、承認動作において、制御部３が報知部５を制御して認証成功を対象者に対して報知させてもよい。一方、ステップＳ５において対象画像と登録画像とが一致しないと判定された場合、すなわち対象者Ｍが登録者であるとは認証されなかった場合には、制御部３は上記判定を行うことなくそのまま次のステップＳ７に進む。次のステップＳ７では、制御部３は、比較回数Ｎｃに１を加算する。次に、制御部３は、ステップＳ４で読み出された登録画像（以下、「対象登録画像」と呼ぶ。）の枚数である登録画像数Ｎｐ（図８では基準画像１枚と追加画像３枚とでＮｐ＝１＋３＝４）と比較回数Ｎｃとを比較する（ステップＳ８）。そして、比較回数Ｎｃが登録画像数Ｎｐに達していなければ、ステップＳ５に戻り、比較に使用する登録画像を変更して、比較動作を繰り返す。

一方、比較回数Ｎｃが登録画像数Ｎｐに達していれば、つまり対象画像が全ての対象登録画像と既に比較されていれば、制御部３は、認証開始からそれまでに対象者Ｍが登録者と判定されたことがあるか否か（すなわちステップＳ６を一度でも通過しているか否か）を判断する（ステップＳ９）。ステップＳ９において、対象者Ｍが登録者と判定されたことがなければ、比較回数Ｎｃを初期値である０に戻すとともに、周回数Ｎｒに１を加算し（ステップＳ１０）、所定の制限回数Ｎｌと周回数Ｎｒとを比較する（ステップＳ１１）。そして、周回数Ｎｒが制限回数Ｎ１未満であれば、制御部３は、ステップＳ３に戻って撮像部１から新たな対象画像を得て、この新たな対象画像を用いて再度、ステップＳ４〜ステップＳ８の連続比較動作を行う。また、ステップＳ１１において周回数が制限回数Ｎｌに達していれば、制御部３は、対象者Ｍが登録者ではないと判定し（ステップＳ１２）、認証動作を終了し、ＩＤ入力部４への識別情報の入力を受け付ける状態に戻る（ステップＳ１３）。つまり、制限回数Ｎｌが請求項における制限枚数である。ステップＳ１２では、制御部３が報知部５を制御し、認証が失敗したことを対象者に報知させてもよい。

また、制御部３は、ステップＳ９において、対象者Ｍが登録者と判定されたことがあるならば、すなわちステップＳ６を通過済みであるならば、登録画像として追加画像を用いた比較動作で登録者であるとの判定が得られたことがあるか否かを判定する（ステップＳ１４）。ステップＳ１４において、登録画像として追加画像を用いた比較動作で登録者であるとの判定が得られたことがあるならば、追加画像の中に今回の認証に役に立ったものがあるので、更新する必要がない。ここで追加画像の更新を行なってしまうと、同じ顔向き表情をした追加画像が加わってしまうことになる。そこで、制御部３は追加画像の更新は行わずに次のステップＳ１６に進む。一方、ステップＳ１４において、登録画像として追加画像を用いた比較動作で登録者であるとの判定が得られたことがないならば、言い換えると基準画像でしか上記判定が得られていないならば、追加画像の中に今回の認証に役に立つものがなかったことになり、追加画像が不足しており追加画像の更新が有意であることになるので、制御部３は追加画像を更新する更新動作を開始し（ステップＳ１５）、更新動作の終了後に次のステップＳ１６に進む。本実施形態では、上記のように更新動作の要否の判定を行うために、連続比較動作の途中で対象者が登録者であると判定された場合にも、連続比較動作を最後まで行い、全ての対象登録画像について一致を判定するようにしている。

ステップＳ１５の更新動作について詳しく説明する。制御部３は、認証動作中、図７に示すように、使用された対象画像から所定の条件で選択された候補画像を記憶部２に随時格納し、認証動作が終了するまで保持させている。候補画像としては、例えばいずれかの登録画像との相関値が所定の候補閾値以上である対象画像が選択される。この候補閾値は、認証閾値よりも小さく顔判定閾値よりも大きい値とされる。ステップＳ３において候補画像（対象画像）が属すると判定された分類枠は、候補画像が追加されるべき分類枠として候補画像に関連付けて記憶部２に格納される。対象分類枠として複数個の分類枠が選択されている場合、更新動作は分類枠毎に行われる。

更新動作においては、候補画像を全て追加画像として追加してもよいが、候補画像のうち１枚だけが追加画像として追加されるようにしてもよい。候補画像から追加される１枚を選択する方法としては、例えば、候補画像の全ての組み合わせでそれぞれ相関値を演算するとともに相関値が最も大きくなる組み合わせの２枚の候補画像からより早いタイミングで撮像された一方の候補画像を選択してもよいし、他の候補画像との相関値の平均値を各候補画像についてそれぞれ演算するとともに得られた平均値が最も大きい候補画像を選択してもよいし、基準画像との相関値が最も小さかった候補画像を選択してもよい。また、上記のように１枚の候補画像を選択する動作を、既に選択された候補画像を対象から除外しつつ複数回繰り返すことにより、複数枚の候補画像が追加画像として追加されるようにしてもよい。上記１個目の方法や上記２個目の方法のように候補画像間の相関値を用いる場合には、候補画像の中で代表的なものが選択されることになる。また、上記３個目の方法のように基準画像との相関値が最も小さかった候補画像を選択する場合には、基準画像と大きく異なる候補画像が選択されることになる。

更新動作において、制御部３は、対象となる分類枠に追加画像として追加されるべき候補画像の枚数と、対象となる分類枠に既に存在する追加画像（つまり、対応付けられた識別情報と属する分類枠とが共に上記の候補画像と共通している追加画像）の枚数との合計を、所定の上限数と比較し、上記合計が上限数を上回る場合、その差の枚数だけ、上記追加画像を、優先順位の低いものから順に削除する。その後、対象となる分類枠に追加画像として追加されるべき上記の各候補画像を、対象となる分類枠にそれぞれ追加する。つまり、追加画像の枚数は、分類枠毎に上限数以下に維持される。なお、更新動作が行われることなく認証動作が終了した場合、全ての候補画像は破棄される。

次のステップＳ１６では、制御部３は、上記識別情報に対応付けられ且つ対象分類枠に分類された各追加画像において、新たに追加された追加画像や、対象画像に一致すると判定された（つまり、対象者Ｍが登録者であるとの判定が出た比較動作に用いられた）追加画像の優先順位が、その他の追加画像の優先順位よりも高くなるように、優先順位を変更する。対象分類枠として複数個の分類枠が選択されている場合、優先順位の変更は、分類枠毎に行われる。例えば、１個の分類枠で１枚の追加画像でのみ対象者Ｍが登録者であると判定された場合にはその追加画像の優先順位が最も高くされ、１個の分類枠で追加された追加画像が１枚だけであればその追加画像の優先順位が最も高くされ、その他の各追加画像の優先順位は１ずつ下げられる。対象画像に一致すると判定された追加画像が複数枚存在する場合、その他の各追加画像はそれぞれ上記複数枚の追加画像の枚数分だけ優先順位を下げられ、上記複数枚の追加画像の中での優先順位は、例えば認証動作の開始時での優先順位が高かったものほど優先順位を高くされる。また、追加される追加画像が複数枚存在する場合、その他の各追加画像はそれぞれ追加される追加画像の枚数分だけ優先順位を下げられ、追加される追加画像の中での優先順位は、例えば認証動作の早いタイミングで得られたものほど優先順位を高くされる。つまり、各追加画像は、それぞれ追加された時点から、制御部３によって優先順位が設定されているのであり、追加画像として追加された更新動作、又は、対象画像に一致すると判定された（つまり認証に寄与した）認証動作として、より新しいものを有する追加画像ほど、優先順位は高くされている。このステップＳ１６の終了後、制御部３はステップＳ１３に進んで認証動作を終了する。

上記構成によれば、認証中に撮像された顔画像であって登録者の顔の向きや表情の変化を反映した顔画像である顔画像を、追加画像として登録画像に加えて以後の認証で使用することで、従来技術の項で述べたような登録者の顔の向きや表情の変化に対応し、本人拒否率を低下させることができる。また、確実に登録者本人の顔画像である基準画像によって対象者Ｍが登録者であるとの判定が得られないときには追加画像が更新されないことになるから、対象者Ｍが登録者であるとの判定が追加画像でしか得られないときにも追加画像が更新される場合に比べ、別人の顔画像が登録画像（追加画像）とされてしまうリスクが低減される。

ここで、対象者が登録者であることの判定が基準画像によってのみ得られたときに更新する理由だが、基準画像は、該当ＩＤを保有する人の顔画像であることが、別の手段、管理人の立会い等によって、明らかに判っている画像であり、その顔画像で対象者が登録者であると判断したのだから、正しく登録者である。したがって、基準画像によって対象者が登録者であると判断されたときに更新することは、対象者が登録者であることの判定が追加画像によって得られたときに更新する場合と比較して、誤って別人を登録することが起きにくい。

また、ステップＳ１６の動作によって各追加画像にそれぞれ優先順位が設定され、更新動作では優先順位の低い追加画像から削除され、比較動作には優先順位の高い追加画像から用いられることにより、追加され又は認証成功（対象者Ｍが登録者であるとの判定）に関与したタイミングが最も後である追加画像が優先的に残され、且つ順番に比較動作に用いられることになるから、認証にかかる時間が比較的に短くなりやすい。

ここで、追加画像が分類枠に分けられていない場合、ある特徴（顔の向きなど）を有する追加画像が追加され続けた結果、例えば顔の向きが異なるといったように別の特徴を有する追加画像が全て削除されてしまう可能性がある。例えば、カメラの視野範囲内でカメラを見る場合に、右から来た場合と、左から来た場合とでは、顔の傾きが、反対になる傾向が実験で確かめられ、右から来た場合は右回転、左から来た場合は左回転している。そして、左から来る場合が連続して行なわれ、右から来た場合に対応する追加画像が更新動作に伴って全て失われた場合、右から来た登録者は向きを変えるまで認証できないから、認証に時間がかかるか、認証に失敗してしまうことになる。これに対し、本実施形態では、追加画像は特徴毎に分類枠に分けられ、更新動作は分類枠毎に行われるので、上記のように特定の特徴を有する追加画像が更新動作によって失われてしまうといったことがない。

本発明の実施形態を示すブロック図である。 同上の使用形態の一例を示すブロック図である。 同上の使用形態の一例を示す説明図である。 同上の追加画像の一例を示す説明図である。 同上の追加画像の別の例を示す説明図である。 同上の動作を示す流れ図である。 同上において顔の向きを検出する方法の例を示す説明図である。 同上の動作を示す説明図である。

符号の説明

１ 撮像部
２ 記憶部
３ 制御部
４ ＩＤ入力部（請求項における入力部）

Claims (6)

1. 対象者を撮像する撮像部と、
   登録者毎に、それぞれ顔を撮像した少なくとも１枚ずつの登録画像が、登録者に一対一に対応する識別情報に対応付けて格納された記憶部と、
   対象者により識別情報が入力される入力部と、
   入力部に識別情報が入力されたとき、撮像部によって撮像された対象者が登録者であるか否かを判定する認証動作を開始する制御部とを備え、
   制御部は、認証動作において、対象者を撮像した画像から顔部分を抽出した対象画像を１枚ずつ撮像部から得て、該認証動作の開始時に入力部に入力された識別情報に対応付けられた登録画像のうち少なくとも一部である各対象登録画像のそれぞれと比較して一致するか否かを判定し、いずれかの登録画像が対象画像に一致すると判定されたときに対象者が登録者であると判定する一方、所定の制限枚数の対象画像を用いても対象者が登録者であるとの判定が得られなかったときに対象者を登録者ではないと判定するものであって、
   登録画像は、識別情報毎に、登録者の登録時に撮像された１枚の基準画像と、認証動作の終了時に追加されることがある追加画像とからなり、追加画像はさらに複数の分類枠に分類されていて、
   制御部は、認証動作中、各対象画像についてそれぞれ属する分類枠を判定し、対象登録画像としては、該認証動作の開始時に入力部に入力された識別情報に対応付けられた登録画像のうち、少なくとも対象画像と同じ分類枠に属する各追加画像と基準画像とを用い、認証動作中に用いられた対象画像のうち所定の条件を満たしたものを候補画像として認証動作の終了時まで記憶部に保持させるとともに、認証動作の終了時、対象画像に一致すると判定された登録画像が基準画像のみであったときには候補画像のうち少なくとも１枚をそれぞれ上記識別情報に対応付けられ且つ上記分類枠に分類された追加画像として追加するように追加画像を更新する更新動作を行い、いずれかの追加画像が対象画像に一致すると判定されていたとき及び対象者が登録者であると判定されなかったときには更新動作を行なわずに各候補画像をそれぞれ破棄することを特徴とする顔認証装置。
2. 制御部は、互いに共通の識別情報に対応付けられ且つ互いに共通の分類枠に分類される追加画像間に優先順位を設定するものであって、
   追加された更新動作、又は、対象画像に一致すると判定された認証動作として、より新しいものを有する追加画像ほど優先順位は高くされ、
   更新動作においては、制御部は、分類枠毎に、既に保持されている追加画像との枚数と追加されるべき候補画像の枚数との合計を所定の上限数と比較し、
   上記合計が上限数以下であれば追加されるべき各候補画像をそれぞれ追加画像として追加し、
   上記合計が上限数を上回る場合、既に保持されている追加画像を、優先順位が低い追加画像から順に、上記合計が上限数以下となるまで削除した後に、追加されるべき各候補画像をそれぞれ追加画像として追加することを特徴とする請求項１記載の顔認証装置。
3. 制御部は、互いに共通の識別情報に対応付けられ且つ互いに共通の分類枠に分類される追加画像間に優先順位を設定するものであって、
   追加画像として追加された更新動作、又は、対象画像に一致すると判定された認証動作として、より新しいものを有する追加画像ほど優先順位は高くされ、
   認証動作においては、制御部は、優先順位が高い追加画像ほど先に対象画像と比較することを特徴とする請求項１又は請求項２記載の顔認証装置。
4. 分類枠は顔の向きによって分類されることを特徴とする請求項１〜３のいずれか１項に記載の顔認証装置。
5. 分類枠は眼鏡の有無と前髪の有無との少なくとも一方によって分類されることを特徴とする請求項１〜４のいずれか１項に記載の顔認証装置。
6. 対象者を撮像する撮像部と、
   登録者毎に、それぞれ顔を撮像した少なくとも１枚ずつの登録画像が、登録者に一対一に対応する識別情報に対応付けて格納された記憶部と、
   対象者により識別情報が入力される入力部とを用い、
   入力部に識別情報を入力して撮像部によって撮像された対象者が登録者であるか否かを判定する顔認証方法であって、
   対象者を撮像した画像から顔部分を抽出した対象画像を１枚ずつ撮像部から得て、該認証動作の開始時に入力部に入力された識別情報に対応付けられた登録画像のうち少なくとも一部である各対象登録画像のそれぞれと比較して一致するか否かを判定し、いずれかの登録画像が対象画像に一致すると判定されたときに対象者が登録者であると判定する一方、所定の制限枚数の対象画像を用いても対象者が登録者であるとの判定が得られなかったときに対象者を登録者ではないと判定する認証動作を含み、
   登録画像は、識別情報毎に、登録者の登録時に撮像された１枚の基準画像と、認証動作の終了時に追加される可能性がある追加画像とからなり、追加画像はさらに複数の分類枠に分類されていて、
   認証動作中、各対象画像についてそれぞれ属する分類枠を判定し、対象登録画像としては、該認証動作の開始時に入力部に入力された識別情報に対応付けられた登録画像のうち、少なくとも対象画像と同じ分類枠に属する各追加画像と基準画像とを用い、認証動作中に用いられた対象画像のうち所定の条件を満たしたものを候補画像として認証動作の終了時まで記憶部に保持させるとともに、認証動作の終了時、対象画像に一致すると判定された登録画像が基準画像のみであったときには候補画像のうち少なくとも１枚をそれぞれ上記識別情報に対応付けられ且つ上記分類枠に分類された追加画像として追加するように追加画像を更新する更新動作を行い、いずれかの追加画像が対象画像に一致すると判定されていたとき及び対象者が登録者であると判定されなかったときには更新動作を行なわずに各候補画像をそれぞれ破棄することを特徴とする顔認証方法。