JP5791148B2 - 認証システム及び信頼度判定方法 - Google Patents

Description

本発明は、認証システムに関し、特に入退室時のなりすましを検出するシステムに関する。

近年、犯罪率の増加などのセキュリティ問題への関心の高まりによって、セキュリティ区域への入退室時のセキュリティ管理の必要性が高まっている。このため、セキュリティ製品の高信頼化が望まれている。入退室管理システムでは、主に、被験者が所持する非接触型又は接触型のカードをカードリーダで読み取る方法が用いられている。また、被験者の顔画像によって認証する入退室管理システムもある。

一方、画像を高信頼で検索するために、画像の撮影時間を用いて検索する顔画像検索システムが提案されている。例えば、特許文献１には、顔が登録されてから顔が撮影されるまでの時間に対応する予測係数を記憶し、顔が登録された時点から顔が撮影された時点までの時間を予測する特徴量を演算し、顔を認識する方式が開示されている。

特開２００７−１０２５１７号公報

しかし、前述した特許文献１に開示されている方式では、予め登録された顔画像データと照合するため、最近の顔画像データと照合されておらず、照合の精度を高めることができないという問題や、顔画像データが増加すると照合の処理時間が増加する問題がある。

本発明の目的は、ユーザがカードを用いて入退室する場合、顔画像データベースを検索した結果によって、管理者に警報を高速かつ精度良く発報することにある。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、被験者を認証する認証システムであって、被験者を識別するための識別情報又は生体情報を取得する読取装置と、前記読取装置によって取得された情報を認証する認証装置と、被験者の顔画像を撮影するカメラと、警報を発報する端末に接続され、前記カメラによって撮影された画像を蓄積する画像データベースを有する管理装置と、を備え、前記管理装置は、前記カメラが顔画像を取得したことを契機に、当該顔画像と前記画像データベースに蓄積された画像との類似度を判定する第１の判定処理と、前記読取装置が情報を取得したことを契機に、当該読取装置が取得した情報を用いて、前記画像データベースを検索し、前記カメラが取得した顔画像と前記検索された画像との類似度を判定する第２の判定処理と、前記第１の判定処理の判定結果及び第２の判定処理の判定結果に基づいて、前記認証の信頼度が低いと判定された場合、警報を発するためのデータを前記端末に送信する処理と、を実行し、前記第１の判定処理では、前記カメラが取得した顔画像を用いて前記画像データベースを検索し、前記画像データベースに蓄積された画像と前記顔画像との類似度を計算し、前記計算された類似度と所定の閾値とを比較することによって、類似度が高い顔画像を前記画像データベースから抽出し、前記抽出された画像を、該画像を撮影したカメラ毎に分類し、前記分類された画像を解析した結果、前記分類された画像の数を比較し、前記分類された画像の数が１位となるカメラの占める割合と、２位となるカメラの占める割合との比が所定の閾値より大きい場合、当該認証の信頼度が高いと判定する。

本発明の代表的な実施の形態によれば、被験者の成りすましを高速かつ精度よく判定することができる。

本発明の第１の実施の形態の認証システムの構成を示すブロック図である。 本発明の第１の実施の形態の判定結果表示画面の一例を説明する図である。 本発明の第１の実施の形態の判定結果表示画面の一例を説明する図である。 本発明の第１の実施の形態の成りすまし判定結果の警報の発報の一例を説明する図である。 本発明の第１の実施の形態の管理サーバに格納される認証結果データベースを説明する図である。 本発明の第１の実施の形態の顔画像検索システムに格納される顔画像データベースを説明する図である。 本発明の第１の実施の形態の成りすまし検出処理の全体を示すフローチャートである。 本発明の第１の実施の形態の第２の例において警報を表示する画面の一例を説明する図である。 本発明の第１の実施の形態の信頼度判定処理１の第１の例のフローチャートである。 本発明の第１の実施の形態の信頼度判定処理１の第２の例のフローチャートである。 本発明の第１の実施の形態の信頼度判定処理１の第３の例のフローチャートである。 本発明の第１の実施の形態の信頼度判定処理２の第２の例のフローチャートである。 本発明の第１の実施の形態の信頼度判定処理２の第３の例のフローチャートである。 本発明の第１の実施の形態の信頼度判定処理２の第４の例のフローチャートである。 本発明の第２の実施の形態の認証システムの構成を示すブロック図である。

＜実施形態１＞
図１は、本発明の第１の実施の形態の認証システムの構成を示すブロック図である。

第１の実施の形態の認証システムは、カメラ１０２、読取装置１０３、コントローラ１０４、管理サーバ１０５及び顔画像検索システム１０６を備える。図１には、複数の読取装置１０３、複数のコントローラ１０４及び複数の管理サーバ１０５が備わるが、各々一つずつ備わってもよい。

カメラ１０２は、被験者の顔画像を撮影する撮像装置であり、読取装置１０３を操作する人の顔位置を、その撮影範囲に含む。読取装置１０３は、被験者が所持する記憶媒体（例えば、磁気カード、ＩＣカード、無線タグ等）に付与され、記憶されている識別情報（カードＩＤ）を読み出す装置であり、例えばカードリーダである。

コントローラ１０４は、読取装置１０３を制御し、読取装置１０３が取得した情報の認証が成功した場合、認証に基づく処理（例えば、ドアの解錠、コンピュータのロックの解錠など）を行う。図１には、１台のコントローラ１０４に複数の読取装置１０３が接続される例を示したが、コントローラ１０４と読取装置１０３が１対１で接続されてもよい。

管理サーバ１０５は、プログラムを実行するプロセッサ、プロセッサによって実行されるプログラムを記憶するメモリ、他の装置との通信を制御する通信インターフェース、及び認証結果データベース３００を格納する不揮発性記憶装置を有するコンピュータである。認証結果データベース３００は、図５に示す、被験者の過去の認証結果が蓄積されるデータベースである。

管理サーバ１０５は、コントローラ１０４を制御し、読取装置１０３が取得した情報を認証し、認証の成否をコントローラ１０４に送る。図１には、１台の管理サーバ１０５に複数のコントローラ１０４が接続される例を示したが、管理サーバ１０５とコントローラ１０４が１対１で接続されてもよい。

顔画像検索システム１０６は、プログラムを実行するプロセッサ、プロセッサによって実行されるプログラムを記憶するメモリ、他の装置との通信を制御する通信インターフェース、及び顔画像データベース３１０を格納する不揮発性記憶装置を有するコンピュータである。顔画像データベース３１０は、図６に示す、被験者の顔画像が蓄積されるデータベースである。また、顔画像検索システム１０６は、カメラ１０２が撮影した顔画像と蓄積された顔画像との類否を判定し、被験者の成りすましの有無を端末１０７に通知する。図１には、１台の顔画像検索システム１０６に複数の管理サーバ１０５が接続される例を示したが、管理サーバ１０５は１台でもよい。

端末１０７は、プログラムを実行するプロセッサ、プロセッサによって実行されるプログラムを記憶するメモリ、他の装置との通信を制御する通信インターフェース、及びキーボード、表示装置などの入出力インターフェースを有するコンピュータである。

図１には、各装置及びコンピュータが１対１で接続されるように図示したが、これらの装置及びコンピュータはネットワークを介して接続されてもよい。

なお、各コンピュータのプロセッサによって実行されるプログラムは、不揮発性の記憶媒体又はネットワークを介して、各コンピュータに提供される。このため、各コンピュータは、記憶媒体（ＣＤ−ＲＯＭ、フラッシュメモリ等）を読み込むインターフェースを備えるとよい。

読取装置１０３は、被験者が所持するカードに格納されたカードＩＤを取得し、取得したカードＩＤをコントローラ１０４に送る。コントローラ１０４は、読取装置１０３が取得したカードＩＤを管理サーバ１０５に送り、管理サーバ１０５は、読取装置１０３が取得したカードＩＤを顔画像検索システム１０６に送る。

なお、読取装置１０３とカメラ１０２とを一つの装置に構成してもよい。この場合、カメラ１０２と顔画像検索システム１０６とは直接接続されずに、コントローラ１０４及び管理サーバ１０５を介して接続されてもよい。

また、管理サーバ１０５は、読取装置１０３が取得したカードＩＤと認証データベースに格納された情報とを比較して、カードＩＤを認証する。管理サーバ１０５は、認証が成功した場合、コントローラ１０４に認証成功を通知する。コントローラ１０４は、認証成功の通知を受けると、読取装置１０３が設置されているドアを解錠し、被験者の入退室を許可する。なお、この認証時に暗証番号の入力を求め、被験者が読取装置１０３に入力した暗証番号とカードＩＤとを併用して認証してもよい。

カメラ１０２は、顔画像検索システム１０６に接続されており、撮影した被験者の顔画像を顔画像検索システム１０６に送る。

顔画像検索システム１０６は、カメラ１０２が撮影した顔画像及び管理サーバ１０５から出力されたカードＩＤを取得し、顔画像の撮影時刻及びカードＩＤの取得時刻に基づいて、顔画像とカードＩＤとを対応付ける。さらに、顔画像検索システム１０６は、撮影された顔画像と蓄積された顔画像との類似度を計算し、両画像の類否を判定する。画像の類似度は、公知の画像マッチング技術を用いて計算することができる。なお、本発明の実施の形態では、画像が似ている程、大きな値となる類似度を用いる。

この判定は、後述するように、読取装置１０３が取得したカードＩＤによる絞り込みを併用してもよいし、カードＩＤによる絞り込みを併用しなくてもよい。さらに、顔画像検索システム１０６は、該判定結果に基づいて被験者の成りすましの有無を判定し、なりすましの判定結果を端末１０７に通知する。

端末１０７では、表示プログラム（例えば、ウェブブラウザ）が実行されており、顔画像検索システム１０６から出力される成りすましの判定結果を、表示画面に表示する。なお、顔画像検索システム１０６が顔画像の類否判定の結果を出力し、端末１０７が、この類否判定結果に基づいて、成りすましの有無を判定してもよい。

図２及び図３は、第１の実施の形態の成りすまし判定結果を通知するために端末１０７に表示される判定結果表示画面の一例を説明する図であり、図２は成りすましが検出されていない場合に表示される画面２００を、図３は成りすましが検出された場合に表示される画面２３０を示す。

判定結果表示画面２００、２３０には、図２、図３に示すように、入室者欄２０２、氏名欄２０１及び顔検索結果欄２０３が含まれ、これらの情報が被験者毎に表示される。入室者欄２０２には、読取装置１０３が被験者のカードからカードＩＤを取得した時刻に対応する顔画像、及び当該顔画像を撮影した時刻が表示される。氏名欄２０１には、被験者が所持するカードから読み取ったカードＩＤに対応する氏名が表示される。なお、カードＩＤをキーとして、顔画像検索システム１０６に格納された被験者データベース（図示省略）を検索することによって、氏名は取得することができる。顔検索結果欄２０３には、顔画像データベース３１０に登録された顔画像のうち、読取装置１０３が取得したカードＩＤに対応する顔画像及び当該顔画像を撮影した時刻が表示される。

顔画像検索システム１０６が成りすましを検出していない場合、図２に示すように、判定結果表示画面２００の各入室者毎に設けられた表示領域２１０、２２０に、入室者の顔画像、氏名及び検索された顔画像検索結果が表示される。

一方、顔画像検索システム１０６が成りすましを検出した場合、図３に示すように、判定結果表示画面２３０の成りすましが検出された入室者の表示領域２５０は、成りすましが検出されていない入室者の表示領域２４０と異なる態様で表示される。例えば、この成りすましが検出された場合の表示態様は、図３に示すように、通常と異なる色で表示領域の背景を表示したり、通常と異なる枠で表示領域を表示したり、さらに、音による警報を発してもよい。

この成りすましを検出した警報は、管理者が確認するまで継続され、連続的に発報しても、図４に示すように断続的に発報してもよい。断続的に発報する場合、前記の背景、枠が点滅するように表示される。また、警報音も断続的に発せられる。

図５は、第１の実施の形態の管理サーバ１０５に格納される認証結果データベース３００を説明する図である。

認証結果データベース３００は、過去に試みられた認証に関する情報を格納し、時刻３０１、カードリーダＩＤ３０２、カードＩＤ３０３、判定結果３０４及び類似度３０５を含む。

時刻３０１は、この認証の元となるカードＩＤが取得された時刻である。なお、管理サーバ１０５がこの認証を判定した時刻でもよい。カードリーダＩＤ３０２は、この認証の元となるカードＩＤを取得した読取装置１０３を一意に識別するための識別情報である。カードＩＤ３０３は、この認証の元となるカードＩＤが記憶された記憶媒体の識別情報であり、当該記憶媒体を所持する被験者を一意に特定するために用いられる。

判定結果３０４には、この認証が成功したか、失敗したかを示すフラグが格納される。類似度３０５は、この認証時に撮影された顔画像と、この認証に伴い検索された顔画像との類似度である。

管理サーバ１０５は、被験者の認証を試みる毎に、認証結果データベース３００にデータを追加する。さらに、管理サーバ１０５は、認証結果データベース３００に追加されたデータを顔画像検索システム１０６に送る。顔画像検索システム１０６は、受信したデータを顔画像データベース３１０に追加する。

図６は、第１の実施の形態の顔画像検索システム１０６に格納される顔画像データベース３１０を説明する図である。

顔画像データベース３１０は、被験者の顔画像及び当該画像に関する情報（例えば、入退室履歴）を格納し、時刻３１１、カードリーダＩＤ３１２、カードＩＤ３１３、サーバＩＤ３１４、判定結果３１５、類似度３１６及び顔画像３１７を含む。

時刻３１１、カードリーダＩＤ３１２、カードＩＤ３１３、判定結果３１５及び類似度３１６には、それぞれ、認証結果データベース３００に含まれる時刻３０１、カードリーダＩＤ３０２、カードＩＤ３０３、判定結果３０４及び類似度３０５と同じ情報が格納される。すなわち、顔画像検索システム１０６は、各管理サーバ１０５から送られた上記データを、認証の際に撮影された画像とリンクさせて、顔画像データベース３１０に登録する。

サーバＩＤ３１４は、上記データを顔画像検索システム１０６に送信した（すなわち、この認証を処理した）管理サーバ１０５を一意に識別するための識別情報である。顔画像３１７は、この認証時に撮影された被験者の顔画像のデータである。なお、顔画像３１７に、顔画像のバイナリデータではなく、画像ファイルへのリンクを格納してもよい。

なお、顔画像データベース３１０には、カメラ１０２が撮影した顔画像の他に、予め登録された被験者の顔画像を登録してもよい。また、撮影（カードＩＤの取得時刻）から所定期間を経過したデータを顔画像データベース３１０から削除してもよい。

図７は、第１の実施の形態の成りすまし検出処理の全体を示すフローチャートである。図７に示す成りすまし検出処理は、顔画像検索システム１０６のプロセッサが、メモリに格納されたプログラムを実行することによって実行される。

第１の実施の形態では、被験者がカメラ１０２の撮影範囲に入ったタイミングで、カメラ１０２が被験者の顔画像を撮影する。すなわち、カメラ１０２は、常時、動画像を撮影し、フレームに変化があれば、当該フレームをキャプチャして静止画像を取得する。カメラ１０２は、撮影範囲に入った被験者の顔を撮影すると、撮影された顔画像を顔画像検索システム１０６に送る。顔画像検索システム１０６は、カメラ１０２が撮影した顔画像を受信することによって、成りすまし検出処理を開始する（Ｓ１０１）。

次に、顔画像検索システム１０６は、認証の信頼度を判定する（Ｓ１０２）。この信頼度判定処理１の具体的な内容は図９から図１１を用いて後述する。認証の信頼度が低いと判定された場合、読取装置１０３からカードＩＤを取得するまでの間、カメラ１０２が取得した他の顔画像を用いて、認証の信頼度を判定する処理（Ｓ１０２）を繰り返す。一方、被験者が保持するカードを読取装置１０３に読み取らせると、読取装置１０３は、当該カードに格納されたカードＩＤを読み取り、読み取ったカードＩＤを管理サーバ１０５を経由して顔画像検索システム１０６に送る（Ｓ１０５）。

読取装置１０３が読み取ったカードＩＤを取得すると（Ｓ１０３）、顔画像検索システム１０６は、信頼度判定処理１を停止して、信頼度の判定結果を出力する（Ｓ１０４）。

また、顔画像検索システム１０６は、信頼度判定処理１を停止した後、読取装置１０３が読み取ったカードＩＤを用いて、さらに、認証の信頼度を判定する（Ｓ１０６）。この信頼度判定処理２の具体的な内容は図１２から図１４を用いて後述する。

信頼度判定処理２では、読取装置１０３が読み取ったカードＩＤ及びカメラ１０２が取得した顔画像を用いて、認証の信頼度を判定し、信頼度を出力する（Ｓ１０７）。

そして、信頼度判定処理１及び２の判定結果を用いて、成りすましを判定する（Ｓ１０８）。判定の結果、認証の信頼度が高いと判定された場合、この被験者は他人に成りすましている可能性が低いので、成りすまし検出「無」の表示画面（図２）を端末１０７に出力する（Ｓ１０９）。一方、認証の信頼度が低いと判定された場合、この被験者は他人に成りすましている可能性が高いので、成りすまし検出「有」の表示画面（図３）を端末１０７に出力する（Ｓ１１０）。

このステップＳ１１０における警報の発報の例を図８に示す。判定結果表示画面２６０には、入室者欄２０２、氏名欄２０１及び顔検索結果欄２０３が含まれ、これらの情報が被験者毎に表示される。判定結果表示画面２６０には、認証の信頼度が低い入室者の表示領域２７０は、認証の信頼度が高い入室者の表示領域２８０と異なる態様で表示される。この認証の信頼度が低い場合の表示態様は、通常と異なる色で表示領域の背景を表示したり、通常と異なる枠で表示領域を表示したりする。さらに、音による警報を発してもよい、連続的又は断続的に警報を発報してもよい。

その後、終了命令を待って処理を終了するが、終了命令が無ければステップＳ１０１に戻って、カメラ１０２より被験者の顔画像を取得する。

次に、信頼度判定処理１（Ｓ１０２）の詳細について三つの例を説明する。

図９は、信頼度判定処理１（Ｓ１０２）の第１の例のフローチャートである。第１の例では、顔画像の類似度によって認証の信頼性を判定する。

まず、顔画像検索システム１０６は、ステップＳ１０１において取得した１枚以上の被験者の顔画像をキーとして顔画像データベース３１０を検索し、所定の類似度以上の顔画像を抽出する（Ｓ１１２）。

そして、顔画像データベース３１０から抽出された顔画像とステップＳ１０１で取得した顔画像との類似度の平均値を計算する（Ｓ１１３）。

そして、計算された類似度の平均値と所定の閾値とを比較することによって、信頼度を判定する（Ｓ１１４）。具体的には、類似度の平均値が所定の閾値より高い場合、認証の信頼度が高いと判定する（Ｓ１１５）。一方、類似度の平均値が所定の閾値より低い場合、認証の信頼度が低いと判定する（Ｓ１１６）。この判定に用いられる閾値の数は、一つでも複数でもよい。複数の閾値を用いた場合、信頼度を高・中・低の多段階に区分けでき、Ｓ１０８からＳ１１０において「平常」「注意」「警戒」などの複数段階の警告を発報することができる。

なお、計算された類似度の合計値を用いて信頼度を判定してもよい。この合計値は、ヒット画像の類似度の合計値でも、類似度の高い順に所定数のヒット画像の類似度の合計値でもよい。また、計算された類似度の最小値や最大値を用いて信頼度を判定してもよい。全てのヒット画像の類似度の合計値を用いて信頼度を判定することによって、過去の認証実績を考慮して、認証の信頼度を判定することができる。

図１０は、信頼度判定処理１（Ｓ１０２）の第２の例のフローチャートである。第２の例では、当該カメラによる過去の認証実績によって認証の信頼度を判定する。

まず、ステップＳ１０１において取得した１枚以上の被験者の顔画像と、顔画像データベース３１０に格納された顔画像とを比較し、顔画像データベース３１０に格納された顔画像の類似度を計算する（Ｓ１２９）。

そして、計算された類似度と所定の閾値とを比較することによって、類似度が高い顔画像を選択する（Ｓ１２３）。

その後、当該顔画像を撮影したカメラ毎に、選択された顔画像を分類する（Ｓ１２４）。なお、カメラ毎に顔画像を分類することなく、ステップＳ１０１で取得した顔画像を撮影したカメラと同一のカメラによって撮影された画像を選択することによって、当該カメラによって撮影された顔画像と、他のカメラによって撮影された顔画像とを分類してもよい。

その後、分類された画像の信頼度を計算し（Ｓ１２５）、計算された信頼度を所定の閾値と比較することによって、認証の信頼度を判定する（Ｓ１２６）。この信頼度の判定は、例えば、分類された画像の認証成功時の類似度の和を計算し、計算された類似度を所定の閾値と比較することによって、認証の信頼度を判定する。

また、分類された画像の数を計数し、計数された画像数を所定の閾値と比較し、画像数が大きい場合に認証の信頼度が高いと判定してもよい。分類された画像のうち認証に成功した画像の数を計数し、計数された画像数を所定の閾値と比較し、画像数が大きい場合に認証の信頼度が高いと判定してもよい。

また、分類された画像が撮影された際に計算された類似度と、今回の認証時に計算された類似度とを乗じた値の合計を求め、この合計値を所定の閾値と比較し、合計値が大きい場合に認証の信頼度が高いと判定してもよい。

さらに、類似度や画像数を所定の閾値と比較するのではなく、画像を撮影したカメラ毎にこれらの値（類似度、画像数）を比較し、全部の中で当該カメラの占める割合が大きい場合に認証の信頼度が高いと判定してもよい。また、画像を撮影したカメラ毎にこれらの値（類似度、画像数）を比較し、１位となる当該カメラの占める割合と、２位となるカメラの占める割合との比が大きい場合に認証の信頼度が高いと判定してもよい。

そして、信頼度が所定の閾値より大きければ、信頼度が高いと判断し（Ｓ１２７）、信頼度が所定の閾値より小さければ、信頼度が低いと判断する（Ｓ１２８）。

以上説明したように、第２の例では、顔画像データベース３１０から取得した顔画像の数によって認証の信頼度を判定することによって、過去の認証実績を考慮した警報を発報することができる。また、顔画像の類似度を計算しないので、少ない計算量で認証の信頼度を判定することができる。

図１１は、信頼度判定処理１（Ｓ１０２）の第３の例のフローチャートである。

まず、顔画像検索システム１０６は、ステップＳ１０１において取得した１枚以上の被験者の顔画像をキーとして顔画像データベース３１０を検索し、ステップＳ１０１で取得した顔画像と顔画像データベース３１０に格納された顔画像との類似度を計算し、所定の類似度以上の顔画像を抽出する（Ｓ１３７）。

その後、顔画像データベース３１０から抽出された顔画像の撮影日時によって、計算された類似度に重み付けをする（Ｓ１３３）。具体的には、顔画像データベース３１０から取得した顔画像の撮影日時と現在日時とを比較し、現在日時から撮影日時を減じた値（経過時間）を所定の基準で区分けして、各顔画像の重みを決定し、決定された係数を計算された類似度に乗じる。例えば、下記のように係数を決定することができる。
現在日時から３０日以内 １．５
３０日から６０日 １．０
６０日以上 ０．５
また、前述のように表を用いずに、所定の計算式によって重み（係数）を決定してもよい。例えば、最近の画像の重みと古い画像の重みとの差が大きくなるように、経過時間の対数値を用いた式によって重みを計算することができる。

その後、重み付けされた類似度の平均値と所定の閾値とを比較する（Ｓ１３４）。その結果、類似度の平均値が所定の閾値より小さければ、認証の信頼度が高いと判定する（Ｓ１３５）。一方、類似度の平均値が所定の閾値より大きければ、認証の信頼度が低いと判定する（Ｓ１３６）。

第３の例においても、前述した第１の例と同様に、類似度の平均値ではなく、様々な統計値を用いて信頼度を判定することができる。

ここまで、前述した第１の例に重み付けを適用した処理について説明したが、前述した第２の例に第３の例の重み付けを適用することもできる。この場合、重み付けの係数の合計値が画像数となり、重み付けの係数の合計値を認証の信頼度の判定に用いることができる。

以上説明したように、第３の例では、新しい画像は信頼度への貢献が高く、古い画像は信頼度への貢献が低くなることから、信頼度の判定精度を向上させることができる。

以上説明したように、第１の実施の形態によると、ユーザの顔画像およびカード情報に基づいて、成りすましを検出することによって、被験者の成りすましを精度よく発報することができる。また、予め登録された顔画像だけでなく、認証時に撮影された顔画像も用いてなりすましを判定することができる。

次に、信頼度判定処理２（Ｓ１０６）の詳細について四つの例を説明する。

第１の例では、取得したカードＩＤを用いることなく、顔画像の類似度によって認証の信頼性を判定する。

信頼度判定処理２（Ｓ１０６）の第１の例は、前述した信頼度判定処理１の第１の例と同じであるため、詳細な説明は省略する。

図１２は、信頼度判定処理２（Ｓ１０６）の第２の例のフローチャートである。第２の例では、当該カメラによる過去の認証実績によって認証の信頼度を判定する。

まず、顔画像検索システム１０６は、ステップＳ１０５において取得したカードＩＤをキーとして顔画像データベース３１０を検索し、当該カードＩＤに関連付けられた顔画像を取得する（Ｓ１２１）。

そして、顔画像データベース３１０から抽出された顔画像と、ステップＳ１０１で取得した顔画像との類似度を計算する（Ｓ１２２）。

その後、ステップＳ１２３〜Ｓ１２８の処理を実行する。このステップＳ１２３〜Ｓ１２８の処理は、前述した信頼度判定処理１の第２の例の処理と同じである。

図１３は、信頼度判定処理２（Ｓ１０６）の第３の例のフローチャートである。第３の例は、前述した第１及び第２の例に付加される変形例で、顔画像データベース３１０から取得した顔画像を撮影した日時に従って画像毎に重み付けをする。

まず、顔画像検索システム１０６は、ステップＳ１０３において取得したカードＩＤをキーとして顔画像データベース３１０を検索し、当該カードＩＤに関連付けられた顔画像を取得する（Ｓ１３１）。

そして、顔画像データベース３１０から抽出された顔画像と、ステップＳ１０１で取得した（すなわち、この認証において撮影された）顔画像との類似度を計算する（Ｓ１３２）。

その後、ステップＳ１３３〜Ｓ１３６の処理を実行する。このステップＳ１３３〜Ｓ１３６の処理は、前述した信頼度判定処理１の第３の例の処理と同じである。

図１４は、信頼度判定処理２（Ｓ１０６）の第４の例のフローチャートである。第４の例では、顔画像のヒット数によって認証の信頼性を判定する。

まず、顔画像検索システム１０６は、ステップＳ１０３において取得したカードＩＤをキーとして顔画像データベース３１０を検索し、当該カードＩＤに関連付けられた顔画像を抽出する（Ｓ１４１）。

そして、顔画像データベース３１０から抽出された顔画像の数を計数し（Ｓ１４２）、計数された顔画像数と所定の閾値とを比較する（Ｓ１４３）。その結果、顔画像数が大ければ、認証の信頼度が高いと判定する（Ｓ１４４）。一方、顔画像数が小さければ、認証の信頼度が低いと判定する（Ｓ１４５）。この判定に用いられる閾値の数は、一つでも複数でもよい。複数の閾値を用いた場合、信頼度を高・中・低の多段階に区分けでき、「平常」「注意」「警戒」などの複数段階の警告を発報することができる。

これは、抽出された顔画像の数が多い場合、当該被験者は頻繁に認証を試みているので、この認証が適切である可能性が高く、信頼度が高いと判定することができる。一方、抽出された顔画像の数が少ない場合、当該被験者はたまにしか認証を試みていないので、この認証が適切でない可能性があり、認証の信頼度が低いと判定することができる。

なお、抽出された全ての画像の数ではなく、抽出された画像のうち認証に成功した場合の画像数を用いてもよい。認証に成功した際に撮影された顔画像のみを用いる（認証に失敗した際に撮影された顔画像を除外する）ことによって、信頼度の判定精度を向上させることができる。

また、特定の管理サーバ１０５又は特定の読取装置１０３を用いた認証の結果（認証試行回数、認証成功回数）に基づいて信頼度を判定してもよい。特定の場所における認証回数を用いることによって、通常と異なる行動を検出することができ、信頼度の判定精度を向上させることができる。

さらに、過去の認証結果のうち、認証失敗回数を所定の閾値と比較し、認証失敗回数が多い場合に警報を発報してもよい。

信頼度判定処理２において、前述した第１から第４の例を併用してもよい。すなわち、いずれかの判定で信頼度が低いと判定された場合、成りすまし「有」と判定することができる。また、複数の判定で信頼度が低いと判定された場合のみ、成りすまし「有」と判定することもできる。

次に、信頼度判定処理１と信頼度判定処理２との関係について説明する。

（１）第１のパターンでは、信頼度判定処理１と信頼度判定処理２とは同じ処理で、信頼度判定処理２では、顔画像データベース３１０のうち、信頼度判定処理１による処理が終わっていない部分についてカードＩＤを用いて絞り込んだ後、画像間の類似度を計算する。

例えば、信頼度判定処理１（Ｓ１０２）及び信頼度判定処理２（Ｓ１０６）の両方が第２の例である場合、被験者がカメラ１０２の撮影範囲に入ったタイミングで、カメラ１０２が被験者の顔画像を撮影し（Ｓ１０１）、取得した被験者の顔画像と、顔画像データベース３１０に格納された顔画像とを比較し、顔画像データベース３１０に格納された顔画像の類似度を計算し（Ｓ１２９）、選択された顔画像をカメラ毎に分類し（Ｓ１２４）、分類された画像の信頼度を計算する（Ｓ１２５）。信頼度判定処理１の実行中に、読取装置１０３がカードＩＤを読み取ると（Ｓ１０５）、信頼度判定処理１が終了し（Ｓ１０４）、信頼度判定処理２が開始する（Ｓ１０６）。信頼度判定処理２では、顔画像データベース３１０に含まれる顔画像のうち、信頼度判定処理１で処理が終わっていない部分の画像について処理を実行する。

そして、信頼度判定処理１によって出力された中間的な信頼度（Ｓ１０４）及び信頼度判定処理２によって出力された信頼度（Ｓ１０７）に基づいて、成りすましを判定する（Ｓ１０８）。

第１のパターンによると、読取装置１０３がカードＩＤを読み取る前から、取得した被験者の顔画像を用いて顔画像データベース３１０と照合又は検索を開始するので、読取装置１０３がカードＩＤを取得してから成りすましの判定結果が得られるまでの時間を短くすることができる。

なお、読取装置１０３がカードＩＤを読み取る前に、顔画像データベース３１０に格納された全ての顔画像について信頼度判定処理１が完了している場合、信頼度判定処理２を実行しなくてもよい。また、信頼度判定処理２を実行して、信頼度判定処理１によって判定された信頼度及び信頼度判定処理２によって判定された信頼度に基づいて、成りすましを判定し、判定の信頼性の確度を向上させてもよい。

（２）第２のパターンでは、信頼度判定処理１（Ｓ１０２）と信頼度判定処理２（Ｓ１０６）とは異なる処理で、信頼度判定処理２は信頼度判定処理１より厳しく判定される。

例えば、同じ画像の集合を処理した場合、信頼度判定処理１で類似と判定される画像の数が、信頼度判定処理２で類似と判定される画像の数より多くなったり、信頼度判定処理１による類似度の判定閾値が信頼度判定処理２による類似度の判定閾値より低くなったり、信頼度判定処理１による類似度が信頼度判定処理２による類似度より高くなったりする。

より具体的には、信頼度判定処理１（Ｓ１０２）及び信頼度判定処理２（Ｓ１０６）の両方が第３の例であるが、判定閾値が違う場合、ステップＳ１３２において顔画像データベース３１０から顔画像を抽出する際の閾値を、信頼度判定処理１では緩く設定し、信頼度判定処理２では厳しく設定する。そして、信頼度判定処理１で顔画像データベース３１０から抽出された顔画像について、信頼度判定処理２で処理をする。すなわち、信頼度判定処理１で顔画像データベース３１０から抽出された顔画像について、信頼度判定処理２のステップＳ１３１においてカードＩＤをキーにして検索する。

（３）第３のパターンでは、信頼度判定処理１（Ｓ１０２）と信頼度判定処理２（Ｓ１０６）とは異なる処理で、信頼度判定処理１は信頼度判定処理２より高速であり、信頼度判定処理２は信頼度判定処理１より高精度で処理される。

例えば、顔画像データベース３１０に、ピクセル数が少ない粗い顔画像と、ピクセル数が多い詳細な顔画像とが含まれている場合、信頼度判定処理１（Ｓ１０２）では、粗い顔画像を用いて高速かつ低精度で画像の類否を判定し、信頼度判定処理２（Ｓ１０６）では、信頼度判定処理１によって絞り込まれた画像について、詳細な顔画像を用いて高精度かつ低速に画像の類否を判定する。

第２及び第３のパターンによると、取得した被験者の顔画像を用いて、読取装置１０３がカードＩＤを読み取る前から顔画像データベース３１０と概略の照合又は検索をし、読取装置１０３がカードＩＤを読み取った後に、概略の照合又は検索がされた顔画像と詳細な照合又は検索をするので、読取装置１０３がカードＩＤを取得してから成りすましの判定結果が得られるまでの時間を短くすることができる。

（４）第４のパターンでは、前述した第１から第３のパターンにおいて、信頼度判定処理２（Ｓ１０６）の実行を制御する。

例えば、読取装置１０３がカードＩＤを読み取る前に、顔画像データベース３１０に格納された全ての顔画像について信頼度判定処理１が完了している場合、信頼度判定処理１によって判定された信頼度を使用し、信頼度判定処理２を実行しない。

また、読取装置１０３がカードＩＤを読み取る前に、顔画像データベース３１０に格納された一部の顔画像について信頼度判定処理１が完了していなくても、信頼度判定処理１によって信頼度が高いと判定された場合、信頼度判定処理２を実行しない。すなわち、信頼度判定処理１によって信頼度が高いと判定されなかった場合に、信頼度判定処理２を実行する。

第４のパターンによると、取得した被験者の顔画像を用いて、読取装置１０３がカードＩＤを読み取る前から顔画像データベース３１０と概略の照合又は検索をし、読取装置１０３がカードＩＤを読み取った際に、認証の信頼度が高いと判定された場合、読取装置１０３がカードＩＤを取得した後の照合又は検索を行わないので、読取装置１０３がカードＩＤを取得してから成りすましの判定結果が得られるまでの時間を短くすることができる。

以上説明したように、本発明の第１の実施形態によると、読取装置１０３がカードＩＤを読み取る前から、取得した被験者の顔画像を用いて顔画像データベース３１０との照合又は検索を開始するので、読取装置１０３がカードＩＤを取得してから成りすましの判定結果が得られるまでの時間を短くすることができる。

＜実施形態２＞
前述した第１の実施の形態では、カメラ１０２の撮影範囲内の状態、すなわち、カメラ１０２が連続的に撮影する動画像のフレームに変化があれば、当該フレームをキャプチャして静止画像を撮影し、撮影された画像に含まれる被験者の顔画像を顔画像データベース３１０に蓄積している。しかし、顔画像データベース３１０には、様々な方向から見た、様々な大きさの顔画像が保存されているので、蓄積されている顔画像には、同一人でも類似度が高い画像と、類似度が低い画像とが混在している。このように、カメラに正対した場合の顔画像との類似度が高い顔画像と、類似度が低い顔画像とが混在することによって、信頼度の判定精度が低下する。

そこで、本発明の第２の実施の形態では、被験者がカメラ１０２の撮影範囲に入って、適切な顔画像が撮影可能なタイミングで、カメラ１０２が被験者の顔画像を撮影する。すなわち、読取装置１０３に人感センサ１０８を設け、読取装置１０３の前に被験者が立った（すなわち、カメラ１０２の撮影範囲に被験者が入って、カメラに正対した）ことを、人感センサ１０８が検出した場合、カメラ１０２が被験者の顔画像を撮影する。人感センサ１０８には、例えば、赤外線センサや、超音波センサを用いることができる。

人感センサ１０８を、読取装置１０３ではなくカメラ１０２に設け、カメラ１０２の撮影範囲に被験者が入ったことを人感センサ１０８が検出した場合、カメラ１０２が被験者の顔画像を撮影してもよい。

カメラ１０２は、撮影範囲に入った被験者の顔を撮影すると、撮影された顔画像を顔画像検索システム１０６に送る。顔画像検索システム１０６は、カメラ１０２が撮影した顔画像を受信することによって、成りすまし検出処理を開始する（Ｓ１０１）。以後の処理は、前述した第１の実施形態と同じである。

なお、第２の実施の形態は、前述した第１の実施の形態だけでなく、後述する第３の実施の形態にも適用することができる。

以上説明したように、第２の実施の形態では、被験者の顔がカメラ１０２の撮影範囲に入ったタイミングで顔画像を撮影するので、照合に不適な顔画像の蓄積が抑制され、このシステムを長期間運用しても、顔画像データベース３１０の容量の増加を抑制することができる。よって、ストレージ装置（磁気ディスク等）の記憶容量が小さい場合でも、顔画像データベース３１０をストレージ装置に格納することができる。また、顔画像データを削除するためのバッチ処理を実行する必要がない。

＜実施形態３＞
前述した第１の実施の形態では、例えば被験者が保持するカードを読取装置１０３に読み取らせると、読取装置１０３は、当該カードに格納されたカードＩＤを読み取り、読み取ったカードＩＤを管理サーバ１０５を経由して顔画像検索システム１０６に送信する（Ｓ１０３）。読取装置１０３がカードＩＤを読み出す（すなわち、被験者が所持する）記憶媒体は、第１の実施形態で例示した磁気カード、ＩＣカード、無線タグに限らず、車両用鍵、ドア用鍵、無線タグ等に付与され、これらに記憶されている識別情報を利用することができる。また、記憶媒体に格納されたカードＩＤだけではなく、指紋、指静脈パターン、掌静脈パターン、虹彩等の、被験者に固有の生体情報を用いてもよい。

１０２ カメラ
１０３ 読取装置
１０４ コントローラ
１０５ 管理サーバ
１０６ 顔画像検索システム
１０７ 端末
１０８ 人感センサ

Claims (12)

1. 被験者を認証する認証システムであって、
   被験者を識別するための識別情報又は生体情報を取得する読取装置と、
   前記読取装置によって取得された情報を認証する認証装置と、
   被験者の顔画像を撮影するカメラと、
   警報を発報する端末に接続され、前記カメラによって撮影された画像を蓄積する画像データベースを有する管理装置と、を備え、
   前記管理装置は、
   前記カメラが顔画像を取得したことを契機に、当該顔画像と前記画像データベースに蓄積された画像との類似度を判定する第１の判定処理と、
   前記読取装置が情報を取得したことを契機に、当該読取装置が取得した情報を用いて、前記画像データベースを検索し、前記カメラが取得した顔画像と前記検索された画像との類似度を判定する第２の判定処理と、
   前記第１の判定処理の判定結果及び第２の判定処理の判定結果に基づいて、前記認証の信頼度が低いと判定された場合、警報を発するためのデータを前記端末に送信する処理と、を実行し、
   前記第１の判定処理では、
   前記カメラが取得した顔画像を用いて前記画像データベースを検索し、
   前記画像データベースに蓄積された画像と前記顔画像との類似度を計算し、
   前記計算された類似度と所定の閾値とを比較することによって、類似度が高い顔画像を前記画像データベースから抽出し、
   前記抽出された画像を、該画像を撮影したカメラ毎に分類し、
   前記分類された画像を解析した結果、前記分類された画像の数を比較し、前記分類された画像の数が１位となるカメラの占める割合と、２位となるカメラの占める割合との比が所定の閾値より大きい場合、当該認証の信頼度が高いと判定することを特徴とする認証システム。
2. 前記第１の判定処理と前記第２の判定処理とは同一の処理であって、
   前記第１の判定処理は、前記カメラが顔画像を取得した後に開始し、前記読取装置が情報を取得した場合に停止し、
   前記第２の判定処理は、前記読取装置が情報を取得した後に開始し、前記画像データベースのうち、前記第１の判定処理によって処理がされていない部分について処理をすることを特徴とする請求項１に記載の認証システム。
3. 前記第１の判定処理は、類似と判定される画像の数が、前記第２の判定処理より多くなる処理であって、
   前記第２の判定処理は、前記第１の判定処理によって類似と判定された画像のみについて処理をすることを特徴とする請求項１に記載の認証システム。
4. 前記第１の判定処理は、前記第２の判定処理より高速な処理であって、
   前記第２の判定処理は、前記第１の判定処理によって類似と判定された画像のみについて処理をすることを特徴とする請求項１に記載の認証システム。
5. 前記第１の判定処理によって認証の信頼度が高いと判定された場合、前記第２の判定処理を実行せず、認証の信頼度が高いと判定することを特徴とする請求項１から４のいずれか一つに記載の認証システム。
6. 前記管理装置は、前記第１の判定処理及び前記第２の判定処理の少なくとも一方として、
   前記計算された画像の類似度に、前記画像の撮影日時が新しければ大きな値となる重み付けをし、
   前記重み付けされた類似度の平均と所定の閾値とを比較し、
   前記比較の結果、前記類似度が低いと判定された場合、前記認証の信頼度が低いと判定することを特徴とする請求項１から４のいずれか一つに記載の認証システム。
7. 被験者を識別するための識別情報又は生体情報を取得する読取装置と、
   前記読取装置によって取得された情報を認証する認証装置と、を備える認証システムにおける認証の信頼度を判定する方法であって、
   前記認証システムは、被験者の顔画像を撮影するカメラと、警報を発報する端末に接続され、前記カメラによって撮影された画像を蓄積する画像データベースを有する管理装置と、を含み、
   前記方法は、
   前記管理装置が、前記カメラが顔画像を取得したことを契機に、当該顔画像と前記画像データベースに蓄積された画像との類似度を判定する第１の判定処理ステップと、
   前記管理装置が、前記読取装置が情報を取得したことを契機に、当該読取装置が取得した情報を用いて、前記画像データベースを検索し、前記カメラが取得した顔画像と前記検索された画像との類似度を判定する第２の判定処理ステップと、
   前記管理装置が、前記第１の判定処理の判定結果及び第２の判定処理の判定結果に基づいて、前記認証の信頼度が低いと判定された場合、警報を発するためのデータを前記端末に送信する第３のステップとを含み、
   前記第１の判定処理では、
   前記カメラが取得した顔画像を用いて前記画像データベースを検索し、
   前記画像データベースに蓄積された画像と前記顔画像との類似度を計算し、
   前記計算された類似度と所定の閾値とを比較することによって、類似度が高い顔画像を前記画像データベースから抽出し、
   前記抽出された画像を、該画像を撮影したカメラ毎に分類し、
   前記分類された画像を解析した結果、前記分類された画像の数を比較し、前記分類された画像の数が１位となるカメラの占める割合と、２位となるカメラの占める割合との比が所定の閾値より大きい場合、当該認証の信頼度が高いと判定することを特徴とする認証の信頼度の判定方法。
8. 前記第１の判定処理と前記第２の判定処理とは同一の処理であって、
   前記第１の判定処理ステップは、前記カメラが顔画像を取得した後に開始し、前記読取装置が情報を取得した場合に停止し、
   前記第２の判定処理ステップは、前記読取装置が情報を取得した後に開始し、前記画像データベースのうち、前記第１の判定処理によって処理がされていない部分について処理をすることを特徴とする請求項７に記載の認証の信頼度の判定方法。
9. 前記第１の判定処理は、類似と判定される画像の数が、前記第２の判定処理より多くなる処理であって、
   前記第２の判定処理ステップは、前記第１の判定処理によって類似と判定された画像のみについて処理をすることを特徴とする請求項７に記載の認証の信頼度の判定方法。
10. 前記第１の判定処理は、前記第２の判定処理より高速な処理であって、
    前記第２の判定処理ステップは、前記第１の判定処理によって類似と判定された画像のみについて処理をすることを特徴とする請求項７に記載の認証の信頼度の判定方法。
11. 前記第３のステップでは、前記第１の判定処理によって認証の信頼度が高いと判定された場合、前記第２の判定処理を実行せず、認証の信頼度が高いと判定することを特徴とする請求項７から１０のいずれか一つに記載の認証の信頼度の判定方法。
12. 前記管理装置は、前記第１の判定処理ステップ及び前記第２の判定処理ステップの少なくとも一方において、
    前記計算された画像の類似度に、前記画像の撮影日時が新しければ大きな値となる重み付けをし、
    前記重み付けされた類似度の平均と所定の閾値とを比較し、
    前記比較の結果、前記類似度が低いと判定された場合、前記認証の信頼度が低いと判定することを特徴とする請求項７から１０のいずれか一つに記載の認証の信頼度の判定方法。