JP7354831B2 - 顔認証システム、顔認証方法及び顔認証プログラム - Google Patents

Description

本出願は、顔認証システム、顔認証方法及び顔認証プログラムに関する。

認証すべき対象人物を認証するシステムのうち、顔認証は、対象人物の顔を撮像した画像と、データベースに保存された顔データとを照合し、類似度が所定の閾値以上の人物を抽出することにより行う。しかしながら、対象人物を認証する際に、顔認証のみの１要素認証では、信頼性が十分でない場合がある。

特許文献１～４には、顔認証における誤認識を防ぐために、個人情報による認証等、他の認証方法を加えた２要素認証が行われている。特許文献１の個人認証装置は、顔認証、個人情報認証及び声紋認証を組み合わせており、個人情報認証において、名前等の個人情報を対象人物に対して質問する形式となっている。特許文献２の人物情報管理システムは、データベースに登録された顔画像に加え、個人情報に基づいて対象人物を照合する。特許文献３の個人認証システムは、顔認証に加え、指紋認証、静脈認証を組み合わせて対象人物を認証する。特許文献４の顔認証装置は、顔認証及びＩＤカードを組み合わせて対象人物を認証する。

特開２００１－３３１８０１号公報 特開２００４－２５８７６４号公報 特開２００９－２０５５４２号公報 国際公開第２０１９／１３８６８８号

顔認証の特徴である手ぶらで認証可能という利点を備えつつ、認証の信頼性が高く、生体認証等の新たな認証機器を必要としない短時間で容易に認証可能な顔認証システムが所望されている。

本開発の目的は、かかる事情に鑑み、信頼性を向上させつつ認証に要するコストアップを抑制することができる顔認証システム、顔認証方法及び顔認証プログラムの提供にある。

一実施形態に係る顔認証システムは、複数の人物の顔データ及び個人情報が保存されたデータベースと、認証される対象人物を撮像し、撮像した画像を出力する撮像装置と、前記画像に含まれた顔データと、前記データベースに保存された前記顔データと、を照合することにより、類似度が所定の閾値以上の前記人物を人物候補としてリストアップする分析装置と、前記対象人物に対して、前記分析装置が選択した前記個人情報の質問を出力し、前記質問に対する回答を取得する入出力装置と、を備え、前記分析装置は、前記回答に一致する前記個人情報を有する前記人物候補を１人に絞り込んだ場合に、前記対象人物を、１人に絞り込んだ前記人物候補と認証し、前記データベースは、前記人物が前記対象人物を認証する際の前記人物候補として使用された回数を、前記人物の前記個人情報として保存し、前記分析装置は、複数の前記人物候補がリストアップされた場合に、前記回数に応じて、各人物候補に所定の重みを付加し、前記分析装置は、複数の前記人物候補を、第１グループ及び第２グループに分割する際に、前記第１グループの前記重みの合計と、前記第２グループの前記重みの合計と、の差の絶対値を小さくするような前記質問を選択する。

一実施形態に係る顔認証方法は、認証される対象人物を撮像し、撮像した画像に含まれた顔データと、データベースに保存された複数の人物の顔データと、を照合することにより、類似度が所定の閾値以上の前記人物を人物候補としてリストアップするステップと、複数の前記人物候補がリストアップされた場合に、前記対象人物に対して、前記データベースに保存された前記複数の人物における個人情報から選択された前記個人情報の質問を出力し、前記質問に対する回答を取得するステップと、前記回答に一致する前記個人情報を有する前記人物候補を１人に絞り込んだ場合に、前記対象人物を、１人に絞り込んだ前記人物候補と認証するステップと、を備え、前記データベースは、前記人物が前記対象人物を認証する際の前記人物候補として使用された回数を、前記人物の前記個人情報として保存し、前記質問に対する回答を取得するステップにおいて、複数の前記人物候補がリストアップされた場合に、前記回数に応じて、各人物候補に所定の重みを付加し、複数の前記人物候補を、第１グループ及び第２グループに分割する際に、前記第１グループの前記重みの合計と、前記第２グループの前記重みの合計と、の差の絶対値を小さくするような前記質問を選択する。

一実施形態に係る顔認証プログラムは、認証される対象人物を撮像し、撮像した画像に含まれた顔データと、データベースに保存された複数の人物の顔データと、を照合することにより、類似度が所定の閾値以上の前記人物を人物候補としてリストアップさせ、複数の前記人物候補がリストアップされた場合に、前記対象人物に対して、前記データベースに保存された前記複数の人物における個人情報から選択された前記個人情報の質問を出力し、前記質問に対する回答を取得させ、前記回答に一致する前記個人情報を有する前記人物候補を１人に絞り込めた場合に、前記対象人物を、１人に絞り込んだ前記人物候補と認証させる、ことをコンピュータに実行させる顔認証プログラムであって、前記データベースに、前記人物が前記対象人物を認証する際の前記人物候補として使用された回数を、前記人物の前記個人情報として保存させ、前記質問に対する回答を取得させるにあたって、複数の前記人物候補がリストアップされた場合に、前記回数に応じて、各人物候補に所定の重みを付加し、複数の前記人物候補を、第１グループ及び第２グループに分割する際に、前記第１グループの前記重みの合計と、前記第２グループの前記重みの合計と、の差の絶対値を小さくするような前記質問を選択させる。

一実施の形態によれば、信頼性を向上させつつ認証に要するコストアップを抑制することができる顔認証システム、顔認証方法及び顔認証プログラムを提供することができる。

実施形態１に係る顔認証システムの概要を例示したブロック図である。 実施形態１に係る顔認証システムを例示したブロック図である。 実施形態１に係る顔認証方法を例示したフローチャート図である。 実施形態１に係る顔認証方法において、人物候補の絞り込みを例示したフローチャート図である。

以下、実施形態について、図面を参照して説明する。なお、以下の各図面に付した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、図示の態様に限定することを意図するものではないことは言うまでもない。

（実施形態１）
実施形態１に係る顔認証システムを説明する。まず、顔認証システムの概要を説明する。その後、顔認証システムの各構成を説明する。そして、顔認証システムを用いた顔認証方法を説明する。

＜顔認証システムの概要＞
図１は、実施形態１に係る顔認証システムの概要を例示したブロック図である。図１に示すように、顔認証システム１は、撮像装置１０、分析装置２０、制御装置３０、入出力装置４０、作動装置５０を備えている。

撮像装置１０は、制御装置３０に有線または無線の通信回線で接続されている。撮像装置１０は、認証される対象人物を撮像し、撮像した画像を出力する。

分析装置２０は、制御装置３０に有線または無線の通信回線で接続されている。分析装置２０は、複数の人物の顔データ及び個人情報が保存されたデータベース２２を有している。なお、データベース２２は、分析装置２０と分離された単体として構成されてもよい。分析装置２０は、撮像装置１０から出力された画像に含まれた顔データと、データベース２２に保存された顔データと、を照合することにより、類似度が所定の閾値以上の人物を人物候補としてリストアップする。

入出力装置４０は、制御装置３０に有線または無線の通信回線で接続されている。入出力装置４０は、対象人物に対して、分析装置２０が選択した個人情報の質問を出力し、質問に対する回答を取得する。

作動装置５０は、制御装置３０に有線または無線の通信回線で接続されている。作動装置５０は、分析装置２０が対象人物を認証した場合に作動する。作動装置５０は、例えば、セキュリティ区域内に入場するためのドア、ゲート等である。なお、作動装置５０は、セキュリティ区域内に入場するためのドア、ゲートに限らず、ＩＤカード、パスワード等で作動する任意の装置に適用可能である。

制御装置３０は、撮像装置１０、分析装置２０、入出力装置４０及び作動装置５０に有線または無線の通信回線で接続されている。制御装置３０は、顔認証システム１における画像データ、個人情報のやり取りを制御する。制御装置３０は、撮像装置１０から出力された画像データを受信し、分析装置２０に出力する。また、制御装置３０は、分析装置２０が選択した個人情報の質問を分析装置２０から受信し、入出力装置４０に出力する。制御装置３０は、入出力装置４０が取得した質問に対する回答を、入出力装置４０から受信し、分析装置２０へ出力する。制御装置３０は、分析装置２０が対象人物を認証した場合に、作動装置５０を作動させる信号を作動装置５０に対して出力する。以下で、顔認証システム１の各構成を詳細に説明する。

＜撮像装置＞
図２は、実施形態１に係る顔認証システムを例示したブロック図である。図２に示すように、撮像装置１０は、撮像部１１及び通信部１２を有している。撮像部１１は、認証される対象の人物を撮像する。認証される対象の人物を対象人物という。撮像部１１は、例えば、カメラである。画像は、静止画像でもよいし、映像でもよいし、両方を含んでもよい。また、撮像部１１は、対象人物の顔だけでなく、上半身を撮像してもよいし、全身を撮像してもよい。さらに、撮像部１１は、対象人物を正面から撮像してもよいし、側方、斜め正面等、撮像する方向を限定しないで撮像してもよい。撮像部１１は、撮像した画像を通信部１２に出力する。通信部１２は、撮像部１１から出力された画像を制御装置３０に対して出力する。

＜分析装置＞
分析装置２０は、分析部２１、データベース２２、通信部２３を有している。分析装置２０は、例えば、パーソナルコンピュータ、サーバ等の情報処理装置である。なお、分析装置２０は、パーソナルコンピュータ、サーバ等が接続されたネットワークのクラウド上の情報処理装置を含んでもよい。また、分析装置２０のデータベース２２は、分析部２１及び通信部２３とは分離して単体として設けられてもよい。例えば、分析装置２０の分析部２１及び通信部２３は、パーソナルコンピュータまたはサーバに設けられ、データベース２２は、分析部２１及び通信部２３が接続されたネットワークのクラウド上のサーバに設けられてもよい。

分析部２１は、撮像装置１０から出力された画像を、制御装置３０を介して取得する。分析部２１は、当該画像に含まれた顔データを、データベース２２に保存された顔データと照合する。そして、分析部２１は、照合した結果、類似度が所定の閾値以上の人物を、対象人物の候補としてリストアップする。対象人物の候補を人物候補と呼ぶ。類似度は、画像に含まれた顔データと、データベース２２に保存された顔データとの似ている度合いを示す。例えば、類似度は、画像に含まれた顔データを構成する要素と、データベース２２に保存された顔データを構成する要素とがどれだけ似ているかを数値化したものである。

分析部２１は、１人の人物候補をリストアップしてもよいし、複数の人物候補をリストアップしてもよい。分析部２１は、複数の人物候補がリストアップされるように、所定の閾値を設定してもよい。これにより、顔認証だけでなく、個人情報の質問による絞り込みを行うことができ、認証精度を向上させることができる。

下記の表１は、実施形態１に係る顔認証システム１において、複数の人物候補のリストを例示した表である。

表１に示すように、例えば、分析部２１は、類似度が所定の閾値以上の５人の人物候補Ａ～Ｅをリストアップする。データベース２２は、５人の人物候補Ａ～Ｅについて、例えば、年齢、性別、身長、血液型、現住所、電話番号を個人情報として保存している。また、データベース２２は、各人物が対象人物を認証する際の人物候補として使用された回数を、各人物の個人情報として保存している。対象人物を認証する際の人物候補として使用された回数を認証使用回数と呼ぶ。よって、認証使用回数は、複数の人物候補が１人に絞り込まれた場合の人物候補として使用された回数である。なお、類似度が所定の閾値以上の人物候補が１人の場合には、当該人物候補は、対象人物を認証する際の人物候補として使用されるので、認証使用回数１が加わる。重みについては後述する。

分析部２１は、撮像装置１０が出力した画像から顔データを取得し、取得した顔データをデータベース２２に保存する。また、分析部２１は、撮像装置１０が出力した画像から顔データ以外の個人情報を取得してもよい。例えば、分析部２１は、顔データ以外の個人情報として、画像から対象人物の年齢、性別及び身長のうち、少なくともいずれかを取得する。なお、分析部２１は、顔データ以外の個人情報として、対象人物の年齢、性別及び身長に限らず、出身国、職業、体重等の属性を画像から取得してもよい。分析部２１は、取得した顔データ以外の個人情報をデータベース２２に保存する。

表１に示すように、分析部２１は、複数の人物候補Ａ～Ｅがリストアップされた場合には、人物候補を１人に絞り込むために、対象人物に対して行う個人情報の質問を選択する。個人情報の質問を選択するにあたって、分析部２１は、認証使用回数に応じて、各人物候補に所定の重みを付加する。そして、分析部２１は、複数の人物候補を、第１グループ及び第２グループに分割する質問を選択する。具体的には、分析部２１は、第１グループ及び第２グループに分割する際に、第１グループの重みの合計と、第２グループの重みの合計と、の差の絶対値を小さくするような質問を選択する。

例えば、表１に示すように、人物候補Ａの認証使用回数が５０回であり、人物候補Ｂ～Ｅの認証使用回数が０回の場合には、人物候補Ａの重みを５とし、人物候補Ｂ～Ｅの重みを１とする。そうすると、複数の人物候補Ａ～Ｅを、第１グループ及び第２グループの２つのグループに分割する組合せとして、例えば、いくつか例をあげると、以下の表２のようになる。表２は、実施形態１に係る顔認証システム１において、複数の人物候補を２つのグループに分割する複数の分割例及び各分割例における重みの合計の差（絶対値）を例示した表である。分割例Ｉ～ＶＩまで示したが、それ以外は省略する。

例えば、分割例Ｉは、人物候補Ａが第１グループに属し、人物候補Ｂ～Ｅが第２グループに属するように分割する。分割例Ｉにおける第１グループの重みの合計と、第２グループの重みの合計と、の差の絶対値は、１である。また、分割例ＩＩは、人物候補Ａ及びＢが第１グループに属し、人物候補Ｃ～Ｅが第２グループに属するように分割する。分割例ＩＩにおける差の絶対値は、３である。以下、分割例ＩＩＩ、分割例ＩＶ、分割例Ｖ、分割例ＶＩにおける差の絶対値は、それぞれ、５、７、７、５である。

分割例Ｉ～ＶＩ以外の他の分割例も検討すると、第１グループの重みの合計と、第２グループの重みの合計と、の差の絶対値を小さくする分割方法は、分割例Ｉに示すように、人物候補Ａが第１グループに属し、人物候補Ｂ～Ｅが第２グループに属するように分割する方法、または、人物候補Ｂ～Ｅが第１グループに属し、人物候補Ａが第２グループに属するように分割する方法である。

そこで、分析部２１は、複数の人物候補Ａ～Ｅを、第１グループ及び第２グループに分割する際に、第１グループの重みの合計と、第２グループの重みの合計と、の差の絶対値を小さくするような質問を選択する。分析部２１は、差の絶対値を最も小さくする質問を選択してもよい。例えば、分析部２１は、表１に示すように、データベース２２に保存された個人情報の中から、現住所を問う質問を選択する。人物候補Ａの現住所は、横浜市であり、人物候補Ｂ～Ｅの現住所は、東京である。よって、分析部２１は、「現住所は横浜市か」と問う質問を選択することにより、対象人物が、第１グループに属する人物候補Ａなのか、第２グループに属する人物候補Ｂ～Ｅなのか絞り込むことができる。

対象人物から「現住所は横浜市」との回答を取得した場合には、分析部２１は、対象人物を、回答に一致する個人情報を有する人物候補Ａに絞り込むことができる。このように、分析部２１は、回答に一致する個人情報を有する人物候補を１人に絞り込んだ場合に、対象人物を、１人に絞り込んだ人物候補と認証する。

一方、対象人物から「現住所は東京」との回答を取得した場合には、分析部２１は、対象人物を、回答に一致する個人情報を有する人物候補Ｂ～Ｅに絞り込むことができる。この場合には、分析部２１は、さらに、質問の選択を続ける。そして、分析部２１は、複数の人物候補第Ｂ～Ｅを、第１グループ及び第２グループに分割する際に、第１グループの重みの合計と、第２グループの前記重みの合計と、の差の絶対値を小さくするような質問を選択する。差の絶対値を小さくするような分割例または質問が複数ある場合には、例えば、所定の優先順位を設けて選択する。優先順位は、例えば、登録された順、算出された順等である。分析部２１は、人物候補を１人に絞り込めるまで続ける。

なお、分析部２１は、差の絶対値を最も小さくする質問がない場合には、差の絶対値を次に小さくする質問を選択してもよい。例えば、差の絶対値を最も小さくする分割例Ｉ（Ａと、Ｂ～Ｅとに分割）となるような質問がない場合には、差の絶対値を次に小さくする分割例ＩＩ（Ａ及びＢと、Ｃ～Ｅとに分割）となるような質問を選択してもよい。例えば、表１において、「年齢が３１才以下か」と問う質問を選択することにより、対象人物が、第１グループに属する人物候補ＡまたはＢなのか、第２グループに属する人物候補Ｃ～Ｅなのか絞り込むことができる。このようにして、分析部２１は、回答に一致する個人情報を有する人物候補を１人に絞り込むまで続け、対象人物を、１人に絞り込んだ人物候補と認証する。

別の例を示す。下記の表３は、実施形態１に係る顔認証システム１において、別の複数の人物候補のリストを例示した表である。

表３に示すように、例えば、分析部２１は、類似度が所定の閾値以上の４人の人物候補Ｋ～Ｎをリストアップする。データベース２２は、４人の人物候補Ｋ～Ｎについて、年齢、性別、身長、血液型、現住所、電話番号、認証使用回数を個人情報として保存している。分析部２１は、認証使用回数に応じて、各人物候補に所定の重みを付加する。

例えば、表３に示すように、人物候補Ｋ、Ｌ、Ｍ及びＮの認証使用回数は、それぞれ、６０回、５０回、４０回及び３０回である。そこで、人物候補Ｋ、Ｌ、Ｍ及びＮの重みを、それぞれ、６、５、４及び３とする。そうすると、第１グループ及び第２グループに分割する組合せとして、例えば、いくつか例をあげると、以下の表４のようになる。表４は、実施形態１に係る顔認証システム１において、複数の人物候補を２つのグループに分割する複数の分割例及び各分割例における重みの合計の差（絶対値）を例示した表である。分割ＸＩ～ＸＶＩまで示したが、それ以外は省略する。

例えば、分割例ＸＩは、人物候補Ｋが第１グループに属し、人物候補Ｌ～Ｎが第２グループに属するように分割する。分割例ＸＩにおける第１グループの重みの合計と、第２グループの重みの合計と、の差の絶対値は、６である。また、分割例ＸＩＩは、人物候補Ｋ及びＬが第１グループに属し、人物候補Ｍ及びＮが第２グループに属するように分割する。分割例ＸＩＩにおける差の絶対値は、４である。以下、分割例ＸＩＩＩ、分割例ＸＩＶ、分割例ＸＶ、分割例ＸＶＩにおける差の絶対値は、それぞれ、２、０、１２、１０である。

分割例ＸＩ～ＸＶＩ以外の他の分割例も検討すると、第１グループの重みの合計と、第２グループの重みの合計と、の差の絶対値を小さくする分割方法は、分割例ＸＩＶに示すように、人物候補Ｋ及びＮが第１グループに属し、人物候補Ｌ及びＭが第２グループに属するように分割する方法、または、人物候補Ｌ及びＭが第１グループに属し、人物候補Ｋ及びＮが第２グループに属するように分割する方法である。

そこで、分析部２１は、複数の人物候補Ｋ～Ｎを、第１グループ及び第２グループに分割する際に、第１グループの重みの合計と、第２グループの重みの合計と、の差の絶対値を小さくするような質問を選択する。例えば、分析部２１は、表３に示すように、データベース２２に保存された個人情報の中から、血液型を問う質問を選択する。人物候補Ｋ及びＮの血液型は、Ａ型であり、人物候補Ｌ及びＭの血液型は、Ａ型ではない。よって、分析部２１は、「血液型はＡ型か」と問う質問を行うことにより、対象人物が、第１グループに属する人物候補ＫまたはＮなのか、第２グループに属する人物候補ＬまたはＭなのか絞り込むことができる。

対象人物から「血液型はＡ型」との回答を取得した場合には、分析部２１は、対象人物を、回答に一致する個人情報を有する人物候補Ｋ及びＮに絞り込むことができる。そして、分析部２１は、複数の人物候補第Ｋ及びＮを、第１グループ及び第２グループに分割する際に、第１グループの重みの合計と、第２グループの前記重みの合計と、の差の絶対値を小さくするような質問を選択する。分析部２１は、人物候補を１人に絞り込めるまで続ける。

一方、対象人物から「血液型はＡ型ではない」との回答を取得した場合には、分析部２１は、対象人物を、回答に一致する個人情報を有する人物候補Ｌ及びＭに絞り込むことができる。そして、分析部２１は、同様に、複数の人物候補第Ｌ及びＭを、第１グループ及び第２グループに分割する際に、第１グループの重みの合計と、第２グループの前記重みの合計と、の差の絶対値を小さくするような質問を選択する。分析部２１は、人物候補を１人に絞り込めるまで続ける。

このようにして、分析部２１は、回答に一致する個人情報を有する人物候補を１人に絞り込んだ場合に、対象人物を、１人に絞り込んだ人物候補と認証する。

通信部２３は、制御装置３０を介して取得した画像データを分析部２１に出力する。通信部２３は、分析部２１が選択した質問を制御装置３０に出力する。また、通信部２３は、制御装置３０を介して取得した質問の回答を分析部２１に出力する。通信部２３は、分析部２１が対象人物を人物候補に認証した場合に、認証したことを制御装置３０に通知する。

＜データベース＞
データベース２２は、複数の人物の顔データを保存する。また、データベース２２は、複数の人物の個人情報を保存する。データベース２２が保存する個人情報は、分析部２１が画像から取得した顔データ以外の個人情報、及び、あらかじめデータベース２２に登録された個人情報を含む。あらかじめデータベース２２に登録された個人情報は、各人物からデータベース２２に登録されてもよいし、システム管理者からデータベース２２に登録されてもよい。

データベース２２が保存する個人情報は、機密性を有する第１情報と、第１情報以外の第２情報とを含んでもよい。例えば、機密性を有する第１情報は、あらかじめデータベース２２に登録される際に、機密性を有すると指定された個人情報を含む。第１情報は、例えば、現住所及び電話番号である。

データベース２２は、さらに、各人物が対象人物を認証する際の人物候補として使用された認証使用回数を、各人物の個人情報として保存する。

＜制御装置＞
制御装置３０は、データ制御部３１、通信部３２を有している。制御装置３０は、例えば、パーソナルコンピュータ、サーバ等の情報処理装置である。なお、制御装置３０は、パーソナルコンピュータ、サーバ等が接続されたネットワーク上のクラウド上の情報処理装置でもよい。

データ制御部３１は、撮像装置１０から出力された画像を、通信部３２を介して取得する。そして、データ制御部３１は、取得した画像を、通信部３２を介して分析装置２０へ出力する。また、データ制御部３１は、分析装置２０から出力された質問を、通信部３２を介して入出力装置４０へ出力する。データ制御部３１は、入出力装置４０から出力された質問の回答を、通信部３２を介して分析装置２０に出力する。

データ制御部３１は、対象人物が人物候補と認証された場合に、通信部３２を介して分析装置２０から通知される。そうすると、データ制御部３１は、作動装置５０に作動の信号を送信する。

通信部３２は、撮像装置１０から出力された画像を受信する。そして、通信部３２は、受信した画像を分析装置２０へ出力する。通信部３２は、分析装置２０から出力された質問を、入出力装置４０へ出力する。通信部３２は、入出力装置４０から出力された質問の回答を、分析装置２０に出力する。通信部３２は、データ制御部３１から出力された作動の信号を、作動装置５０に対して出力する。

＜入出力装置＞
入出力装置４０は、表示入力部４１及び通信部４２を有している。入出力装置４０は、分析装置２０から出力された質問を、対象人物に対して出力する。また、入出力装置４０は、対象人物からの質問の回答が入力される。入出力装置４０は、対象人物への質問を出力するとともに、対象人物からの質問の回答が入力可能な機能を有していれば、例えば、ディスプレイ及びキーボードでもよいし、タッチパネル、タブレット、音声出入力器等でもよい。

表示入力部４１は、分析装置２０から出力された質問を、通信部４２を介して、受信し、対象人物に対して出力する。また、表示入力部４１は、対象人物から入力された質問の回答を、通信部４２に出力する。

通信部４２は、分析装置２０から出力された質問を、制御装置３０を介して受信し、表示入力部４１に出力する。また、通信部４２は、表示入力部４１から受信した回答を、制御装置３０に出力する。

＜作動装置＞
作動装置５０は、作動部５１及び通信部５２を有している。作動部５１は、例えば、ドアまたはゲートを開閉するモータ、アクチュエータ等の動力源である。作動部５１は、制御装置３０から出力された作動の信号を、通信部５２を介して受信する。これにより、作動部５１は作動する。例えば、作動部５１は、ドアまたはゲートを開く。通信部５２は、制御装置３０から出力された作動の信号を受信し、作動部５１へ出力する。

＜顔認証方法＞
次に、本実施形態の顔認証システム１の動作として、顔認証方法を説明する。図３は、実施形態１に係る顔認証方法を例示したフローチャート図である。図４は、実施形態１に係る顔認証方法において、人物候補の絞り込みを例示したフローチャート図である。まず、図３を参照して、顔認証方法の概要を説明する。その後、図４を参照して、顔認証方法における人物候補の絞り込みを説明する。

図３のステップＳ１０１に示すように、撮像装置１０により撮像した対象人物の画像の顔データで顔認証を開始する。具体的には、分析装置２０は、撮像装置１０によって認証される対象人物を撮像し、撮像した画像に含まれた顔データと、データベース２２に保存された複数の人物の顔データと、を照合することにより、類似度が所定の閾値以上の人物を人物候補としてリストアップする。なお、分析装置２０における分析部２１の動作を、分析装置２０の動作として説明する。

次に、ステップＳ１０２に示すように、分析装置２０は、類似度が所定の閾値以上の人物候補が複数人存在するか判断する。類似度が所定の閾値以上の人物候補が複数人存在しないＮＯの場合には、処理を終了する。例えば、リストアップされた人物候補が１人の場合には、対象人物を当該人物候補と認証する。なお、分析装置２０は、さらに、当該人物候補に対して個人情報の質問をすることにより、認証を確認してもよい。また、リストアップされた人物候補が０人の場合には、対象人物は、データベース２２に登録されていない人物と判断してもよい。

一方、ステップＳ１０２において、類似度が所定の閾値以上の人物候補が複数人存在するＹＥＳの場合には、ステップＳ１０３に示すように、分析装置２０は、対象人物に対して質問する個人情報を選択し、人物候補を絞り込む。具体的には、分析装置２０は、複数の人物候補がリストアップされた場合に、対象人物に対して、データベース２２に保存された複数の人物における個人情報から選択された個人情報の質問を出力し、質問に対する回答を取得する。そして、分析装置２０は、回答に一致する個人情報を有する人物候補に絞り込む。

次に、ステップＳ１０４に示すように、分析装置２０は、人物候補を一人に絞り込めたか判断する。人物候補を一人に絞り込めないＮＯの場合には、ステップＳ１０３に戻り、分析装置２０は、対象人物に対して質問する個人情報を選択し、人物候補を絞り込む。

一方、ステップＳ１０４において、人物候補を一人に絞り込めたＹＥＳの場合には、ステップＳ１０５に示すように、分析装置２０は、対象人物を、１人に絞り込んだ人物候補と認証する。そして、処理を終了する。

次に、図３のステップＳ１０３における複数の人物候補がリストアップされた場合の人物候補の絞り込みを説明する。図４のステップＳ２０１に示すように、分析装置２０は、複数の人物候補をリストアップする。

次に、ステップＳ２０２に示すように、分析装置２０は、認証使用回数に応じて、各人物候補に所定の重みを付加する。認証使用回数は、データベース２２に各人物の個人情報として保存されている。重みは、例えば、表１及び表３で示したものである。

次に、ステップＳ２０３に示すように、複数の人物候補を、２つのグループ（第１グループ及び第２グループ）に分割する質問を選択する。その際に、２つのグループ間の重みの合計の差（絶対値）が小さくするような個人情報の質問を選択する。具体的には、例えば、分析装置２０は、現住所、または、血液型等の質問を選択する。そして、分析装置２０は、回答に一致する個人情報を有する人物候補に絞り込む。

次に、ステップＳ２０４に示すように、分析装置２０は、人物候補を一人に絞り込めたか判断する。人物候補を一人に絞り込めないＮＯの場合には、ステップＳ２０３に戻り、分析装置２０は、複数の人物候補を、２つのグループに分割する質問を選択する。

一方、ステップＳ２０４において、人物候補を一人に絞り込めたＹＥＳの場合には、人物候補を一人に絞り込む処理を終了する。そして、図３のステップＳ１０５に進み、分析装置２０は、対象人物を、１人に絞り込んだ人物候補と認証する。このようにして、対象人物を認証することができる。

次に、本実施形態の効果を説明する。本実施形態の顔認証システム１は、撮像した画像に含まれた顔データと、データベースに保存された複数の人物の顔データと、を照合することにより、顔認証を行う。そして、顔認証システム１は、複数の人物候補がリストアップされた場合に、個人情報に関する質問を選択する。よって、顔認証システム１は、顔認証だけでなく、個人情報の質問による認証も備えた２要素認証とすることができ、信頼性を向上させることができる。また、個人情報の質問による認証には、新たな認証機器を必要としないので、認証に要するコストアップを抑制することができる。

本実施形態の顔認証システム１では、個人情報に関する質問を以下の方法で選択する。すなわち、リストアップされた複数の人物候補を、２つのグループに分割する質問を選択する際に、各人物候補に、認証使用回数に応じた重みを付加する。これは、顔認証システム１における特定の作動装置５０を頻繁に使用している人ほど、対象人物となる確率が高いことを利用するものである。これにより、対象人物を１人に絞り込む処理に要する時間を短縮することができる。

２つのグループに分割する質問を選択する際に、各グループの重みの合計の差（絶対値）を小さくするような個人情報の質問を選択する。よって、１回の質問によって、複数の人物候補を、重みに換算して、２分の１程度に絞り込むことができるので、対象人物を１人に絞り込む処理に要する時間を短縮することができる。

（実施形態２）
次に、実施形態２に係る顔認証システムを説明する。本実施形態の顔認証システムは、設置される場所によって、機密性を有する個人情報を含む質問を行うか、機密性を有さない個人情報を含む質問を行うか選択可能としている。

本実施形態の顔認証システムの構成は、実施形態１の顔認証システム１の構成と同様である。データベース２２は、複数の人物の個人情報として、機密性を有する個人情報及び機密性を有する個人情報以外の個人情報を含む。機密性を有する個人情報は、あらかじめデータベース２２に登録される際に、機密性を有すると指定された個人情報を含む。分析装置２０は、２つのグループに分割する質問を選択する際に、質問を、機密性を有する個人情報または機密性を有する個人情報以外の情報から選択可能である。

例えば、顔認証システムが、ＡＴＭ等に設置されている場合には、現住所または電話番号等の機密性を有する個人情報から質問を選択してもよい。よって、データベース２２に保存された多くの個人情報を絞り込みに用いることができるので、絞り込みの精度を向上させることができる。

一方、顔認証システムが、コンビニエンスストア等に設置されている場合には、血液型等の機密性が低い個人情報から質問を選択してもよい。この場合には、データベース２２に保存された個人情報のうち、絞り込みに使用できる個人情報は限られる。しかしながら、機密性を有する個人情報の外部への漏洩を防ぐことができる。

本実施形態の顔認証システムによれば、設置される場所によって、絞り込みの際の質問を機密性によって選択可能であるので、個人情報の漏洩防止と、絞り込みの精度向上とのバランスをとることができる。これ以外の構成、動作及び効果は、実施形態１の記載に含まれている。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施形態１及び２の各構成を組み合わせた実施形態も、技術的思想の範囲に含まれる。上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限らない。

（付記１）
認証される対象人物を撮像し、撮像した画像に含まれた顔データと、データベースに保存された複数の人物の顔データと、を照合することにより、類似度が所定の閾値以上の前記人物を人物候補としてリストアップするステップと、
複数の前記人物候補がリストアップされた場合に、前記対象人物に対して、前記データベースに保存された前記複数の人物における個人情報から選択された前記個人情報の質問を出力し、前記質問に対する回答を取得するステップと、
前記回答に一致する前記個人情報を有する前記人物候補を１人に絞り込んだ場合に、前記対象人物を、１人に絞り込んだ前記人物候補と認証するステップと、
を備え、
前記データベースは、前記人物が前記対象人物を認証する際の前記人物候補として使用された回数を、前記人物の前記個人情報として保存し、
前記質問に対する回答を取得するステップにおいて、
複数の前記人物候補がリストアップされた場合に、前記回数に応じて、各人物候補に所定の重みを付加し、
複数の前記人物候補を、第１グループ及び第２グループに分割する際に、前記第１グループの前記重みの合計と、前記第２グループの前記重みの合計と、の差の絶対値を小さくするような前記質問を選択する、
顔認証方法。

（付記２）
前記質問に対する回答を取得するステップにおいて、
前記差の絶対値を最も小さくする前記質問を選択する、
付記１に記載の顔認証方法。

（付記３）
前記リストアップするステップにおいて、
複数の前記人物候補がリストアップされるように、前記所定の閾値を設定する、
付記１または２に記載の顔認証方法。

（付記４）
前記画像から前記顔データ及び前記顔データ以外の前記個人情報を取得し、取得した前記顔データ及び前記個人情報を前記データベースに保存するステップをさらに備えた、
付記１～３のいずれか１項に記載の顔認証方法。

（付記５）
前記データベースに保存するステップにおいて、
前記顔データ以外の前記個人情報として、前記対象人物の年齢、性別及び身長のうち、少なくともいずれかを取得する、
付記４に記載の顔認証方法。

（付記６）
前記個人情報は、機密性を有する第１情報及び前記第１情報以外の第２情報を含み、
前記質問に対する回答を取得するステップにおいて、
前記質問を、前記第１情報または前記第２情報から選択可能である、
付記１～５のいずれか１項に記載の顔認証方法。

（付記７）
前記第１情報は、あらかじめ前記データベースに登録される際に、機密性を有すると指定された前記個人情報を含む、
付記６に記載の顔認証方法。

（付記８）
認証される対象人物を撮像し、撮像した画像に含まれた顔データと、データベースに保存された複数の人物の顔データと、を照合することにより、類似度が所定の閾値以上の前記人物を人物候補としてリストアップさせ、
複数の前記人物候補がリストアップされた場合に、前記対象人物に対して、前記データベースに保存された前記複数の人物における個人情報から選択された前記個人情報の質問を出力し、前記質問に対する回答を取得させ、
前記回答に一致する前記個人情報を有する前記人物候補を１人に絞り込めた場合に、前記対象人物を、１人に絞り込んだ前記人物候補と認証させる、
ことをコンピュータに実行させる顔認証プログラムであって、
前記データベースに、前記人物が前記対象人物を認証する際の前記人物候補として使用された回数を、前記人物の前記個人情報として保存させ、
前記質問に対する回答を取得させるにあたって、
複数の前記人物候補がリストアップされた場合に、前記回数に応じて、各人物候補に所定の重みを付加し、
複数の前記人物候補を、第１グループ及び第２グループに分割する際に、前記第１グループの前記重みの合計と、前記第２グループの前記重みの合計と、の差の絶対値を小さくするような前記質問を選択させる、
顔認証プログラム。

（付記９）
前記質問に対する回答を取得させる際に、
前記差の絶対値を最も小さくする前記質問を選択させる、
付記８に記載の顔認証プログラム。

（付記１０）
前記リストアップさせる際に、
複数の前記人物候補がリストアップされるように、前記所定の閾値を設定させる、
付記８または９に記載の顔認証プログラム。

（付記１１）
前記画像から前記顔データ及び前記顔データ以外の前記個人情報を取得させ、取得した前記顔データ及び前記個人情報を前記データベースに保存させることをさらにコンピュータに実行させる、
付記８～１０のいずれか１項に記載の顔認証プログラム。

（付記１２）
前記データベースに保存させる際に、
前記顔データ以外の前記個人情報として、前記対象人物の年齢、性別及び身長のうち、少なくともいずれかを取得させる、
付記１１に記載の顔認証プログラム。

（付記１３）
前記個人情報は、機密性を有する第１情報及び前記第１情報以外の第２情報を含み、
前記質問に対する回答を取得させる際に、
前記質問を、前記第１情報または前記第２情報から選択可能とする、
付記８～１２のいずれか１項に記載の顔認証プログラム。

（付記１４）
前記第１情報は、あらかじめ前記データベースに登録される際に、機密性を有すると指定された前記個人情報を含む、
付記１３に記載の顔認証プログラム。

１ 顔認証システム
１０ 撮像装置
１１ 撮像部
１２ 通信部
２０ 分析装置
２１ 分析部
２２ データベース
２３ 通信部
３０ 制御装置
３１ データ制御部
３２ 通信部
４０ 入出力装置
４１ 表示入力部
４２ 通信部
５０ 作動装置
５１ 作動部
５２ 通信部

Claims (10)

1. 複数の人物の顔データ及び個人情報が保存されたデータベースと、
   認証される対象人物を撮像し、撮像した画像を出力する撮像装置と、
   前記画像に含まれた顔データと、前記データベースに保存された前記顔データと、を照合することにより、類似度が所定の閾値以上の前記人物を人物候補としてリストアップする分析装置と、
   前記対象人物に対して、前記分析装置が選択した前記個人情報の質問を出力し、前記質問に対する回答を取得する入出力装置と、
   を備え、
   前記分析装置は、前記回答に一致する前記個人情報を有する前記人物候補を１人に絞り込んだ場合に、前記対象人物を、１人に絞り込んだ前記人物候補と認証し、
   前記データベースは、前記人物が前記対象人物を認証する際の前記人物候補として使用された回数を、前記人物の前記個人情報として保存し、
   前記分析装置は、複数の前記人物候補がリストアップされた場合に、前記回数に応じて、各人物候補に所定の重みを付加し、
   前記分析装置は、複数の前記人物候補を、第１グループ及び第２グループに分割する際に、前記第１グループの前記重みの合計と、前記第２グループの前記重みの合計と、の差の絶対値を小さくするような前記質問を選択する、
   顔認証システム。
2. 前記分析装置は、前記差の絶対値を最も小さくする前記質問を選択する、
   請求項１に記載の顔認証システム。
3. 前記分析装置は、複数の前記人物候補がリストアップされるように、前記所定の閾値を設定する、
   請求項１または２に記載の顔認証システム。
4. 前記分析装置は、前記画像から前記顔データ及び前記顔データ以外の前記個人情報を取得し、取得した前記顔データ及び前記個人情報を前記データベースに保存する、
   請求項１～３のいずれか１項に記載の顔認証システム。
5. 前記分析装置は、前記顔データ以外の前記個人情報として、前記対象人物の年齢、性別及び身長のうち、少なくともいずれかを取得する、
   請求項４に記載の顔認証システム。
6. 前記個人情報は、機密性を有する第１情報及び前記第１情報以外の第２情報を含み、
   前記分析装置は、前記質問を、前記第１情報または前記第２情報から選択可能である、
   請求項１～５のいずれか１項に記載の顔認証システム。
7. 前記第１情報は、あらかじめ前記データベースに登録される際に、機密性を有すると指定された前記個人情報を含む、
   請求項６に記載の顔認証システム。
8. 複数の人物の顔データ及び個人情報が保存されたデータベースと、
   認証される対象人物を撮像し、撮像した画像を出力する撮像装置と、
   前記画像に含まれた顔データと、前記データベースに保存された前記顔データと、を照合することにより、類似度が所定の閾値以上の前記人物を人物候補としてリストアップする分析装置と、
   前記対象人物に対して、前記分析装置が選択した前記個人情報の質問を出力し、前記質問に対する回答を取得する入出力装置と、
   を備えた顔認証システムを用いた顔認証方法であって、
   前記撮像装置が撮像した前記画像に含まれた前記顔データと、前記データベースに保存された複数の前記人物の前記顔データと、を前記分析装置が照合することにより、前記類似度が所定の前記閾値以上の前記人物を人物候補としてリストアップするステップと、
   複数の前記人物候補がリストアップされた場合に、前記対象人物に対して、前記データベースに保存された前記複数の人物における前記個人情報から選択された前記個人情報の質問を前記入出力装置が出力し、前記質問に対する回答を前記入出力装置が取得するステップと、
   前記分析装置が、前記回答に一致する前記個人情報を有する前記人物候補を１人に絞り込んだ場合に、前記対象人物を、１人に絞り込んだ前記人物候補と認証するステップと、
   を備え、
   前記データベースは、前記人物が前記対象人物を認証する際の前記人物候補として使用された回数を、前記人物の前記個人情報として保存し、
   前記質問に対する回答を取得するステップにおいて、
   前記分析装置は、複数の前記人物候補がリストアップされた場合に、前記回数に応じて、各人物候補に所定の重みを付加し、
   前記分析装置は、複数の前記人物候補を、第１グループ及び第２グループに分割する際に、前記第１グループの前記重みの合計と、前記第２グループの前記重みの合計と、の差の絶対値を小さくするような前記質問を選択する、
   顔認証方法。
9. 前記質問に対する回答を取得するステップにおいて、
   前記分析装置は、前記差の絶対値を最も小さくする前記質問を選択する、
   請求項８に記載の顔認証方法。
10. 認証される対象人物を撮像し、撮像した画像に含まれた顔データと、データベースに保存された複数の人物の顔データと、を照合することにより、類似度が所定の閾値以上の前記人物を人物候補としてリストアップさせ、
    複数の前記人物候補がリストアップされた場合に、前記対象人物に対して、前記データベースに保存された前記複数の人物における個人情報から選択された前記個人情報の質問を出力し、前記質問に対する回答を取得させ、
    前記回答に一致する前記個人情報を有する前記人物候補を１人に絞り込めた場合に、前記対象人物を、１人に絞り込んだ前記人物候補と認証させる、
    ことをコンピュータに実行させる顔認証プログラムであって、
    前記データベースに、前記人物が前記対象人物を認証する際の前記人物候補として使用された回数を、前記人物の前記個人情報として保存させ、
    前記質問に対する回答を取得させるにあたって、
    複数の前記人物候補がリストアップされた場合に、前記回数に応じて、各人物候補に所定の重みを付加し、
    複数の前記人物候補を、第１グループ及び第２グループに分割する際に、前記第１グループの前記重みの合計と、前記第２グループの前記重みの合計と、の差の絶対値を小さくするような前記質問を選択させる、
    顔認証プログラム。

Images