以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
<実施形態1>
まず、本開示の実施形態1について説明する。図1は、実施形態1にかかる情報処理装置10の構成を示すブロック図である。情報処理装置10は、多要素認証を実施する情報処理装置である。ここで、情報処理装置10は、ネットワーク(不図示)に接続される。ネットワークは、有線であっても無線であってもよい。また、当該ネットワークには、ゲートを開閉するゲート駆動装置(不図示)と、ゲートの近傍に設置され、認証対象者を撮影し、撮影画像を生成する認証端末(不図示)と、が接続されている。つまり、情報処理装置10は、ネットワークを介してゲート駆動装置及び認証端末と通信可能に接続される。尚、撮影画像は、少なくとも対象者の顔領域を含む。
情報処理装置10は、登録部11と、取得部12と、認証制御部13と、ゲート制御部14とを備える。
登録部11は、登録手段とも呼ばれる。登録部11は、各登録対象者について、登録用の顔情報に対応付けて登録用の外観情報を登録する。ここで、外観情報は、第1外観情報とも呼ばれ、認証時の対象者の外観を示す情報である。外観情報の外観は、対象者が自己の意思により容易に変更可能であることが好ましい。例えば、外観情報は、認証時の対象者のジェスチャ(動作)を示す動作情報、又は認証時の対象者の服装を示す服装情報であってよい。そして登録部11は、各登録対象者について、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の外観情報を更新する。
取得部12は、取得手段とも呼ばれる。取得部12は、認証端末からネットワークを介して、認証対象者を撮影した撮影画像データを取得する。そして取得部12は、認証制御部13に撮影画像データを供給する。
認証制御部13は、認証制御手段とも呼ばれる。認証制御部13は、撮影画像データに基づく第1及び第2の判定結果に基づいて、認証対象者の個人認証を行う。ここで、第1の判定結果は、撮影画像データに基づいて生成される認証用の顔情報が、登録用の顔情報に対応するか否かを示す。したがって、第1の判定結果は、顔認証結果又は顔判定結果と呼ばれることがある。第2の判定結果は、撮影画像データに基づいて生成される認証用の外観情報が、登録用の外観情報に対応するか否かを示す。したがって、第2の判定結果は、外観認証結果又は外観判定結果と呼ばれることがある。認証制御部13は、個人認証の結果をゲート制御部14に供給する。
ゲート制御部14は、ゲート制御手段とも呼ばれる。ゲート制御部14は、個人認証が成功した場合、認証対象者に対してゲートの通過を許可する。例えばゲート制御部14は、個人認証に成功した場合、ネットワークを介して、ゲート駆動装置に、ゲートを開放する旨の制御信号を送信する。また、例えば、ゲート制御部14は、個人認証が失敗した場合、ネットワークを介して、ゲート駆動装置に、ゲートを閉鎖する旨の制御信号を送信する。また、例えばゲート制御部14は、個人認証が成功した場合、ネットワークを介して、ゲート駆動装置に、ゲートの通過を許可する旨を出力(例えば、表示又は音声出力)させる制御信号を送信する。また、例えばゲート制御部14は、個人認証が失敗した場合、ネットワークを介して、ゲート駆動装置に、ゲートの通過を制限する旨を出力させる制御信号を送信する。
図2は、実施形態1にかかる情報処理方法の流れを示す図である。まず、登録部11は、登録対象者の外観情報を、その登録対象者の顔情報に対応付けて登録する(S10)。続いて、取得部12は、認証対象者を撮影した撮影画像データを、認証端末からネットワークを介して取得する(S11)。続いて、認証制御部13は、顔認証結果及び外観認証結果に基づいて、個人認証を実施し(S12)、個人認証に成功したか否かを判定する(S13)。具体的には、認証制御部13は、顔認証に成功し、かつ外観認証に成功した場合、個人認証に成功したと判定する。一方、認証制御部13は、いずれか一方が失敗した場合、個人認証が失敗したと判定する。認証制御部13が個人認証に成功したと判定した場合(S13でYes)、ゲート制御部14は、認証対象者に対してゲートの通過を許可し(S14)、処理をステップS15に進める。一方、認証制御部13が個人認証に失敗したと判定した場合(S13でNo)、処理をステップS15に進める。ステップS15において、登録部11は、所定条件を満たしたか否かを判定する(S15)。登録部11は、所定条件を満たしたと判定した場合(S15でYes)、登録対象者の顔情報に対応付けられた外観情報を、新たな外観情報に更新する(S16)。
このように、実施形態1にかかる情報処理装置10は、画像認識を用いて顔認証及び外観認証の多要素認証を実施し、所定条件を満たした場合、外観認証に係る外観情報を更新する。したがって、多要素認証により認証精度を高めつつ、外観情報という個人情報が漏洩した場合のリスクを軽減してセキュリティレベルを高めることができる。これは、周囲に人がいる場所で個人認証を行う場合に特に効果を奏する。これにより、情報処理装置10は、画像認識を用いた多要素認証を好適に実施できる。
尚、情報処理装置10は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態にかかる情報処理方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、登録部11、取得部12、認証制御部13、及びゲート制御部14の機能を実現する。
または、登録部11、取得部12、認証制御部13、及びゲート制御部14は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路(circuitry)、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)等を用いることができる。
また、情報処理装置10の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、情報処理装置10の機能がSaaS(Software as a Service)形式で提供されてもよい。
<実施形態2>
次に、本開示の実施形態2について説明する。図3は、実施形態2にかかる情報処理システム1000の全体構成を示すブロック図である。情報処理システム1000は、画像認識を用いた多要素認証により、認証対象者であるユーザUに対して、ゲートの通過を許可又は制限するコンピュータシステムである。情報処理システム1000は、顔認証装置100と、外観認証装置200と、情報処理装置300と、認証端末400-1~400-n(nは1以上の自然数)、ユーザ端末500、及びゲート駆動装置600-1~600-nを備える。各装置及び端末は、ネットワークNを介して互いに接続されている。ここで、ネットワークNは、有線又は無線の通信回線である。
認証端末400-1~400-nのそれぞれは、ゲートA1、A2、…Anの近傍に設置され、ゲートを通過しようとするユーザUの少なくとも顔を撮影できるように設置されている。ゲートは、入退場ゲートである。ゲートは、例えば駅の改札や、テーマパークの入退場ゲート、又はイベント会場の入退場ゲートとして機能してよい。ゲートA1、A2、…Anのうち一部が、駅の改札として機能し、一部がテーマパークの入場ゲートとして機能してもよい。ゲートが駅の改札として機能する場合、それらのゲートは互いに異なる駅に設置されていてもよいし、同じ駅に設置されているゲートがあってもよい。尚、認証端末400-1~400-nは、ユーザUの少なくとも顔を、ウォークスルーで撮影できるように設置されていることが好ましい。ゲート駆動装置600-1~600-nのそれぞれは、ゲートA1、A2、…Anの開閉を制御する。あるいは、ゲート駆動装置600-1~600-nのそれぞれは、ユーザUの、ゲートA1、A2、…Anの通過を許可若しくは制限する旨を出力する。以下では、認証端末400-1、400-2、…400-nを区別せずに言及する場合、単に認証端末400と呼ぶことがある。また、ゲート駆動装置600-1、600-2、…600-nを区別せずに言及する場合、単にゲート駆動装置600と呼ぶことがある。
登録対象者であるユーザUは、ユーザ端末500により、事前にサービスの利用登録をし、自身の顔情報を登録する。また各ユーザUは、事前に外観情報を登録するか、自動で外観情報が登録されている。外観情報は、上述の通り、ユーザUの動作を示す動作情報、又はユーザUの服装を示す服装情報である。例えば外観情報が動作情報である場合、ユーザUは、ゲートA1において入場する場合に、所定の動作をする。そして画像認識による個人認証がなされ、個人認証が成功した場合、ユーザUは、ゲートA1を通過することができる。またユーザUは、ゲートA2において退場する場合に、所定の動作をする。そして画像認識による個人認証がなされ、個人認証が成功した場合、ユーザUは、ゲートA2を通過することができる。尚、上記個人認証によるユーザUの入退場は記録されており、これによりユーザUは、磁気カード、ICカードやバーコードを提示しなくても、交通運賃の支払いや入場料の支払いが自動で行われるようになっていてよい。
ここで、顔認証装置100は、複数の人物の顔特徴情報を記憶する情報処理装置である。また、顔認証装置100は、外部から受信した顔認証要求に応じて、当該要求に含まれる顔画像又は顔特徴情報について、各ユーザの顔特徴情報と照合を行い、照合結果(顔認証結果)を要求元へ返信する。
図4は、実施形態2にかかる顔認証装置100の構成を示すブロック図である。顔認証装置100は、顔情報DB(DataBase)110と、顔検出部120と、特徴点抽出部130と、登録部140と、認証部150とを備える。顔情報DB110は、ユーザID111と当該ユーザIDの顔特徴情報112とを対応付けて記憶する。顔特徴情報112は、顔画像から抽出された特徴点の集合であり、顔情報の一例である。尚、顔認証装置100は、顔特徴情報112の登録ユーザからの要望に応じて、顔特徴DB110内の顔特徴情報112を削除してもよい。または、顔認証装置100は、顔特徴情報112の登録から一定期間経過後に削除してもよい。
顔検出部120は、顔情報を登録するための登録画像に含まれる顔領域を検出し、特徴点抽出部130に供給する。特徴点抽出部130は、顔検出部120が検出した顔領域から特徴点を抽出し、登録部140に顔特徴情報を供給する。また、特徴点抽出部130は、情報処理装置300から受信した顔画像に含まれる特徴点を抽出し、認証部150に顔特徴情報を供給する。
登録部140は、顔特徴情報の登録に際して、ユーザID111を新規に発行する。登録部140は、発行したユーザID111と、登録画像から抽出した顔特徴情報112とを対応付けて顔情報DB110へ登録する。認証部150は、顔特徴情報112を用いた顔認証を行う。具体的には、認証部150は、顔画像から抽出された顔特徴情報と、顔情報DB110内の顔特徴情報112との照合を行う。認証部150は、顔特徴情報の一致の有無を情報処理装置300に返信する。顔特徴情報の一致の有無は、認証の成否に対応する。尚、顔特徴情報が一致する(一致有)とは、一致度が所定値以上である場合をいうものとする。
図5は、実施形態2にかかる顔情報登録処理の流れを示すフローチャートである。まず、顔認証装置100は、顔情報登録要求に含まれるユーザUの登録画像を取得する(S21)。例えば、顔認証装置100は、顔情報登録要求を、ユーザ端末500からネットワークNを介して受け付ける。尚、顔情報登録要求元は、これに限らず、ユーザ端末500から利用登録要求を受けた情報処理装置300であってもよい。次に、顔検出部120は、登録画像に含まれる顔領域を検出する(S22)。次に、特徴点抽出部130は、ステップS22で検出した顔領域から特徴点を抽出し、登録部140に顔特徴情報を供給する(S23)。最後に、登録部140は、ユーザID111を発行し、当該ユーザID111と顔特徴情報112とを対応付けて顔情報DB110に登録する(S24)。なお、顔認証装置100は、顔情報登録要求元から顔特徴情報112を受信し、ユーザID111と対応付けて顔情報DB110に登録してもよい。
図6は、実施形態2にかかる顔認証装置100による顔認証処理の流れを示すフローチャートである。まず、特徴点抽出部130は、認証用の顔特徴情報を取得する(S31)。例えば、顔認証装置100は、情報処理装置300からネットワークNを介して顔認証要求を受信し、顔認証要求に含まれる撮影画像からステップS21からS23のように顔特徴情報を抽出する。または、顔認証装置100は、情報処理装置300から顔特徴情報を受信してもよい。次に、認証部150は、取得した顔特徴情報を、顔情報DB110の顔特徴情報112と照合する(S32)。顔特徴情報が一致した場合、つまり、顔特徴情報の一致度が所定値以上である場合(S33でYes)、認証部150は、顔特徴情報が一致したユーザのユーザID111を特定する(S34)。そして認証部150は、顔認証に成功した旨と特定したユーザID111とを、顔認証結果として情報処理装置300に返信する(S35)。このとき認証部150は、顔特徴情報の一致度が所定値以上であるユーザID111が複数存在する場合、顔認証に成功した旨と、当該複数のユーザID111とを、顔認証結果に含めて、情報処理装置300に返信する。尚、顔認証結果には、検出された顔領域を特定する情報、例えば撮影画像中の顔領域の位置情報を、含めてもよい。一致する顔特徴情報が存在しない場合(S33でNo)、認証部150は、顔認証に失敗した旨を、顔認証結果として情報処理装置300に返信する(S36)。
尚、ステップS32において、認証部150は、顔情報DB110内の全ての顔特徴情報112との照合を試みる必要はない。例えば、認証部150は、顔認証要求を受け付けた当日から数日前までの期間に登録が行われた顔特徴情報と優先的に照合を試みるとよい。これにより、照合速度が向上し得る。また、上記優先的な照合に失敗した場合、残り全ての顔特徴情報と照合を行うようにするとよい。
図3に戻り説明を続ける。外観認証装置200は、各外観(各動作や各服装)の外観特徴情報を記憶する情報処理装置である。また、外観認証装置200は、外部から受信した外観認証要求に応じて、当該要求に含まれる人物画像又は外観特徴情報について、記憶している外観特徴情報と照合を行い、照合結果(外観認証結果)を要求元へ返信する。
図7は、実施形態2にかかる外観認証装置200の構成を示すブロック図である。外観認証装置200は、外観情報DB210と、検出部220と、特徴点抽出部230と、登録部240と、認証部250とを備える。外観情報DB210は、外観ID211と当該外観IDの外観特徴情報212とを対応付けて記憶する。外観ID211は、認証対象の外観を識別する情報である。外観特徴情報212は、外観IDに対応する外観を有する人物画像から抽出された特徴点の集合である。外観ID211及び外観特徴情報212は、外観情報と呼ばれることがある。
検出部220は、外観情報を登録するためのサンプル画像や、情報処理装置300から取得した撮影画像に含まれる人物領域を検出し、特徴点抽出部230に供給する。特徴点抽出部230は、検出部220が検出した人物領域から特徴点を抽出し、登録部240に外観特徴情報を供給する。また、特徴点抽出部230は、情報処理装置300から受信した撮影画像に含まれる特徴点を抽出し、認証部250に外観特徴情報を供給する。
登録部240は、外観特徴情報の登録に際して、外観ID211を新規に発行する。登録部240は、発行した外観ID211と、サンプル画像から抽出した外観特徴情報212とを対応付けて外観情報DB210へ登録する。認証部250は、外観特徴情報212を用いた外観認証を行う。具体的には、認証部250は、情報処理装置300からユーザUが認証対象として登録している外観IDを取得し、取得した外観IDに対応付けて外観情報DB210に記憶される外観特徴情報212と、撮影画像から抽出された外観特徴情報との照合を行う。認証部250は、外観特徴情報の一致の有無を情報処理装置300に返信する。外観特徴情報の一致の有無は、認証の成否に対応する。尚、外観特徴情報が一致する(一致有)とは、一致度が所定値以上である場合をいうものとする。
図8は、実施形態2にかかる外観認証処理の流れを示すフローチャートである。まず、検出部220は、情報処理装置300からネットワークNを介して外観認証要求を取得する(S51)。外観認証要求には、ユーザUを撮影した撮影画像と、顔認証に成功したユーザUが認証対象として登録している外観IDとが含まれる。また外観認証要求には、顔認証に成功したユーザUの顔領域を特定する情報が含まれていてもよい。そして検出部220は、撮影画像に含まれる人物領域を、検出領域として特定する(S52)。例えば、検出部220は、取得した外観IDに応じて、人物領域のうち予め定められた領域を、検出領域として特定してもよい。また検出部220は、外観認証要求にユーザUの顔領域を特定する情報が含まれている場合、ユーザUの顔領域に対応する領域、例えば顔領域から所定距離(所定画素数)以内の領域を、検出領域として特定してもよい。これにより、撮影画像に複数の人物が写っている場合も、顔認証に成功した人物の外観を特定できるため、誤認証を回避できる。そして特徴点抽出部230は、検出領域から外観特徴情報を抽出する(S53)。または、外観認証装置200は、情報処理装置300から外観特徴情報を受信してもよく、この場合はS51~53の処理が省略される。次に認証部250は、取得した外観特徴情報を、外観情報DB210内で、取得した外観IDに対応付けられた外観特徴情報212と照合する(S54)。外観特徴情報が一致した場合、つまり、外観特徴情報の一致度が所定値以上である場合(S55でYes)、認証部250は、外観認証に成功した旨を情報処理装置300に返信する(S56)。このとき認証部250は、これに加えて外観ID及びユーザIDを情報処理装置300に送信してよい。一方、外観特徴情報が一致しない場合(S55でNo)、認証部250は、外観認証に失敗した旨を情報処理装置300に返信する(S57)。
図3に戻り説明を続ける。認証端末400-1、400-2、・・・400-nのそれぞれは、カメラと表示装置を含む情報端末である。
認証端末400は、ユーザUの個人認証に用いる認証用の画像を撮影する。例えば、認証端末400は、設置された各ゲートにおいてユーザUを撮影した撮影画像を認証用の画像とする。認証端末400は、認証用の画像を含めた個人認証要求をネットワークNを介して情報処理装置300へ送信する。このとき、認証端末400は、自身の設置先のゲートを識別するゲートIDを個人認証要求に含めてよい。また、認証端末400は、撮影時刻を個人認証要求に含めてもよい。尚、認証端末400は、情報処理装置300からネットワークNを介して個人認証結果を受信してよく、必要に応じてこれらの情報を画面に表示してもよい。
次に、認証端末400について詳細に説明する。図9は、実施形態2にかかる認証端末400の構成を示すブロック図である。認証端末400は、カメラ410と、記憶部420と、通信部430と、表示部440と、制御部450とを備える。
カメラ410は、制御部450の制御に応じて撮影を行う撮影装置である。記憶部420は、認証端末400の各機能を実現するためのプログラムが格納される記憶装置である。通信部430は、ネットワークNとの通信インタフェースである。表示部440は、表示装置である。表示部440は、入力部(不図示)と一体的に構成されていてもよい。一例として、表示部440は、タッチパネルである。制御部450は、認証端末400が有するハードウェアの制御を行う。制御部450は、撮影制御部451と、認証制御部453と、表示制御部454とを備える。尚、表示部440及び表示制御部454は必須ではない。
撮影制御部451は、カメラ410を制御し、ユーザUの認証用画像を撮影する。認証用画像は、少なくとも当該ユーザの顔領域を含む画像である。また、撮影制御部451は、認証用画像を認証制御部453へ供給する。
認証制御部453は、認証用画像を含む個人認証要求をネットワークNを介して情報処理装置300へ送信し、個人認証結果を受信する。そして認証制御部453は、個人認証結果を表示制御部454へ供給してよい。表示制御部454は、個人認証結果に応じた表示内容を表示部440へ表示してよい。
図3に戻り、説明を続ける。ユーザ端末500は、ユーザUが使用する情報端末である。ユーザ端末500は、例えば、携帯電話端末、スマートフォン、タブレット端末、カメラを搭載又は接続したPC(Personal Computer)等である。ユーザ端末500は、ユーザUのユーザIDと対応付けられている。つまり、ユーザ端末500は、情報処理装置300においてユーザIDにより特定可能な情報端末である。例えば、ユーザ端末500は、ユーザUが自身のユーザIDによりログイン済みの端末である。
ユーザ端末500は、サービスの利用登録要求を、ネットワークNを介して情報処理装置300に送信する。またユーザ端末500は、ユーザUの顔認証に用いる登録画像を顔認証装置100に送信し、顔情報登録要求を行う。なお、ユーザ端末500は、登録画像から抽出された顔特徴情報を顔認証装置100に送信し、顔情報登録要求を行ってもよい。ユーザ端末500は、登録画像や顔特徴情報を、情報処理装置300を介して顔認証装置100に送信してもよい。また、ユーザ端末500は、サービスの利用登録時等に、ユーザUの属性情報や登録用の外観情報を、ネットワークNを介して情報処理装置300に送信する。
次に、ユーザ端末500について詳細に説明する。図10は、本実施形態2にかかるユーザ端末500の構成を示すブロック図である。ユーザ端末500は、カメラ510と、記憶部520と、通信部530と、表示部540と、制御部550と、入力部560とを備える。
カメラ510は、制御部550の制御に応じて撮影を行う撮影装置である。記憶部520は、ユーザ端末500の各機能を実現するためのプログラムが格納される記憶装置である。通信部530は、ネットワークNとの通信インタフェースである。表示部540は、表示装置である。入力部560は、入力を受け付ける入力装置である。表示部540及び入力部560は、一体的に構成されていてもよい。一例として、表示部540及び入力部560は、タッチパネルである。制御部550は、ユーザ端末500が有するハードウェアの制御を行う。制御部550は、撮影制御部551と、登録部552と、取得部553と、表示制御部554とを備える。
撮影制御部551は、カメラ510を制御し、ユーザUの登録画像を撮影する。撮影制御部551は、登録画像を登録部552へ出力する。
登録部552は、登録画像を含む顔情報登録要求をネットワークNを介して顔認証装置100へ送信する。尚、登録部552は、上記顔情報登録要求をネットワークNを介して情報処理装置300へ送信してもよい。また、登録部552は、サービスの利用登録要求をネットワークNを介して情報処理装置300に送信する。尚、登録部552は、利用登録時に、入力部560で受け付けたユーザ属性情報を、ネットワークNを介して情報処理装置300に送信してよい。ユーザ属性情報は、利用登録要求に含まれていてもよい。
取得部553は、ネットワークNを介して情報処理装置300から、ユーザUに対して設定された1又は複数の外観情報(外観ID)を取得し、表示制御部554に出力する。表示制御部554は、外観情報を、表示部540に表示する。尚、取得部553が情報処理装置300から複数の外観情報を取得した場合、表示制御部554は、複数の外観情報をユーザUが選択可能に、表示部540に表示する。この場合、登録部552は、ユーザUから入力部560で受け付けた、ユーザUにより選択された外観IDを、ネットワークNを介して情報処理装置300に送信する。
図3に戻り説明を続ける。情報処理装置300は、ユーザUのゲートA1等における撮影画像を用いて、個人認証を実施し、ユーザUに対してゲートの通過を許可又は制限する情報処理装置である。情報処理装置300は、複数台のサーバに冗長化されてもよく、各機能ブロックが複数台のコンピュータで実現されてもよい。
次に、情報処理装置300について詳細に説明する。図11は、実施形態2にかかる情報処理装置300の構成を示すブロック図である。情報処理装置300は、記憶部310と、メモリ320と、通信部330と、制御部340とを備える。記憶部310は、ハードディスク、フラッシュメモリ等の記憶装置である。記憶部310は、プログラム311と、登録履歴情報313と、認証履歴情報314と、ゲート情報315と、外観関連情報316とを記憶する。プログラム311は、本実施形態2にかかる情報処理方法の処理が実装されたコンピュータプログラムである。
登録履歴情報313は、ユーザ属性情報及び外観情報(外観ID)の登録の履歴情報である。
ここで、図12は、実施形態2にかかる登録履歴情報313のデータ構造の一例を示す図である。本図に示すように、例えば登録履歴情報313は、ユーザIDと、登録又は更新日時と、ユーザ属性情報と、外観グループIDと、登録用の外観IDとを対応付けた情報である。ユーザIDは、ユーザUを識別する情報であり、顔認証装置100において顔情報が登録された場合に通知されるユーザIDである。ユーザ属性情報は、ユーザUの在住地域、最寄り駅、利用予定駅、及び利用予定沿線のうち少なくとも1つを含んでよい。またユーザ属性情報は、利用目的を含んでよい。一例として利用目的は、鉄道利用/テーマパーク利用/イベント会場利用、あるいは定期券利用/一日乗車券利用/都度利用であってよい。尚、ユーザ属性情報は、ユーザUの氏名、住所、連絡先及びクレジットカード情報といった決済個人情報を含んでもよい。外観グループIDは、外観グループを識別するIDであり、外観情報とも呼ばれる。外観グループは、複数の外観IDを含んで構成され、外観情報群とも呼ばれる。外観IDは、所属先の外観グループに含まれる外観IDのうち、ユーザUから選択された1の登録用の外観IDである。外観の種別が動作である場合、外観IDは動作IDとも呼ばれ、例えば「左手を挙げる」、「右手を挙げる」又は「耳→鼻→口の順に触る」であってよい。また外観の種別が服装である場合、外観IDは服装IDとも呼ばれ、例えば「赤色の服を着用している」、「青色の荷物を所持している」、「帽子を着用している」又は「右手に赤色リストバンドを着用している」であってよい。登録用の外観ID、つまり登録用の外観情報は、ユーザIDを介して、顔認証装置100の顔情報DB110の顔特徴情報112(登録用の顔情報)と対応付けられている。尚、本図の登録履歴情報313は、各ユーザUが1の登録用の外観情報に対応付けられるように構成されているが、ユーザUが、利用シーン毎に、異なる外観情報に対応付けられてよい。例えば、ユーザUは、利用予定駅毎に、異なる登録用の外観情報が設定されていてよい。またユーザUは、利用目的毎に、異なる登録用の外観情報が設定されていてもよい。
認証履歴情報314は、ゲートにおける個人認証の履歴情報である。図13は、実施形態2にかかる認証履歴情報314のデータ構造の一例を示す図である。本図に示すように、例えば認証履歴情報314は、ユーザIDと、撮影日時と、ゲートIDとを対応付けた情報である。ユーザIDは、個人認証のうち、顔認証に成功したユーザIDである。撮影日時は、個人認証が行われた日時であってもよい。ゲートIDは、個人認証時にユーザUが通過を予定しているゲートを識別する情報である。
図11に戻り、説明を続ける。ゲート情報315は、ゲートID3151と、ゲート属性情報3152とを対応付けた情報である。ゲート属性情報3152は、ゲートの属性情報であり、ゲートが設置される施設種別及びゲートが設置される地点情報を含んでよい。例えばゲートが駅の改札として機能する場合、施設種別は「鉄道」であり、地点情報は「新宿駅」であってよい。またゲートがテーマパークの入退場ゲートとして機能する場合、施設種別は「テーマパーク」であり、地点情報は「メインゲート」であってよい。尚、地点情報は、経度及び緯度で示される位置情報を含んでいてもよい。
外観関連情報316は、外観グループID3162と、外観ID3161とを対応付けた情報である。外観グループID3162は、複数の外観ID3161から構成される。したがって、外観グループID3162は、複数の外観ID3161と対応付けられている。
メモリ320は、RAM(Random Access Memory)等の揮発性記憶装置であり、制御部340の動作時に一時的に情報を保持するための記憶領域である。通信部330は、ネットワークNとの通信インタフェースである。
制御部340は、情報処理装置300の各構成を制御するプロセッサつまり制御装置である。制御部340は、記憶部310からプログラム311をメモリ320へ読み込ませ、プログラム311を実行する。これにより、制御部340は、登録部341、取得部342、認証制御部343、及びゲート制御部344の機能を実現する。
登録部341は、上述した登録部11の一例である。登録部341は、サービスの利用登録時に顔認証装置100によってユーザUの顔情報が登録され、ユーザIDが通知された場合、ユーザIDを登録履歴情報313のユーザIDとして、記憶部310に登録する。また登録部341は、ユーザ端末500からユーザ属性情報を取得した場合、取得したユーザ属性情報を、登録履歴情報313のユーザ属性情報として、ユーザIDに対応付けて記憶部310に登録する。
そして、登録部341は、登録されたユーザUに対して、外観グループ、つまり登録用の外観情報の選択肢となる複数の外観IDを設定する。外観グループを設定するとは、予め定められた外観グループの中から1の外観グループを選択することであってよい。また外観グループを設定するとは、選択肢となる複数の外観IDを設定し、これらを含むように外観グループを構成し、外観グループIDを発行することを含んでもよい。登録部341は、新たに外観グループを構成した場合、外観関連情報316として、外観グループID3162と、外観ID3161とを登録する。そして、登録部341は、ユーザ端末500に対して、外観グループに含まれる外観IDを、ネットワークNを介して出力する。このとき登録部341は、各ユーザUについて、外観グループに含まれる各外観IDを、ユーザ端末500の表示部540に、ユーザUが選択可能に表示させる。そして、登録部341は、ユーザ端末500から、ユーザUが選択した外観IDを受信した場合、設定した外観グループIDと、ユーザUにより選択された外観IDとを、登録履歴情報313として登録する。
ここで、登録部341は、各ユーザUについて、登録履歴情報313に登録されているユーザ属性情報に基づいて、外観グループを設定してよい。例えば、入場者数が所定数以上の駅が利用予定駅に含まれている場合、登録部341は、複雑な外観を示す外観IDを含むように外観グループを設定してよい。複雑な外観とは、「耳→鼻→口の順に触る」といった、単一動作を複数組み合わせた動作や、「赤色の服に黄色のリストバンドを着用する」といった、複数のアイテムを組み合わせた服装であってよい。あるいは、この場合、登録部341は、選択肢として含まれる外観IDの数が、入場者が所定数以上である駅が利用予定駅に含まれていない場合と比べて、所定数多くなるように、外観グループを構成してもよい。また例えば、登録部341は、在住地域に基づいて、ユーザUが利用する予定のゲートを特定し、特定されたゲートの利用者予測数が所定数以上である場合、上述と同様に、複雑な外観を示す外観IDを含むように外観グループを設定してもよい。また上述と同様に、利用者予測数が所定数未満である場合と比べて、選択肢として含まれる外観IDの数を増やして外観グループを構成してもよい。また、登録部341は、ユーザ属性情報に利用目的が含まれている場合、利用目的に基づいてユーザUが利用する予定のゲートを特定し、上述した在住地域と同様の方法で外観グループを設定してもよい。ユーザUが利用する予定のゲートは、利用目的に沿ったゲート属性情報を有するゲートである。一例として、登録部341は、利用目的が「鉄道利用」である場合、「テーマパーク利用」の場合と比べて、選択肢として含まれる外観IDの数を所定数増やして外観グループを構成する。また一例として、登録部341は、利用目的が「イベント会場利用」である場合、そのイベント会場のイベント種別に基づいて入場予定者数を予測し、入場予定者数に応じて、上述と同様の方法で外観グループを設定してもよい。尚、ユーザUがイベント会場を利用する予定日時がユーザ属性情報として登録されている場合は、予定日時に応じて、外観グループを設定してもよい。一例として、登録部341は、予定日時が休日の混み合う時間帯である場合は、それ以外の時間帯や平日に比べて、複雑な外観を示す外観IDを含むように、又は選択肢として含まれる外観IDの数を増やして外観グループを構成してよい。例えば登録部341は、イベント予約のタイミングでユーザ属性情報を登録したことに応じて、上述のように外観グループを構成及び設定し、外観IDを登録してよい。このように、利用者数が多いゲートにおいても、外観を複雑化、又はバリエーションを増やすことで、誤認証を回避できる。したがって、認証精度を向上させることができる。
また、登録部341は、各ユーザUについて、他のユーザUとの間の登録用の顔情報の類似度が所定閾値以上である場合、ユーザUの登録用の外観IDを、類似するユーザUの登録用の外観IDと異なるものに設定してよい。またこの場合、登録部341は、そのユーザUの外観グループを、類似するユーザUと異なるグループに設定し、外観グループから外観IDをユーザUに選択させることで、登録用の外観IDを異ならせるようにしてもよい。つまり登録部341は、ユーザUに対して、選択肢として提示される外観IDを、類似するユーザUに提示される外観IDと異なるものに設定し、設定された外観IDからユーザUに選択させる。類似度は、顔認証装置100の顔情報DB110に記憶されている顔特徴情報112に基づいて算出されてよい。類似度の算出は顔認証装置100が実施し、登録部341は、顔認証装置100から、類似度が所定閾値以上のユーザIDを、ネットワークNを介して取得してよい。このように顔の構造が似ている場合は顔認証で複数のユーザUが特定されることがあるが、認証対象となる外観が明確に異なれば、特定されたどのユーザUが認証対象者かを外観認証でより明確に区別することができる。したがって誤認証を回避し、認証精度を向上させることができる。
そして、登録部341は、所定の更新条件を満たした場合、登録用の外観情報、すなわち登録履歴情報313の外観IDを更新する。登録用の外観情報を更新するとは、登録部341が、所定の更新条件を満たしたユーザUについて、登録履歴情報313の外観グループを変更し、登録用の外観IDを、変更後の外観グループの中から選択された外観IDに更新することを指す。ここで、外観グループを変更するとは、所定の更新条件を満たしたユーザUについて、登録履歴情報313の外観グループを、複雑な外観を示す外観IDを含んだ外観グループに変更することを含んでよい。また外観グループを変更するとは、所定の更新条件を満たしたユーザUについて、登録履歴情報313の外観グループを、選択肢として含まれる外観IDの数が、設定されている外観グループよりも多い外観グループに変更することを含んでよい。尚、登録用の外観情報を更新するとは、変更後の外観グループに含まれる外観IDを、ユーザ端末500に出力し、ユーザUから変更後の外観IDの選択を受け付けることを含んでよい。そして登録用の外観情報を更新するとは、登録履歴情報313に新たなレコードを追加し、追加したレコードに、ユーザUから選択された変更後の外観IDを記録することを含んでよい。ここで、所定の更新条件とは、ユーザUがゲートを通過したことであってよい。つまり、登録部341は、ユーザUがゲートを通過し、入場又は退場したことに応じて、登録履歴情報313の外観IDを更新する。例えば外観の種別が動作である場合、入退場毎に認証のための動作が変更される。これにより、ゲート通過時に認証のための動作を他人に知られた場合でも、次にゲートを通過する際の動作は直前のゲート通過時の動作とは異なるため、個人認証のセキュリティレベルを高めることができる。尚、登録用の外観情報の更新は、ゲート通過毎に限らず、認証時に同一の外観情報を用いて(例えば、認証時に同じ動作を行って)所定回数ゲートを通過した場合に行われてもよい。
また、所定の更新条件とは、登録日時又は前回の更新日時から所定期間を経過したことであってよい。つまり、登録部341は、登録日時又は前回の更新日時から所定期間経過した場合、各ユーザUについて、登録用の外観情報を更新してよい。所定期間とは、例えば1日、1週間又は1か月であってよい。尚、登録部341は、毎日所定時刻に、ユーザUについて、登録用の外観情報を更新してもよい。また登録部341は、ユーザ属性情報の更新要求を、ユーザ端末500から受信した場合、登録履歴情報313のユーザ属性情報を更新し、更新後のユーザ属性情報に基づいて、登録用の外観情報を更新してもよい。例えば登録部341は、ユーザ属性情報の更新により、ユーザUが利用する予定のゲートの種別が変更したことに応じて、登録用の外観情報を更新してよい。一例として、ゲートの種別が変更した場合とは、利用目的がテーマパークから鉄道に変更した場合や、乗降駅が普段と異なる場合が挙げられる。これにより、個人認証のセキュリティレベルが向上する。また、例えば登録部341は、ユーザ属性情報の更新により、ユーザUが利用する予定のゲートの利用者予測数が所定数以上変化した場合、そのユーザUの、登録用の外観情報を更新してよい。一例として、利用する予定のゲートの利用者予測数が所定数以上変化する場合とは、そのゲートの近くで大きなイベントが開催されることにより、普段よりも利用客が増加する場合が挙げられる。これにより、個人認証のセキュリティレベルを向上させつつ、誤認証を回避することができる。
また、所定の更新条件とは、個人認証の失敗率が所定閾値以上となったことであってもよい。つまり、登録部341は、ユーザUの失敗率が所定閾値以上である場合、そのユーザUの、登録用の外観情報を更新してよい。尚、登録部341は、個人認証の失敗率に代えて、顔認証の失敗率が所定閾値以上になった場合に、そのユーザUの、登録用の外観情報を更新してもよい。この場合は、他のユーザUと顔が類似していることにより顔認証に失敗している可能性がある。したがって、登録部341は、ユーザUと、登録用の顔情報が類似している類似ユーザを特定し、類似ユーザと登録用の外観IDが異なるように、ユーザUの登録用の外観IDを設定(更新)してよい。類似ユーザの特定については、前述と同様である。また、登録用の外観IDの設定(更新)については、前述と同様であり、外観グループを変更することを含む。これにより、認証精度を高めることができる。
ここで、ユーザUの失敗率の算出方法の一例について説明する。まず、情報処理装置300は、個人認証が失敗したことに応じて、所定の方法で、ユーザIDを特定する。例えば、個人認証が失敗した場合、ユーザUはICカードやバーコード等を提示し、認証端末400にユーザIDを読み取らせる。認証端末400は、取得したユーザIDと、ゲートIDとを、ネットワークNを介して情報処理装置300に送信する。次に、情報処理装置300は、認証履歴情報314に、ユーザIDに対応付けて、個人認証が失敗した旨を記録する。尚、情報処理装置300は、顔認証結果及び外観認証結果に基づいて、いずれの認証に失敗したかを示す失敗理由を、認証履歴情報314に記録してもよい。そして情報処理装置300は、認証履歴情報314を用いて、各ユーザUについて個人認証の失敗率や認証方式ごとの失敗率を算出し、ユーザIDに対応付けて記憶部310に記録する。
取得部342は、上述した取得部12の一例である。取得部342は、認証端末400からネットワークNを介して、通信部330を経由して撮影画像データを含む個人認証要求を取得する。撮影画像データは、静止画の撮影画像であってもよいし、複数の撮影画像(フレーム)を含む動画であってもよい。特に、登録用の外観情報が動作情報である場合、撮影画像データは動画であってよい。取得部342は、取得した撮影画像データを、認証制御部343に供給する。
認証制御部343は、上述した認証制御部13の一例である。認証制御部343は、撮影画像データの撮影画像に含まれるユーザUの顔領域に対する顔認証を制御する。つまり、認証制御部343は、各ゲートで撮影された撮影画像データの撮影画像に含まれるユーザUの顔領域に対する顔認証を制御する。すなわち、認証制御部343は、認証端末400から取得した撮影画像について、顔認証装置100に対して顔認証を行わせる。例えば、認証制御部343は、取得した撮影画像データ、ゲートID及び撮影日時を含めた顔認証要求を、ネットワークNを介して顔認証装置100へ送信する。尚、撮影画像データが動画である場合、認証制御部343は、撮影画像データに含まれる一部の撮影画像(フレーム)を顔認証要求に含めてよいし、全部のフレームを顔認証要求に含めてもよい。このとき、複数のフレームの各々について、認証用の顔特徴情報が生成される。尚、認証制御部343は、撮影画像データに含まれる撮影画像からユーザUの顔領域を検出し、顔領域の画像を顔認証要求に含めてもよい。また、認証制御部343は、顔領域から顔特徴情報を抽出し、顔特徴情報を顔認証要求に含めてもよい。そして認証制御部343は、顔認証装置100から顔認証結果を受信する。
そして認証制御部343は、顔認証が成功した場合、登録履歴情報313を参照し、顔認証結果に含まれるユーザIDの、最新のレコードに記録された外観IDを取得する。そして認証制御部343は、撮影画像データの撮影画像に含まれるユーザUの検出領域に対する外観認証を制御する。例えば、撮影画像データ及び外観IDを含めた外観認証要求を、ネットワークNを介して外観認証装置200に送信する。ここでも、撮影画像データが動画である場合、認証制御部343は、撮影画像データに含まれる一部のフレームを外観認証要求に含めてよいし、全部のフレームを外観認証要求に含めてもよい。また認証制御部343は、撮影画像データに含まれるフレームのうち、顔認証に失敗したフレームを除いて外観認証要求に含めてもよい。尚、外観IDが、動作、特に複数の動作を示すものである場合、認証制御部343は、複数のフレームを外観認証要求に含める。このとき、複数のフレームの各々について、認証用の外観情報が生成される。また、認証制御部343は、顔認証にかかる顔領域が特定できる場合は、顔領域を特定する情報を外観認証要求に含めてもよい。尚、この場合は、認証制御部343は、撮影画像からユーザUの外観IDに対応する検出領域を顔領域に基づいて検出し、検出領域の画像を外観認証要求に含めてもよい。そして認証制御部343は、外観認証装置200から外観認証結果を受信する。
認証制御部343は、顔認証結果及び外観認証結果に基づいて、個人認証を実施する。例えば認証制御部343は、顔認証に成功し、かつ外観認証に成功した場合に、個人認証に成功したと判定する。認証制御部343は、上記の場合以外で、個人認証に失敗したと判定する。認証制御部343は、個人認証結果を、ゲート制御部344に供給する。
ゲート制御部344は、上述のゲート制御部14の一例である。ゲート制御部344は、個人認証結果が成功を示す場合、ユーザUの撮影地点のゲートを制御するゲート駆動装置600に、ゲートを開放する旨の制御信号を送信する。一方、ゲート制御部344は、個人認証結果が失敗を示す場合、ユーザUの撮影地点のゲートを制御するゲート駆動装置に、ゲートを閉鎖する旨の制御信号を送信する。尚、ゲート制御部344がゲート駆動装置600に送信する制御信号は、ゲートを開放する又は閉鎖する旨の制御信号に代えて、個人認証に成功又は失敗したことをゲート駆動装置600に出力させるための制御信号であってもよい。
図14は、実施形態2にかかる登録処理の流れを示すフローチャートである。まず、情報処理装置300の登録部341は、ネットワークNを介して、ユーザ端末500から、サービスの利用登録要求を受信する(S401)。尚、このとき登録部341は、利用登録要求に加えて撮影画像を受信した場合、ネットワークNを介して顔認証装置100に顔情報DB110への顔情報の登録を要求する。
続いて登録部341は、顔認証装置100からネットワークNを介してユーザIDを取得する(S402)。そして登録部341は、要求元のユーザ端末500から、ネットワークNを介してユーザUの属性情報を取得する(S403)。そして登録部341は、ユーザUの属性情報を、登録履歴情報313のユーザ属性情報として、ユーザIDに対応付けて登録する(S404)。続いて、登録部341は、ユーザ属性情報に基づいて外観グループを設定する(S405)。そして登録部341は、外観関連情報316を参照し、外観グループに含まれる外観IDを取得する。続いて、登録部341は、ユーザ端末500に対して、外観グループに含まれる複数の外観IDを送信し、ユーザ端末500に外観IDを選択可能に表示させる(S406)。ユーザUが、ユーザ端末500の表示部540に表示された複数の外観IDのうち、1の外観IDを選択した場合、登録部341は、選択された外観IDをユーザ端末500から取得する(S407)。そして登録部341は、登録履歴情報313に、登録日時、外観グループID、及び選択された外観IDを、ユーザIDに対応付けて登録する(S408)。
図15は、実施形態2にかかる個人認証処理の流れを示すフローチャートである。まず、認証制御部343は、認証端末400からネットワークNを介して撮影画像データを取得する(S411)。次に認証制御部343は、顔認証装置100に対してネットワークNを介して顔認証要求を送信する(S412)。このとき、認証制御部343は、ステップS411で取得した撮影画像データ、撮影画像データに含まれる一部の撮影画像、撮影画像から抽出した顔領域、又は、当該顔領域から抽出した顔特徴情報の少なくともいずれかを顔認証要求に含める。そして、認証制御部343は、顔認証装置100からネットワークNを介して顔認証結果を受信する(S413)。顔認証結果は、顔認証に成功した場合、その旨、ユーザID及び顔領域を特定する情報を含み、顔認証に失敗した場合、その旨を含む。尚、顔認証結果には複数のユーザIDが含まれている場合があり、その場合は、顔認証結果に、各ユーザIDに対応する、顔領域を特定する情報が含まれる。
認証制御部343は、顔認証に成功したユーザIDがあるか否かを判定する(S414)。顔認証に成功したユーザIDがない場合(S414でNo)、認証制御部343は、個人認証に失敗したと判定し、ネットワークNを介して、撮影元の認証端末400に対応するゲート駆動装置600に対してゲートを閉鎖する制御信号を送信する(S415)。そして認証制御部343は、処理を終了する。
一方、顔認証に成功したユーザIDがあると判定した場合(S414でYes)、認証制御部343は、顔認証に成功したユーザIDを特定する(S416)。具体的には、認証制御部343は、顔認証結果に含まれるユーザIDを抽出する。以下では、顔認証結果に含まれるユーザIDが複数ある場合、ユーザID毎にステップS417~419を実行する。
ステップS417において、認証制御部343は、抽出したユーザIDの、最新の登録履歴情報313に含まれる外観IDを取得する。そしてステップS418において、認証制御部343は、外観認証装置200に対して、ネットワークNを介して外観認証要求を送信する(S418)。このとき認証制御部343は、ステップS411で取得した撮影画像データ、撮影画像データに含まれる一部の撮影画像、撮影画像から抽出した検出領域、又は、当該検出領域から抽出した外観特徴情報の少なくともいずれかを、外観認証要求に含める。尚、認証制御部343は、これに加えて、顔領域を特定する情報を、外観認証要求に含めてよい。そして認証制御部343は、外観認証装置200からネットワークNを介して、外観認証結果を受信する(S419)。外観認証結果は、外観認証に成功した又は失敗した旨を含む。また外観認証結果は、外観認証に成功した場合は、ユーザIDを含んでもよい。
認証制御部343は、外観認証に成功したユーザIDがあるか否かを判定する(S420)。外観認証に成功したユーザIDがない場合(S420でNo)、認証制御部343は、個人認証に失敗したと判定し、ネットワークNを介して、撮影元の認証端末400に対応するゲート駆動装置600に対してゲートを閉鎖する制御信号を送信する(S415)。そして認証制御部343は、処理を終了する。一方、外観認証に成功したユーザIDがある場合(S420でYes)、認証制御部343は、個人認証に成功したと判定し、撮影元の認証端末400に対応するゲート駆動装置600に対してゲートを開放する制御信号を送信する(S421)。そして、ステップS422において、認証制御部343は、認証履歴情報314として、ユーザID、撮影日時、ゲートID、認証結果及び失敗理由を登録する。
図16は、実施形態2にかかる外観情報更新処理の流れを示すフローチャートである。登録部341は、上述した所定の更新条件を満たした場合(S431でYes)、ステップS432~435に示す外観情報更新処理を実行する。まず、登録部341は、外観情報を更新する対象のユーザUに対して、外観グループを変更する(S432)。そして登録部341は、外観関連情報316を参照し、変更後の外観グループに含まれる外観IDを取得する。次に登録部341は、ユーザ端末500に対して、外観グループに含まれる外観IDを送信し、ユーザ端末500に外観IDを選択可能に表示させる(S433)。ユーザUが、ユーザ端末500の表示部540に表示された外観IDのうち、1の外観IDを選択した場合、登録部341は、選択された外観IDをユーザ端末500から取得する(S434)。そして登録部341は、登録履歴情報313の外観グループID及び外観IDを、変更後の外観グループID及び新たに選択された外観IDに更新する(S435)。
次に、外観の種別が動作である場合の処理の一例を、図17~24を用いて説明する。図17~24において、外観グループは、動作グループと呼ばれ、外観IDは動作IDと呼ばれ、外観認証は動作認証と呼ばれる。
図17は、実施形態2にかかる登録処理の流れを示すシーケンス図である。
まずユーザ端末500は、情報処理装置300にサービスの利用登録要求を送信する(S500)。また、ユーザ端末500は、ユーザUを撮影し(S501)、撮影画像を含む顔情報登録要求を、ネットワークNを介して顔認証装置100へ送信する(S502)。そして、顔認証装置100は、受信した顔情報登録要求に含まれる撮影画像に基づいて、ユーザUの顔情報(顔特徴情報)を登録する(S503)。そして、顔認証装置100は、ユーザIDをネットワークNを介して情報処理装置300に通知する(S504)。また、ユーザ端末500は、ユーザ属性情報をネットワークNを介して情報処理装置300に送信する(S505)。情報処理装置300は、通知されたユーザID及びユーザ属性情報を、互いに対応付けて登録履歴情報313に登録する(S506)。そして情報処理装置300は、ユーザUに対して動作グループを設定する(S507)。情報処理装置300は、動作グループに含まれる複数の動作IDを、ネットワークNを介してユーザ端末500に送信する(S508)。動作IDを受信したユーザ端末500は、動作IDを表示する(S509)。
ここで、図18は、実施形態2にかかるユーザ端末500の表示の一例を示す図である。ユーザ端末500の表示部540には、「本日の動作を選んでください」というメッセージとともに、動作1~2が選択可能に表示されている。動作1は、「右手を挙げる」という動作IDであり、動作2は、「左手を挙げる」という動作IDである。本図では、ユーザUは、動作2を選択している。
図17に戻り、説明を続ける。ユーザ端末500は、ユーザUからの動作IDの選択操作を受け付け(S510)、選択された動作IDを、ネットワークNを介して情報処理装置300に送信する(S511)。そして情報処理装置300は、ユーザIDと、登録日時、動作グループ、及び動作IDとを対応付けて、登録履歴情報313として登録する(S512)。
図19は、実施形態2にかかる個人認証処理の流れを示すシーケンス図である。まずゲートA1において、認証端末400-1は、ユーザUを撮影し(S520)、撮影画像データ及びゲートIDを、ネットワークNを介して情報処理装置300に送信する(S521)。情報処理装置300は、受信した撮影画像内のユーザUの顔領域に対する顔認証要求を、ネットワークNを介して顔認証装置100へ送信する(S522)。そして、顔認証装置100は、受信した顔認証要求に含まれる撮影画像内のユーザUの顔領域について顔認証を行う(S523)。ここでは、顔認証に成功したユーザIDがあったものとする。顔認証装置100は、顔認証に成功した旨及びユーザIDを含めた顔認証結果を、ネットワークNを介して情報処理装置300へ送信する(S524)。
顔認証結果を受信した情報処理装置300は、顔認証結果に含まれるユーザIDに対応する動作IDを、登録履歴情報313から取得する(S525)。続いて情報処理装置300は、動作ID及び撮影画像データを含めた動作認証要求を、ネットワークNを介して外観認証装置200に送信する(S526)。そして、外観認証装置200は、受信した動作認証要求に含まれる撮影画像データ内のユーザUの検出領域について動作認証を行う(S527)。ここでは、動作認証に成功したユーザIDがあったものとする。外観認証装置200は、動作認証に成功した旨を含めた動作認証結果を、ネットワークNを介して情報処理装置300へ送信する(S528)。動作認証結果を受信した情報処理装置300は、個人認証が成功したと判定し、ゲートA1を制御するゲート駆動装置600に対して開放制御信号を送信する(S529)。これによりゲートA1が開放する(S530)。また、情報処理装置300は、認証履歴情報314を登録する(S531)。そしてユーザUは、ゲートA1を通過(入場)し、ゲートA2に移動する。
尚、情報処理装置300は、同一の撮影画像(フレーム)で顔認証及び動作認証の両方が成功した場合にのみ、個人認証に成功したと判定してよい。具体的には、認証用の顔特徴情報及び認証用の動作特徴情報が、撮影画像データに含まれる同一のフレームに基づいて生成され、顔認証及び動作認証がいずれも成功した場合、情報処理装置300は、個人認証に成功したと判定する。
図20は、実施形態2にかかる個人認証処理の一例を説明するための図である。図20に示すように、顔認証要求に含まれる撮影画像データには、撮影タイミングが異なる撮影画像800-1~3が含まれている。まず顔認証装置100は、撮影画像800-1~3に含まれるユーザU1を検出し、ユーザU1のユーザIDを特定する。ここでは、撮影画像800-1及び800-2について、顔認証が成功したとする。したがって、情報処理装置300は、撮影画像800-1及び800-2について、外観認証装置200に対して動作認証要求を送信する。この動作認証要求には、撮影画像800-1、800-2の各々について、顔認証により特定されたユーザU1の登録用の動作IDと、ユーザU1の顔領域を特定する情報とが含まれてよい。そして外観認証装置200は、撮影画像800-1及び800-2の各々について、ユーザU1の顔領域近傍の検出領域を特定し、検出領域が、所定の動作IDに対応するか否かを判定する。ここで、外観認証装置200は、撮影画像800-2についてのみ、所定の動作IDに対応すると判定したとする。この場合、外観認証装置200は、動作認証に成功した旨の動作認証結果を、情報処理装置300に送信する。動作認証結果を受信した情報処理装置300は、ユーザU1について個人認証が成功したと判定する。尚、撮影画像800-2には、ユーザU1の他に、ユーザU2の顔領域が検出される。したがって、外観認証装置200は、撮影画像800-2については、ユーザU2に対しても動作認証を実施する。しかし撮影画像800-2におけるユーザU2は、検出領域を特定することができず、動作認証は失敗となる。尚、仮に撮影画像800-2におけるユーザU2に対して検出領域が特定され、動作がユーザU1の登録用の動作IDに対応していたとしても、ユーザU2の登録用の動作IDに対応していなければ、外観認証装置200は、動作認証を失敗としてよい。
このように同一のフレームで顔認証及び動作認証の両方が成功した場合にのみ、個人認証が成功したと判定することで、個人認証のセキュリティレベルを向上させ、適切に個人認証を実施することができる。尚、顔認証が成功した顔領域に基づいて動作認証の検出領域が定められるため、周囲に人がいる状況下でも、誤認証を生じにくい。
これに代えて、情報処理装置300は、同じ撮影画像データ中で、顔認証が成功したフレームと、動作認証が成功したフレームとが異なっている場合でも、個人認証が成功したと判定してもよい。図21は、実施形態2にかかる個人認証処理の一例を説明するための図である。図21に示すように、顔認証要求に含まれる撮影画像データには、撮影画像810-1~3が含まれている。そして撮影画像810-1では、顔認証に成功し、撮影画像810-2及び810-3では、顔認証に失敗している。ここで、情報処理装置300は、撮影画像810-1と撮影画像810-2との間の撮影間隔(フレームレート)から移動距離を計算し、撮影画像810-1におけるユーザU1が、撮影画像810-2におけるユーザU1と同一人物であると判定する。したがって、情報処理装置300は、撮影画像800-2についても、外観認証装置200に対して動作認証要求を送信する。この動作認証要求には、撮影画像810-1の顔認証により特定されたユーザU1の登録用の動作IDと、撮影画像810-2におけるユーザU1の顔領域を特定する情報とが含まれてよい。外観認証装置200は、撮影画像800-2について動作認証を実施し、検出領域が動作認証要求に含まれる動作IDに対応するか否かを判定する。ここでは、外観認証装置200が、撮影画像800-2の検出領域が動作認証要求に含まれる動作IDに対応すると判定したとする。この場合、外観認証装置200は、動作認証が成功した旨の動作認証結果を、情報処理装置300に送信する。これにより情報処理装置300は、個人認証が成功したと判定する。
このように、同じ撮影画像データ中の複数のフレームにおける顔認証結果及び動作認証結果の組み合わせで、個人認証が成功するか否かを判定することで、適切に個人認証が実施できる。例えばウォークスルーで個人認証を行う場合において、一部のフレームにおいて被写体の一部が明瞭にとらえられなかった場合でも、適切に個人認証が実施できる。尚、一度顔認証に成功したユーザUがトラッキングされ、同一人物であると判定されたユーザUの顔領域に基づいて動作認証の検出領域が定められるため、周囲に人がいる状況下でも誤認証を生じにくい。
また、動作IDが複数の動作(個別動作と呼ぶ)の組み合わせを示すものである場合、撮影画像データに、顔認証に成功し、かつ個別動作認証に成功したフレームが個別動作毎に存在するときに、情報処理装置300は、個人認証が成功したと判定してよい。図22は、実施形態2にかかる個人認証処理の一例を説明するための図である。
例えばユーザU1の登録用の動作IDは、第1の個別動作→第2の個別動作→第3の個別動作を示すものとする。図22に示すように、顔認証要求に含まれる撮影画像データには、撮影画像820-1~3が含まれている。撮影画像820-1は、顔認証に成功し、かつ第1の個別動作の認証に成功したフレーム(第1のフレーム)である。撮影画像820-2は、顔認証に成功し、かつ第2の個別動作の認証に成功したフレーム(第2のフレーム)である。また撮影画像820-3は、顔認証に成功し、かつ第3の個別動作の認証に成功したフレーム(第3のフレーム)である。情報処理装置300は、撮影画像データに第1~第3のフレームが含まれていた場合、個人認証が成功したと判定してよい。尚、情報処理装置300は、本例のように個別動作の順番が決まっている場合、撮影順番が第1のフレーム→第2のフレーム→第3のフレームの順である場合に、個人認証が成功したと判定してよい。
図23は、実施形態2にかかる更新処理の流れを示すシーケンス図である。情報処理装置300は、所定の更新条件を満たした場合、ユーザUに対して動作グループを変更する(S540)。そして情報処理装置300は、変更後の動作グループに含まれる動作IDに含まれる動作IDを、ネットワークNを介してユーザ端末500に送信する(S541)。動作IDを受信したユーザ端末500は、動作IDを表示する(S542)。
ここで、図24は、実施形態2にかかるユーザ端末500の表示の一例を示す図である。例えば、ユーザ端末500の表示部540には、動作IDが表示される前に、本図に示すように、「動作を変更してください」というメッセージが表示されてよい。そしてその後、ユーザ端末500の表示部540には、図18と同様の画面が表示されてよい。
図23に戻り、説明を続ける。ユーザ端末500は、ユーザUからの動作IDの選択操作を受け付け(S543)、選択された動作IDを、ネットワークNを介して情報処理装置300に送信する(S544)。そして情報処理装置300は、ユーザIDと、更新日時、動作グループ、及び動作IDとを対応付けた情報を登録履歴情報313として新たに登録し、登録履歴情報313を更新する(S545)。そしてユーザUがゲートA2に移動した場合、図19のステップS520~531に示す処理と同様の処理が行われる。
このように実施形態2によれば、情報処理装置300は、画像認識を用いて顔認証及び外観認証の多要素認証を実施し、所定の更新条件を満たした場合、外観認証に使用する登録用の外観情報を更新する。したがって、多要素認証により認証精度を高めつつ、外観情報という個人情報が漏洩して悪用されるリスクを軽減してセキュリティレベルを高めることができる。これは、周囲に人がいる駅の改札やテーマパークの入退場ゲートで個人認証を行う場合に、特に効果を奏する。尚、更新条件の種別に応じて外観情報の更新態様を変えることで、状況に応じて適切な個人認証を実施できる。
<実施形態3>
次に、本開示の実施形態3について説明する。実施形態2では、情報処理装置300は、顔認証結果及び1の外観認証結果に基づいて、個人認証を実施した。すなわち、個人認証は、2要素認証であった。しかし実施形態3では、情報処理装置300は、顔認証結果及び複数の外観認証結果に基づいて、個人認証を実施することができる。以下では、個人認証において最大2種類の外観認証が実施可能であるとして、つまり、最大3要素認証が可能であるとして、説明する。しかし外観認証の種別数(要素数)はこれに限らない。外観認証の種別(要素の種別)は、認証対象となる外観情報の種別であり、例えば動作や服装が挙げられる。
図25は、実施形態3にかかる外観認証装置200aの構成を示すブロック図である。外観認証装置200aは、外観認証装置200と基本的に同様の構成及び機能を有する。ただし外観認証装置200aは、外観情報DB210に代えて、第1外観情報DB210-1及び第2外観情報DB210-2を有する。第1外観情報DB210-1及び第2外観情報DB210-2は、外観情報DB210と同様のデータ構造を有してよいが、互いに要素の種別が異なる。例えば第1外観情報DB210-1は、動作情報を格納し、第2外観情報DB210-2は、服装情報を記憶する。具体的には、第1外観情報DB210-1は、動作情報として、第1外観ID211-1と、これに対応する第1外観特徴情報212-1とを記憶する。また、第2外観情報DB210-2は、服装情報として、第2外観ID211-2と、これに対応する第2外観特徴情報212-2とを記憶する。
また外観認証装置200aは、検出部220a、特徴点抽出部230a、登録部240a及び認証部250aを備える。検出部220a、特徴点抽出部230a、登録部240a及び認証部250aは、検出部220、特徴点抽出部230、登録部240及び認証部250と基本的に同様に機能する。ただし、登録部240aは、要素種別に対応する外観情報DB210に、外観IDと外観特徴情報とを登録する。また外観認証装置200aが情報処理装置300から、要素種別を示す情報を含む外観認証要求を受信した場合、検出部220a、特徴点抽出部230a及び認証部250aは、要素種別に対応する外観情報DB210を用いて、前述した各種処理を実行する。
図26は、実施形態3にかかる外観認証処理の流れを示すフローチャートである。まず、検出部220aは、情報処理装置300からネットワークNを介して外観認証要求を取得する(S51a)。このとき外観認証要求は、撮影画像データと、顔認証により特定されたユーザUの、要素種別毎の登録用の外観IDとが含まれる。そして外観認証装置200aは、要素種別毎に、図8のステップS52~57に対応するステップS52a~57aの処理を繰り返す。尚、ステップS56aにおいては、認証部250aは、ユーザIDに対応付けて、外観認証に成功した旨と、外観IDとを情報処理装置300に送信してよい。
図27は、実施形態3にかかる登録履歴情報313のデータ構造の一例を示す図である。実施形態3にかかる情報処理装置300の記憶部310の登録履歴情報313には、要素種別毎に、外観情報が記録可能になっている。つまり、登録履歴情報313には、要素種別毎に外観グループID及び外観IDのフィールドが設定されている。情報処理装置300の登録部341は、要素種別数、つまり要素数と、その要素種別とを、ユーザUごとに設定し、設定された要素種別に応じた外観グループID及び外観IDを、登録履歴情報313に記録する。例えばユーザU1には、外観情報として、動作情報(第1外観情報)及び服装情報(第2外観情報)が登録されている。したがって、認証制御部343は、顔認証結果及び第1外観認証結果に加えて、第2外観認証結果に基づいて、ユーザU1の個人認証を行う。一方、ユーザU2には、外観情報として動作情報(第1外観情報)のみが登録されている。したがって、認証制御部343は、顔認証結果及び第1外観認証結果に基づいて、ユーザU2の個人認証を行う。
ここで、実施形態3にかかる情報処理装置300の登録部341は、所定の要素数追加条件を満たす場合、そのユーザUに対して既に登録されている登録用の外観情報とは異なる要素種別の、所定数の外観情報を追加する。例えば登録部341は、各ユーザUについて、所定の要素数追加条件を満たす場合、そのユーザUに対して、登録用の第1外観情報とは異なる要素種別の登録用の第2外観情報を追加登録する。所定の要素数追加条件とは、ユーザUが利用する予定のゲートの利用者予測数が所定数以上であることであってよい。あるいは、所定の要素数追加条件とは、ユーザUの個人認証の失敗率が所定閾値以上であることであってよい。情報処理装置300は、所定の要素数追加条件を満たす場合、ユーザUのユーザ端末500に対して、外観情報の追加登録をする旨を通知してよい。
尚、登録部341は、所定の要素数削減条件を満たす場合、そのユーザUに対して登録されている登録用の複数の外観情報の中から、所定数の外観情報を削除する。例えば登録部341は、各ユーザUについて、所定の要素数削減条件を満たす場合、そのユーザUに対して登録されている登録用の第1外観情報及び第2外観情報のうち、いずれかを削除する。所定の要素数削減条件とは、ユーザUが利用するゲートの利用者予測数が所定数未満であることであってよい。あるいは、所定の要素数削減条件とは、ユーザUの個人認証の失敗率が所定閾値未満であることであってよい。尚、登録部341は、各ユーザUについて、所定の要素数削減条件を満たす場合、そのユーザUに対して登録されている登録用の外観情報の全てを削除してよい。つまり、所定の要素数削減条件を満たすユーザUがゲートを通過する場合は、外観認証が省略され、顔認証のみが要求されてよい。したがって情報処理装置300は、所定の要素数削減条件を満たす場合、ユーザUのユーザ端末500に対して、外観認証が省略される旨を通知してよい。
図28は、実施形態3にかかる要素数追加処理の流れを示すフローチャートである。登録部341は、上述した要素数追加条件を満たした場合(S601でYes)、ステップS602以降の処理を実行する。ステップS602において、登録部341は、追加要素数と、追加する要素種別とを決定する。次に、登録部341は、追加する要素種別毎に、ステップS603~606に示す処理を繰り返す。ステップS603~606に示す処理は、図16のステップS432~435に示す処理と同様であるため、説明を省略する。
図29は、実施形態3にかかる個人認証処理の流れを示すフローチャートである。図29に示すステップは、図15のステップS417~420に代えて、ステップS417a~420aを含む。
認証制御部343は、顔認証に成功したユーザIDを特定したことに応じて(S416)、そのユーザUの最新の登録履歴情報313を参照し、登録用の外観IDの要素種別毎に、ステップS417a~419aに示す処理を繰り返す。ステップS417a~419aは、ステップS417~419に対応する。そして認証制御部343は、登録用の外観IDが登録されている全要素種別に対応する外観認証に成功したユーザIDがあるか否かを判定する(S420a)。認証制御部343は、ユーザIDがある場合(S420aでYes)、処理をステップS421に進め、そうでない場合(S420aでNo)、処理をステップS415に進める。以降は、図15と同様である。
このように、実施形態3によれば、条件を満たした場合、外観認証の要素数を変更するため、状況に応じて適切な認証精度、認証速度及びセキュリティレベルを担保することができる。
なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施形態2~3では、情報処理装置300の登録部341は、登録時又は更新時に、ユーザUに対して外観グループを設定し、複数の外観情報の中から登録用の外観情報を選択させた。しかしこれに代えて、登録部341は、登録時又は更新時に、ユーザUに対して登録用の外観情報を自動設定してよい。つまり、ユーザUが登録用の外観情報を選択可能としなくてよい。そして、情報処理装置300は、ユーザ端末500に対して、自動設定した登録用の外観情報を送信し、ユーザ端末500の表示部540に「この動作をしてください」というメッセージとともに登録用の外観情報を表示させてよい。またこれに代えて、登録部341は、外観情報を登録するために撮影されたユーザUの撮影画像に基づいて、ユーザUの外観情報を登録又は更新してもよい。一例として、ユーザUの玄関先にカメラを設置しておき、ユーザUが出かける場合にユーザUの服装を撮影し、撮影画像を情報処理装置300に送信する。情報処理装置300は、撮影画像に基づいて、ユーザUの服装情報を推定し、これを登録履歴情報313に登録する。
また、ユーザUが任意のゲートに近づいた場合に、情報処理装置300は、ユーザ端末500に対して登録用の外観情報を通知してよい。例えば情報処理装置300は、ユーザ端末500の位置情報を所定間隔で取得し、ユーザ端末500と任意のゲートとの間の距離が所定距離未満となった場合に、ユーザUが任意のゲートに近づいたと判定してよい。ユーザ端末500の位置情報は、一例としてGPS(Global Positioning System)受信機から取得したGPS情報である。また、ユーザ端末500が、自己と任意のゲートとの間の距離が所定距離未満となった場合に、情報処理装置300に対して登録用の外観情報の更新を要求し、情報処理装置300から、更新された登録用の外観情報を取得してよい。また、ユーザUは、利用予定のゲート又は利用予定のゲートが設置された駅やイベント会場に近づいた場合に、情報処理装置300は、ユーザ端末500に対して登録用の外観情報を通知してよい。例えば情報処理装置300は、ユーザ端末500と、利用予定のゲート又は駅やイベント会場と、の間の距離が所定距離未満となった場合に、ユーザUが利用予定のゲートに近づいたと判定してよい。
また、ユーザUがユーザ端末500を介して、情報処理装置300に対して、登録用の外観情報の登録要求又は更新要求を送信してもよい。情報処理装置300は、外観情報の登録要求又は更新要求に応じて、登録要求又は更新要求に係る外観情報を、ユーザUの登録用の外観情報として登録又は更新する。尚、情報処理装置300は、外観情報の登録要求又は更新要求に応じてユーザUの登録用の外観情報を登録又は更新した場合、登録用の外観情報が類似する又は同じ他のユーザUが存在するとき、登録用の外観情報を異なる外観情報に更新してよい。例えば、情報処理装置300は、ユーザUの登録要求に応じて登録用の外観情報を登録した場合、登録用の外観情報が類似するユーザがいるか否かを判定する。そして情報処理装置300は、登録用の外観情報が類似するユーザがいる場合又は類似するユーザが所定数以上である場合、登録用の外観情報と異なる外観情報を、「服装(又は動作)が類似するユーザが複数人います。この服装(又は動作)に変更してください。」という理由を示すメッセージとともにユーザ端末500に表示させる。このとき情報処理装置300は、表示にかかる外観情報を、登録用の外観情報として自動更新してもよいし、ユーザ端末500から承諾の旨のメッセージを受信したことに応じて更新してもよい。上述の登録用の外観情報の更新は、登録用の顔情報が類似するユーザUが存在する場合や、登録用の顔情報が類似するユーザUが存在する場合であって、かつ登録用の外観情報が類似する又は同じ他のユーザUが存在する場合でも同様である。例えば、情報処理装置300は、ユーザUの登録要求に応じて登録用の外観情報を登録した場合、登録用の顔情報が類似するユーザであって、登録用の外観情報が類似するユーザがいるか否かを判定する。そして情報処理装置300は、登録用の顔情報が類似するユーザの登録用の外観情報と異なる外観情報を、「類似する顔で、服装(又は動作)が類似するユーザがいます。この服装(又は動作)に変更してください。」という理由を示すメッセージとともにユーザ端末500に表示させる。またこの場合、情報処理装置300は、ユーザUの登録用の外観情報を、登録用の顔情報及び外観情報の少なくとも一方が類似するユーザと異なる登録用の外観情報の要素種別の外観情報に更新してもよい。例えば、情報処理装置300は、ユーザUと服装情報が類似する他のユーザがいる場合、登録用の外観情報を動作情報に更新させる。このとき情報処理装置300は、「類似する顔で、服装情報を認証時に使用しているユーザがいます。認証時に使用する要素を、服装から、この動作に変更してください。」というメッセージとともに、動作情報をユーザ端末500に表示させる。
尚、情報処理装置300は、ポイントシステムと連携し、各ユーザUに対応付けて、ポイントを記憶してよい。ポイントは、店舗や交通機関において利用可能であり、例えば商品に交換したり、代金に充当可能である。そして情報処理装置300は、ユーザUがゲートにおいて個人認証が成功した場合、そのユーザUのポイントを、所定量加算してよい。また情報処理装置300は、ユーザUが事前に外観情報を登録しており(事前登録)、ユーザUがゲートにおいて個人認証が成功した場合に、そのユーザUのポイントを、所定量加算してもよい。事前登録は、ユーザUが、自ら事前に登録用の外観情報の登録要求をし、そして登録用の外観情報が登録されていた場合、及び情報処理装置300が事前にユーザUに登録を要求し、そしてユーザUが登録用の外観情報を情報処理装置300に提供した場合を含んでよい。また、情報処理装置300は、ユーザUが事前登録し、かつユーザUがゲートにおいて個人認証が成功した場合に、そのユーザUのポイントを、事前登録されていなかった場合と比べて所定量多く加算してもよい。このようにインセンティブを与えることにより、サービスの利用を促進できる。尚、インセンティブは、ポイントに限らず、任意の特典であってよい。
また、上述の実施形態2~3では、顔認証装置100及び外観認証装置200,200aは、情報処理装置300とネットワークNを介して接続されていた。しかしこれに代えて、顔認証装置100及び外観認証装置200の機能の一部又は全部は、情報処理装置300に含まれていてもよい。したがって、顔情報登録処理、顔認証処理及び外観認証処理の少なくとも1つは、情報処理装置300において行われてよい。
上述の実施形態1~3では、情報処理装置は、第1の判定結果として、顔認証結果を用いた。しかし情報処理装置は、顔認証結果に代えて又は加えて、その他の生体認証結果を用いてもよい。この場合、その他の生体認証は、カメラで取得可能な生体情報を用いた生体認証であり、例えば虹彩認証、手のひら認証、指紋認証、人型認証又は骨格認証であってよい。また、例えば首にぶら下げたカードに記載されたQRコード(登録商標)による生体認証などであってもよい。この場合、上述の説明の「顔認証」は、「生体認証」と、「顔情報」又は「顔特徴情報」は、「生体情報」又は「生体特徴情報」と、「顔画像」は「生体画像」と、「顔認証装置」は「生体認証装置」と、読み替えられてよい。
尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。
上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
各登録対象者について、登録用の顔情報に対応付けて登録用の第1外観情報を登録し、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する登録部と、
認証対象者を撮影した撮影画像データを取得する取得部と、
前記撮影画像データに基づいて生成される認証用の顔情報が、前記登録用の顔情報に対応するか否かを示す第1の判定結果と、前記撮影画像データに基づいて生成される認証用の第1外観情報が、前記登録用の第1外観情報に対応するか否かを示す第2の判定結果とに基づいて、前記認証対象者の個人認証を行う認証制御部と、
前記個人認証に成功した場合、ゲートの通過を許可するゲート制御部と
を備える情報処理装置。
(付記2)
前記第1外観情報は、動作を示す動作情報又は服装を示す服装情報である
付記1に記載の情報処理装置。
(付記3)
前記第1外観情報は、動作情報であり、
前記撮影画像データは、複数のフレームを含み、
前記認証用の顔情報及び前記認証用の第1外観情報は、前記撮影画像データに含まれる同一のフレームに基づいて生成される
付記1または2に記載の情報処理装置。
(付記4)
前記登録部は、登録対象者が利用する予定のゲートの種別が変更したことに応じて、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する
付記1から3のいずれか一項に記載の情報処理装置。
(付記5)
前記登録部は、登録対象者がゲートを通過したことに応じて、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する
付記1から4のいずれか一項に記載の情報処理装置。
(付記6)
前記登録部は、登録対象者が利用する予定のゲートの利用者予測数が所定数以上変化した場合、その登録対象者の、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する
付記1から5のいずれか一項に記載の情報処理装置。
(付記7)
前記登録部は、個人認証の失敗率が所定閾値以上である登録対象者について、その登録対象者の登録用の顔情報に対応付けられた登録用の第1外観情報を更新する
付記1から6のいずれか一項に記載の情報処理装置。
(付記8)
前記登録部は、所定期間経過した場合、各登録対象者について、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する
付記1から7のいずれか一項に記載の情報処理装置。
(付記9)
前記登録部は、各登録対象者について、登録対象者の属性情報に基づいて、登録用の第1外観情報を設定する
付記1から8のいずれか一項に記載の情報処理装置。
(付記10)
前記登録部は、各登録対象者について、他の登録対象者との間の登録用の顔情報の類似度が所定閾値以上である場合、その登録対象者の登録用の第1外観情報を、前記他の登録対象者に対応する登録用の第1外観情報と異なる第1外観情報に設定する
付記1から9のいずれか一項に記載の情報処理装置。
(付記11)
前記登録部は、
各登録対象者について、複数の第1外観情報から構成される第1外観情報群を設定し、
前記第1外観情報群から選択された第1外観情報を、登録用の第1外観情報として、登録用の顔情報に対応付けて登録し、
前記所定条件を満たした登録対象者について、複数の第1外観情報から構成される第1外観情報群を変更し、
前記登録用の第1外観情報を、変更した前記第1外観情報群から選択された第1外観情報に更新する
付記1から10のいずれか一項に記載の情報処理装置。
(付記12)
前記登録部は、前記所定条件を満たした登録対象者に対応する前記第1外観情報群を、含まれる第1外観情報の数が、設定されている前記第1外観情報群よりも多い第1外観情報群に変更し、
前記登録用の第1外観情報を、変更した前記第1外観情報群から選択された第1外観情報に更新する
付記1から11に記載の情報処理装置。
(付記13)
前記登録部は、前記第1外観情報群に含まれる第1外観情報の各々を、前記登録対象者の使用する端末に、前記登録対象者が選択可能に表示させる
付記11または12に記載の情報処理装置。
(付記14)
前記登録部は、各登録対象者について、所定条件を満たす場合、その登録対象者に対して、登録用の顔情報に対応付けて、登録用の第1外観情報とは異なる登録用の第2外観情報を追加登録し、
前記認証制御部は、前記第1の判定結果及び前記第2の判定結果に加えて、前記撮影画像データに基づいて生成される認証用の第2外観情報が、前記登録用の第2外観情報に対応するか否かを示す第3の判定結果に基づいて、前記認証対象者の個人認証を行う
付記1から13のいずれか一項に記載の情報処理装置。
(付記15)
前記登録部は、登録対象者が利用する予定のゲートの利用者予測数が所定数以上である場合、その登録対象者に対して、登録用の顔情報に対応付けて、登録用の第1外観情報とは異なる登録用の第2外観情報を追加登録する
付記14に記載の情報処理装置。
(付記16)
前記登録部は、個人認証の失敗率が所定閾値以上の登録対象者に対して、登録用の第1外観情報とは異なる登録用の第2外観情報を、登録用の顔情報に対応付けて追加登録する
付記14又は15に記載の情報処理装置。
(付記17)
認証対象者を撮影した撮影画像を生成する認証端末と、
前記認証端末と通信可能に接続される情報処理装置と
を備え、
前記情報処理装置は、
各登録対象者について、登録用の顔情報に対応付けて登録用の第1外観情報を登録し、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する登録部と、
前記認証対象者を撮影した撮影画像データを取得する取得部と、
前記撮影画像データに基づいて生成される認証用の顔情報が、前記登録用の顔情報に対応するか否かを示す第1の判定結果と、前記撮影画像データに基づいて生成される認証用の第1外観情報が、前記登録用の第1外観情報に対応するか否かを示す第2の判定結果とに基づいて、前記認証対象者の個人認証を行う認証制御部と、
前記個人認証に成功した場合、ゲートの通過を許可するゲート制御部と
を有する
情報処理システム。
(付記18)
前記第1外観情報は、動作情報であり、
前記撮影画像データは、複数のフレームを含み、
前記認証用の顔情報及び前記認証用の第1外観情報は、前記撮影画像データに含まれる同一のフレームに基づいて生成される
付記17に記載の情報処理システム。
(付記19)
各登録対象者について、登録用の顔情報に対応付けて登録用の第1外観情報を登録する段階と、
認証対象者を撮影した撮影画像データを取得する段階と、
前記撮影画像データに基づいて生成される認証用の顔情報が、前記登録用の顔情報に対応するか否かを示す第1の判定結果と、前記撮影画像データに基づいて生成される認証用の第1外観情報が、前記登録用の第1外観情報に対応するか否かを示す第2の判定結果とに基づいて、前記認証対象者の個人認証を行う段階と、
前記個人認証に成功した場合、ゲートの通過を許可する段階と、
各登録対象者について、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する段階と
を備える情報処理方法。
(付記20)
コンピュータに、
各登録対象者について、登録用の顔情報に対応付けて登録用の第1外観情報を登録する処理と、
認証対象者を撮影した撮影画像データを取得する処理と、
前記撮影画像データに基づいて生成される認証用の顔情報が、前記登録用の顔情報に対応するか否かを示す第1の判定結果と、前記撮影画像データに基づいて生成される認証用の第1外観情報が、前記登録用の第1外観情報に対応するか否かを示す第2の判定結果とに基づいて、前記認証対象者の個人認証を行う処理と、
前記個人認証に成功した場合、ゲートの通過を許可する処理と、
各登録対象者について、所定条件を満たす場合、登録用の顔情報に対応付けられた登録用の第1外観情報を更新する処理と
を実行させるためのプログラム。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2021年2月25日に出願された日本出願特願2021-029274を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本実施形態にかかる情報処理装置及び情報処理システムは、例えば入退場ゲートにおける人の出入りを管理するために利用可能である。