JP7272418B2 - なりすまし検知装置、なりすまし検知方法、及びプログラム - Google Patents

なりすまし検知装置、なりすまし検知方法、及びプログラム Download PDF

Info

Publication number
JP7272418B2
JP7272418B2 JP2021211347A JP2021211347A JP7272418B2 JP 7272418 B2 JP7272418 B2 JP 7272418B2 JP 2021211347 A JP2021211347 A JP 2021211347A JP 2021211347 A JP2021211347 A JP 2021211347A JP 7272418 B2 JP7272418 B2 JP 7272418B2
Authority
JP
Japan
Prior art keywords
face
subject
image frame
information
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021211347A
Other languages
English (en)
Other versions
JP2022031456A (ja
Inventor
章記 海老原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020501932A external-priority patent/JP7004059B2/ja
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2021211347A priority Critical patent/JP7272418B2/ja
Publication of JP2022031456A publication Critical patent/JP2022031456A/ja
Application granted granted Critical
Publication of JP7272418B2 publication Critical patent/JP7272418B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)
  • Image Input (AREA)

Description

本発明は、顔認証時のなりすましを検知するための、なりすまし検知装置、及びなりすまし検知方法に関し、更には、これらを実現するためのプログラムに関する。
顔認証をはじめとする、生体認証技術を利用したログインシステムは、パスワードを利用したログインシステムと異なり、パスワードの記憶及び管理の負担がないという利点を有している。
但し、生体認証技術を利用したログインシステムでは、パスワードを利用したログインシステムと異なり、本人が正しくシステムを使用していても、認証エラーが起こる可能性がある。更に、生体認証技術を利用したログインシステムでは、誤って第三者を本人と認識してしまう可能性、悪意を持った第三者が本人の画像又は動画を用いて認証を試みたときに認証されてしまう可能性もある。
このため、生体認証技術を利用したログインシステムでは、セキュリティの観点から、本人でない第三者による、このような偽装（なりすまし）ログインは大きな問題となっており、なりすましを防ぐための検知技術の需要が高まっている。
特に、モバイル端末上のアプリケーションプログラムによるログインにおいて、顔認証を利用する場合には、モバイル端末に搭載されているハードウェアが限られているため、なりすまし対策は、一般的に、より困難なものとなる。例えば、顔認証におけるなりすまし検知システムに用いられる技術としては、赤外線カメラのような特殊センサを用いる技術、複数台のカメラで別方向から撮影を行う技術、フォーカス切り替えを行って顔の奥行きを測る技術等が挙げられる。
しかし、これらの技術を用いるために必要なハードウェアを搭載しているモバイル端末は、現在のところ、一般的ではない。顔認証時のなりすまし検知に使用可能なハードウェアのうち、多くのモバイル端末が具備しているハードウェアとしては、ユーザ側に向いたインカメラと、それに付随して設けられた発光装置（フラッシュ）とがある。このため、これらを利用して、なりすましを検知する技術が提案されている（例えば、特許文献１参照）。
具体的には、特許文献１は、本物の人間の顔ならば、カメラのフラッシュが、瞳の虹彩領域に鏡面反射し、結果、輝点として画像に映るが、写真又はディスプレイ上の画像の顔では同現象が起こらないことを利用した、なりすまし検知装置を開示している。
特許文献１に開示された、なりすまし検知装置は、まず、フラッシュ点灯時に撮影した画像と、フラッシュ消灯時に撮影した画像とを比較して、前者における輝点の部分を抽出する。次いで、なりすまし検知装置は、抽出した部分の特徴量を求め、求めた特徴量と、予め撮影されているリファレンス画像から求めた特徴量とを対比することによって、なりすましの検知を行う。
特許第４６０９２５３号
ところで、瞳の虹彩領域での鏡面反射によって形成される輝点には、位置依存性があり、輝点は、画像の撮影条件によって変化してしまう。言い換えると、一般的に、発光装置、眼球、及びカメラの空間上の位置といった条件に応じて、輝点が観測される場所は変化する。この結果、撮影時におけるモバイル端末と顔との位置関係によって、輝点の部分の特徴量も変化してしまい、なりすまし検知の精度が低下してしまう。
このため、特許文献１に開示された、なりすまし検知装置は、輝点の位置依存性を解消すべく、眼球においてフラッシュからの光の鏡面反射が発生する位置を推定し、推定結果を用いて、輝点の部分の特徴量の補正を行っている。
具体的には、なりすまし検知装置は、まず、瞳の虹彩部分を特定し、特定した虹彩部分の楕円形状から瞳の注視方向を推定する。次いで、なりすまし検知装置は、予め取得しているカメラの位置情報と、推定した注視方向とに基づいて、フラッシュによって輝点が発生する位置を推定し、推定結果に基づいて、輝点の部分の特徴量を補正する。
しかしながら、実際には、輝点の位置がずれしまった場合の特徴量を、輝点の位置がずれなかった場合の特徴量と同じになるように補正することは、特徴量の性質上、困難である。このため、特許文献１に開示された、なりすまし検知装置では、撮影時におけるモバイル端末と顔との位置関係によって、輝点の部分の特徴量が変化した場合に、なりすまし検知の精度低下を抑制することは困難である。
本発明の目的の一例は、上記課題を解消し、顔認証の際に、反射輝点の位置依存性に影響されることなく、なりすまし検知を実行しうる、なりすまし検知装置、なりすまし検知方法、及びプログラムを提供することにある。
上記目的を達成するため、本発明の一側面におけるなりすまし検知装置は、
撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、顔画像取得部と、
前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、顔情報抽出部と、
前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、特徴量算出部と、
前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、なりすまし判定部と、を備えている、
ことを特徴とする。
また、上記目的を達成するため、本発明の一側面におけるなりすまし検知方法は、
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を有する、
ことを特徴とする。
また、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を実行させる命令を含む、
ことを特徴とする。
以上のように本発明によれば、顔認証の際に、反射輝点の位置依存性に影響されることなく、なりすまし検知を実行することができる。
図１は、本発明において、瞳の虹彩領域での反射によって形成された輝点を抽出する手法の一例を示す説明図である。 図２は、本発明によって算出される特徴量と従来手法によって算出される特徴量とを比較して示す説明図である。 図３は、本発明の実施の形態１におけるなりすまし検知装置の構成を示すブロック図である。 図４は、本発明の実施の形態１によって得られた特徴量の一例を示す図である。 図５は、本発明の実施の形態１における、なりすまし検知装置の動作を示すフロー図である。 図６は、本発明の実施の形態２におけるなりすまし検知装置の構成を示すブロック図である。 図７は、本発明の実施の形態２における、なりすまし検知装置の動作を示すフロー図である。 図８は、本発明の実施の形態３における、なりすまし検知装置の動作を示すフロー図である。 図９は、本実施の形態３において、虹彩領域から算出された特徴量と顔領域から算出された特徴量との一例を示す図である。 図１０は、本発明の実施の形態１～３における、なりすまし検知装置を実現するコンピュータの一例を示すブロック図である。
（発明の概要）
まず、本発明の実施の形態を説明する前に、本発明の概要について説明する。上述のように、瞳の虹彩領域での反射によって形成された輝点の位置は、フラッシュからの光の虹彩領域への入射角、対象者の顔の向きによって変化してしまう。このため、背景技術の欄に記載した特許文献１においては、輝点の位置を予測し、予測した輝点の位置に基づいてなりすましを検知している。これに対して、本発明では、後述するように、位置依存性を解消した特徴量が用いられる。
ここで、図１及び図２を参照して、本発明における、フラッシュ点灯中、及び、フラッシュ消灯中に撮影された画像から、位置依存を解消した特徴量を計算する方法を、従来からの特徴量の計算方法と対比して説明する。図１は、本発明において、瞳の虹彩領域での反射によって形成された輝点を抽出する手法の一例を示す説明図である。図２は、本発明によって算出される特徴量と従来手法によって算出される特徴量とを比較して示す説明図である。
まず、図１の上段に示すように、ユーザ１０１は、自身の顔を、フラッシュ点灯中のカメラ付きの端末装置１０２によって、少なくとも１回撮影を行い、更に、フラッシュ消灯中のカメラ付きの端末装置１０３によっても、少なくとも１回撮影を行う。本発明では、これらの撮影によって得られた各画像から、輝点部分を抽出し、抽出した輝点部分における特徴量が計算される。
図１において、画像１０５は、フラッシュ点灯中の画像を示し、画像１０６は、フラッシュ消灯中の画像を示している。本発明では、両者を比較することで、輝点の部分が抽出され、抽出された部分について特徴量が計算される。また、本発明では、輝点の部分が抽出できた場合は、画像１０５及び１０６に映っている顔は、真の人の顔であると判定される。一方、輝点の部分が抽出できなかった場合は、画像１０５及び１０６に映っている顔は、偽の顔であると判定される。
ところが、上述のようにフラッシュ反射で形成された輝点の位置は、撮影条件によって変化する。このため、図２の左側の画像２０１及び２０２に示すように、同じ真の顔であっても、輝点の位置がずれてしまう可能性がある。そして、輝点の位置がずれてしまうと、画像を１次元ベクトルの特徴量に変換した場合に、異なる特徴量が算出されてしまう。
図２の中央に示す特徴量２０３は、画像２０１から算出され、特徴量２０４は、画像２０２から算出されている。特徴量２０３と特徴量２０４とは、位置のみが違う輝点から算出されているが、両者の類似度は低いものとなっている。そして、この類似度の低下は、判別精度の低下を招いてしまう。但し、特徴量２０３と特徴量２０４は、共に、本物の顔と判定されるべき特徴量である。上述したように、特許文献１に開示された、なりすまし検知装置は、この問題を、輝点の位置を予測し、予測結果に基づいて特徴量を補正することによって対処している。
これに対して、本発明では、ある程度の不確かさが伴う輝点位置の予測を行う代わりに、図２の右側に示す特徴量２０５と特徴量２０６とが算出される。特徴量２０５と特徴量２０６とは、輝点の位置に依存しない特徴量である。従って、本発明によれば、環境変化に対して頑健な、なりすまし検知を、より容易に、且つ、より正確に行うことができる。
以下、本発明の実施の形態について説明する。なお、以下の記載及び図面は、説明の明確化のため、適宜、省略及び簡略化が為されている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。また、各実施の形態で示す具体的な数値などは、発明の理解を容易とするための例示に過ぎず、これに限定されるものではない。
（実施の形態１）
以下、本発明の実施の形態１における、なりすまし検知装置、なりすまし検知方法、及びプログラムについて、図３～図５を参照しながら説明する。
［装置構成］
最初に、図３を用いて、本実施の形態１におけるなりすまし検知装置の構成について説明する。図３は、本発明の実施の形態１におけるなりすまし検知装置の構成を示すブロック図である。
図３に示す、本実施の形態１における、なりすまし検知装置３００は、顔認証時のなりすましを検知するための装置である。図１に示すように、なりすまし検知装置３００は、顔画像取得部３０１と、顔情報抽出部３０２と、特徴量算出部３０３と、なりすまし判定部３０４とを備えている。
顔画像取得部３０１は、撮像装置３１０から、それに付随する発光装置３２０によって発光が行われた際の対象者の顔を含む第１の画像フレームと、発光装置３２０が消灯している際の対象者の顔を含む第２の画像フレームを取得する。
顔情報抽出部３０２は、第１の画像フレームから、対象者の顔の部分を特定する情報を第１の顔情報として抽出する。また、顔情報抽出部３０２は、第２の画像フレームから、対象者の顔の部分を特定する情報を第２の顔情報として抽出する。
特徴量算出部３０３は、第１の画像フレームから、第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出する。また、特徴量算出部３０３は、第２の画像フレームから、第２の顔情報に基づいて、上記の輝点を含む部分に対応する部分を抽出する。そして、特徴量算出部３０３は、抽出した２つの部分から、輝点の位置に依存しない特徴量を算出する。
なりすまし判定部３０４は、特徴量算出部３０３が算出した特徴量に基づいて、撮像装置３１０によって撮影された対象者の真偽判定を行う。具体的には、なりすまし判定部３０４は、撮影された対象者が、本物の人間であるかどうかを判定する。
このように、本実施の形態１においては、なりすまし検知装置３００は、背景技術の欄に記載した従来のなりすまし検知装置と異なり、輝点の位置に依存しない特徴量を算出することができる（上述の図２参照）。このため、本実施の形態１によれば、顔認証の際に、反射輝点の位置依存性に影響されることなく、なりすましを検知することができる。
続いて、本実施の形態１におけるなりすまし検知装置３００の構成についてより具体的に説明する。まず、図１に示すように、本実施の形態１では、なりすまし検知装置３００は、発光装置３２０を備えた撮像装置３１０に接続されている。撮像装置３１０としては、デジタルカメラ、デジタルビデオカメラ等が挙げられる。
顔画像取得部３０１は、上述したように、発光装置が発光中に撮影された第１の画像フレームと、発光装置が消灯中に撮影された第２の画像フレームとを取得する。また、このとき取得される第１の画像フレーム及び第２の画像フレームは、静止画像の画像フレームであっても良いし、動画像の画像フレームあっても良い。
顔情報抽出部３０２は、本実施の形態１では、まず、第１の画像フレーム及び第２の画像フレームそれぞれから、対象者の顔の部分の領域（以下「顔領域」と表記する）を検出する。具体的には、顔情報抽出部３０２は、例えば、Ｈａａｒ－ｌｉｋｅ特徴量を用いて、顔領域を検出する。Ｈａａｒ－ｌｉｋｅ特徴量を用いた顔領域の検出方法は、例えば、下記の参考文献１に開示されている。
［参考文献１］
P. Viola and M. Jones, “Rapid Object Detection Using a Boosted Cascade of Simple Features,” Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), Vol. 1, 2001, pp. 511-518.
続いて、顔情報抽出部３０２は、第１の画像フレームから抽出した顔領域から、第１の顔情報を抽出し、第２の画像フレームから抽出した顔領域から、第２の顔情報を抽出する。具体的には、顔情報抽出部３０２は、顔領域から、顔の各部の領域を推定し、推定した各部の領域の位置を特定する情報を顔情報とする。また、顔情報には、推定された虹彩領域の位置を特定する情報も含まれている。
また、虹彩領域の推定方法としては、例えば、まず、目の領域を検出して目間距離を算出し、次いで、この目間距離を用いて、目の中心と同じ中心を持ち、且つ一辺が目間距離の六分の一である、正方形を設定し、この正方形の領域を虹彩領域とする方法が挙げられる。また、目の領域の検出方法としては、例えば、下記の参考文献２に開示されているリングガボールフィルターを用いた方法が挙げられる。
［参考文献２］
Zhang, Y., Sun, N., Gao, Y., and Cao, M. (2008). A new eye location method based on Ring Gabor Filter. In Automation and Logistics, 2008. ICAL 2008. IEEE International Conference On, (IEEE), pp. 301-305.
特徴量算出部３０３は、本実施の形態１では、第１の顔情報を用いて、第１の画像フレーム中の虹彩領域（以下「第１の虹彩領域」と表記する）を抽出し、更に、第２の顔情報を用いて、第２の画像フレーム中の虹彩領域（以下「第２の虹彩領域」と表記する）を抽出する。
そして、特徴量算出部３０３は、第１の虹彩領域のピクセル毎の輝度値Linと、第２の虹彩領域のピクセル毎の輝度値Loutとを求め、ピクセル毎に、両者の差分（Lin-Lout）を仮の特徴量として算出する。また、特徴量算出部３０３は、仮の特徴量（Lin-Lout）に対して、標準化又はスケーリング等を行って、これを扱いやすい形に変形することもできる。
続いて、特徴量算出部３０３は、輝点の位置依存性のない特徴量を得るため、仮の特徴量に対して、位置依存性を解消するための変換処理を実行する。例えば、特徴量算出部３０３は、２次元平面である虹彩領域から計算された仮の特徴量（ピクセル毎の差分（Lin-Lout））を、１次元のベクトルに変換し、ピクセル毎の値を昇順または降順に並び替えことによって、変換を行う。このようにして変換された特徴量は、位置依存性を解消した特徴量となる。
図４は、本発明の実施の形態１によって得られた特徴量の一例を示す図である。図４の例では、特徴量６０１は、対象者が本物の人である場合に得られた特徴量である。特徴量６０２は、写真又は画像の顔から得られた特徴量である。
なりすまし判定部３０４は、本実施の形態１では、特徴量算出部３０３によって計算された特徴量算出部を、予め作成された分類器に適用することによって、対象者の真偽判定、即ち、対象者が本物の人間であるかどうかを判定する。
具体的には、分類器としては、例えば、サポートベクトルマシン（ＳＶＭ：Support Vector Machine）を用いて構築されたＳＶＭ２値分類器が挙げられる。また、この分類器は、予め、本物の人の顔の画像から算出された特徴量と、偽の人の顔の画像から算出された特徴量とを用意し、これらを用いた学習を行うことによって構築される。なお、サポートベクトルマシンを用いた分類器の構築方法は、下記の参考文献３に開示されている。
［参考文献３］
V. Vapnik and A. Lerner. Pattern recognition using generalized portrait method. Automation and Remote Control, 24, 1963.
［装置動作］
次に、本発明の実施の形態１における、なりすまし検知装置３００の動作について図５を用いて説明する。図５は、本発明の実施の形態１における、なりすまし検知装置の動作を示すフロー図である。以下の説明においては、適宜図３及び図４を参酌する。また、本実施の形態１では、なりすまし検知装置３００を動作させることによって、なりすまし検知方法が実施される。よって、本実施の形態１におけるなりすまし検知方法の説明は、以下のなりすまし検知装置３００の動作説明に代える。
図５に示すように、最初に、顔画像取得部３０１は、撮像装置３１０から、それに付随する発光装置３２０によって発光が行われた際の対象者の顔を含む第１の画像フレームと、発光装置３２０が消灯している際の対象者の顔を含む第２の画像フレームを取得する（ステップＡ１）。
次に、顔情報抽出部３０２は、第１の画像フレームから、対象者の顔の部分を特定する情報を第１の顔情報として抽出し、第２の画像フレームからも、対象者の顔の部分を特定する情報を第２の顔情報として抽出する（ステップＡ２）。
次に、特徴量算出部３０３は、第１の画像フレームから、第１の顔情報に基づいて、輝点を含む部分を抽出し、第２の画像フレームから、第２の顔情報に基づいて、輝点を含む部分に対応する部分を抽出する。そして、特徴量算出部３０３は、抽出した２つの部分から、輝点の位置に依存しない特徴量を算出する（ステップＡ３）。
具体的には、ステップＡ３では、特徴量算出部３０３は、まず、第１の顔情報を用いて、第１の画像フレーム中の第１の虹彩領域を抽出し、更に、第２の顔情報を用いて、第２の画像フレーム中の第２の虹彩領域を抽出する。次いで、特徴量算出部３０３は、第１の虹彩領域のピクセル毎の輝度値Linと、第２の虹彩領域のピクセル毎の輝度値Loutとの、ピクセル毎の差分（Lin-Lout）を仮の特徴量として算出する。そして、特徴量算出部３０３は仮の特徴量に対して、位置依存性を解消するための変換処理を実行して、位置依存性を解消した特徴量を算出する。
その後、なりすまし判定部３０４は、ステップＡ３で特徴量算出部３０３が算出した特徴量に基づいて、撮像装置３１０によって撮影された対象者の真偽判定を行う（ステップＡ４）。具体的には、なりすまし判定部３０４は、撮影された対象者が、本物の人間であるかどうかを判定する。
ステップＡ４の実行後、なりすまし検知装置は、検知結果を利用する装置に、判定結果を通知する。通知を受けた装置は、検知結果が本物の人間である場合は、認証処理を続行し、検知結果が本物の人間でない場合は、認証処理を停止する。
［実施の形態１における効果］
以上のように本実施の形態１によれば、なりすまし検知装置３００は、対象者の瞳の虹彩領域に形成された輝点の位置に依存しない特徴量を算出し、この特徴量に基づいて、なりすましかどうかを判定することができる。このため、本実施の形態１によれば、撮像装置３１０と顔との位置関係に影響されることなく、即ち、反射輝点の位置依存性に影響されることなく、なりすまし検知を行うことができる。
［プログラム］
本実施の形態１におけるプログラムは、コンピュータに、図５に示すステップＡ１～Ａ４を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態１における、なりすまし検知装置３００となりすまし検知方法とを実現することができる。この場合、コンピュータのプロセッサは、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、及びなりすまし判定部３０４として機能し、処理を行なう。
また、本実施の形態１におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、及びなりすまし判定部３０４のいずれかとして機能しても良い。
（実施の形態２）
次に、本発明の実施の形態２における、なりすまし検知装置、なりすまし検知方法、及びプログラムについて、図６及び図７を参照しながら説明する。
［装置構成］
最初に、図６を用いて、本実施の形態２におけるなりすまし検知装置の構成について説明する。図６は、本発明の実施の形態２におけるなりすまし検知装置の構成を示すブロック図である。
図６に示すように、本実施の形態２における、なりすまし検知装置３５０は、携帯型の端末装置５００によって構築されている。具体的には、なりすまし検知装置３５０は、端末装置５００のオペレーティングシステム上で動作するプログラムによって構築されている。また、端末装置５００は、撮像装置３１０と、発光装置３２０と、表示装置３３０と、入力装置３４０とを備えている。
また、図６に示すように、本実施の形態２においても、なりすまし検知装置３５０は、図３に示した実施の形態１における、なりすまし検知装置３００と同様に、顔画像取得部３０１と、顔情報抽出部３０２と、特徴量算出部３０３と、なりすまし判定部３０４とを備えている。これらの機能は、実施の形態１で述べた通りである。
但し、本実施の形態２では、実施の形態１と異なり、なりすまし検知装置３５０は、更に、撮影制御部３０５を備えている。撮影制御部３０５は、撮像装置３１０による撮影、発光装置３２０による発光及び消灯を制御し、発光装置３２０における発光時間、及び撮像装置３１０における撮影タイミングを設定する。
具体的には、撮影制御部３０５は、発光装置３２０に対して発光を指示した後、撮像装置３１０に対して１５０ミリ秒の撮影を指示する。また、その後、撮影制御部３０５は、発光装置３２０に対して消灯を指示した後、撮像装置３１０に対して１５０ミリ秒の撮影を指示する。
［装置動作］
次に、本発明の実施の形態２における、なりすまし検知装置３５０の動作について図５を用いて説明する。図７は、本発明の実施の形態２における、なりすまし検知装置の動作を示すフロー図である。以下の説明においては、適宜図６を参酌する。また、本実施の形態２では、なりすまし検知装置３５０を動作させることによって、なりすまし検知方法が実施される。よって、本実施の形態２におけるなりすまし検知方法の説明は、以下のなりすまし検知装置３５０の動作説明に代える。
なお、図７の例では、対象者の顔の発光中の画像と、消灯中の画像とがそれぞれ１枚撮影されているものとする。また、発光装置３２０の発光時間は３００ミリ秒で、発光開始から１５０ミリ秒後に１枚の画像が撮影され、消灯開始から１５０ミリ秒後に１枚の画像が撮影されるものとする。
図７に示すように、最初に、端末装置５００に対して認証が指示されると、撮影制御部３０５は、発光装置３２０に対して撮影と同時に発光を行うように指示を与え（ステップＢ１）、更に、撮像装置３１０に対して撮影を指示する（ステップＢ２）。
ステップＢ２が実行されると、撮像装置３１０によって撮影が行われ、画像データが出力されてくるので、顔画像取得部３０１は、出力されてきた画像データを、第１の画像フレームとして取得する（ステップＢ３）。
次に、ステップＢ３の実行後、撮影制御部３０５は、発光装置３２０に対して消灯を行うように指示を与え（ステップＢ４）、更に、撮像装置３１０に対して撮影を指示する（ステップＢ５）。
ステップＢ５が実行されると、撮像装置３１０によって撮影が行われ、画像データが出力されてくるので、顔画像取得部３０１は、出力されてきた画像データを、第２の画像フレームとして取得する（ステップＢ６）。
次に、顔情報抽出部３０２は、ステップＢ３で取得された第１の画像フレームから、対象者の顔の部分を特定する情報を第１の顔情報として抽出し、ステップＢ６で取得された第２の画像フレームからも、対象者の顔の部分を特定する情報を第２の顔情報として抽出する（ステップＢ７）。
次に、特徴量算出部３０３は、第１の画像フレームから、第１の顔情報に基づいて、輝点を含む部分を抽出し、第２の画像フレームから、第２の顔情報に基づいて、輝点を含む部分に対応する部分を抽出する。そして、特徴量算出部３０３は、抽出した２つの部分から、輝点の位置に依存しない特徴量を算出する（ステップＢ８）。
次に、なりすまし判定部３０４は、ステップＢ８で特徴量算出部３０３が算出した特徴量に基づいて、撮像装置３１０によって撮影された対象者の真偽判定を行う（ステップＢ９）。具体的には、なりすまし判定部３０４は、撮影された対象者が、本物の人間であるかどうかを判定する。なお、ステップＢ７～Ｂ９は、それぞれ、図５に示したステップＡ２～Ａ４の対応するステップと同様のステップである。
その後、なりすまし判定部３０４は、ステップＢ９の判定の結果（検知結果）を、端末装置５００の表示装置３３０によって画面上に提示する（ステップＢ１０）。これにより、端末装置５００のユーザは、検知結果を確認することができる。また、端末装置５００、検知結果が本物の人間である場合は、認証処理を続行し、検知結果が本物の人間でない場合は、認証処理を停止する。
［実施の形態２の効果］
以上のように本実施の形態２においても、実施の形態１と同様に、なりすまし検知装置３５０は、対象者の瞳の虹彩領域に形成された輝点の位置に依存しない特徴量を算出し、この特徴量に基づいて、なりすましかどうかを判定することができる。このため、本実施の形態２によれば、撮像装置３１０と顔との位置関係に影響されることなく、即ち、反射輝点の位置依存性に影響されることなく、なりすまし検知を行うことができる。
［プログラム］
本実施の形態２におけるプログラムは、コンピュータに、図７に示すステップＢ１～Ｂ１０を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態２における、なりすまし検知装置３５０となりすまし検知方法とを実現することができる。この場合、コンピュータのプロセッサは、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、なりすまし判定部３０４、及び撮影制御部３０５として機能し、処理を行なう。
また、本実施の形態２におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、なりすまし判定部３０４、及び撮影制御部３０５のいずれかとして機能しても良い。
（実施の形態３）
次に、本発明の実施の形態３における、なりすまし検知装置、なりすまし検知方法、及びプログラムについて、図８～図９を参照しながら説明する。
［装置構成］
最初に、本実施の形態３におけるなりすまし検知装置の構成について説明する。本実施の形態３において、なりすまし検知装置の構成は、図６に示した実施の形態２における、なりすまし検知装置３５０と同様の構成を備えている。従って、本実施の形態３においては、図６を参照する。
但し、本実施の形態３における、なりすまし検知装置は、特徴量算出部３０３及びなりすまし判定部３０４の機能の点で、実施の形態２における、なりすまし検知装置３５０と異なっている。以下、相違点を中心に説明する。
本実施の形態３では、より正確ななりすまし検知を達成する。このため、特徴量算出部３０３は、実施の形態１及び２に示した、輝点の位置に依存しない特徴量（以下「第１の特徴量」と表記する）に加えて、第２の特徴量を算出し、これらを統合する。
本実施の形態３において、第２の特徴量は、対象者の顔の拡散反射に基づいて求められており、顔の立体的形状を反映する特徴量である。人の顔領域では、虹彩領域で起こる鏡面反射は起こらず、フラッシュの光は、顔の立体的形状（凹凸）によって拡散反射する。従って、この拡散反射のパターンに基づいて、顔の立体形状を反映した特徴量を計算すれば、立体的な真の顔なのか、平面的な写真又は表示画面上の顔なのかを判定することができる。
具体的には、特徴量算出部３０３は、第１の画像データから、第１の顔情報に基づいて、対象者の顔領域（以下「第１の顔領域」と表記する）を特定し、第２の画像データからも、第２の顔情報に基づいて、対象者の顔領域（以下「第２の顔領域」と表記する）を特定する。そして、特徴量算出部３０３は、第１の顔領域の輝度分布と第２の顔領域の輝度分布との差分を求め、求めた差分から第２の特徴量を算出する。
ここで、第２の特徴量の算出方法について説明する。まず、拡散反射のモデルであるランバートモデルを検討する。ランバートモデルは、観測された輝度値Lを以下のように光源成分I、反射係数K、表面の角度成分θに由来すると考えるものである。
Figure 0007272418000001
ここで、Kが光の波長λの関数であるため、観測された輝度値Lもまた波長λの関数となってしまう。よって、輝度値Lは、光の波長λ、即ち、光の色に依存性のある観測値であると言える。ところが、顔表面の色に依存して特徴量が変化してしまっては、正確に、なりすましを検知することができなくなる。そこで、発光装置３２０の発光中の画像と、発光装置３２０の消灯中の画像とを利用して、反射係数Kに依存しない第２の特徴量が算出される。具体的には、第２の特徴量は、以下のようにして算出される。
発光装置３２０の発光中に撮影された第１の画像フレームのピクセル毎の輝度値Linと、発光装置３２の消灯中に撮影された第２の画像フレームのピクセル毎の輝度値Loutとは、それぞれ以下の数２及び数３に示すように書き表すことができる。
Figure 0007272418000002
Figure 0007272418000003
ここで、上記の数１に倣い、Iは光源成分、Kは色依存の反射係数、θは表面の角度成分である。また、Ic及びIbは、それぞれ、カメラのフラッシュ光の強度、背景光（環境光）の強度である。x及びyは、画像フレームにおけるピクセルの位置を表している。θc及びθbは、それぞれ、カメラ光の入射角、背景光の入射角を表している。そして、顔領域の表面の色に依存せず、且つ、顔の立体的形状を反映する、第２の特徴量を求めることは、Kに依存しない特徴量を求めることに等しい。そこで、ピクセル毎の輝度値LinとLoutとの比を用いた特徴量として、次の数４を導入する。
Figure 0007272418000004
数４に示す特徴量は、反射係数Kに非依存であり、色依存性が解消された特徴量であると言える。また、特徴量算出部３０３は、数４に示す特徴量を、１次元のベクトルに変換し、ピクセル毎の値を昇順または降順に並び替えことによって、変換を行う。これにより、得られた特徴量は、顔の表面で生じる光拡散反射が大きいほど値が大きくなるので、顔の立体的形状を反映している。
なりすまし判定部３０４は、本実施の形態３では、統合された第１の特徴量と第２の特徴量とを用いて真偽判定を行う。つまり、本実施の形態３では、顔情報を基にして、顔の複数の領域から異なる特徴量が計算され、それらを統合した特徴量に基づいて、真偽判定が行われる。
［装置動作］
次に、本発明の実施の形態３における、なりすまし検知装置の動作について図８を用いて説明する。図８は、本発明の実施の形態３における、なりすまし検知装置の動作を示すフロー図である。以下の説明においては、適宜図６を参酌する。また、本実施の形態３では、なりすまし検知装置を動作させることによって、なりすまし検知方法が実施される。よって、本実施の形態３におけるなりすまし検知方法の説明は、以下のなりすまし検知装置の動作説明に代える。
なお、図８の例においても、図７の例と同様に、対象者の顔のフラッシュ点灯中の画像と、フラッシュ消灯中の画像とがそれぞれ１枚撮影されているものとする。また、フラッシュ点灯時間は３００ミリ秒で、フラッシュ点灯開始から１５０ミリ秒後に１枚の画像が撮影され、フラッシュ消灯開始から１５０ミリ秒後に１枚の画像が撮影されるものとする。
図８に示すように、最初に、端末装置５００に対して認証が指示されると、撮影制御部３０５は、発光装置３２０に対して撮影と同時に発光を行うように指示を与え（ステップＣ１）、更に、撮像装置３１０に対して撮影を指示する（ステップＣ２）。
ステップＣ２が実行されると、撮像装置３１０によって撮影が行われ、画像データが出力されてくるので、顔画像取得部３０１は、出力されてきた画像データを、第１の画像フレームとして取得する（ステップＣ３）。
次に、ステップＣ３の実行後、撮影制御部３０５は、発光装置３２０に対して消灯を行うように指示を与え（ステップＣ４）、更に、撮像装置３１０に対して撮影を指示する（ステップＣ５）。
ステップＣ５が実行されると、撮像装置３１０によって撮影が行われ、画像データが出力されてくるので、顔画像取得部３０１は、出力されてきた画像データを、第２の画像フレームとして取得する（ステップＣ６）。
次に、顔情報抽出部３０２は、ステップＣ３で取得された第１の画像フレームから、対象者の顔の部分を特定する情報を第１の顔情報として抽出し、ステップＣ６で取得された第２の画像フレームからも、対象者の顔の部分を特定する情報を第２の顔情報として抽出する（ステップＣ７）。
次に、特徴量算出部３０３は、第１の画像フレームから、第１の顔情報に基づいて、輝点を含む部分を抽出し、第２の画像フレームから、第２の顔情報に基づいて、輝点を含む部分に対応する部分を抽出する。そして、特徴量算出部３０３は、抽出した２つの部分から、輝点の位置に依存しない特徴量を算出する（ステップＣ８）。
上述したステップＣ１～Ｃ８は、実施の形態２において図７に示したステップＢ１～Ｂ８と同様のステップであり、これらのステップによって同様の処理が行われる。但し、本実施の形態３においては、ステップＣ８に並行して、又はステップＣ８と前後して、ステップＣ９が実行される。
ステップＣ９では、特徴量算出部３０３は、対象者の顔の拡散反射に基づいて、顔の立体的形状を反映する第２の特徴量を算出する。具体的には、特徴量算出部３０３は、第１の画像データから、第１の顔情報に基づいて、第１の顔領域を特定し、第２の画像データからも、第２の顔情報に基づいて、第２の顔領域を特定する。そして、特徴量算出部３０３は、第１の顔領域の輝度分布と第２の顔領域の輝度分布との差分を求め、求めた差分から第２の特徴量を算出する。
図９は、本実施の形態３において、虹彩領域から算出された特徴量と顔領域から算出された特徴量との一例を示す図である。図９に示すように、本実施の形態３では、虹彩領域から算出された特徴量と顔領域から算出された特徴量とが得られている。図９において、７０１は、本物の顔の虹彩領域から計算された特徴ベクトルを示し、７０２は、偽物の顔の虹彩領域から計算された特徴ベクトルを示している。
次に、特徴量算出部３０３は、ステップＣ８で得られた特徴量と、ステップＣ９で得られた特徴量とを統合する（ステップＣ１０）。具体的には、各特徴量は、１次元のベクトルに変換されているので、２つの特徴量を統合して１つのベクトルとする。
次に、なりすまし判定部３０４は、ステップＣ１０で統合された特徴量に基づいて、撮像装置３１０によって撮影された対象者の真偽判定を行う（ステップＣ１０）。具体的には、なりすまし判定部３０４は、撮影された対象者が、本物の人間であるかどうかを判定する。ステップＣ１０は、図７に示したステップＢ９と同様のステップである。
その後、なりすまし判定部３０４は、ステップＢ９の判定の結果（検知結果）を、端末装置５００の表示装置３３０によって画面上に提示する（ステップＣ１１）。ステップＣ１１は、図７に示したステップＢ１０と同様のステップである。
これにより、本実施の形態３においても、端末装置５００のユーザは、検知結果を確認することができる。また、端末装置５００、検知結果が本物の人間である場合は、認証処理を続行し、検知結果が本物の人間でない場合は、認証処理を停止する。
［実施の形態３の効果］
以上のように、本実施の形態３では、発光装置３２０からの光が鏡面反射する虹彩領域と、発光装置３２０からの光が拡散反射する顔領域という反射の形態が異なる２領域を組み合わせて、特徴量が算出される。そして、この組合せによる特徴量によって真偽判定が行われるので、本実施の形態３によれば、より精度の高い、なりすまし検知が可能となる。
［プログラム］
本実施の形態３におけるプログラムは、コンピュータに、図８に示すステップＣ１～Ｃ１２を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態３における、なりすまし検知装置となりすまし検知方法とを実現することができる。この場合、コンピュータのプロセッサは、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、なりすまし判定部３０４、及び撮影制御部３０５として機能し、処理を行なう。
また、本実施の形態３におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、なりすまし判定部３０４、及び撮影制御部３０５のいずれかとして機能しても良い。
（各実施の形態における変形例）
上述の実施の形態３においては、なりすまし判定部３０４は、ステップＣ８で算出した特徴量に基づいた真偽判定と、ステップＣ９で算出した特徴量に基づいた真偽判定とを別々に実行することができる。この場合、なりすまし判定部３０４は、２つの真偽判定の結果から総合的に判断して、最終的になりすましか否かを判定する。
具体的には、なりすまし判定部３０４は、真偽判定毎に、真である可能性を示すスコア（真贋値）を算出し、例えば、２つのスコアの平均値を求め、平均値が一定値以上を超えたら真である（本物の人間である）と判定する。
また、上述の実施の形態２及び３では、発光装置３２０の発光中及び消灯中に撮影する顔画像はそれぞれ１枚の静止画であり、発光時間は３００ミリ秒、撮影タイミングは、それぞれ、発光開始から１５０ミリ秒と、消灯後１５０ミリ秒とであるとしている。但し、これらの設定は、一例であり、変更されても良い。例えば、撮影制御部３０５は、ユーザが端末装置５００に入力した値に応じて、設定を変更することもできる。
また、上述の実施の形態１～３においては、撮像装置３１０による撮影は、対象者の顔が静止している状態で行われる。これは、画像中の対象者の顔の抽出が必要となるからである。そのため、撮影時において、対象者に顔を動かさないよう促すことが好ましい。このため、顔画像取得部３０１は、例えば、撮影を指示する前に、表示装置の表示画面等に、対象者の顔を動かさないように促すメッセージを表示するのが良い。
（物理構成）
ここで、実施の形態１～３におけるプログラムを実行することによって、なりすまし検知装置を実現するコンピュータについて図１０を用いて説明する。図１０は、本発明の実施の形態１～３における、なりすまし検知装置を実現するコンピュータの一例を示すブロック図である。
図１０に示す、コンピュータ４００は、例えば、携帯電話機、スマートフォンなどの携帯型の端末装置に組み込まれるコンピュータである。図１０に示すように、コンピュータ４００は、プロセッサ４０１と、メモリ４０２と、ストレージ４０３と、入出力インタフェース（入出力Ｉ／Ｆ）４０４と、通信インタフェース（通信Ｉ／Ｆ）４０５とを備えている。プロセッサ４０１、メモリ４０２、ストレージ４０３、入出力インタフェース４０４、及び通信インタフェース４０５は、相互にデータを送受信するためのデータ伝達路（バス）４０６で接続されている。なお、コンピュータ４００のハードウェア構成は、図１０に示される構成に制限されるものではない。
プロセッサ４０１は、例えば、ＣＰＵ（central processing unit）、ＧＰＵ（graphics processing unit）等の演算処理装置である。メモリ４０２は、例えば、ＲＡＭ（random Access Memory）、ＲＯＭ（read only memory）等のメモリである。ストレージ４０３は、例えば、ＨＤＤ（hard disk drive）、ＳＳＤ（solid state drive）、又はメモリカード等の記憶装置である。
メモリ４０２またはストレージ４０３は、なりすまし検知装置を構成する各部を実現するためのプログラムを記憶している。プロセッサ４０１が、プログラムを実行することで、各部が実現され、各種処理が実行される。ここで、プロセッサ４０１は、プログラムを実行する際、プログラムをメモリ４０２上に読みだしてから、これを実行しても良いし、メモリ４０２上に読みださずに、これを実行しても良い。
また、上記のプログラムは、様々なタイプの非一時的なコンピュータ読み取り可能な記録媒体に格納されて、コンピュータ４００に供給されても良い。非一時的なコンピュータ読み取り可能な記録媒体としては、様々なタイプの実体のある記録媒体が挙げられる。
非一時的なコンピュータ読み取り可能な記録媒体の例としては、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（compact disc read only memory）、ＣＤ－Ｒ（compact disc recordable）、ＣＤ－Ｒ／Ｗ（compact disc rewritable）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、ＲＡＭ）等が挙げられる。
また、プログラムは、様々なタイプの一時的なコンピュータ読み取り可能な記録媒体によってコンピュータ４００に供給されても良い。一時的なコンピュータ読み取り可能な記録媒体の例としては、電気信号、光信号、及び電磁波が挙げられる。一時的なコンピュータ読み取り可能な記録媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
入出力インタフェース４０４は、撮像装置３１０、表示装置３３０、及び入力装置３４０等と接続される。表示装置３３０は、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）ディスプレイのような、プロセッサ４０１により処理された描画データに対応して画面を表示する装置である。通信インタフェース４０５は、外部の装置との間でデータを送受信する。例えば、通信インタフェース４０５は、有線ネットワーク又は無線ネットワークを介して外部装置と通信する。
撮像装置３１０は、デジタルカメラ、デジタルビデオカメラ等のように、ユーザ又は対象者自身が対象者の顔等を撮影するための装置である。入力装置３４０は、ユーザの操作入力を受け付ける装置であり、例えば、キーボード、タッチセンサ、タッチパネル等である。入力装置３４０が、例えば、タッチパネルである場合は、入力装置３４０と表示装置３３０とは一体化されていても良い。
なお、本実施の形態における、なりすまし検知装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、なりすまし検知装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１２）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、顔画像取得部と、
前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、顔情報抽出部と、
前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、特徴量算出部と、
前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、なりすまし判定部と、を備えている、
ことを特徴とする、なりすまし検知装置。
（付記２）
付記１に記載のなりすまし検知装置であって、
前記発光装置における発光時間、及び前記撮像装置における撮影タイミングを設定する、撮影制御部を更に備えている、
ことを特徴とする、なりすまし検知装置。
（付記３）
付記１または２に記載のなりすまし検知装置であって、
前記特徴量算出部が、前記輝点の位置に依存しない特徴量に加えて、対象者の顔の立体的形状を反映する第２の特徴量を算出し、
前記なりすまし判定部が、前記輝点の位置に依存しない特徴量と、前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、
ことを特徴とする、なりすまし検知装置。
（付記４）
付記３に記載のなりすまし検知装置であって、
前記なりすまし判定部が、前記輝点の位置に依存しない特徴量に基づいた真偽判定と、前記第２の特徴量に基づいた真偽判定とを別々に実行し、真偽判定毎に、真である可能性を示すスコアを算出し、各真偽判定で算出された前記スコアに基づいて、最終的な真偽判定を実行する、
ことを特徴とする、なりすまし検知装置。
（付記５）
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を有する、
ことを特徴とする、なりすまし検知方法。
（付記６）
付記５に記載のなりすまし検知方法であって、
（ｅ）前記発光装置における発光時間、及び前記撮像装置における撮影タイミングを設定する、ステップを更に有する、
ことを特徴とする、なりすまし検知方法。
（付記７）
付記５または６に記載のなりすまし検知方法であって、
前記（ｃ）のステップにおいて、前記輝点の位置に依存しない特徴量に加えて、対象者の顔の立体的形状を反映する第２の特徴量を算出し、
前記（ｄ）のステップにおいて、前記輝点の位置に依存しない特徴量と、前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、
ことを特徴とする、なりすまし検知方法。
（付記８）
付記７に記載のなりすまし検知方法であって、
前記（ｄ）のステップにおいて、前記輝点の位置に依存しない特徴量に基づいた真偽判定と、前記第２の特徴量に基づいた真偽判定とを別々に実行し、真偽判定毎に、真である可能性を示すスコアを算出し、各真偽判定で算出された前記スコアに基づいて、最終的な真偽判定を実行する、
ことを特徴とする、なりすまし検知方法。
（付記９）
コンピュータに、
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を実行させる命令を含む、
ことを特徴とする、プログラム。
（付記１０）
付記９に記載のプログラムであって、
前記コンピュータに、
（ｅ）前記発光装置における発光時間、及び前記撮像装置における撮影タイミングを設定する、ステップを実行させる命令を更に含む、
ことを特徴とする。
（付記１１）
付記９または１０に記載のプログラムであって、
前記（ｃ）のステップにおいて、前記輝点の位置に依存しない特徴量に加えて、対象者の顔の立体的形状を反映する第２の特徴量を算出し、
前記（ｄ）のステップにおいて、前記輝点の位置に依存しない特徴量と、前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、
ことを特徴とする、プログラム。
（付記１２）
付記１１に記載のプログラムであって、
前記（ｄ）のステップにおいて、前記輝点の位置に依存しない特徴量に基づいた真偽判定と、前記第２の特徴量に基づいた真偽判定とを別々に実行し、真偽判定毎に、真である可能性を示すスコアを算出し、各真偽判定で算出された前記スコアに基づいて、最終的な真偽判定を実行する、
ことを特徴とする、プログラム。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
以上のように本発明によれば、顔認証の際に、反射輝点の位置依存性に影響されることなく、なりすまし検知を実行することができる。本発明は、顔認証が行われる種々のシステムに有用である。
１０１ ユーザ
１０２ フラッシュ点灯中のカメラ付き端末装置
１０３ フラッシュ消灯中のカメラ付き端末装置
１０５ フラッシュ点灯中の画像
１０６ フラッシュ消灯中の画像
２０１、２０２ 虹彩領域の画像の一部
２０３、２０４ 虹彩領域から計算された従来の特徴量
２０５、２０６ 虹彩領域から計算された本発明の特徴量
３００ なりすまし検知装置（実施の形態１）
３０１ 顔画像取得部
３０２ 顔情報抽出部
３０３ 特徴量算出部
３０４ なりすまし判定部
３０５ 撮影制御部
３１０ 撮像装置
３２０ 発光装置
３３０ 表示装置
３４０ 入力装置
３５０ なりすまし検知装置（実施の形態２）
４００ コンピュータ
４０１ プロセッサ
４０２ メモリ
４０３ ストレージ
４０４ 入出力インタフェース（入出力Ｉ／Ｆ）
５００ 端末装置
７０１ 本物の顔の虹彩領域から計算された特徴ベクトル
７０２ 偽物の顔の虹彩領域から計算された特徴ベクトル

Claims (5)

  1. 撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、顔画像取得部と、
    前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、顔情報抽出部と、
    前記第１の画像フレームから、前記第１の顔情報に基づいて、前記対象者の瞳の虹彩領域での反射で形成された輝点を含む第１の部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する第２の部分を抽出し、そして、前記第１の部分および前記第２の部分に基づいて、前記輝点の位置に依存しない特徴量を算出し、更に、前記対象者の顔の立体的形状を反映する第２の特徴量を算出する、特徴量算出部と、
    前記輝点の位置に依存しない特徴量と前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、なりすまし判定部と、を備え、
    前記特徴量算出部が、前記第１の顔情報に基づいて前記対象者の第１の顔領域を特定し、前記第２の顔情報に基づいて前記対象者の第２の顔領域を特定し、そして、前記第２の特徴量として、前記第１の顔領域の輝度分布と前記第２の顔領域の輝度分布との差分を算出する、
    ことを特徴とする、なりすまし検知装置。
  2. 請求項１に記載のなりすまし検知装置であって、
    前記なりすまし判定部が、前記輝点の位置に依存しない特徴量に基づいた真偽判定と、前記第２の特徴量に基づいた真偽判定とを別々に実行し、真偽判定毎に、真である可能性を示すスコアを算出し、各真偽判定で算出された前記スコアに基づいて、最終的な真偽判定を実行する、
    ことを特徴とする、なりすまし検知装置。
  3. 請求項１または２に記載のなりすまし検知装置であって、
    前記発光装置における発光時間、及び前記撮像装置における撮影タイミングを設定する、撮影制御部を更に備えている、
    ことを特徴とする、なりすまし検知装置。
  4. （ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
    （ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
    （ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む第１の部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する第２の部分を抽出し、そして、前記第１の部分および前記第２の部分に基づいて、前記輝点の位置に依存しない特徴量を算出し、更に、前記対象者の顔の立体的形状を反映する第２の特徴量を算出する、ステップと、
    （ｄ）前記輝点の位置に依存しない特徴量と前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を有し、
    前記（ｃ）のステップにおいて、前記第１の顔情報に基づいて前記対象者の第１の顔領域を特定し、前記第２の顔情報に基づいて前記対象者の第２の顔領域を特定し、そして、前記第２の特徴量として、前記第１の顔領域の輝度分布と前記第２の顔領域の輝度分布との差分を算出する、
    ことを特徴とする、なりすまし検知方法。
  5. コンピュータに、
    （ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
    （ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
    （ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む第１の部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する第２の部分を抽出し、そして、前記第１の部分および前記第２の部分に基づいて、前記輝点の位置に依存しない特徴量を算出し、更に、前記対象者の顔の立体的形状を反映する第２の特徴量を算出する、ステップと、
    （ｄ）前記第１の部分および前記第２の部分に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を実行させる命令を含み、
    前記（ｃ）のステップにおいて、前記第１の顔情報に基づいて前記対象者の第１の顔領域を特定し、前記第２の顔情報に基づいて前記対象者の第２の顔領域を特定し、そして、前記第２の特徴量として、前記第１の顔領域の輝度分布と前記第２の顔領域の輝度分布との差分を算出する、
    プログラム。
JP2021211347A 2018-02-22 2021-12-24 なりすまし検知装置、なりすまし検知方法、及びプログラム Active JP7272418B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021211347A JP7272418B2 (ja) 2018-02-22 2021-12-24 なりすまし検知装置、なりすまし検知方法、及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020501932A JP7004059B2 (ja) 2018-02-22 2018-02-22 なりすまし検知装置、なりすまし検知方法、及びプログラム
PCT/JP2018/006561 WO2019163065A1 (ja) 2018-02-22 2018-02-22 なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体
JP2021211347A JP7272418B2 (ja) 2018-02-22 2021-12-24 なりすまし検知装置、なりすまし検知方法、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020501932A Division JP7004059B2 (ja) 2018-02-22 2018-02-22 なりすまし検知装置、なりすまし検知方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2022031456A JP2022031456A (ja) 2022-02-18
JP7272418B2 true JP7272418B2 (ja) 2023-05-12

Family

ID=87885314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021211347A Active JP7272418B2 (ja) 2018-02-22 2021-12-24 なりすまし検知装置、なりすまし検知方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7272418B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280367A (ja) 2006-03-14 2007-10-25 Omron Corp 顔照合装置
JP4609253B2 (ja) 2005-09-08 2011-01-12 オムロン株式会社 なりすまし検出装置及び顔認証装置
US20160117544A1 (en) 2014-10-22 2016-04-28 Hoyos Labs Ip Ltd. Systems and methods for performing iris identification and verification using mobile devices

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4085470B2 (ja) * 1998-05-29 2008-05-14 オムロン株式会社 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体
JP2006099614A (ja) * 2004-09-30 2006-04-13 Toshiba Corp 生体判別装置および生体判別方法
JP6507046B2 (ja) * 2015-06-26 2019-04-24 株式会社東芝 立体物検知装置及び立体物認証装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4609253B2 (ja) 2005-09-08 2011-01-12 オムロン株式会社 なりすまし検出装置及び顔認証装置
JP2007280367A (ja) 2006-03-14 2007-10-25 Omron Corp 顔照合装置
US20160117544A1 (en) 2014-10-22 2016-04-28 Hoyos Labs Ip Ltd. Systems and methods for performing iris identification and verification using mobile devices
US20170344793A1 (en) 2014-10-22 2017-11-30 Veridium Ip Limited Systems and methods for performing iris identification and verification using mobile devices

Also Published As

Publication number Publication date
JP2022031456A (ja) 2022-02-18

Similar Documents

Publication Publication Date Title
JP7004059B2 (ja) なりすまし検知装置、なりすまし検知方法、及びプログラム
JP6984724B2 (ja) なりすまし検知装置、なりすまし検知方法、及びプログラム
JP4609253B2 (ja) なりすまし検出装置及び顔認証装置
EP2680191B1 (en) Facial recognition
US10708467B2 (en) Information processing apparatus that performs authentication processing for approaching person, and control method thereof
US11756336B2 (en) Iris authentication device, iris authentication method, and recording medium
US20230368582A1 (en) Authentication device, authentication method, and recording medium
US11321552B2 (en) Face authentication device having database with small storage capacity
JP7223303B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2014186505A (ja) 視線検出装置及び撮像装置
WO2021166289A1 (ja) データ登録装置、生体認証装置、および記録媒体
JP7272418B2 (ja) なりすまし検知装置、なりすまし検知方法、及びプログラム
JP7207506B2 (ja) なりすまし検知装置、なりすまし検知方法、及びプログラム
US11335123B2 (en) Live facial recognition system and method
CN117765621A (zh) 活体检测方法、装置及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230410

R151 Written notification of patent or utility model registration

Ref document number: 7272418

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151