JP4609253B2 - なりすまし検出装置及び顔認証装置 - Google Patents

Description

本発明は、顔認証処理におけるなりすましを防止するための装置や方法などに適用されて有効な技術に関する。

現在、様々な場面で顔認証技術が利用されている。例えば、高機能化によりセキュリティ対策が重要視され始めている携帯電話機や、所定区域内への立ち入りを管理する入退室管理システム等において利用されている。このように、顔認証技術が普及し始めている一方で、写真等を用いたなりすましが問題となっている。

一般的な顔認証技術では、カメラによって対象者の顔を撮像し、その画像から抽出される特徴量と予め登録されている特徴量とを比較することで認証が行われる。問題となっているなりすましは、認証を受けることができる者の顔写真などを予め用意し、撮像される際にその写真などを用いて別人が認証を受けようとする行為である。

このようななりすましを抑止することを目的とする技術に、撮像の際に顔の向きや表情を指示することで任意の状態の顔を撮像し認証を行うものがある（特許文献１参照）。
特開２００３−３１７１００号公報

しかしながら、このような従来技術では、なりすましを行う者がある程度のバリエーションの写真などを用意しておけば、依然としてなりすましをすることができてしまうという問題がある。また、ユーザにとっても、指示される表情を作る必要があり、負担が生じていた。

そこで本発明はこれらの問題を解決し、ユーザに負担を課すことなくなりすましを検出するための装置や方法を提供することを目的とする。

なりすましとは、上述したように、認証を受けることができる者の顔写真などを予め用意し、撮像される際にその写真などを用いて別人が認証を受けようとする行為である。このため、なりすましが行われている場合は、被写体の顔が生身の人間の顔ではない場合が多い。本発明によるなりすまし検出装置は、この点に着目し、なりすましの行為が行われていることを検出する。

本発明の第一の態様は、撮像手段及び画像表示手段に接続されるなりすまし検出装置であって、制御手段、特定手段及び判断手段を備える。制御手段は、撮像手段によって撮像が行われる時に特定の画像を画像表示手段に表示させておく。画像表示手段に表示される特定の画像は、ユーザによって容易に推測されないことが望ましい。例えば、制御手段は、複数の特定の画像を有していることが望ましく、さらに画像表示手段に表示される画像がランダムに選択されることが望ましい。

特定手段は、撮像手段によって撮像された画像から被写体の瞳部分を特定する。判断手段は、被写体の瞳に映った画像が、撮像手段により撮像が行われた時に画像表示手段に表示されていた画像と異なるか判断し、異なると判断した場合にはなりすましであると判断する。

このように、本発明の第一の態様における判断手段は、被写体の瞳に映った画像に基づいてなりすましか否かの判断を行う。このため、なりすましを検出しようとする際に、被写体となるユーザは通常の撮像を行う以上の行為を要求されることが無く、ユーザに負担がかかることがない。

本発明の第一の態様における判断手段は、被写体の瞳に映り込んでいる画像を映り込む前の状態に復元し、画像表示手段に表示されていた画像と比較することによって判断を行うように構成されても良い。

また、本発明の第一の態様における判断手段は、画像表示手段に表示されていた画像が人間の瞳に映り込んだ場合の画像を予め有し、当該予め有している画像と被写体の瞳の画像とを比較することによって判断を行うように構成されても良い。

本発明の第二の態様は、撮像手段及び画像表示手段に接続されるなりすまし検出装置であって、制御手段、特定手段及び判断手段を備える。第二の態様における制御手段は、撮像手段によって撮像が行われる時に特定の画像を前記画像表示手段に表示させておく。第二の態様における特定手段は、撮像手段によって撮像された画像から被写体の眼鏡のレンズ部分を特定する。そして、第二の態様における判断手段は、レンズに映った画像が、撮像手段により撮像が行われた時に画像表示手段に表示されていた画像と異なるか判断し、異なると判断した場合にはなりすましであると判断する。

被写体が眼鏡をかけていた場合には、画像表示手段に表示された特定の画像は、瞳ではなく眼鏡のレンズに映る可能性がある。このような場合には、本発明の第一の態様によるなりすましの検出精度は低下する可能性がある。これに対し、本発明の第二の態様によれば、被写体が眼鏡をかけていた場合に精度良くなりすましの検出を行うことができる。

本発明の第三の態様は、撮像手段に接続されるなりすまし検出装置であって、制御手段、特定手段及び判断手段を備える。第三の態様における制御手段は、撮像手段によって撮像が行われる時にフラッシュを発光させるように撮像手段を制御する。第三の態様における特定手段は、撮像手段によって撮像された画像から被写体の瞳部分を特定する。第三の態様における判断手段は、被写体の瞳部分の画像からフラッシュによる輝点を検出できるか判断し、検出できないと判断した場合にはなりすましであると判断する。

このように、本発明の第三の態様における判断手段は、被写体の瞳の輝点に基づいてなりすましか否かの判断を行う。このため、第一の態様と同様に、なりすましを検出しようとする際に、被写体となるユーザは通常の撮像を行う以上の行為を要求されることが無く、ユーザに負担がかかることがない。また、第一の態様と異なり、画像表示手段を要しないため、コストや利便性の点で有利である。

本発明の第三の態様における制御手段は、撮影時にフラッシュが発光された画像と、撮影時にフラッシュが発光されていない画像とを撮像するように撮像手段を制御し、本発明の第三の態様における判断手段は、両画像の輝点に差が生じていない場合に、フラッシュによる輝点を検出できないと判断するように構成されても良い。両画像の輝点に際が生じていない場合には、フラッシュが発光された画像において瞳にフラッシュによる輝点が生じていないと判断できるためである。

本発明の第四の態様は、顔認証装置であって、本発明の第一の態様又は第二の態様におけるなりすまし検出装置と、制御手段の制御に従って画像を表示する画像表示手段と、制御手段の制御に従って撮像を行う撮像手段と、なりすまし検出装置によってなりすましで
ないと判断された場合に、撮像手段によって撮像された画像の被写体について顔認証を行う顔認証手段と、を備える。このように構成された顔認証装置では、なりすましが行われていないと認められる被写体について顔認証が実施されるため、なりすましによる誤認証を抑止することが可能となる。

本発明の第五の態様は、顔認証装置であって、本発明の第三の態様におけるなりすまし検出装置と、フラッシュ機能を有し制御手段の制御に従って撮像を行う撮像手段と、なりすまし検出装置によってなりすましでないと判断された場合に、撮像手段によって撮像された画像の被写体について顔認証を行う顔認証手段と、を備える。このように構成された顔認証装置でも、本発明の第四の態様と同様に、なりすましが行われていないと認められる被写体について顔認証が実施されるため、なりすましによる誤認証を抑止することが可能となる。

第一〜第五の態様は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した第一〜第五の態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。また、本発明は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されても良い。

本発明によれば、ユーザに負担を課すことなく、なりすましを検出することが可能となる。

〔システム構成〕 図１は、顔認証装置１の機能ブロック例を示す図である。顔認証装置１は、認証対象となる人物が撮像された画像（認証画像）から顔の特徴量（例えば輝度分布や色ヒストグラム等）を取得し、予め登録されている各人物の特徴量と比較することによって、認証画像の人物について認証を行う。顔認証装置１は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。

顔認証装置１は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、撮像部２、画像記憶部３、顔検出部４、なりすまし検出部５、登録情報記憶部６、認証部７及び表示部８等を含む装置として機能する。顔検出部４、なりすまし検出部５及び認証部７は、プログラムがＣＰＵによって実行されることにより実現される。また、顔検出部４、なりすまし検出部５及び認証部７は専用のチップとして構成されても良い。また、図１の例では顔認証装置１の中になりすまし検出装置の機能（なりすまし検出部５）が組み込まれているが、なりすまし検出装置を顔認証装置１に組み込むことなく、別のハードウェアとして実現しても構わない。次に、顔認証装置１が含む各機能部について説明する。

〈撮像部〉 撮像部２は、ＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等の撮像素子を備えた撮像装置を用いて構成さ
れ、認証画像を撮像する。撮像部２は、ユーザによってシャッターボタンがレリーズされること等に従って撮像を行う。

〈画像記憶部〉 画像記憶部３は、記憶装置を用いて構成される。画像記憶部３に用いられる記憶装置には、揮発性記憶装置や不揮発性記憶装置など、どのような具体的技術が適用されても良い。

画像記憶部３は、撮像部２によって撮像された認証画像のデータを記憶する。画像記憶部３に記憶された認証画像のデータは、顔検出部４、なりすまし検出部５及び認証部７によって読み出される。画像記憶部３は、少なくとも顔検出部４、なりすまし検出部５及び認証部７による処理が完了するまでは、その処理の対象となっている認証画像のデータを保持する。

〈顔検出部〉 顔検出部４は、画像記憶部３から認証画像のデータを読み出し、認証画像から人の顔を検出し、検出された顔の位置や大きさ等を特定する。顔検出部４は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部４は、顔の器官（目，鼻，耳など）に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部４は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されても良い。また、顔検出部４は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部４は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。また、顔検出部４による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。

また、顔検出部４は、認証画像から複数の人の顔が検出された場合、特定の基準に従って処理の対象となる顔を決定しても良い。所定の基準とは、例えば顔の大きさ、顔の向き、画像中における顔の位置などである。

〈なりすまし検出部〉 なりすまし検出部５は、認証画像を撮像するための制御と、認証画像における被写体が生身の人であるか写真や印刷物などなりすましのための道具であるか判断（なりすまし検出処理）とを行う。なりすまし検出部５は、表示部８を介して特定の画像を表示し被写体の瞳に映り込ませ、被写体の瞳に映った映像と特定の画像とを比較し、これらが一致しない場合になりすましであると判断する。このような処理を実現すべく、なりすまし検出部５を、例えば制御部５１、瞳特定部５２及び判断部５３を備えるように構成することができる。

〈〈制御部〉〉 制御部５１は、なりすましの有無の判断に用いる画像（以下、「特定画像」と呼ぶ）を複数有している。制御部５１は、撮像部２によって認証画像の撮像が行われる時には既に特定画像が表示部８に表示されているように、撮像部２と画像表示部８とを制御する。例えば、制御部５１は、撮像部２による認証画像の撮像が行われる前に、表示部８に対し任意の特定画像を表示するように指示し、その指示が終わった後に（つまり、表示中に）撮像部２に撮像の許可を与えても良い。また、任意の特定画像は、複数種類用意された特定画像の中からランダムに選択されることが望ましい。
特定画像は、特定の形状（例えば円、多角形、星形、その他の形状）を示す画像であっても良いし、特定の模様（例えば市松模様、市松模様とは異なるパターンの格子模様、斜線模様）を示す画像であっても良い。また、特定画像は２色で表されても良いし、多階調のグレースケール画像やカラー画像で表されても良い。また、特定画像は、技術的に可能であれば他の複雑な画像を用いて表されても良い。

〈〈瞳特定部〉〉 瞳特定部５２は、被写体の瞳部分を特定する。以下に、瞳特定部５２の処理の具体例について説明する。

瞳特定部５２は、顔検出部４によって検出された顔において、目頭（目の領域のうち最も顔の内側の点）、目尻（目の領域のうち顔の外側に最も近い点）、上瞼の上端、下瞼の下端の四点を検出する。このとき、瞳特定部５２は、検出された顔の領域内で、目のパターンマッチングを実施することにより目のおよその領域を把握し、その領域においてエッ
ジを検出することで上記四点を検出する。次に、瞳特定部５２は、検出された四点を通る矩形によって囲まれる領域を目の領域として特定する。そして、目の領域において横方向に輝度をサンプリングし、輝度値の高い部分と高い部分とに挟まれた輝度値が低い部分を瞳の領域として特定する。さらに、瞳特定部５２は、輝度値の高い部分と低い部分との境界付近においてエッジを検出することにより瞳領域をより精度良く特定するように構成されても良い。

なお、瞳の領域の特定は以下のように実施されても良い。まず、瞳特定部５２は、人物の目の中心位置を検出する。人物の目又は瞳の中心位置の検出法は、既存のどのような技術を適用することにより実現されても良い。具体的には、下記文献に記載の技術がある。

湯浅真由美、福井和広，山口修、「パターンとエッジの統合エネルギー最小化に基づく高精度な瞳特定」、信学技報、2000年、Vol.100、No.134、pp.79-84

そして、瞳特定部５２は、検出された中心位置から所定の大きさ（例：人物の顔幅の一定割合に基づいた大きさ，左右の目の中心位置の距離の一定割合に基づいた大きさ）の領域を瞳の領域として特定する。

〈〈判断部〉〉 判断部５３は、瞳特定部５２によって特定された瞳に映り込んだ画像に基づいてなりすましの有無を判断する。判断部５３が行う判断処理の具体例として、復元比較法、単純比較法の二つの手法を説明する。

［復元比較法］ 復元比較法では、判断部５３は、瞳特定部５２によって特定された瞳に映り込んでいる画像を、映り込む前の状態に復元し（以下、復元された画像を「復元画像」と呼ぶ）、表示部８を介して表示された画像と復元画像とが一致するか否か判断し、その結果に基づきなりすましの有無を判断する。

以下、復元比較法を実行する判断部５３の構成について具体的に説明する。判断部５３は、球状の瞳表面に映り込んだ画像がもともとどういった画像であったのかを解析し、平面画像として復元する。この復元された画像が上記の復元画像となる。判断部５３は、例えば以下のような処理を行うことによって復元画像を生成することができる。

まず、判断部５３は、瞳特定部５２によって特定された瞳の輪郭によって構成される楕円の形状から、カメラが位置する方向と注視している方向との角度を推定する。この角度に応じて楕円の形状が変化するため、角度の推定が可能となる。そして、判断部５３は、推定された角度に基づいて瞳に映っている画像を座標変換し、画像を復元する。判断部５３のこのような処理は、以下の論文に記載された処理を適用することにより実現しても良い。

Ko Nishino, Shree K. Nayar, “The World in an Eye”, 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’04), Volume 1, pp.444-451

画像を復元した後、判断部５３は、表示部８を介して表示した特定画像と復元画像とが同一の画像であると認められるか否か判断する。この処理はパターンマッチング等により実現できる。そして、画像が同一とは認められない場合に、判断部５３は、なりすましが行われていると判断する。

［単純比較法］ 単純比較法では、判断部５３は、表示部８を介して表示する特定画像が人間の瞳に映り込んだ場合の画像、即ち球状の瞳に映りその形状が歪んだ場合の画像（
以下、「変形特定画像」と呼ぶ）を、特定画像毎に予め有している。そして、判断部５３は、認証画像から抽出された瞳部分の画像と、変形特定画像とが同一画像と認められるか否か判断する。この処理は、パターンマッチング等により実現できる。そして、画像が同一とは認められない場合に、判断部５３は、なりすましが行われていると判断する。

復元比較法であっても単純比較法であっても、判断部５３は、なりすましの有無について判断をした後は、認証部７に対しその判断結果を通知する。

〈登録情報記憶部〉 登録情報記憶部６は、記憶装置を用いて構成される。登録情報記憶部６は、登録情報テーブルを記憶する。登録情報テーブルは、正当ユーザのＩＤ毎にその特徴量を有する。この特徴量とは、例えば輝度分布や色ヒストグラム等の値であり、認証部７が認証処理を実行する際に使用する値である。

〈認証部〉 認証部７は、なりすまし検出部５によってなりすましが無いと判断された場合に、認証画像の被写体について認証処理を行う。認証処理を行う場合、認証部７は、登録情報記憶部６に記憶されている特徴量に基づいて認証を行う。具体的には、認証部７は、顔検出部４によって検出された顔の画像から、輝度分布や色ヒストグラム等の特徴量を取得し、登録情報記憶部６に記憶されている特徴量と比較することによって認証を行う。この比較は、輝度分布の正規化相関や、色ヒストグラムのヒストグラムインタセクション等を類似度として取得することによって行うことができる。即ち、特徴量が類似するか否かを判断し、類似すると判断された場合には登録情報記憶部６に登録されている人物と同一人物、即ち正当なユーザであると判断することができる。認証部７は、認証結果を他の機能部又は他の装置に出力する。

〈表示部〉 表示部８は、ＣＲＴ（Cathode Ray Tube）表示装置や液晶表示装置や有機ＥＬ（Electro-Luminescent）表示装置などの表示装置を用いて構成される。図２は、表
示部８の表示例を示す図である。図２では、顔認証装置１は携帯電話機に搭載された機能の一部として実現されている。また、表示部８は携帯電話機のディスプレイとして実現されている。そして、表示部８は、表示画面の一部に特定画像（例えば、内部に斜線を有する円）を表示するための表示枠（特定画像枠）８１を有する。表示部８は、制御部５１から指示を受けると、その指示内容に含まれる任意の特定画像を特定画像枠８１に表示する。

また、表示部８は特定画像枠８１以外の表示画面部分に、認証画像や認証結果などを表示するように構成されても良い。また、顔認証装置１は、携帯電話機に限らず他の装置（例えば、撮像装置を備えるＰＤＡ（Personal Digital Assistant）や、撮像装置が接続されたパーソナルコンピュータ）に搭載されても良い。また、顔認証装置１は、他の装置に搭載されるのではなく単体のハードウェアとして構成されても良い。

〔動作例〕 図３は、顔認証装置１の動作例を示すフローチャートである。図３を用いて顔認証装置１の動作例について説明する。

顔認証装置１は、ユーザの操作や他の装置によって認証処理の実行が指示されると動作を開始する。例えば、ユーザが不図示の入力装置（キーボードやボタン等）を操作することによって認証処理の実行指示を顔認証装置１に入力した場合である。また、他の例としては、アクセスに際して認証を受ける必要があるサービスやデータをユーザが選択した場合に、サービスやデータをユーザに提供する装置から認証処理の実行を指示された場合である。

動作が開始すると、制御部５１は特定画像を表示するように表示部８に指示する。表示
部８がこの指示に従って特定画像を表示すると（Ｓ０１）、撮像部２は認証画像を撮像する（Ｓ０２）。撮像された認証画像は、画像記憶部３によって保持される。次に、顔検出部４は、撮像された認証画像から被写体の顔を検出する（Ｓ０３）。そして、なりすまし検出部５は、検出された顔についてなりすまし検出処理を実行する（Ｓ０４）。

図４は、復元比較法が適用されたなりすまし検出部５の動作例を示すフローチャートである。まず、Ｓ０４のなりすまし検出処理の具体的動作について、復元比較法が適用された場合の動作例を説明する。なりすまし検出処理が開始されると、瞳特定部５２は、被写体の顔から瞳部分を特定する（Ｓ１１）。次に、判断部５３は、瞳特定部５２によって特定された瞳部分の画像を認証画像から抽出する（Ｓ１２）。次に、判断部５３は、抽出された画像から復元画像を生成し（Ｓ１３）、復元画像と特定画像とを比較する（Ｓ１４）。両画像が略同一と認められない場合は（Ｓ１５−ＮＯ）、判断部５３はなりすましが行われていると判断する（Ｓ１６）。一方、両画像が略同一と認められる場合（Ｓ１５−ＹＥＳ）、判断部５３はなりすましが無いと判断する（Ｓ１７）。そして、判断部５３は、いずれの場合もその判断結果を出力する（Ｓ１８）。

図５は、単純比較法が適用されたなりすまし検出部５の動作例を示すフローチャートである。次に、Ｓ０４のなりすまし検出処理の具体的動作について、単純比較法が適用された場合の動作例を説明する。なりすまし検出処理が開始されると、瞳特定部５２は、被写体の顔から瞳部分を特定する（Ｓ２１）。次に、判断部５３は、瞳特定部５２によって特定された瞳部分の画像を認証画像から抽出する（Ｓ２２）。次に、判断部５３は、抽出された瞳画像と、表示部８に表示させた特定画像に対応する変形特定画像とを比較する（Ｓ２３）。両画像が略同一と認められない場合（Ｓ２４−ＮＯ）、判断部５３はなりすましが行われていると判断する（Ｓ２５）。一方、両画像が略同一と認められる場合（Ｓ２４−ＹＥＳ）、判断部５３はなりすましが無いとは判断する（Ｓ２６）。そして、判断部５３は、いずれの場合もその判断結果を出力する（Ｓ２７）。

図３のフローチャートの説明に戻る。なりすまし検出処理（Ｓ０４）が実行された後、なりすまし検出部５の判断結果がなりすまし有りという内容であった場合（Ｓ０５−ＮＯ）、認証部７は認証処理を実行することなくエラーを出力する（Ｓ０６）。一方、なりすまし検出部５の判断結果がなりすまし無しという内容だった場合（Ｓ０５−ＹＥＳ）、認証部７は顔検出部４によって検出された被写体について認証処理を実行する（Ｓ０７）。そして、認証部７は認証結果を出力する（Ｓ０８）。

〔作用／効果〕 顔認証装置１では、認証部７による認証処理が行われる前に、なりすまし検出部５によってなりすましの有無が判断される。このなりすまし有無の判断は、認証画像の撮像時に表示部８において表示されている特定画像と、認証画像中の被写体の瞳に映った画像とが同一の画像であるか否かに基づいて行われる。このため、認証画像の撮像に際してユーザは、通常の撮像以上の動作を強いられることが無い。従って、ユーザに負担を課すことなくなりすましを検出することが可能となる。

〔変形例〕 瞳特定部５２は、被写体が眼鏡をかけている場合にはそのレンズ部分を特定するように構成されても良い。眼鏡をかけているか否かの判断やレンズ部分の特定は、眼鏡やそのレンズに関するパターンマッチングを行うことにより実現しても良いし、他の既存技術を適用することによって実現しても良い。この場合、判断部５３は、瞳部分に代えて、特定されたレンズ部分に映った画像に基づいて処理を行う。

判断部５３は、輝点検出法によって判断を行うように構成されても良い。この場合、特定画像の表示は行われないため、顔認証装置１は表示部８を必ずしも備える必要はない。以下、輝点検出法について説明する。

［輝点検出法］ 輝点検出法では、判断部５３は、瞳特定部５２によって特定された瞳に映り込んだ画像から輝点を検出し、その検出結果に基づいてなりすましの有無を判断する。具体的には、制御部５３は、撮像部２に対し撮像が行われる際にフラッシュを発光させるように指示する。この場合、撮像部２はフラッシュを発光させることが可能に構成されている必要がある。判断部５３は、瞳特定部５２によって特定された瞳からフラッシュによる輝点を検出できるか否か判断する。そして、判断部５３は、このような輝点が検出できないと判断した場合にはなりすましが行われていると判断する。

フラッシュによる輝点とは、撮像部２によって発光されたフラッシュが瞳で反射することによって生じた輝点を意味する。このような輝点の検出は、瞳の注視方向と撮像部２のレンズ位置と撮像部２のフラッシュ位置とに基づいて、瞳のどの部分にフラッシュによる輝点が発生するかを推定することにより、実行できる。特に、認証を行う際にユーザに対して撮像部２のレンズを注視するように指示することにより、このような検出は容易に行うことができる。瞳特定部５２によって特定された瞳の画像において、推定された場所に輝点が生じていない場合には、なりすましが行われていると判断できる。

フラッシュは、閃光を放つ通常のフラッシュでも良いし、撮影用の補助光を放つライト、いわゆるピクチャーライトでも良い。例えばライトを３原色発光ダイオードで構成した場合、ライトから様々な色の光を放つことができる。輝点検出法において、判断部５３は、さらに輝点の色に基づいて判断を行うように構成されても良い。例えば、撮像部２のフラッシュが任意の複数色の発光を行うことができる場合、制御部５１はそのうちの一つの色でフラッシュを発光させるように指示し、判断部５３は画像からその色に係る輝点が検出できない場合は、フラッシュによる輝点が検出できないと判断し、なりすましが行われていると判断するように構成されても良い。また、判断部５３は、フラッシュに係る輝点の位置を推定する処理と、フラッシュの色に係る本処理とを組み合わせて判断を行うように構成されても良い。

また、同じく輝点検出法において、制御部５１は、フラッシュを発光させた認証画像とフラッシュを発光させない認証画像とを撮像するように撮像部２に指示するように構成されても良い。この場合、判断部５３は、両画像において瞳の輝点を比較し、輝点の差異に基づいてなりすましの有無を判断するように構成されても良い。例えば、判断部５３は、両画像において輝点の発生が略同一である場合には、被写体の瞳において撮像部２のフラッシュによる輝点が検出できないと判断し、なりすましが行われていると判断するように構成されても良い。

[虹彩認証装置] なりすまし検出部５は、虹彩のパターンで個人認証をする虹彩認証装置にも用いることができる。制御部５１、瞳特定部５２、判断部５３の動作は上記と同様で良い。顔検出部４を虹彩検出部（図示せず）に置き換え、虹彩の認証を行う認証部７に対して、判断部５３の認証可否を入力することで実現できる。

顔認証装置の機能ブロック例を示す図である。 表示部の表示例を示す図である。 顔認証装置の動作例を示すフローチャートである。 復元比較法によるなりすまし検出処理の動作例を示すフローチャートである。 単純比較法によるなりすまし検出処理の動作例を示すフローチャートである。

符号の説明

１ 顔認証装置
２ 撮像部
３ 画像記憶部
４ 顔検出部
５ なりすまし検出部
５１ 制御部
５２ 瞳特定部
５３ 判断部
６ 登録情報記憶部
７ 認証部
８ 表示部

Claims (15)

1. 撮像手段及び画像表示手段に接続されるなりすまし検出装置であって、
   前記撮像手段によって撮像が行われる時に特定の画像を前記画像表示手段に表示させておく制御手段と、
   前記撮像手段によって撮像された画像から被写体の瞳部分を特定する特定手段と、
   被写体の瞳に映った画像が、前記撮像手段により撮像が行われた時に前記画像表示手段に表示されていた画像と異なるか判断し、異なると判断した場合にはなりすましであると判断する判断手段と、
   を備えるなりすまし検出装置。
2. 前記判断手段は、被写体の瞳の形状から前記撮像手段が位置する方向と被写体が注視している方向の角度を推定し、推定された角度に基づいて被写体の瞳に映り込んでいる画像を座標変換して映り込む前の状態に復元し、前記画像表示手段に表示されていた画像と比較することによって前記判断を行う請求項１に記載のなりすまし検出装置。
3. 前記判断手段は、前記画像表示手段に表示されていた画像が人間の瞳に映り込んだ場合の画像を予め有し、当該予め有している画像と被写体の瞳の画像とを比較することによって前記判断を行う請求項１に記載のなりすまし検出装置。
4. 撮像手段及び画像表示手段に接続されるなりすまし検出装置であって、
   前記撮像手段によって撮像が行われる時に特定の画像を前記画像表示手段に表示させておく制御手段と、
   前記撮像手段によって撮像された画像から被写体の眼鏡のレンズ部分を特定する特定手段と、
   前記レンズに映った画像が、前記撮像手段により撮像が行われた時に前記画像表示手段に表示されていた画像と異なるか判断し、異なると判断した場合にはなりすましであると判断する判断手段と、
   を備えるなりすまし検出装置。
5. 撮像手段に接続されるなりすまし検出装置であって、
   前記撮像手段によって撮像が行われる時にフラッシュを発光させるように前記撮像手段を制御する制御手段と、
   前記撮像手段によって撮像された画像から被写体の瞳部分を特定する特定手段と、
   瞳の注視方向と前記撮像手段の位置とフラッシュ位置とに基づいてフラッシュによる輝点が発生する位置を推定し、被写体の瞳部分の画像から推定された位置に前記フラッシュによる輝点を検出できるか判断し、検出できないと判断した場合にはなりすましであると判断する判断手段と、
   を備えるなりすまし検出装置。
6. 請求項１〜４のいずれかに記載のなりすまし検出装置と、
   前記制御手段の制御に従って画像を表示する画像表示手段と、
   前記制御手段の制御に従って撮像を行う撮像手段と、
   前記なりすまし検出装置によってなりすましでないと判断された場合に、前記撮像手段によって撮像された画像の被写体について顔認証を行う顔認証手段と、
   を備える顔認証装置。
7. 請求項５に記載のなりすまし検出装置と、
   フラッシュ機能を有し、前記制御手段の制御に従って撮像を行う撮像手段と、
   前記なりすまし検出装置によってなりすましでないと判断された場合に、前記撮像手段によって撮像された画像の被写体について顔認証を行う顔認証手段と、
   を備える顔認証装置。
8. 撮像手段及び画像表示手段に接続された情報処理装置が、前記撮像手段によって撮像が行われる時に特定の画像を前記画像表示手段に表示させておくステップと、
   前記情報処理装置が、前記撮像手段によって撮像された画像から被写体の瞳部分を特定するステップと、
   前記情報処理装置が、被写体の瞳に映った画像が、前記撮像手段により撮像が行われた時に前記画像表示手段に表示されていた画像と異なるか判断し、異なると判断した場合にはなりすましであると判断するステップと、
   を含むなりすまし検出方法。
9. 撮像手段及び画像表示手段に接続された情報処理装置が、前記撮像手段によって撮像が行われる時に特定の画像を前記画像表示手段に表示させておくステップと、
   前記情報処理装置が、前記撮像手段によって撮像された画像から被写体の眼鏡のレンズ部分を特定するステップと、
   前記情報処理装置が、前記レンズに映った画像が、前記撮像手段により撮像が行われた時に前記画像表示手段に表示されていた画像と異なるか判断し、異なると判断した場合にはなりすましであると判断するステップと、
   を含むなりすまし検出方法。
10. 撮像手段に接続された情報処理装置が、前記撮像手段によって撮像が行われる時にフラッシュを発光させるように前記撮像手段を制御するステップと、
    前記情報処理装置が、前記撮像手段によって撮像された画像から被写体の瞳部分を特定するステップと、
    前記情報処理装置が、瞳の注視方向と前記撮像手段の位置とフラッシュ位置とに基づいてフラッシュによる輝点が発生する位置を推定し、被写体の瞳部分の画像から推定された位置に前記フラッシュによる輝点を検出できるか判断し、検出できないと判断した場合にはなりすましであると判断するステップと、
    を含むなりすまし検出方法。
11. 前記情報処理装置が、前記判断するステップにおいてなりすましでないと判断された場合に、前記撮像手段によって撮像された画像の被写体について顔認証を行うステップをさらに含む、請求項８〜１０のいずれかに記載のなりすまし検出方法。
12. 撮像手段及び画像表示手段に接続された情報処理装置に対し、
    前記撮像手段によって撮像が行われる時に特定の画像を前記画像表示手段に表示させておくステップと、
    前記撮像手段によって撮像された画像から被写体の瞳部分を特定するステップと、
    被写体の瞳に映った画像が、前記撮像手段により撮像が行われた時に前記画像表示手段に表示されていた画像と異なるか判断し、異なると判断した場合にはなりすましであると判断するステップと、
    を実行させるためのプログラム。
13. 撮像手段及び画像表示手段に接続された情報処理装置に対し、
    前記撮像手段によって撮像が行われる時に特定の画像を前記画像表示手段に表示させておくステップと、
    前記撮像手段によって撮像された画像から被写体の眼鏡のレンズ部分を特定するステップと、
    前記レンズに映った画像が、前記撮像手段により撮像が行われた時に前記画像表示手段に表示されていた画像と異なるか判断し、異なると判断した場合にはなりすましであると判断するステップと、
    を実行させるためのプログラム。
14. 撮像手段に接続された情報処理装置に対し、
    前記撮像手段によって撮像が行われる時にフラッシュを発光させるように前記撮像手段を制御するステップと、
    前記撮像手段によって撮像された画像から被写体の瞳部分を特定するステップと、
    瞳の注視方向と前記撮像手段の位置とフラッシュ位置とに基づいてフラッシュによる輝点が発生する位置を推定し、被写体の瞳部分の画像から推定された位置に前記フラッシュによる輝点を検出できるか判断し、検出できないと判断した場合にはなりすましであると判断するステップと、
    を実行させるためのプログラム。
15. 前記情報処理装置に対し、前記判断するステップにおいてなりすましでないと判断された場合に、前記撮像手段によって撮像された画像の被写体について顔認証を行うステップをさらに実行させる、請求項１２〜１４のいずれかに記載のプログラム。

Images