JP4924603B2 - 顔認証装置、顔認証方法およびプログラム - Google Patents

Description

本発明は、携帯電話機などの個人用情報機器で、ユーザを確認するための顔認証技術に関する。

従来、携帯電話機などの個人用情報端末機器(以下、「端末」という)では、機器の一部あるいは全部の機能の使用をあるユーザに許すかを決定するために、正規ユーザであるかを確認する必要がある。

多くの場合、正規ユーザしか知らない秘密情報としての暗証番号あるいはパスワードと呼ばれる入力文字列パターンをあらかじめ決めておき、これを正しくキー入力できた場合に認証成功とする方法が多く用いられている。

しかしこのような秘密の知識による認証では、その端末が人手に渡った場合、正規ユーザの誕生日からの類推などの推量により、または正規ユーザの使用時の入力を盗み見ることにより、さらには異なったＰＩＮの候補を総当たりすることにより、正しいＰＩＮを見つけ、他人でもそのパターンの入力により機器を使用することが可能となるという問題がある。そのために、より安全で便利な認証方法として、ユーザの生体情報（バイオメトリクス）を利用した認証が用いられる。

ユーザの生体情報を利用した認証の一例である、正規ユーザの顔の容貌などの生体特徴を使用した認証方法では、予め正規ユーザの顔パターンを端末のカメラで撮影して端末内に登録しておき、認証時には端末を使用しようとするユーザが同様にカメラで顔を撮影し、撮られた顔画像と登録された顔画像が十分類似していれば、そのユーザを正規ユーザと認め、認証成功とする。

顔画像の照合による認証方法として、一般に、ＥｉｇｅｎＦａｃｅ法と呼ばれる方法（非特許文献１参照）が知られている。非特許文献１に記載されたＥｉｇｅｎＦａｃｅ法では、画像集合中の各画像の大きさを正規化し、各画像の画素の濃淡値からなる特徴ベクトルの部分空間を主成分分析により生成する。また、入力画像と登録画像との特徴ベクトルを部分空間上に射影して照合スコアを計算する。そして、求めた照合スコアに基づいて、認証対象の人物であるか否かを判定する。

この方法では、適切な顔照合方法を用いることにより、他人が本人になりすます可能性を十分に低くすることもでき、従来多く用いられる暗証番号方式では他人が番号を推測・盗み見することでなりすます可能性があるという問題を解決することができる。
M.Turk, A.Pentland, "Eigenfaces for recognition", Journal of Cognitive Neuroscience, Vol.3, No.1, pp.71-86, 1991.

しかしながら、上述した従来例においては次のような写真などによるなりすましという問題点があった。

すなわち、正規ユーザの顔を撮影した写真をカメラに対し提示することで、他人が正規ユーザになりすます可能性があり、これを判別して排除することが困難であった。

また、さらに手の込んだなりすまし手法としては、ビデオカメラなどで撮影した正規ユーザの顔の経時的変化を含む動画を小型テレビ画面や情報機器ディスプレイで表示し、これをカメラに提示することで、より見破りにくいなりすましを図る可能性もあり、これを判別して排除することも困難であった。

また、特開２００５−２５９０４９号公報に開示されているような、なりすまし対策も知られているが、放射熱センサが必要でコストアップとなる。

本発明は、以上説明した事情に鑑みてなされたものであり、その目的は、通常のカメラ画像のみで安価に、不正利用者が正規ユーザの顔を撮影した写真をカメラに対し提示することにより正規ユーザになりすます可能性を排除し、安全な端末使用を保証することにある。

上記課題を解決するために、本発明は、顔認証時にユーザにどのようなパターンをキー入力させるかの指示をキー入力部とは別の位置に配置された提示パターン表示部に表示し、前記提示パターン表示部に指示を表示してからキー入力が終了するまでの全部または一部の時間の、ユーザの顔および／または顔の一部の動きを撮影部で撮影し、撮影された顔画像が生体によるものであるか否かを判定する顔認証装置を提供する。

また、本発明は、顔認証時にユーザにどのようなパターンをキー入力させるかの指示をキー入力部とは別の位置に配置された提示パターン表示部に表示し、前記提示パターン表示部に指示を表示してからキー入力が終了するまでの全部または一部の時間の、ユーザの顔および／または顔の一部の動きを撮影部で撮影し、撮影された顔画像が生体によるものであるか否かを判定する顔認証方法を提供する。

本発明によれば、不正利用者が正規ユーザの顔を撮影した写真をカメラに対し提示することにより正規ユーザになりすます可能性を排除し、安全な端末使用を保証することができる。

以下、本発明の第１の実施の形態について図面を参照して詳細に説明する。

図１を参照すると、本実施の形態における顔認証装置は、ユーザ端末として実現されており、内蔵カメラ１と、撮影指示部２と、画像処理部３と、提示パターン生成部４と、提示パターン表示部５と、顔認証部６と、差分判定部７と、確認結果処理部８と、ＰＩＮ判定部９と、キー入力部１０と、登録顔画像保持部１１と、暗証番号保持部１２から構成されている。

ユーザ端末にはその上部（多くの場合耳に当てる半分でＲ側と呼ばれる部分）に提示パターン表示部５と内蔵カメラ１とがあり、また下部（多くの場合口の方に向ける半分でＭ側と呼ばれる部分）にキー入力部１０（キーパッド）とがある。

ユーザがユーザ端末の使用許可を得ようとする場合、ユーザ端末に内蔵された内蔵カメラ１に対して顔を提示した姿勢で、提示パターン表示部５に表示される指示に従って、キー入力部１０からＰＩＮなどのパターンを入力する。

図１では１０個の番号キーを持つキーパッドの例を示しているが、もちろん英文字を入力可能なキーボードを使用して英文字を含むパスワードを入力する場合も同様である。

入力するパターンについては、提示パターン生成部４でその指示が決定され、提示パターン表示部５に指示が表示される。撮影指示部２の制御により、提示パターン表示部５に指示が表示される前後からユーザがキー入力部１０に入力を終了するまでの時間にわたって、内蔵カメラ１がそのときに視野に入るユーザの顔の動きを撮影し、その結果が画像処理部３で処理される。この処理においては動画は時間方向に沿って撮影された複数のフレームに分解され、それらのフレーム画像群の一部または全部が顔認証および顔の生体判定に用いられる。

まず、顔認証部６での顔認証においては、複数のフレーム画像のうち、顔照合に適した一枚または複数枚の画像群が選択され、それらが登録顔画像保持部１１にあらかじめ登録された登録顔画像と比較される。

撮影画像の顔と登録画像の顔の類似度が閾値より高い場合、顔認証は成功となり、結果は確認結果処理部８に通知される。

また、差分判定部７における顔の生体判定処理においては、時間方向に沿って撮影された複数のフレーム間で画像が比較され、それらの差分が評価されることで、生体の顔が写っているか、写真あるいは平面的な動画が写っているかが判定される。

ユーザがキー入力部から入力したＰＩＮと、提示パターン生成部４で生成された指示および暗証番号保持部１２から読み出されたＰＩＮとから求められる、正しいと期待される入力パターンとがＰＩＮ判定部９で比較される。これが一致し、顔認証部での顔認証が成功し、かつ差分判定部で生体の顔が写っていると判定された場合、確認結果処理部を介して端末のロックが解除され、端末は使用許可状態になる。

一方、そうでない場合は、提示パターン生成部４で新たな指示が作られ、提示パターン表示部５でユーザに提示されてキー入力部１０への入力が求められる。

次に、本実施の形態における処理動作について図面を用いて詳細に説明する。

まず、ユーザ端末の使用開始時に行われるＰＩＮ登録作業では、キー入力部１０から正規ユーザにより入力された正規ＰＩＮが、暗証番号保持部１２に保持される。以下の説明では仮にＰＩＮが「６５４３」であったとする。また、通常、このユーザ端末は非正規ユーザの使用を制限するためにロックされ、使用不能状態に置かれる。その後ロックされた端末の使用許可を得るためにユーザ認証が必要となった際の、使用者確認時での処理の流れを図２を参照して使用者確認の動作について説明する。

使用者確認が必要な際には、まず、ユーザによる端末使用者確認要求(例えばキー入力部のいずれかのキーを押下するなど)により、端末使用者確認のプロセスに入る（Ｓ２０１）。

使用者確認においては、まず、提示パターン生成部４において、例えば「８４＋ＰＩＮ＋３８２」という提示パターンが生成される（Ｓ２０２）。この８４や３８２は使用者確認が行われるごとに、ランダムに作られる数字列である。

この生成されたパターンに従い、「８４に続けてＰＩＮを入力し、そのあと３８２を入力してください」などの文字列が提示パターン表示部５に表示され、また撮影指示部２を介して内蔵カメラ１が起動される（Ｓ２０３）。

ユーザは典型的には、端末上部にある提示パターン表示部５に表示された指示のうちその指示の前半「８４に続けてＰＩＮを入力し」を見て、端末下部にあるキー入力部１０から「８４６５４３」を入力し、その後再び端末上部にある提示パターン表示部に表示された指示のうちその指示の後半「そのあと３８２を入力してください」を見て、端末下部にあるキー入力部１０から引き続き「３８２」を入力する（Ｓ２０４〜２０７）。このように端末上部と下部を交互に凝視することにより、この視線の上下に伴って自然と眼球や顔全体が上下に運動することが期待され、この模様が内蔵カメラ１から動画あるいは連続画像として撮像される。

入力が終了すると内蔵カメラ１の撮像は停止される（Ｓ２０８）。

入力が終了すると、ＰＩＮ判定部において、キー入力部から入力されたパターンが正しいか否かが確認される（Ｓ２０９）。具体的には、暗証番号保持部１２に保持された正しいＰＩＮ(この場合は「６５４３」)と提示パターン生成部５で作られたパターンのルールとを勘案して、正しいかどうかが確認され、その結果が確認結果処理部８へ送られる。

一方、内蔵カメラ１で撮影された画像は、画像処理部３において時間ごとのフレーム画像系列として処理され、それらのフレーム画像が顔認証および顔の生体判定に用いられる。まず顔認証部３における顔認証においては、複数のフレーム画像のうち、なるべく正面を見ており、顔全体が写っているなど、顔照合に適した一枚または複数枚の画像群が選択され、それらが登録顔画像保持部１１にあらかじめ登録された登録顔画像と比較される（Ｓ２１０）。撮影画像の顔と登録画像の顔の類似度が閾値より高い場合、顔認証は成功となり、結果は確認結果処理部８に通知される。

差分判定部７において、それら複数のフレームに写っている顔画像について、カメラと顔との相対移動を補正するための位置合わせ処理を行った後にフレームの顔画像部分を切り出して目や鼻、口を含む顔の中心部分に関し、複数フレーム間の類似度判定を行う（Ｓ２１１）。もし、これらのフレーム間で画像の詳細部分、特に例えば目の眼球の位置なども含め類似度スコアを累積したものが閾値より高い場合は、写真など静止画を提示したものと判断する。一方、累積類似度スコアが閾値より低く、位置ずれ補正と切り出し後の眼球の位置などを含む詳細部分が十分異なっていると判断されれば、カメラに写っているものは生体の顔だと判断する。

この生体顔判別処理においては、各フレーム内で両目の目尻と目頭、鼻の頂点と両脇、口の両端や唇の中央など複数の器官に関して定義される複数の特徴点の相互の位置関係を求め、フレーム間でそれらの相関をとる方法も用いることができる。多くのフレームでそれらの位置関係が高い相関を持っていれば、各器官は相対的に動いていないことがわかり、写真画像が提示されていると判断することができる。

差分判定部７の結果は確認結果処理部８に送られ、ＰＩＮ判定部の結果が一致で、かつ顔認証部での顔認証が成功し、かつ差分判定部の結果が生体であると判断された場合には、このＰＩＮを入力したユーザは生きた正規ユーザと判定されて確認結果処理部８を介して端末のロックが解除され、端末は使用許可状態になる（Ｓ２１２、２１３）。

そうでない場合には、正規ユーザではないと判断され、ロックは解除されない。

上記の本実施の形態によれば、端末にカメラが設置されている場合には、新たなハードウェアや複雑なソフトウェアを使わずに実装できるため、他のなりすましを防ぐためのセンサや特殊なソフトウェアを用いる場合に比べて開発費が安くすみ、費用も削減できる。

次に、本発明の第２の実施の形態について詳細に説明する。上述の第１の実施の形態では、提示パターン表示部５に「８４に続けてＰＩＮを入力し、そのあと３８２を入力してください」のように一度に指示を表示していたが、これでは一度に指示を記憶してしまい、端末の上と下を交互に見ない可能性もあるため、キー入力部１０への入力タイミングを検知しこれと連動するようにして、まず、「まず８４を入力してください」と表示し、８４の入力確認後に、「次にＰＩＮを入力してください」と表示し、同様にＰＩＮ入力を確認後に「それに続けて３８２を入力してください」と表示するといったように、指示を一部ずつ提示することにより、交互に見るように仕向けることもできる。

次に、本発明の第３の実施の形態について詳細に説明する。上記の第２の実施の形態と同様の効果を上げられる一例として、図３の（ａ）にあるような任意のランダムなキーパッドの数字配置を提示パターン表示部５に表示し、ＰＩＮの数字でこの配置に対応するキーをキー入力部１０で打鍵させる。例えば、ＰＩＮが「６５４３」で、図３の（ａ）の配置が提示されているとすれば、ユーザは（ａ）で６が表示されている位置にあるキー入力部の「３」のキーから始め、３→９→７→２の順にキー入力部で打鍵することになる。これにより、ユーザは端末上部と下部を交互に見るように仕向けられる。

また、上述のように提示パターン表示部５とキー入力部１０とを交互に見ている合間に、「内蔵カメラの方を見てください」などの指示を提示パターン表示部５に表示することにより、ユーザに内蔵カメラ１を正面から見させ、より安定し、顔認証に適した正面顔を撮影すると共に、顔のさらなる上下動を要求し、生体顔の判別効果をより高めることもできる。

なお、上述の各実施の形態では、いずれも秘密情報であるＰＩＮの入力を必要としていたが、顔認証が十分な精度を持つと考えられる場合にはＰＩＮの入力と一致判定は不要である。この場合には、例えば、あるキーの押下などで顔認証による使用者確認が要求されると内蔵カメラ１が起動される。この撮影の間に提示パターン表示部５に例えば「３のキーを押してください」という指示が表示され、ユーザがこれを見てキー入力部１０から３を押す際に、顔や眼球が上下することを利用することでも生体であることが判別でき、上記の実施の形態より簡単に同様な効果を実現することができる。

また、提示パターン表示部５を見てキー入力を行う際に、顔を動かさずに眼球のみを動かしてキー入力を行うユーザもいると思われるので、差分判定部７では顔画像から目の位置を検出し、顔画像のうち特に目の眼球に関し、フレーム間での差分での動きに注目して生体顔かの判別を行うという実現法を併用することも有効である。

また、単に時系列のフレーム間の比較により全体が一様に移動する写真か否かを判別するのみでなく、これに加えて、例えば、提示パターン表示部５に所定の指示を表示してから合理的な時間の遅れを持ってそれに対応する入力がキー入力部１０に対して行われるかを判定するという判別ロジックを組み込むことができる。これにより、写真を排除することに加えて、あらかじめビデオカメラなどで撮影された正規ユーザの動画（あらかじめ撮った場合には提示パターン表示部５への指示表示とキー入力を合理的な遅れを持って同期させることが困難である）をも判別し、排除することができる。

さらに、ユーザ端末は、その上部に内蔵カメラ１があり、下部にキー入力部１０があるものとしたが、内蔵カメラ１が上、キー入力部１０が下という位置関係は一例であり、両者は隣接を含む任意の位置関係をもって実装されてよい。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、上記の各実施の形態におけるユーザ端末の機能を実現するためのプログラムを装置に読込ませて実行することにより装置の機能を実現する処理を行ってもよい。さらに、そのプログラムは、コンピュータ読み取り可能な記録媒体であるＣＤ−ＲＯＭまたは光磁気ディスクなどを介して、または伝送媒体であるインターネット、電話回線などを介して伝送波により他のコンピュータシステムに伝送されてもよい。

上述する各実施の形態は、ユーザ端末の各機能が１つのコンピュータシステムとして実現されているシステム構成について説明したが、機能毎に複数の装置などが追加された構成にも適用可能であることはもちろんである。

本発明は、カメラ機能を持つ携帯電話機あるいは携帯型情報通信機器一般に適用可能である。

本発明の第１の実施形態における顔認証装置の構成を示す図である。 本発明の第１の実施形態における処理動作を示すフローチャートである。 本発明の第３の実施形態における表示例を示す図である。

符号の説明

１ 内蔵カメラ
２ 撮影指示部
３ 画像処理部
４ 提示パターン生成部
５ 提示パターン表示部
６ 顔認証部
７ 差分判定部
８ 確認結果処理部
９ ＰＩＮ判定部
１０ キー入力部
１１ 登録顔画像保持部
１２ 暗証番号保持部

Claims (11)

1. ユーザがキー入力を行うキー入力部と、
   前記キー入力部とは上下離れた位置に配置され、顔認証時にユーザに入力させる文字または数字を含む系列を一部ずつキー入力させる指示を表示する提示パターン表示部と、を備え、
   前記提示パターン表示部は、前記指示の一部を表示し、前記キー入力部への入力タイミングを検知し、前記ユーザが前記系列の一部を入力した後に、前記指示の他の一部を表示し、
   さらに、前記提示パターン表示部に指示を表示してからキー入力が終了するまでの全部または一部の時間の、ユーザの顔の動き、またはユーザの顔の一部の動きの少なくとも一方の顔画像を複数撮影する撮影部と、
   撮影された複数の顔画像の少なくとも１つをあらかじめ登録されたユーザの顔画像と比較してユーザの顔認証を行う顔認証部と、
   前記撮影された複数の顔画像の各々を比較して前記撮影された複数の顔画像の各々の類似度を判定し、前記類似度が所定の閾値より高い場合には、前記撮影された複数の顔画像が生体によるものではないと判定し、前記類似度が所定の閾値より低い場合には、前記撮影された複数の顔画像が生体によるものと判定する判定部と、
   を備えることを特徴とする顔認証装置。
2. 前記顔認証部は、さらに、前記撮影された複数の顔画像の少なくとも１つをあらかじめ登録されたユーザの顔画像と比較した結果、前記撮影された複数の顔画像の少なくとも１つと前記あらかじめ登録されたユーザの顔画像との類似度が所定の閾値より高い場合には、前記撮影された複数の顔画像は、前記あらかじめ登録されたユーザの画像であることを認証することを特徴とする請求項１に記載の顔認証装置。
3. 前記提示パターン表示部は、任意のランダムなキーパッドの文字または数字の少なくとも一方の配置を表示し、この配置に対応するキーを前記キー入力部で打鍵させることを特徴とする請求項１または２に記載の顔認証装置。
4. 前記提示パターン表示部は、前記ユーザが前記指示に従い前記系列の一部の入力を行っている間に、前記撮影部を見る旨の指示を表示し、
   前記撮影部は、前記撮影部を見る旨の指示が表示された後に、前記顔画像を撮影することを特徴とする請求項１から３のいずれか１項に記載の顔認証装置。
5. 前記顔認証装置は、さらに、
   所定の指示を表示してから合理的な時間の遅れを持ってそれに対応する入力が前記キー入力部に対して行われるかを判定するＰＩＮ判定部を備え、
   前記判定部は、さらに、前記ＰＩＮ判定部が合理的な時間の遅れを持ってそれに対応する入力が前記キー入力部に対して行われたことを判定した場合には、前記顔画像が生体によるものであることを判定することを特徴とする請求項１から４のいずれか１項に記載の顔認証装置。
6. 顔認証時にユーザに入力させる文字または数字を含む系列を一部ずつキー入力させる指示をキー入力部とは上下に離れた位置に配置された提示パターン表示部に表示し、
   前記提示パターン表示部は、前記指示の一部を表示し、前記キー入力部への入力タイミングを検知し、前記ユーザが前記系列の一部を入力した後に、前記指示の他の一部を表示し、
   前記提示パターン表示部に指示を表示してからキー入力が終了するまでの全部または一部の時間の、ユーザの顔の動き、またはユーザの顔の一部の動きの少なくとも一方の顔画像を複数、撮影部で撮影し、
   撮影された複数の顔画像の少なくとも１つをあらかじめ登録されたユーザの顔画像と比較するユーザの顔認証を顔認証部が行い、
   判定部が、前記撮影された複数の顔画像の各々を比較して前記撮影された複数の顔画像の各々の類似度を判定し、前記類似度が所定の閾値より高い場合には、前記撮影された複数の顔画像が生体によるものではないと判定し、前記類似度が所定の閾値より低い場合には、前記撮影された複数の顔画像が生体によるものと判定する
   ことを特徴とする顔認証方法。
7. 前記顔認証部は、さらに、前記撮影された複数の顔画像の少なくとも１つをあらかじめ登録されたユーザの顔画像と比較した結果、前記撮影された複数の顔画像の少なくとも１つと前記あらかじめ登録されたユーザの顔画像との類似度が所定の閾値より高い場合には、前記撮影された複数の顔画像は、前記あらかじめ登録されたユーザの画像であることを認証することを特徴とする請求項６に記載の顔認証方法。
8. 前記提示パターン表示部は、任意のランダムなキーパッドの文字または数字の少なくとも一方の配置を表示し、この配置に対応するキーを前記キー入力部で打鍵させることを特徴とする請求項６または７に記載の顔認証方法。
9. 前記提示パターン表示部は、前記ユーザが前記指示に従い前記系列の一部の入力を行っている間に、前記撮影部を見る旨の指示を表示し、
   前記撮影部を見る旨の指示が表示された後に、前記撮影部が前記顔画像を撮影することを特徴とする請求項６から８のいずれか１項に記載の顔認証方法。
10. 前記顔認証方法は、さらに、
    所定の指示を表示してから合理的な時間の遅れを持ってそれに対応する入力が前記キー入力部に対して行われるかをＰＩＮ判定部で判定し、
    前記判定部は、さらに、前記ＰＩＮ判定部が合理的な時間の遅れを持ってそれに対応する入力が前記キー入力部に対して行われたことを判定した場合には、前記顔画像が生体によるものであることを判定することを特徴とする請求項６から９のいずれか１項に記載の顔認証方法。
11. コンピュータに請求項１から５のいずれか１項に記載の機能を実現させることを特徴とするプログラム。

Images