JP4910627B2

JP4910627B2 - なりすまし検知装置

Info

Publication number: JP4910627B2
Application number: JP2006288339A
Authority: JP
Inventors: 綾子平野; 孝三森山; 美春櫻木; 俊幸小鶴; 基夫山本
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2006-10-24
Filing date: 2006-10-24
Publication date: 2012-04-04
Anticipated expiration: 2026-10-24
Also published as: JP2008107942A

Description

本発明は、顔画像によるユーザ認証機能をもつ携帯機器において、なりすましを検知するための技術に関する。

近年、携帯機器（携帯電話、ＰＤＡ（Personal Digital Assistant）、モバイルコンピュータなど）の高機能化・多機能化が進んでおり、また、機器内部に格納されるデータ（個人情報、画像データ、アドレス帳等）の重要度も増している。これに伴い、携帯機器の不正利用を防止するためのセキュリティ対策が重要となってきている。

セキュリティ対策としては、携帯機器に標準搭載になりつつあるカメラを利用する顔認識技術が注目されている。顔認識技術を応用した本人認証（顔認証）は、自然な動作の中から顔を撮影し、持ち主確認を行うことが可能なので、利便性の高いセキュリティとして有効である。

一方、顔認識技術の課題として、写真等を用いた「なりすまし」への対策がある。なりすましとは、本人の顔写真等を用いて別人が認証を受けようとする行為である。特に最近の携帯端末は、メガピクセル級のカメラが装備されていたり、オートフォーカス機能や接写機能といった機能が充実していたりするため、スナップ写真や免許証のような小サイズの写真からでもなりすましが出来てしまう危険性がある。たとえば、携帯電話と一緒に免許証や写真付きクレジットカードが盗難にあった場合、それらの写真を用いて携帯電話のセキュリティロックが解除され、重要なデータが読み出されたり、電子マネー等が不正利用されたりするおそれがある。

なりすましを検知するアイデアとしては、ユーザに所定の動作を要求し、その要求通りの動きをユーザが行ったかどうか調べる方法が知られている（特許文献１参照）。しかし、この方法は、所定動作の実行という操作負担をユーザにかけるため、顔認識技術の利点である利便性を損なってしまう。

他のアイデアとしては、照明条件を変えながら複数回撮影を行い、顔の陰影のでき方を確認する方法（特許文献２参照）や、様々な角度から撮影することで立体かどうかを調べる方法がある。しかし、これらの方法では、複数の照明装置が必要となったり、複数のカメラ若しくはカメラの移動機構が必要なため、装置構成が大掛かりになる。しかも、照明条件や撮影角度を変えて何回も撮影を行わなければならないため、利便性を損なうことにもつながる。

このように、従来のなりすまし検知方法は、装置の大型化や利便性の低下を招くため、携帯電話、ＰＤＡ、小型コンピュータのような携帯機器へ実装することが困難であった。

なお、携帯機器のカメラを利用する技術として、特許文献３、４がある。
特開２００４−２５９２５５号公報特開平１１−３３９０４８号公報特開２００３−３１７１００号公報特開２００４−１４７０４６号公報

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、装置の大型化や利便性の低下を招くことなく、簡易な処理で写真等によるなりすましを検知可能な技術を提供することにある。

上記目的を達成するために本発明は、以下の構成を採用する。

本発明は、顔画像によるユーザ認証機能をもつ携帯機器に実装され、写真等によるなりすましを検知するものである。ここで「写真等」とは、ハードプリントだけでなく、ディスプレイに表示された画像も含む。

本発明に係るなりすまし検知装置は、携帯機器が具備するハードウエア資源である、前記携帯機器の一方の側を撮影するように前記携帯機器の表示部と同じ側に設けられた第１撮像手段と、前記携帯機器の反対の側を撮影するように前記携帯機器の前記表示部とは反対の側に設けられた第２撮像手段と、を利用する。そして、なりすまし検知装置は、前記第１撮像手段でユーザ認証に用いる第１画像が撮影されるのと実質的に同じタイミングで前記第２撮像手段で撮影された第２画像を解析することによって、前記第１画像の撮影時になりすましが行われたか否かを判定するなりすまし判定手段を備える。

なりすましを試みる者（以下、「不正利用者」という。）は、第１撮像手段によるユーザ認証用の画像（第１画像）の撮影には細心の注意を払うが、このときに携帯機器の反対側を向いている第２撮像手段に何が写っているかはまったく気にしないものと思われる。本発明はこのような心理的な盲点に着目したものである。

なりすまし判定手段の具体的な判定処理としては、種々のものが考えられる。

例えば、なりすまし判定手段は、前記第２画像に顔が含まれている場合に、前記第１画像の撮影時になりすましが行われたと判定してもよい。

不正利用者が、自分のほうに向けた写真等に携帯機器（第１撮像手段）をかざして撮影を行った場合、第２撮像手段が不正利用者のほうを向き、第２画像に不正利用者の顔が写り込む可能性が高いからである。

なお、正当な利用者がユーザ認証のために自分撮りを行う場合、第２画像に第三者の顔が写り込む可能性は非常に低い。ただし、通行人などの顔がたまたま第２画像に含まれることも想定される。

そこで、なりすまし判定手段は、前記第２画像に顔が含まれており、且つ、その顔のサイズがしきい値より大きい場合に、前記第１画像の撮影時になりすましが行われたと判定してもよい。

第２画像に第三者が偶然写っていたとしても、その顔のサイズは非常に小さいはずだからである。この判定処理のように顔のサイズを判定条件に加えたことで、誤判定を可及的に少なくできる。

また、なりすまし判定手段は、前記第２画像に顔が含まれており、且つ、その顔の向きが正面の場合に、前記第１画像の撮影時になりすましが行われたと判定してもよい。

第２画像に第三者が偶然写っていたとしても、その顔の向きは横向きや斜め向きであることがほとんどであると考えられるからである。この判定処理のように顔の向きを判定条件に加えることによっても、誤判定を可及的に少なくできる。なお、顔のサイズと顔の向
きの両方を判定条件に加えることも好ましい。

また、なりすまし判定手段は、前記第２画像に顔が含まれており、且つ、その顔と同一人の顔が、前記第１画像の撮影より後で前記第１撮像手段で撮影された第３画像にも含まれている場合に、前記第１画像の撮影時になりすましが行われたと判定してもよい。

不正利用者は、なりすましに成功したか確認したり、携帯機器を操作しようと試みたりするために、写真等を撮影した後に携帯機器の向きを反転させ、第１撮像手段を自分の側に向ける可能性が高い。このとき、ユーザ認証の時点では第２画像に写っていた顔が、第１撮像手段で撮影される第３画像に現れる、という現象が起きる。上記判定処理はこの現象に着目したものであり、第２画像だけでなく第３画像も判定に用いることでなりすまし判定の信頼性を向上している。

ここまでで述べた判定処理は、不正利用者が自分のほうに向けた写真等に携帯機器をかざして撮影を行う、という態様を想定したものである。しかし、なりすましの態様としては、不正利用者が自分のほうに第１撮像手段を向けて携帯機器を構え、その第１撮像手段の前に写真等をかざして撮影を行うといった態様も想定される。この態様の場合は、第２撮像手段に不正利用者の顔は写らないので、次のような判定処理が有効である。

すなわち、なりすまし判定手段は、前記第１画像に含まれていなかった顔が、前記第１画像の撮影より後で前記第１撮像手段で撮影された第３画像に含まれており、且つ、前記第３画像が撮影されるのと実質的に同じタイミングで前記第２撮像手段で撮影された第４画像と前記第２画像とが一致する場合に、前記第１画像の撮影時になりすましが行われたと判定するとよい。

不正利用者は、第１撮像手段の前に写真等をかざして撮影を行った後、すぐに写真等を退かして、なりすましに成功したか確認したり、携帯機器を操作しようと試みる可能性が高い。このとき、第１撮像手段で撮影された画像に含まれる顔は別人のものになるにもかかわらず、携帯機器の移動がほとんどないために第２撮像手段で撮影される画像にはほとんど変化がない、という現象が起きる。上記判定処理はこの現象に着目したものである。

本発明は、上記手段の少なくとも一部を有するなりすまし検知装置として捉えてもよいし、なりすまし検知装置を備える顔認証装置や携帯機器として捉えてもよい。また本発明は、上記処理の少なくとも一部を含むなりすまし検知方法や顔認証方法、または、かかる方法を実現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

例えば、本発明に係るなりすまし検知方法は、顔画像によるユーザ認証機能をもつ携帯機器におけるなりすまし検知方法であって、前記携帯機器が、表示部と、前記携帯機器の
一方の側を撮影するように前記表示部と同じ側に設けられた第１撮像手段と、前記携帯機器の反対の側を撮影するように前記携帯機器の前記表示部とは反対の側に設けられた第２撮像手段とを備えており、前記携帯機器が、前記第１撮像手段によりユーザ認証に用いる第１画像を撮影する処理と、前記第１画像の撮影と実質的に同じタイミングで、前記第２撮像手段により第２画像を撮影する処理と、前記第２画像を解析することによって、前記第１画像の撮影時になりすましが行われたか否かを判定する処理と、を実行するなりすまし検知方法である。

また、本発明に係るなりすまし検知プログラムは、顔画像によるユーザ認証機能をもつ携帯機器で実行されるなりすまし検知プログラムであって、前記携帯機器が、表示部と、前記携帯機器の一方の側を撮影するように前記表示部と同じ側に設けられた第１撮像手段と、前記携帯機器の反対の側を撮影するように前記携帯機器の前記表示部とは反対の側に設けられた第２撮像手段とを備えており、前記携帯機器に、前記第１撮像手段によりユーザ認証に用いる第１画像を撮影する処理と、前記第１画像の撮影と実質的に同じタイミングで、前記第２撮像手段により第２画像を撮影する処理と、前記第２画像を解析することによって、前記第１画像の撮影時になりすましが行われたか否かを判定する処理と、を実行させるなりすまし検知プログラムである。

本発明によれば、装置の大型化や利便性の低下を招くことなく、簡易な処理で写真等によるなりすましを検知することができる。

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。なお、以下の実施形態では携帯電話を例に挙げるが、本発明は他の種類の携帯機器（例えば、ＰＤＡ、パーソナル・コンピュータ、ゲーム機など）にも適用可能である。

＜装置構成＞
図１は、携帯電話の外観を示す図であり、（ａ）は携帯電話の内側（操作側）を示し、（ｂ）は携帯電話の外側を示している。

携帯電話１の内側には、数字ボタンやファンクションボタンなどで構成される操作部１０と、液晶ディスプレイなどで構成される表示部１１と、第１撮像手段としてのインカメラ（内側カメラ）１２とが設けられている。また、携帯電話１の外側には、第２撮像手段としてのアウトカメラ（外側カメラ）１３が設けられている。

アウトカメラ１３は、携帯電話での写真撮影を可能とするために設けられたものである。一方、インカメラ１２は、元々テレビ電話における話者撮影用に設けられたものである。このように携帯電話１には用途の異なる２つのカメラ１２，１３が設けられており、それぞれのカメラ１２，１３はその用途に応じて互いに反対の側を撮影するように配置されている。なお、インカメラ１２は自分撮りに適していることから、ユーザ認証用の顔画像を撮影する用途にも利用される。

図２は、携帯電話（なりすまし検知装置）の機能構成を示すブロック図である。携帯電話１は、ユーザ認証及びなりすまし検知に関わる機能として、第１画像取得部２０、第２画像取得部２１、顔検出部２２、顔照合部２３、なりすまし判定部２４などを備える。これらの機能要素は、演算処理装置がソフトウエア（プログラム）を実行し、必要に応じてカメラ１２，１３、表示部１１、メモリなどのハードウエア資源を制御することで実現される。ただし、これらの機能要素の一部又は全部の処理を専用のチップにより実現しても構わない。

第１画像取得部２０は、インカメラ１２を制御し、インカメラ１２で撮影された画像を取り込む機能であり、第２画像取得部２１は、アウトカメラ１３を制御し、アウトカメラ１３で撮影された画像を取り込む機能である。取り込まれた画像はメモリに一時的に記憶され、後述するユーザ認証及びなりすまし検知処理に供される。

顔検出部２２は、画像から人の顔を検出し、顔の位置、サイズ（大きさ）、向きなどを特定する機能である。顔検出部２２による顔検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、（１）顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出する手法、（２）顔の器官（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出する手法、（３）クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出する手法、（４）肌の色に近
い領域を検出し、その領域を顔として検出する手法、（５）ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法、などがある。自動で顔を検出するのではなく、人が顔の位置や大きさを指定してもよい。なお、画像から複数の人の顔が検出された場合には、顔の大きさ、向き、位置などの所定の基準に基づいて処理対象とする顔を決定してもよいし、不適切な画像であるとして顔照合処理を中断してもよい。

顔照合部２３は、２つの顔を比較して、それらが同一人の顔か否かを判定する機能である。顔照合部２３は、顔検出部２２で検出された顔を予めメモリに登録されている登録ユーザの顔と照合することもできるし、別々の画像から検出された２つの顔を照合することもできる。顔照合部２３による顔照合処理は、既存のどのような技術が適用されてもよい。例えば、照合対象となる２つの顔からそれぞれ抽出された１つ又は複数の特徴量を比較することで類似度を算出し、その類似度が所定の条件を満たすか否かで、２つの顔が同一人のものか否かを判定する手法がある。

なりすまし判定部２４は、インカメラ１２でユーザ認証に用いる画像が撮影された時になりすましが行われたか否かを判定する機能である。その具体的な処理については後述する。

＜ユーザ認証＞
携帯電話１は、顔画像によるユーザ認証機能を有する。セキュリティロックのかかった機能をユーザが利用しようとすると、自動的にユーザ認証機能が起動し、ユーザに対して顔画像の撮影を要求する。

図３は、ユーザ認証の正しい撮影姿勢を示している。つまり、インカメラ１２が自分の顔を向くように携帯電話１を構えるのが正しい撮影姿勢である。一定の時間間隔でインカメラ１２から画像が取り込まれ、その画像が順次表示部１１に表示されるので、ユーザ３０はその表示画像を見ながら、顔の位置、サイズ、向きなどを調整することができる。そして、ユーザ３０が操作部１０のシャッターボタンを押下すると、インカメラ１２でユーザ認証用の画像が撮影される。

図４は、ユーザ認証ルーチンの一例を示すフローチャートである。まず、顔検出部２２が、インカメラ１２で撮影されたユーザ認証用の画像から顔を検出する（ステップＳ５００）。もし顔が検出できなかったら（ステップＳ５０１；ＮＯ）、認証が失敗したものとして、拒否判定がなされる（ステップＳ５０５）。一方、顔が検出できた場合は（ステップＳ５０１；ＹＥＳ）、顔照合部２３が、その検出された顔と登録ユーザの顔とを比較する（ステップＳ５０２）。２つの顔が別人のものと判定されたときは（ステップＳ５０３；ＮＯ）、認証が失敗したものとして、拒否判定がなされる（ステップＳ５０５）。もし、２つの顔が同一人のものと判定されたときは（ステップＳ５０３；ＹＥＳ）、認証が成功したものとして、許可判定がなされる（ステップＳ５０４）。

なお、顔照合部２３による顔照合処理を省略した簡易的なユーザ認証の方法もある。図５は、ユーザ認証ルーチンの変形例を示したフローチャートである。図５の処理例では、インカメラ１２で撮影されたユーザ認証用の画像から顔が検出できたら（ステップＳ４００，Ｓ４０１；ＹＥＳ）、許可判定し（ステップＳ４０２）、顔が検出できなかったら（ステップＳ４０１；ＮＯ）、拒否判定する（ステップＳ４０３）。このユーザ認証ルーチンは、顔照合を行わないので信頼性が低いが、処理が高速になるという利点がある。それゆえ、要求されるセキュリティレベルに応じて、信頼性の高い図４のルーチンと高速な図５のルーチンとを使い分けるようにしてもよい。

上記ユーザ認証の結果が許可判定の場合のみセキュリティロックが解除されるようにしておけば、正当ユーザ以外の者による携帯電話１の不正利用を防ぐことができる。

ただし、このような顔画像を用いたユーザ認証も完全ではない。正当ユーザ（本人）の顔写真等を用いて認証を受けようとする、いわゆる「なりすまし」の問題があるからである。そこで、本実施形態の携帯電話１は、ユーザ認証と併せて以下に述べるようななりすまし検知処理を実行し、ユーザ認証時になりすましが行われたと判定した場合には、セキュリティロックの解除を禁止する。

＜なりすまし検知＞
以下、なりすまし検知処理の具体例として、処理例１〜４を例示する。

（処理例１）
図６は、なりすましの一態様を示している。図６に示すように、不正利用者４０が、自分のほうに向けた写真４１に携帯電話１のインカメラ１２をかざして撮影を行う場合、アウトカメラ１３が不正利用者４０のほうを向く。よって、インカメラ１２での撮影と同時にアウトカメラ１３でも撮影を行えば、図７（ａ）に示すように、不正利用者４０の顔を撮影できる可能性が高い。一方、図３のように正当なユーザ３０が自分撮りを行う場合には、アウトカメラ画像に第三者の顔が写り込む可能性は非常に低い（図７（ｂ）参照）。

処理例１は、この現象に着目したものである。では、図８のフローチャートに沿って、処理例１の流れを説明する。

ユーザ認証機能の起動後、操作部１０のシャッターボタンが押下されると、インカメラ１２でユーザ認証用の画像が撮影される（ステップＳ１００）。このとき、インカメラ１２での撮影と実質的に同じタイミングで、アウトカメラ１３でも撮影が行われる（ステップＳ１０１）。なお、両カメラでの撮影が実質的に同じタイミングで行われればよいので、ステップＳ１００とＳ１０１の順序を入れ替えても構わない。

次に、ステップＳ１０１で撮影されたアウトカメラ画像（第２画像）を用いてなりすまし判定ルーチンが実行される（ステップＳ１０２）。

図９は、処理例１に係るなりすまし判定ルーチンのフローチャートを示している。まず、顔検出部２２が、アウトカメラ画像から顔の検出を試みる（ステップＳ２００）。そして、なりすまし判定部２４は、アウトカメラ画像に顔が含まれていた場合に（ステップＳ２０１；ＹＥＳ）、ステップＳ１００の撮影時になりすましが行われたと判定し（ステップＳ２０２）、顔が検出されなかった場合に（ステップＳ２０１；ＮＯ）、なりすましが行われなかったと判定する（ステップＳ２０３）。

なりすましが行われたという判定結果の場合（図８のステップＳ１０３；ＹＥＳ）、ただちに処理が終了する。一方、なりすましでないという判定結果の場合は（ステップＳ１０３；ＮＯ）、ステップＳ１００で撮影されたインカメラ画像（第１画像）を用いてユーザ認証ルーチンが実行される（ステップＳ１０４）。なお、ユーザ認証ルーチンの具体的な処理は、図４又は図５に示したものと同様である。そして、ステップＳ１０４において許可判定がなされた場合には（ステップＳ１０５；ＹＥＳ）、セキュリティロックが解除され（ステップＳ１０６）、携帯電話１の操作が可能となる。

上記処理例１によれば、図６に示す態様のなりすましを検知できるので、正当なユーザ以外の者による携帯電話１の不正利用を防止することができる。しかも、画像の撮影にあたり特殊な照明装置や撮像装置は不要なので、なりすまし検知の実装にあたり装置の大型
化や利便性の低下を招く心配がない。

（処理例２）
正当なユーザが自分撮りを行う場合、アウトカメラ画像に第三者の顔が写り込む可能性は非常に低い。ただし、人混みの中や電車の中などでユーザ認証を行う場合には、周囲の人の顔が偶然にアウトカメラ画像に写り込むことも想定される。この場合、処理例１では、正当なユーザがユーザ認証を行っているにもかかわらず、「なりすまし」と誤判定されてしまう。

そこで、処理例２では、顔の有無だけでなく、顔のサイズも判定条件に加えることにする。図１０は、処理例２に係るなりすまし判定ルーチンのフローチャートを示している。これ以外の処理は処理例１と同様のため、説明を割愛する。

図１０に示すように、まず、顔検出部２２が、アウトカメラ画像から顔の検出を試みる（ステップＳ３００）。そして、アウトカメラ画像に顔が含まれていた場合には（ステップＳ３０１；ＹＥＳ）、なりすまし判定部２４は、検出された顔のサイズが予め定められたしきい値よりも大きいかどうか調べる（ステップＳ３０２）。顔のサイズがしきい値より大きかった場合は（ステップＳ３０２；ＹＥＳ）、なりすましと判定し（ステップＳ３０３）、顔が検出できなかった場合（ステップＳ３０１；ＮＯ）及び顔のサイズがしきい値以下だった場合（ステップＳ３０２；ＮＯ）には、なりすましでないと判定する（ステップＳ３０４）。

アウトカメラ画像に第三者が偶然写っていたとしても、その顔のサイズは非常に小さいはずである。従って、処理例２のように顔のサイズを判定条件に加えたことで、誤判定を可及的に少なくすることができる。

なお、不正利用者と偶然写った第三者とを区別するための判定条件として、顔の向きを考慮してもよい。すなわち、顔が正面を向いていたら不正利用者によるなりすましと判定し、顔が斜めや横を向いていたらなりすましでないと判定するのである。この方法でも誤判定を減らすことができる。

（処理例３）
不正利用者は、図６のように写真を撮影した後、携帯電話１の向きを反転させて、インカメラ１２を自分の側に向ける可能性が高い。写真の撮影やなりすましに成功したか確認したり、携帯電話１を操作しようと試みたりするためである。不正利用者がこのような行動をとった場合、図１１に示すように、ユーザ認証の時点でアウトカメラ画像に写っていた不正利用者４０の顔が、あるタイミングでインカメラ画像に現れる、という現象が起きる。このような現象は、正当ユーザによる認証の場合には起こりえない。

処理例３は、この現象に着目したものである。では、図１２のフローチャートに沿って、処理例３の流れを説明する。

ユーザ認証機能の起動後、操作部１０のシャッターボタンが押下されると、インカメラ１２でユーザ認証用の画像が撮影されるとともに、アウトカメラ１３でも撮影が行われる（ステップＳ６００、Ｓ６０１）。これらの処理は、図８のものと同じである。

次に、ステップＳ６００で撮影されたインカメラ画像（第１画像）を用いてユーザ認証ルーチンが実行される（ステップＳ６０２）。なお、ユーザ認証ルーチンの具体的な処理は、図４又は図５に示したものと同様である。ステップＳ６０２で拒否判定がなされた場合には（ステップＳ６０３；ＮＯ）、処理が終了する。一方、ステップＳ６０２で許可判
定がなされた場合には（ステップＳ６０３；ＹＥＳ）、セキュリティを解除し（ステップＳ６０４）、ステップＳ６０５に進む。

ステップＳ６０５において所定時間のウェイトが入った後、ステップＳ６０６の処理が実行される。このウェイトは、携帯電話１の反転動作の完了を待つために設けられている。なお、ウェイト処理の代わりに、操作部１０に何らかのユーザ操作があった場合にステップＳ６０６の処理に進むようにしてもよい。あるいは、携帯電話１に姿勢センサ、傾斜センサもしくは加速度センサなどの検知手段を設け、その検知手段によって携帯電話１の反転を検知するようにしてもよい。

ステップＳ６０６では、ステップＳ６０１で撮影されたアウトカメラ画像（第２画像）を用いてなりすまし判定ルーチンが実行される。

図１３は、処理例３に係るなりすまし判定ルーチンのフローチャートを示している。まず、顔検出部２２が、アウトカメラ画像から顔の検出を試みる（ステップＳ７００）。そして、顔が検出された場合は、インカメラ１２で新たな画像が撮影され（ステップＳ７０２）、その新たに撮影されたインカメラ画像（第３画像）から顔の検出が行われる（ステップＳ７０３）。ステップＳ７０２及びＳ７０３の処理は、インカメラ画像から顔が検出されるまで繰り返される（ステップＳ７０４）。

続いて、顔照合部２３が、ステップＳ７００でアウトカメラ画像（第２画像）から検出された顔と、ステップＳ７０３でインカメラ画像（第３画像）から検出された顔とを比較する（ステップＳ７０５）。２つの顔が同一人のものと判定された場合（ステップＳ７０６；ＹＥＳ）、なりすまし判定部２４は、ユーザ認証時になりすましが行われたと判定する（ステップＳ７０７）。

なお、アウトカメラ画像から顔が検出できなかった場合（ステップＳ７０１；ＮＯ）、及び、上記２つの顔が同一人のものでなかった場合（ステップＳ７０６；ＮＯ）には、なりすまし判定部２４は、なりすましが行われなかったと判定する（ステップＳ７０８）。

なりすましが行われたという判定結果の場合（図１２のステップＳ６０７；ＹＥＳ）、再びセキュリティロックが作動し、携帯電話１の操作が不能となる（ステップＳ６０８）。

これにより、なりすましによる不正利用を防ぐことができる。しかも、処理例３は、アウトカメラ画像だけでなくインカメラ画像も判定に用いることで、なりすまし判定の信頼性を向上している。

（処理例４）
処理例１〜３は、図６に示すように、不正利用者４０が自分のほうに向けた写真４１に携帯電話１をかざして撮影を行う、という態様を想定したものである。しかし、なりすましの態様としては、図１４に示すように、不正利用者４０が自分のほうにインカメラ１２を向けて携帯電話１を構え、そのインカメラ１２の前に写真４１をかざして撮影を行うといった態様も想定される。この態様の場合は、アウトカメラ１３に不正利用者４０の顔は写らないので、処理例１〜３は使えない。

そこで、処理例４は、次の現象に着目した処理を行う。

不正利用者は、図１４に示す態様で写真を撮影した後、すぐに写真を退かして、写真の撮影やなりすましに成功したか確認したり、携帯電話１を操作しようと試みる可能性が高
い。そうすると、図１５に示すように、写真を退かす前後では、インカメラ画像に含まれる顔は別人のものになるにもかかわらず、携帯電話１の移動がほとんどないためにアウトカメラ画像にはほとんど変化がない、という現象が起きる。なお、正当ユーザによる認証の場合には、上記現象が起きる可能性は極めて低い。正当ユーザが自ら認証を行った後に他人に携帯電話１を操作させるにしても、ほとんど必ず携帯電話１の移動を伴うからである。

図１６は、処理例４に係るなりすまし判定ルーチンのフローチャートを示している。このルーチンは、図１２のフローチャートのステップＳ６０６で実行されるものである。

まず、インカメラ１２で新たな画像が撮影され（ステップＳ８００）、その新たに撮影されたインカメラ画像（第３画像）から顔の検出が行われる（ステップＳ８０１）。ステップＳ８００及びステップＳ８０１の処理は、インカメラ画像から顔が検出されるまで繰り返される（ステップＳ８０２）。

次に、ステップＳ４００（又はＳ５００）においてユーザ認証用の画像（第１画像）から検出された顔と、ステップＳ８０１において検出された顔とが比較される（ステップＳ８０３）。２つの顔が同一人のものであったら（ステップＳ８０４；ＹＥＳ）、なりすましでないと判定される（ステップＳ８０９）。２つの顔が同一人のものでなかったら、つまり、インカメラ画像に含まれる顔が別人のものに変わっていたら（ステップＳ８０４；ＮＯ）、ステップＳ８０５の処理に進む。

ステップＳ８０５では、アウトカメラ１３で新たな画像が撮影される。そして、その新たに撮影されたアウトカメラ画像（第４画像）と、ステップＳ６０１で撮影されたユーザ認証時のアウトカメラ画像（第２画像）とが比較される（ステップＳ８０６）。ここで、２つの画像が一致していると判定された場合には（ステップＳ８０７；ＹＥＳ）、なりすましと判定される（ステップＳ８０８）。なお、ステップＳ８０６の比較処理では、２つの画像の完全同一までは要求されず、２つの画像が実質的に同じ位置から撮影されたものと評価できる場合は「一致」と判定されるものとする。画像の比較処理は、既存のどのような技術が適用されてもよい。

この処理例４によれば、図１４に示す態様のなりすましを検知でき、携帯電話１の不正利用を抑制することができる。

ところで、上述したなりすまし検知は、不正利用者が想定外の行動をとった場合に誤判定を生じる可能性がある。例えば、処理例１〜３は、不正利用者がアウトカメラ１３の画角外にいる場合になりすましを検知できないし、処理例４は、不正利用者が写真を退かす時に携帯電話１を大きく動かしてしまった場合になりすましを検知できない。しかしながら、上記なりすまし検知は、ハードウエアの追加が必要無く、処理も簡便であるという点で、実装上のメリットが極めて大きい。よって、セキュリティの高さよりも操作性の良さやコストの低さが重要な場合などに、好ましく採用できる。なお、誤検知に関しては、他の処理との組み合わせで低減することも可能である。

なお、上記実施形態は本発明の一具体例を例示したものにすぎない。本発明の範囲は上記実施形態に限られるものではなく、その技術思想の範囲内で種々の変形が可能である。

図１は、携帯電話の外観を示す図であり、（ａ）は携帯電話の内側（操作側）を示す図であり、（ｂ）は携帯電話の外側を示す図である。図２は、携帯電話の機能構成を示すブロック図である。図３は、ユーザ認証の正しい撮影姿勢を示す図である。図４は、ユーザ認証ルーチンの一例を示すフローチャートである。図５は、ユーザ認証ルーチンの変形例を示すフローチャートである。図６は、なりすましの一態様を示す図である。図７（ａ）は、なりすましの場合の撮影画像の一例を示す図であり、（ｂ）は、正当ユーザの場合の撮影画像の一例を示す図である。図８は、なりすまし検知の処理例１を示すフローチャートである。図９は、処理例１に係るなりすまし判定ルーチンのフローチャートである。図１０は、処理例２に係るなりすまし判定ルーチンのフローチャートである。図１１は、なりすましの場合の撮影画像の一例を示す図である。図１２は、なりすまし検知の処理例３を示すフローチャートである。図１３は、処理例３に係るなりすまし判定ルーチンのフローチャートである。図１４は、なりすましの別の態様を示す図である。図１５は、図１４のなりすましの場合の撮影画像の一例を示す図である。図１６は、処理例４に係るなりすまし判定ルーチンのフローチャートである。

符号の説明

１携帯電話
１０操作部
１１表示部
１２インカメラ
１３アウトカメラ
２０第１画像取得部
２１第２画像取得部
２２顔検出部
２３顔照合部
２４なりすまし判定部
３０ユーザ
４０不正利用者
４１写真

Claims

顔画像によるユーザ認証機能をもつ携帯機器におけるなりすまし検知装置であって、
前記携帯機器の一方の側を撮影するように前記携帯機器の表示部と同じ側に設けられた第１撮像手段と、
前記携帯機器の反対の側を撮影するように前記携帯機器の前記表示部とは反対の側に設けられた第２撮像手段と、
前記第１撮像手段でユーザ認証に用いる第１画像が撮影されるのと実質的に同じタイミングで前記第２撮像手段で撮影された第２画像を解析することによって、前記第１画像の撮影時になりすましが行われたか否かを判定するなりすまし判定手段と、
を備えるなりすまし検知装置。
前記なりすまし判定手段は、前記第２画像に顔が含まれている場合に、前記第１画像の撮影時になりすましが行われたと判定する請求項１に記載のなりすまし検知装置。
前記なりすまし判定手段は、前記第２画像に顔が含まれており、且つ、その顔のサイズがしきい値より大きい場合に、前記第１画像の撮影時になりすましが行われたと判定する請求項１に記載のなりすまし検知装置。
前記なりすまし判定手段は、前記第２画像に顔が含まれており、且つ、その顔の向きが正面の場合に、前記第１画像の撮影時になりすましが行われたと判定する請求項１に記載のなりすまし検知装置。
前記なりすまし判定手段は、前記第２画像に顔が含まれており、且つ、その顔と同一人の顔が、前記第１画像の撮影より後で前記第１撮像手段で撮影された第３画像にも含まれている場合に、前記第１画像の撮影時になりすましが行われたと判定する請求項１に記載のなりすまし検知装置。
前記なりすまし判定手段は、前記第１画像に含まれていなかった顔が、前記第１画像の撮影より後で前記第１撮像手段で撮影された第３画像に含まれており、且つ、前記第３画像が撮影されるのと実質的に同じタイミングで前記第２撮像手段で撮影された第４画像と
前記第２画像とが一致する場合に、前記第１画像の撮影時になりすましが行われたと判定する請求項１に記載のなりすまし検知装置。
顔画像によるユーザ認証機能をもつ携帯機器におけるなりすまし検知方法であって、
前記携帯機器が、表示部と、前記携帯機器の一方の側を撮影するように前記表示部と同じ側に設けられた第１撮像手段と、前記携帯機器の反対の側を撮影するように前記携帯機器の前記表示部とは反対の側に設けられた第２撮像手段とを備えており、
前記携帯機器が、
前記第１撮像手段によりユーザ認証に用いる第１画像を撮影する処理と、
前記第１画像の撮影と実質的に同じタイミングで、前記第２撮像手段により第２画像を撮影する処理と、
前記第２画像を解析することによって、前記第１画像の撮影時になりすましが行われたか否かを判定する処理と、
を実行するなりすまし検知方法。
顔画像によるユーザ認証機能をもつ携帯機器で実行されるなりすまし検知プログラムであって、
前記携帯機器が、表示部と、前記携帯機器の一方の側を撮影するように前記表示部と同じ側に設けられた第１撮像手段と、前記携帯機器の反対の側を撮影するように前記携帯機器の前記表示部とは反対の側に設けられた第２撮像手段とを備えており、
前記携帯機器に、
前記第１撮像手段によりユーザ認証に用いる第１画像を撮影する処理と、
前記第１画像の撮影と実質的に同じタイミングで、前記第２撮像手段により第２画像を撮影する処理と、
前記第２画像を解析することによって、前記第１画像の撮影時になりすましが行われたか否かを判定する処理と、
を実行させるなりすまし検知プログラム。