JP6389269B2 - モバイルデバイス上でユーザを認証するための方法および装置 - Google Patents

Description

本明細書に開示する主題は、一般に、モバイルデバイス上でユーザを認証することに関する。

モバイル通信デバイスは、今日の社会に普及している。その結果、ユーザは、極秘の個人データまたは専門的なデータへのアクセスを有するアプリケーションを保存し、それらにアクセスし、それらを実行する。たとえば、ユーザは、そのモバイルデバイスを介して銀行口座にアクセスする場合があり、モバイルデバイスは、しばしば、口座番号、ログイン認証情報、および銀行口座にアクセスするのに必要な他のデータを記憶する。別の例として、ユーザは、記憶されたログイン認証情報を介して、その業務電子メールメッセージにアクセスする場合がある。

モバイルデバイス、したがって極秘データへの権限のないアクセスを防止するために、モバイルデバイスへのアクセスを制限するセキュリティ対策が採用される。1つのそのような対策は、モバイルデバイスにアクセスする前の条件としてユーザに暗証番号を入力することを要求することである。別の対策は、モバイルデバイス上に指紋スキャナを採用することと、ユーザがモバイルデバイスへのアクセスを試みるたびに生体データサンプルを収集することとを含む。また別のセキュリティ対策は、暗証番号の代わりの顔認識の使用を含む。

しかしながら、これらの対策は、安全でなく、不十分なユーザエクスペリエンスを提供し、かつ/または、なりすましを受ける。すなわち、暗証番号がハッカーされやすいとき、暗証番号の入力は、しばしば、高いレベルのアクセスセキュリティを提供することができない。さらに、指紋スキャニングなどのセキュリティ対策は、モバイルデバイス上には一般に見つけられない高コストのハードウェアの追加を必要とし、非常に面倒なユーザアクセスエクスペリエンスをもたらす場合がある。最後に、顔認識分析は、モバイルデバイスにアクセスするユーザの静止画像またはビデオを用いてなりすましに遭う可能性がある。ユーザにまばたきすること、または顔の表情を使用することを要求する生体チェックが、顔認識分析ベースの手法に含まれる場合があるが、これらの手法は、依然として、モバイルデバイスにアクセスするユーザのビデオを用いてなりすましに遭う可能性があり、モバイルデバイスへのアクセスを求めるユーザには不便である。

本発明の一実施形態として、モバイルデバイス上でユーザを認証するための方法および装置が開示される。本方法は、モバイルデバイスへのアクセスのためにユーザの認証を開始するステップであって、モバイルデバイスによるユーザの認証が成功すると、モバイルデバイスへのアクセスが許可される、ステップと、ユーザの識別情報を判定するためにユーザの顔の画像に関する顔認識分析を実行するステップと、ユーザに関連する第1のパルス情報および第2のパルス情報がパルスマッチングを示すかどうかを判定するステップと、パルスマッチングが判定され、ユーザの判定された識別情報がモバイルデバイスにアクセスする許可を有するとき、モバイルデバイスへのアクセスのためにユーザを認証するステップとを含み得る。

生体確認および顔認識分析に基づいてモバイルデバイス上でユーザを認証するための方法の一実施形態の流れ図である。 本明細書で説明する実施形態による、ユーザ認証プロセスを実施するモバイルデバイスの一実施形態のブロック図である。 パルスレート相関および顔認識分析に基づいてモバイルデバイス上でユーザを認証するための方法の一実施形態の流れ図である。 本明細書で説明する実施形態による、モバイルデバイスによるユーザ認証の一例を示す図である。

「例示的」または「例」という単語は、本明細書では「例、事例、または例示としての役割を果たすこと」を意味するために使用される。「例示的」または「例」として本明細書に記載される任意の態様または実施形態は、他の態様または実施形態に比べて好ましいか、または有利であると必ずしも解釈されるべきではない。

図1は、生体確認および顔認識分析に基づいてモバイルデバイス上でユーザを認証するための方法100の一実施形態の流れ図である。方法100は、ハードウェア(回路、専用ロジックなど)、ソフトウェア(たとえば、汎用コンピュータシステムまたは専用マシン上で動作するもの)、ファームウェア、または組合せを含み得る処理ロジックによって行われる。一実施形態では、方法100は、モバイルデバイス(たとえば、以下に図2で説明するモバイルデバイス210)によって実行される。

図1を参照すると、処理ロジックは、モバイルデバイスにアクセスするためのユーザ認証処理を開始することによって始まる(処理ブロック102)。一実施形態では、モバイルデバイスは、セルラー通信ネットワークおよび/またはワイヤレス通信ネットワークを介してワイヤレス通信信号を送受信することができる、モバイル電話、携帯情報端末、タブレットコンピュータなどのモバイルコンピューティングデバイスである。たとえば、ユーザ認証処理は、図4に示すユーザ460がモバイルデバイス452にアクセスするために認証されることを求めるときのように、ロックされたモバイルデバイスまたは保護されたモバイルデバイスにユーザがアクセスを求めるときに開始される。

処理ロジックは、モバイルデバイスに対するユーザ認証の一部として顔認識処理を実行する(処理ブロック104)。一実施形態では、処理ロジックは、開始中のユーザ認証処理に応答して、デジタル画像データをキャプチャするための、モバイルデバイス452(図4参照)のデジタルカメラ454-1および454-2などの1つまたは複数の画像キャプチャ機構を有効化する。本明細書では説明するように、デジタル画像データは、デジタルビデオデータおよび静止デジタルビデオ画像データを含む場合がある。一実施形態では、画像キャプチャ機構は、追加のカメラが利用される場合もあるが、モバイルデバイス上の前向きカメラ454-1とモバイルデバイス上の後向きカメラ454-2とを含む場合がある。キャプチャされる画像データは、モバイルデバイスへの認証を求めるユーザ460の顔456-1の画像をキャプチャすることを試みる。ユーザの顔の画像がキャプチャされると、処理ロジックは、画像データから顔の特徴を抽出し、これらの特徴を権限のあるユーザの顔認識データベースと比較する。抽出された顔の特徴がデータベース内の権限のあるユーザの顔の特徴とマッチングするとき、顔認識処理は、キャプチャされた画像データがモバイルデバイスの権限のあるユーザに相当することを見つける。

処理ロジックは、モバイルデバイスに対するユーザ認証の一部として生体確認処理も実行する(処理ブロック106)。一実施形態では、生体確認は、モバイルデバイスにアクセスする権限のないユーザによる顔認識の間にモバイルデバイスがなりすましに遭わないことを保証するために処理ロジックによって実行される。たとえば、不正なユーザ(モバイルデバイスにアクセスする権限のないユーザなど)が、権限のないユーザにおいて権限のある顔を不適切に認識するようにユーザ認証処理をごまかそうとして、画像キャプチャ機構の前に権限のあるユーザのビデオ表示または画像を保持する場合がある。しかしながら、一実施形態では、生体確認処理は、認識された顔が、生のユーザに相当し、実際にモバイルデバイスへのアクセスを求めている現在のユーザに相当することを確実にすることによって、なりすまし攻撃を防ぐ。図4に示すように、前向きカメラ454-1は、ユーザの顔を含むユーザの第1のデジタルビデオデータ456-1をキャプチャするが、後向きカメラ454-2は、図4に示すように、ユーザの手などの、ユーザの別の部分の第2のデジタルビデオデータ456-2をキャプチャする。

一実施形態では、以下でより詳細に説明するように、処理ロジックは、第1および第2のデジタルビデオデータからユーザパルスレートを推定し、パルスレートを相関させることを試みることによって生体確認処理を実行する。処理ロジックによってパルスレートを相関させることができるとき、処理ロジックは、前向きカメラ454-1および後向きカメラ454-2によってキャプチャされた画像が同じ人の生の画像をキャプチャしていると結論付けることができる。さらに、処理ロジックは、その人が権限のあるユーザであり、前向きカメラに鑑みて権限のあるユーザの画像を保持している権限のない人などの、なりすましユーザでないことを、顔認識結果から結論付けることができる。

次いで、処理ロジックは、生体確認処理および顔認識処理がどちらも首尾よく完了されたかどうかを判定する(処理ブロック108)。いずれかの処理が失敗したとき、認識処理は失敗し、ユーザは、モバイルデバイスへのアクセスを拒否される。しかしながら、生体確認処理と顔認識処理の両方が成功したとき、処理ロジックは、モバイルデバイスへ向かうユーザを認証し、モバイルデバイスへの認証されたユーザアクセスを許可する(処理ブロック110)。アクセスの許可は、ユーザのためにモバイルデバイスのロック解除すること、識別されたユーザに関連するモバイルデバイスのプロファイルをロードすること、識別されたユーザがアクセス権を有するモバイルデバイス上のコンテンツを復号すること、オンライン支払い権限付与(たとえば、モバイルアプリケーションストアからの購入権限を与えること、オンライン小売業者からの購入権限を与えること、など)、およびモバイルデバイス上のユーザ認証を含む任意の他の適用例のうちの1つまたは複数を含む場合がある。

一実施形態では、生体確認処理および顔認識処理は、ユーザにとって安全かつ便利である二重認証処理を形成する。すなわち、認証処理は、特に認識されたユーザだけがモバイルデバイスにアクセスすることができることを保証するために顔認識分析によって保護される。さらに、認証処理は、モバイルデバイスへのアクセスを求める人が、モバイルデバイスを保持し、かつ顔認識のためにキャプチャされた画像に相当することを保証するために、パルスレート分析およびパルス相関を利用することによって、なりすましから保護する。最後に、顔認識と生体確認の両方は、ユーザにとって便利で邪魔にならない方式で実行される。

一実施形態では、処理ブロック104および106の生体確認処理および顔認識処理は、並行して実行される。別の実施形態では、生体確認の前に顔認識が判定されるか、または顔認識の前に生体確認が判定されるように、生体確認処理および顔認識処理は、直列に実行される。図1に示す順番は、例示的なものであって、生体確認処理および顔認識処理が実行される順番となる必要がない。さらに、一実施形態では、生体確認処理および顔認識処理が並行してまたは次々に実行されるかどうかにかかわらず、両処理は、同じデータに関してそのそれぞれの確認を実行することができる。たとえば、モバイルデバイスの前向きカメラによってキャプチャされた画像データは、画像データに関するパルスレート推定を実行することによって、生体確認処理の間に利用される可能性がある。さらに、その画像データは、1つまたは複数の顔認識技法を実行するための顔認識処理によって利用される場合もある。

図2は、本明細書で説明する実施形態による、ユーザ認証プロセスを実施するモバイルデバイス210の一実施形態200のブロック図である。

一実施形態では、モバイルデバイス210は、1つまたは複数のプロセッサ212、メモリ205、I/Oコントローラ225、デジタルカメラ227-1および227-2、ネットワークインターフェース204、ならびにディスプレイ220を含み得るシステムである。モバイルデバイス210は、モバイルデバイス210へ向かうユーザを認証するためのユーザ認証エンジン240を含む場合もある。一実施形態では、ユーザ認証エンジン240は、パルスレート推定器230、パルス相関器232、顔認識エンジン234、および認証決定エンジン236などのハードウェア、ソフトウェア、ファームウェア、または組合せとして実装され得る、いくつかの処理モジュールを含む。

モバイルデバイス210は、図示していないが、ユーザインターフェース(たとえば、1つまたは複数のマイク、キーボード、タッチスクリーン、または同様のデバイス)、電源デバイス(バッテリーなど)、ならびに一般的に電子デバイスと関連する他の構成要素もまた含み得ることを理解されたい。ネットワークインターフェース204はまた、ネットワークからの/へのワイヤレスリンクを介してデータストリームを送受信するために、いくつかのワイヤレスサブシステム215(たとえば、ブルートゥース(登録商標)、WiFi、セルラー、または他のネットワーク)に結合されるか、またはネットワーク(たとえば、インターネット、イーサーネット、または他のワイヤレスシステム)への直接接続のための有線インターフェースであってもよい。

メモリ205は、プロセッサ212が実行するための命令を記憶するためにプロセッサ212に結合され得る。いくつかの実施形態では、メモリ205は、非一時的コンピュータ可読記憶媒体など、非一時的である。メモリ205は、モバイルデバイス210にアクセスする権限のあるユーザの顔認識データベースを記憶する場合もある。メモリ205は、本明細書で説明する実施形態を実施するために、ユーザ認証エンジン240と、ユーザ認証エンジン240の1つまたは複数のモジュール(すなわち、パルスレート推定器230、パルス相関器232、顔認識エンジン234、および認証決定エンジン236)とを記憶する場合もある。以下に説明する本発明の諸実施形態は、モバイルデバイス210のプロセッサ212ならびに/またはモバイルデバイス210および/もしくは他のデバイスの他の回路による、たとえばメモリ205または他の要素に記憶された、命令の実行を通して実施され得ることを理解されたい。詳細には、プロセッサ212を含む、ただしこれに限らない、モバイルデバイス210の回路は、プログラムの制御、ルーチン、または本発明の実施形態による方法もしくはプロセスを実行するための命令の実行の下で、動作し得る。たとえば、そのようなプログラムは、(たとえば、メモリ205および/または他の位置に記憶されている)ファームウェアまたはソフトウェア内で実装可能であり、プロセッサ、たとえばプロセッサ212、および/またはモバイルデバイス210の他の回路によって実装可能である。さらに、プロセッサ、マイクロプロセッサ、回路、コントローラなどの用語は、論理、コマンド、命令、ソフトウェア、ファームウェア、機能などを実行することが可能な任意のタイプの論理または回路を指すことができることを諒解されたい。

さらに、本明細書に記載する機能、エンジン、またはモジュールの一部または全部は、モバイルデバイス210自体によって行われ得る、および/または本明細書に記載する機能、エンジン、またはモジュールの一部または全部は、I/Oコントローラ225またはネットワークインターフェース204を介して(ワイヤレスまたは有線により)モバイルデバイス210に接続された別のシステムによって行われ得ることを理解されたい。したがって、機能の一部および/または全部は、別のシステムによって行われ得、結果または中間の計算は、元のモバイルデバイス210に転送され得る。いくつかの実施形態では、そのような他のデバイスは、サーバ(図示せず)を含むことがある。いくつかの実施形態では、他のデバイスは、たとえば、モバイルデバイス210の既知の構成に基づいて、結果をあらかじめ定めるように構成される。

一実施形態では、モバイルデバイス210は、認証処理を開始するためにI/Oコントローラ225を介してユーザ要求または他のユーザコマンドを受け取る。ユーザ認証エンジン240は、要求を処理し、前向きカメラ227-1および後向きカメラ227-2を有効化する。ユーザ認証エンジン240は、どの認証処理(生体確認または顔認識など)が現在実行されているかに応じて、前向きカメラ227-1および後向きカメラ227-2を選択的に有効化し得る。ユーザ認証エンジン240は、生体確認処理または顔認識処理が並行して実行されるとき、両カメラ227-1および227-2を有効化する場合もある。カメラ227-1および227-2の有効化により、モバイルデバイス210は、各カメラによってデジタルビデオデータをキャプチャする。

ユーザ認証エンジン240は、キャプチャされたデジタルビデオデータに関して1つまたは複数の顔認識処理を実行するように顔認識エンジン234に命令する。顔認識エンジン234は、顔をデジタルビデオデータ内に配置するように前向きカメラ227-1からのデジタルビデオデータを分析する。顔認識エンジン234が顔を配置すると、顔認識エンジン234は、画像データに示された顔に関して顔認識処理を実行する。一実施形態では、顔認識エンジン234は、画像データに示された顔の1つまたは複数の顔認識特徴(たとえば、顔ランドマーク、顔の特徴の相対位置など)を抽出する。顔認識エンジン234は、次いで、抽出された顔認識特徴を、権限のあるユーザの顔認識特徴の、メモリ205に記憶されたデータベースと比較する。たとえば、モバイルデバイスは、3人の権限のあるユーザに関連付けられる場合があり、メモリ205内の顔認識データベースは、権限のある各ユーザに関連する顔認識特徴を記憶する。次いで、顔認識特徴の比較に基づいて、顔認識エンジン234は、認証決定エンジン236に顔認識結果を通知する。

ユーザ認証エンジン240は、前向きカメラ227-1と後向きカメラ227-2の両方によってキャプチャされたデジタルビデオデータに関するパルスレート推定を実行するようにパルスレート推定器230にさらに命令する。一実施形態では、パルスレート推定器は、各デジタルビデオ画像データに示されたユーザに関連するパルスレートを抽出するために各ビデオデータを分析する。一実施形態では、パルスレート推定器230は、デジタルビデオデータに関するオイラービデオ倍率を実行する。オイラービデオ倍率(EVM)では、パルスレート推定器230は、ビデオデータに空間分解を適用し、ビデオフレームに時間フィルタリングを適用し、ある時間期間にわたってユーザの皮膚(たとえば、前向きカメラ454-1または227-1によってビデオデータ456-1内にキャプチャされた顔、および後向きカメラ456-2または227-2によってビデオデータ456-2内にキャプチャされた手、腕など)の中の血液の流れを可視化するために結果を増幅する。次いで、EVM分析は、その時間期間にわたってユーザの皮膚の中の時間的な音色変動を定量化することができる。この可視化および定量化された時間的な色変動より、パルスレート、パルス大きさ、および他のパルス関連の因子が、ビデオデータから抽出される可能性がある。前向きカメラ227-1および後向きカメラ227-2のビデオデータのEVM分析は、モバイルデバイス210に対する認証を求めるユーザの推定パルスレートを生成するためにパルスレート推定器230によって利用される。

推定パルスレートは、パルス相関器232に提供される。一実施形態では、パルス相関器232は、推定パルスレートが対応する(すなわち、同じユーザに属する)かどうかを判定するために、前向きカメラと後向きカメラとにそれぞれ対応する2つのパルス信号間の相互相関を計算するためにパルスレートに関する統計的分析を実行する。実施形態では、2つのパルス信号の相互相関は、限定はしないが、時間領域または周波数領域における信号重畳分析などの方法を使用して判定される。一実施形態では、パルス相関器232は、ユーザの体の異なる場所からパルスレート推定値が生成されるときに生じるタイミング差を補償するために1つまたは2つのパルスレート推定値分シフトする。すなわち、第1のパルスレート推定値は、第2のパルスレート推定値に統計的に関連付けられる場合があるが、血液の流れがユーザの体の異なる部分に達するのに掛かる時間を補償するために時間シフトされなければならない。推定および調整されたパルスレートが対応するとき、パルス相関器232は、前向きカメラ227-1および後向きカメラ227-2によってキャプチャされた画像データが同じユーザの生の画像データをキャプチャしていると判定する。

一実施形態では、パルス相関器232は、推定および調整されたパルスレートが2つの推定パルスレートの統計的分析に基づいて互いに対応すると判定する。統計的分析は、相互相関の計算などによって、2つのパルスレートが互いにどのように関連しているかの測定値を決定する。一実施形態では、パルス相関器232は、パルスマッチング(pulse match)の統計的信頼度を判定し、パルスマッチングマッチングのこの信頼度をパルスマッチングしきい値と比較する。たとえば、パルスマッチングは、そのマッチングに関連する信頼度が99%信頼度しきい値を超えるときのみ、パルス相関器232によって容認される場合がある。一実施形態では、しきい値は、初期しきい値に設定され、パルスレートが判定されたビデオデータに関連する1つまたは複数の環境条件に基づいて調整される場合がある。たとえば、ビデオデータが良好な照明条件、安定した画像キャプチャ、長いビデオ持続時間などのうちの1つまたは複数を示す場合、しきい値は、初期値のままであり得るか、またはより高い値に調整され得る。別の例として、ビデオデータが低い照明条件、低い画像品質条件、ぶれた画像キャプチャなどのうちの1つまたは複数を示す場合、しきい値は、初期値のままであり得るか、またはより低い値に調整され得る。一実施形態では、前向きカメラおよび後向きカメラは、各カメラに関連する環境条件に基づいて相関しきい値の調整に別々に影響を及ぼし得る。一実施形態では、パルスマッチングは、パルスマッチングの統計的尤度がパルスマッチングしきい値を超えるとき、パルス相関器232によって判定される。パルス相関器232は、次いで、信頼度しきい値に対するパルスマッチングの結果を認証決定エンジン236に通知する。

決定エンジン236は、顔認識エンジン234のビデオデータ分析結果の結果に基づいて、ユーザが権限のあるユーザとして認識される(すなわち、認識されたユーザがモバイルデバイス210の権限のあるユーザである)かどうかを判定する。認証決定エンジン236は、パルス相関器232によって決定された推定パルスレートがビデオデータ内のパルスマッチングを示すかどうかも判定する。顔認識分析とパルス相関結果の両方が首尾よく完了されたとき、ユーザ認証エンジン240は、ユーザを認証し、それによってモバイルデバイスへのユーザアクセスを許可する。

本明細書で説明するように、パルスレート推定および顔認識分析は、パルスレート推定器230および顔認識エンジン234によって並行して実行され得る。さらに、パルスレート推定器230および顔認識エンジン234は、分析のために同じビデオデータを利用する場合がある。この実施形態では、認証処理は、認識された顔が現在モバイルデバイスを保持し現在認証を求めている生の人に相当するという追加のセキュリティをもたらす。

図3は、パルスレート相関および顔認識分析に基づいてモバイルデバイス上でユーザを認証するための方法の一実施形態の流れ図である。方法300は、ハードウェア(回路、専用ロジックなど)、ソフトウェア(たとえば、汎用コンピュータシステムまたは専用マシン上で動作するもの)、ファームウェア、または組合せを含み得る処理ロジックによって行われる。一実施形態では、方法300は、モバイルデバイス(モバイルデバイス210など)によって実行される。

図3を参照すると、処理ロジックは、モバイルデバイスにアクセスするためのユーザ認証処理を開始することによって始まる(処理ブロック302)。ユーザ認証処理は、モバイルデバイスが、スリープからウェイクへ、ロックからロック解除へ遷移するなど、無効状態から有効状態に遷移することを試みるときはいつでも開始され得る。ユーザ認証処理はまた、ロックされたモバイルデバイスへのアクセスを求めるユーザ要求に応答して、またはモバイルデバイス上で実行される任意のアプリケーション/処理からの認証要求(オンラインアプリケーションストア、オンライン小売業者などからの認証要求)に応答して開始され得る。一実施形態では、モバイルデバイスへのアクセスは、本明細書で説明する処理ロジックによるユーザの認証成功に基づく。

処理ロジックは、モバイルデバイスの前向きカメラおよび後向きカメラを用いてユーザの画像データをキャプチャする(処理ブロック304)。一実施形態では、キャプチャされた画像データは、カメラによってキャプチャされたデジタルビデオデータである。処理ロジックは、キャプチャされた画像データに対して1つまたは複数の顔認識処理を実行する(処理ブロック306)。上記で説明したように、顔認識処理は、画像データに示された顔の画像を配置することと、配置された顔画像から視覚的特徴を抽出することとを含み得る。本明細書で説明する実施形態では、目、鼻、口、あご、耳、頬骨などに対応する特徴および互いのその相対位置などの、任意の数の顔の特徴が抽出され得る。処理ロジックは、次いで、顔認識結果と、モバイルデバイスへのアクセス権限を有するユーザに関連する顔認識特徴との間のマッチングを探索する(処理ブロック308)。マッチングは、処理ロジックにより画像内に配置された顔に関連する特徴セットを、モバイルデバイスの権限のあるユーザの特徴セットと比較することによって判定される。この比較から、処理ロジックは、アクセス権限を有するユーザがマッチングするかどうかを判定するために、画像内に配置された顔に関連する特徴セットが権限のあるユーザの特徴セットにマッチングする尤度を判定する(処理ブロック310)。この尤度がしきい値尤度を超えるとき、デジタルビデオデータ内に配置された顔は、権限のあるユーザにマッチングする。この尤度がしきい値を超えないとき、顔は、権限のあるユーザにマッチングしないと判定する。一実施形態では、顔が権限のあるユーザにマッチングしないと処理ロジックが判定する(処理ブロック318)場合には、処理ロジックは、モバイルデバイスへのユーザアクセスをブロックするためにブロック320に直ちに進み得る。

処理ロジックはまた、第1および第2の画像データからのユーザパルスレートを推定する(処理ブロック312)。第1および第2の画像データは、モバイルデバイスの前向きカメラおよび後向きカメラによってキャプチャされた第1および第2のデジタルビデオに対応し得る。一実施形態では、処理ロジックは、第1および第2のデジタルビデオ内にキャプチャされたユーザの皮膚のトーンの時間的な変動を得るためにEVM分析を実行する。皮膚のトーンの時間的な変動から、ユーザのパルスレートは、第1および第2のデジタルビデオの各々から推定され得る。次いで、これらのパルスレートは、1つまたは2つの推定パルスレート分、時間的にシフトすることによって、1つまたは2つの推定パルスレートの大きさ分、調整することによって、および/またはマッチングの尤度をパルスマッチングしきい値と比較することによりパルスレートが互いにマッチングする統計的尤度を判定する(処理ブロック316)ことによって互いに関連付けられる(処理ブロック314)。一実施形態では、図示していないが、パルスマッチング尤度がしきい値を超えないとき、処理ロジックは、モバイルデバイスへのユーザアクセスをブロックするためにブロック320に直ちに進み得る。

本明細書で説明するように、パルスレート推定および相関分析と顔認識処理とは、処理ロジックによって並行して次々に実行される場合がある。さらに、認証処理が直列に実行される一実施形態では、顔認識は、パルスレート推定および相関の前に実行される。

処理ロジックは、(第1および第2の画像データから得られた)推定パルスレート間の相関がしきい値を超えるかどうか、およびユーザがアクセス権限を有するユーザにマッチングするかどうかを判定する(処理ブロック318)。パルスレートの相関が十分に近いとき(たとえば、相関がしきい値を超えるとき)、および認証を求めるユーザから抽出された顔の特徴が権限のあるユーザの顔の特徴にマッチングするとき、処理ロジックは、ユーザを認証し、モバイルデバイスへのユーザアクセスを許可する(処理ブロック322)。場合によっては、処理ロジックは、モバイルデバイスへのユーザアクセスをブロックする(処理ブロック320)。

本明細書に記載するデバイスはモバイルまたはワイヤレスデバイスであること、それは、任意の適切なワイヤレス通信技術に基づいている、またはさもなければこれをサポートする、ワイヤレスネットワークを通る1つまたは複数のワイヤレス通信リンクを介して通信し得ることを理解されたい。たとえば、いくつかの態様では、コンピューティングデバイスまたはサーバは、ワイヤレスネットワークを含むネットワークと関連付けることができる。いくつかの態様では、そのネットワークは、ボディエリアネットワークまたはパーソナルエリアネットワーク(超広帯域ネットワークなど)を含み得る。いくつかの態様では、ネットワークは、ローカルエリアネットワークまたはワイドエリアネットワークを含む場合がある。ワイヤレスデバイスは、たとえばCDMA、TDMA、OFDM、OFDMA、WiMAX、およびWi-Fiなどの多種多様なワイヤレス通信技術、プロトコル、または規格のうちの1つまたは複数をサポートするか、または場合によっては使用することができる。同様に、ワイヤレスデバイスは、様々な対応する変調または多重化方式のうちの1つまたは複数をサポートするか、または場合によっては使用することができる。モバイルワイヤレスデバイスは、他のモバイルデバイス、携帯電話、他の有線およびワイヤレスのコンピュータ、インターネットウェブサイトなどとワイヤレスに通信することができる。

本明細書における教示は、種々の装置またはデバイスに組み込まれ得る(たとえば、それらの中に実装され、またはそれらによって実行され得る)。たとえば、本明細書で教示された1つまたは複数の態様は、電話(携帯電話など)、携帯情報端末(「PDA」)、タブレット、モバイルコンピュータ、ラップトップコンピュータ、エンターテインメントデバイス(たとえば、音楽デバイスもしくはビデオデバイス)、ヘッドセット(たとえば、ヘッドフォン、イヤピースなど)、医療用デバイス(たとえば、生体センサ、心拍数モニタ、歩数計、心電図検査(EKG)デバイスなど)、ユーザI/Oデバイス、コンピュータ、サーバ、ポイントオブセールデバイス、セットトップボックス、または任意の他の適切なデバイスに組み込むことができる。これらのデバイスは、異なる電力要件およびデータ要件を有し、各特徴または特徴のセットに対して生成される異なる電力プロファイルをもたらすことがある。

いくつかの態様では、ワイヤレスデバイスは、通信システムのためのアクセスデバイス(たとえば、Wi-Fiアクセスポイント)を含む場合がある。そのようなアクセスデバイスは、たとえば、有線またはワイヤレスの通信リンクを介した、別のネットワーク(たとえば、インターネットまたはセルラーネットワークなどのワイドエリアネットワーク)への接続を提供することができる。したがって、アクセスデバイスは、別のデバイス(たとえば、Wi-Fi局)が他のネットワークまたは何らかの他の機能にアクセスすることを可能にすることができる。さらに、デバイスの一方または両方が移動可能である、または場合によっては、相対的に移動可能ではないことがあることを理解されたい。

様々な異なる技術および技法のいずれかを使用して情報および信号が表現される場合があることを当業者は理解するであろう。たとえば上の説明全体を通して参照され得るデータ、命令、指令、情報、信号、ビット、記号およびチップは、電圧、電流、電磁波、磁場または磁性粒子、光場または光学粒子、あるいはそれらの任意の組合せによって表されてもよい。

本明細書において開示される実施形態に関連して説明される種々の例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実現される場合があることは、当業者はさらに理解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、種々の例示的構成要素、ブロック、モジュール、回路、およびステップが、上記ではその機能に関して一般的に説明されてきた。そのような機能が、ハードウェアとして実現されるか、ソフトウェアとして実現されるかは、具体的な適用例およびシステム全体に課せられる設計制約によって決まる。当業者は、説明された機能を各々の特定の応用分野について様々な方式で実装してもよいが、そのような実装判断は、本開示の範囲からの逸脱を引き起こすと解釈されるべきではない。

本明細書において開示される実施形態に関連して説明される種々の例示的な論理ブロック、モジュールおよび回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途用集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別のゲートもしくはトランジスタロジック、個別のハードウェア構成要素、または本明細書で説明した機能を果たすように設計されたこれらの任意の組合せを用いて、実装されるか、または実行される場合がある。汎用プロセッサは、マイクロプロセッサとすることができるが、代替として、プロセッサは、任意の従来型プロセッサ、コントローラ、マイクロコントローラ、または状態機械とすることができる。プロセッサは、コンピューティングデバイスの組合せ、たとえばDSPとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連結した1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実現することもできる。

本明細書で開示する実施形態に関して説明する方法またはアルゴリズムのステップは、直接ハードウェアにおいて具現化されても、プロセッサによって実行されるソフトウェアモジュールにおいて具現化されても、またはこの2つの組合せにおいて具現化されてもよい。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、レジスタ、ハードディスク、取外し可能ディスク、CD-ROM、または当技術分野で知られている任意の他の形態の記憶媒体内に存在する場合がある。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み出し、かつ、記憶媒体に情報を書き込むことができるようにプロセッサに結合される。代替的に、記憶媒体はプロセッサと一体であってよい。プロセッサおよび記憶媒体は、ASIC中に存在し得る。ASICは、ユーザ端末中に存在し得る。代替として、プロセッサおよび記憶媒体は、ユーザ端末内にディスクリート構成要素として存在し得る。

1つまたは複数の例示的な実施形態では、説明された機能が、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せの形で実現することができる。コンピュータプログラム製品としてソフトウェアに実装された場合、機能は、1つまたは複数の命令またはコードとして、非一時的コンピュータ可読媒体上に記憶されるか、または非一時的コンピュータ可読媒体を介して送信される場合がある。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む場合がある。記憶媒体は、コンピュータによってアクセス可能である任意の入手可能な媒体とすることができる。限定ではなく例として、そのような非一時的コンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または、命令もしくはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され、かつコンピュータによってアクセスすることができる、任意の他の媒体を含む場合がある。また、当然、あらゆる接続がコンピュータ可読媒体と呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(CD:compact disc)、レーザーディスク(登録商標)(laser disc)、光ディスク(optical disc)、デジタルバーサタイルディスク(DVD:digital versatile disc)、フロッピーディスク(floppy disk)、およびブルーレイディスク(blu-ray disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)はレーザーを使用して、データを光学的に再生する。上記の組合せも、非一時的コンピュータ可読媒体の範囲内に含まれるべきである。

開示した実施形態の前述の説明は、当業者が本発明を作成するまたは利用することができるように提供される。これらの実施形態に対する様々な修正が当業者にはすぐに明らかであろうし、本明細書に定義される一般原理は、本発明の主旨または範囲を逸脱することなく他の実施形態にも適用することができる。したがって、本発明は、本明細書に示される実施形態に限定されることを意図しておらず、本明細書に開示する原理および新規の特徴と一致する最も広い範囲を与えられるものとする。

204 ネットワークインターフェース
205 メモリ
210 モバイルデバイス
212 プロセッサ
215 ワイヤレスサブシステム
220 ディスプレイ
225 I/Oコントローラ
227-1 デジタルカメラ
227-2 デジタルカメラ
230 パルスレート推定器
232 パルス相関器
234 顔認識エンジン
236 認証決定エンジン
240 ユーザ認証エンジン
452 モバイルデバイス
454-1 前向きカメラ
454-2 後向きカメラ
456-1 ユーザの顔
456-1 ユーザの手
460 ユーザ

Claims (15)

1. モバイルデバイス上でユーザを認証するための方法であって、
   前記モバイルデバイスへのアクセスのために前記ユーザの認証を開始するステップであって、前記モバイルデバイスによる前記ユーザの認証が成功すると、前記モバイルデバイスへのアクセスが許可される、ステップと、
   前記モバイルデバイスの第1のカメラから第1のビデオデータをキャプチャするステップであって、前記第1のビデオデータが前記ユーザの顔の少なくとも1つの画像をキャプチャする、ステップと、
   前記モバイルデバイスの第2のカメラから第2のビデオデータをキャプチャするステップであって、前記第2のビデオデータが前記ユーザの異なる部分の少なくとも1つの画像をキャプチャする、ステップと、
   前記ユーザの識別情報を判定するために前記ユーザの前記顔の前記画像に関する顔認識分析を実行するステップと、
   前記第1のビデオデータからの前記ユーザの第1のパルス情報と、前記第2のビデオデータからの前記ユーザの第2のパルス情報とを判定するステップと、
   前記第1のパルス情報および前記第2のパルス情報がパルスマッチングを示すかどうかを判定するステップと、
   パルスマッチングが判定され、前記ユーザの前記判定された識別情報が前記モバイルデバイスにアクセスする許可を有するとき、前記モバイルデバイスへのアクセスのために前記ユーザを認証するステップと
   を含む、方法。
2. 前記第1のパルス情報および前記第2のパルス情報の前記判定が、
   キャプチャされたビデオデータからの前記ユーザの皮膚のトーンの時間的な変動を判定するステップと、
   ある時間期間にわたって前記ユーザの前記皮膚のトーンの前記時間的な変動に基づいて前記ユーザのパルスを判定するステップと
   を含む、請求項1に記載の方法。
3. 前記パルスマッチングは、前記第1のビデオデータから判定された皮膚のトーンの時間的な変動と、前記第2のビデオデータから判定された皮膚のトーンの時間的な変動との間に相関があるとき、前記第1のパルス情報および前記第2のパルス情報から判定される、請求項2に記載の方法。
4. 前記顔認識分析および前記第1のパルス情報が同時に判定される、請求項1に記載の方法。
5. 前記顔認識分析が、前記第1のパルス情報および前記第2のパルスの判定前に実行される、請求項1に記載の方法。
6. 前記顔認識分析および前記第1のパルス情報が、前記第1のビデオデータの共通セグメントから判定される、請求項1に記載の方法。
7. 前記第1のパルス情報および前記第2のパルス情報がパルスマッチングを示すかどうかを判定するステップが、
   前記第1のパルス情報を前記第2のパルス情報と相互に関連付けるステップと、
   前記相互に関連付けられた第1のパルス情報と第2のパルス情報とに基づいて前記パルスマッチングの尤度を判定するステップと、
   前記判定された尤度をパルスマッチングしきい値と比較するステップと、
   前記判定された尤度が前記パルスマッチングしきい値を超えるとき、前記第1のパルス情報が前記第2のパルス情報にマッチングすると判定するステップと
   をさらに含む、請求項1に記載の方法。
8. 前記パルスマッチングの前記尤度を判定するために前記相互に関連付けられた第1のパルス情報および第2のパルス情報に関する回帰分析を実行するステップ
   をさらに含む、請求項7に記載の方法。
9. 前記パルスマッチングしきい値が、前記第1のビデオデータおよび前記第2のビデオデータの前記キャプチャに関連する1つまたは複数の環境条件に基づいて調整される、請求項7に記載の方法。
10. 前記第1のパルス情報を前記第2のパルス情報と相互に関連付けるステップが、
    前記第1のパルス情報および前記第2のパルス情報が得られる前記ユーザの体の場所の差に関連するパルスタイミングの差を補償するために前記第2のパルス情報を時間的にシフトするステップ
    をさらに含む、請求項7に記載の方法。
11. 前記第1のカメラが前記モバイルデバイスの前向きカメラであり、前記第2のカメラが前記モバイルデバイスの後向きカメラである、請求項1に記載の方法。
12. プロセッサによって実行されるとき、前記プロセッサに、請求項1から11のいずれか一項に記載される、モバイルデバイス上でユーザを認証するための方法を実行させる命令を含むコンピュータ可読記憶媒体。
13. ユーザ認証を実行するモバイルデバイスであって、前記モバイルデバイスが、
    前記モバイルデバイスへのアクセスのためにユーザの認証を開始するユーザ認証エンジンであって、前記モバイルデバイスによる前記ユーザの認証が成功すると、前記モバイルデバイスへのアクセスが許可される、ユーザ認証エンジンと、
    要求に応答して第1のビデオデータをキャプチャするために前記ユーザ認証エンジンに通信可能に結合された第1のビデオカメラであって、前記第1のビデオデータが前記ユーザの顔の少なくとも1つの画像をキャプチャする、第1のビデオカメラと、
    前記要求に応答して第2のビデオデータをキャプチャするために前記ユーザ認証エンジンに通信可能に結合された第2のビデオカメラであって、前記第2のビデオデータが前記ユーザの異なる部分の少なくとも1つの画像をキャプチャする、第2のビデオカメラと
    を含み、
    前記ユーザ認証エンジンが、
    前記ユーザの識別情報を判定するために前記第1のビデオデータ内の前記ユーザの前記顔の前記画像に関する顔認識分析を実行する顔認識エンジンと、
    前記第1のビデオデータからの前記ユーザの第1のパルス情報と、前記第2のビデオデータからの前記ユーザの第2のパルス情報とを判定するパルスレート推定器と、
    前記第1のパルス情報および前記第2のパルス情報がパルスマッチングを示すかどうかを判定するパルス相関器と、
    パルスマッチングが判定され、前記ユーザの前記判定された識別情報が前記モバイルデバイスにアクセスする許可を有するとき、前記モバイルデバイスへのアクセスのために前記ユーザを認証する認証決定エンジンと
    を含む、モバイルデバイス。
14. モバイルデバイス上でユーザを認証するためのシステムであって、
    前記モバイルデバイスへのアクセスのために前記ユーザの認証を開始するための手段であって、前記モバイルデバイスによる前記ユーザの認証が成功すると、前記モバイルデバイスへのアクセスが許可される、手段と、
    前記モバイルデバイスの第1のカメラから第1のビデオデータをキャプチャするための手段であって、前記第1のビデオデータが前記ユーザの顔の少なくとも1つの画像をキャプチャする、手段と、
    前記モバイルデバイスの第2のカメラから第2のビデオデータをキャプチャするための手段であって、前記第2のビデオデータが前記ユーザの異なる部分の少なくとも1つの画像をキャプチャする、手段と、
    前記ユーザの識別情報を判定するために前記ユーザの前記顔の前記画像に関する顔認識分析を実行するための手段と、
    前記第1のビデオデータからの前記ユーザの第1のパルス情報と、前記第2のビデオデータからの前記ユーザの第2のパルス情報とを判定するための手段と、
    前記第1のパルス情報および前記第2のパルス情報がパルスマッチングを示すかどうかを判定するための手段と、
    パルスマッチングが判定され、前記ユーザの前記判定された識別情報が前記モバイルデバイスにアクセスする許可を有するとき、前記モバイルデバイスへのアクセスのために前記ユーザを認証するための手段と
    を含む、システム。
15. 前記第1のパルス情報および前記第2のパルス情報がパルスマッチングを示すかどうかを判定するための前記手段が、
    前記第1のパルス情報を前記第2のパルス情報と相互に関連付けるための手段と、
    前記相互に関連付けられた第1のパルス情報と第2のパルス情報とに基づいて前記パルスマッチングの尤度を判定するための手段と、
    前記判定された尤度をパルスマッチングしきい値と比較するための手段と、
    前記判定された尤度が前記パルスマッチングしきい値を超えるとき、前記第1のパルス情報が前記第2のパルス情報にマッチングすると判定するための手段と
    をさらに含む、請求項14に記載のシステム。

Images