JP6735778B2 - スプーフ検出およびライブネス分析のためのシステム、方法および非一過性コンピュータ可読媒体 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１５年６月１６日に出願され、”Ｌｉｖｅｎｅｓｓ Ａｎａｌｙｓｉｓ Ｕｓｉｎｇ Ｖｉｔａｌｓ Ｄｅｔｅｃｔｉｏｎ”と題された米国仮特許出願第６２／１８０，４８１号に対する優先権およびそれの利益を主張するものであり、該米国仮特許出願の全体は、参照により本明細書中に援用される。

本開示は、概して、画像、音響信号、および振動信号分析に関し、特に、画像内に描写される対象が生存しているかどうかを検出するための画像および信号処理技法に関する。

多くの場合、特定の個人に対する所有物または情報源へのアクセスを制限することが、望ましい。バイオメトリックシステムは、個人の識別を認証し、情報源へのアクセスの許可または拒否のいずれかを行うために使用されることができる。例えば、虹彩走査装置が、バイオメトリックセキュリティシステムによって使用され、個人の虹彩内の一意の構造に基づいて、個人を識別することができる。しかしながら、そのようなシステムは、偽物が、権限者の顔の事前記録された画像またはビデオを走査するために提示する場合、偽物を誤って認証し得る。そのような偽画像またはビデオは、走査のために使用されるカメラの正面に保持された光沢のある写真等において、ブラウン管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ）スクリーン等のモニタ上に表示され得る。他のスプーフィング技法は、正当なユーザの顔の写真上で正確な３次元マスクの使用を含む。

１つのカテゴリの既存のアンチスプーフィング手段は、主として、静止画像（例えば、写真ベースの）攻撃に焦点を当てている。これらの手段は、静的スプーフ攻撃が、主に顔内の、画像の異なる部分の自然に生じる異なる動きを再現できないことを前提とする。それらはまた、ライブ走査における前述の運動のそれぞれが、関連付けられる筋肉群の自然な機敏さおよび周波数の観点から、異なるスケールにおいて生じることを前提とする。しかしながら、これらの手段は、静的（例えば、写真ベースの）スプーフ攻撃しか検出できず、前述の運動ベクトルをその要求される速度および周波数プロファイル（存在する場合）に分解することが可能であるために十分に高いフレームレートにおける、ある時間ウィンドウの観察を必要とする。それらはまた、走査中に全く静止したままである生存対象を誤って拒絶する、または、例えば、ある方法でスプーフィング写真を屈曲および振盪させることによって、追加された運動を伴う静的再現物を誤って許容し得る。

第２のカテゴリの既存のアンチスプーフィング手段は、バイオメトリックサンプルの写真またはビデオ再現物が、十分な品質ではなく、したがって、画像テクスチャ分析方法が、スプーフを識別し得ることを前提とする。しかしながら、目に見えて低品質のスプーフ再現物の前提は、特に、現代のスマートフォンおよびタブレットにおいてさえ見出され得る、高度な高品質かつ極めて普及した高解像度記録およびディスプレイ技術の出現により、信頼性のあるものではない。驚くべきことではないが、具体的かつ技術依存性スプーフ再現物アーチファクトに依拠することによって、そのような技法は、データセット依存性であることが示され、標準以下の一般化能力を実証している。基準または基準なし画像品質メトリックに基づく、第２のものに関連する別のカテゴリのアンチスプーフィング手段も、同一の欠点に悩まされる。

本明細書に説明される種々の実装では、生存人物の存在を示す身体的性質の検出が、ライブの真正の顔を、画像／ビデオ、強制的に成された照合、および他のスプーフィングされた詐欺的認証方法から区別する、ならびに／またはバイオメトリックシステムをスプーフィングするための正当なユーザの記録された画像／ビデオ／他の身体的復元物を再生するために使用されるデバイスの存在を検出すること等によって、スプーフを識別するために使用される。これは、部分的に、（ａ）スプーフの徴候を検出し、（ｂ）３次元顔検出および２因子脈拍識別を使用して、個人のライブネスおよび物理的存在を検証することによって達成される。

故に、一側面では、コンピュータ実装方法が、ユーザデバイスのオーディオ出力コンポーネントを使用して、１つまたはそれを上回るオーディオ信号を放出するステップと、ユーザデバイスのオーディオ入力コンポーネントを使用して、標的からオーディオ信号の１つまたはそれを上回る反射を受信するステップと、１つまたはそれを上回る反射に基づいて、標的が顔状構造および顔状組織のうちの少なくとも１つを含むかどうかを判定するステップと、少なくとも部分的に、標的が顔状構造および顔状組織のうちの少なくとも１つを含むかどうかの判定に基づいて、標的がスプーフであるかどうかを判定するステップとを含む。ユーザデバイスは、例えば、スマートフォン、タブレット、またはラップトップを含むモバイルデバイスであり得る。１つまたはそれを上回るオーディオ信号は、ショートコード化パルスｐｉｎｇ、短期間のチャープ、またはＣＴＦＭｐｉｎｇを含むことができる。１つまたはそれを上回るオーディオ信号の１つもしくはそれを上回る特性は、ランダム化されることができる。

一実装では、本方法はさらに、標的の身体的特徴を識別するために、分類子を訓練するステップと、分類子への入力として、標的からのオーディオ信号の１つまたはそれを上回る反射に基づいて、情報を提供するステップとを含み、標的がスプーフであるかどうかの判定はさらに、少なくとも部分的に、提供された入力に応答して受信される分類子の出力に基づく。

別の実装では、本方法はさらに、標的の複数の画像を受信するステップと、画像内の検出された光反射に基づいて、標的が３次元顔状構造を含むかどうかを判定するステップとを含む。

さらなる実装では、本方法はさらに、標的の複数の画像を受信するステップと、画像に基づいて、標的が第１の脈拍を有するかどうかを識別するステップとを含み、標的がスプーフであるかどうかの判定はさらに、少なくとも部分的に、標的が脈拍を有するかどうかの識別に基づく。第１の脈拍は、遠隔フォトプレチスモグラフィを使用して識別されることができる。

また別の実装では、標的の第２の脈拍が、標的との物理的接触を通して識別され、標的がスプーフであるかどうかの判定はさらに、少なくとも部分的に、第２の脈拍の測定値に基づく。第２の脈拍が第１の脈拍に相関するかどうかに関する判定が、成されることができ、標的がスプーフであるかどうかの判定はさらに、少なくとも部分的に、相関に基づく。第２の脈拍を測定するステップは、ユーザデバイスまたは別のハンドヘルドもしくはウェアラブルデバイスから第２の脈拍と関連付けられる情報を受信するステップを含むことができる。第２の脈拍と関連付けられる情報は、バリストカルジオグラフ信号を含むことができる。

本明細書に説明される主題の１つまたはそれを上回る実施形態の詳細は、付随の図面および以下の説明に記載される。本主題の他の特徴、側面、および利点は、説明、図面、ならびに請求項から明白となるであろう。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
コンピュータ実装方法であって、
ユーザデバイスのオーディオ出力コンポーネントを使用して、１つまたはそれを上回るオーディオ信号を放出するステップと、
前記ユーザデバイスのオーディオ入力コンポーネントを使用して、標的から前記オーディオ信号の１つまたはそれを上回る反射を受信するステップと、
前記１つまたはそれを上回る反射に基づいて、前記標的が顔状構造および顔状組織のうちの少なくとも１つを含むかどうかを判定するステップと、
少なくとも部分的に、前記標的が顔状構造および顔状組織のうちの少なくとも１つを含むかどうかの判定に基づいて、標的がスプーフであるかどうかを判定するステップと、
を含む、方法。
（項目２）
前記ユーザデバイスは、スマートフォン、タブレット、またはラップトップを含むモバイルデバイスである、項目１に記載の方法。
（項目３）
前記１つまたはそれを上回るオーディオ信号は、ショートコード化パルスｐｉｎｇ、短期間のチャープ、またはＣＴＦＭ ｐｉｎｇを含む、項目１に記載の方法。
（項目４）
前記標的の身体的特徴を識別するために、分類子を訓練するステップと、
前記分類子への入力として、前記標的からの前記オーディオ信号の１つまたはそれを上回る反射に基づいて、情報を提供するステップと、
をさらに含み、
前記標的がスプーフであるかどうかの判定はさらに、少なくとも部分的に、前記提供された入力に応答して受信される前記分類子の出力に基づく、項目１に記載の方法。
（項目５）
前記１つまたはそれを上回るオーディオ信号の１つもしくはそれを上回る特性をランダム化するステップをさらに含む、項目１に記載の方法。
（項目６）
前記標的の複数の画像を受信するステップと、
前記画像内の検出された光反射に基づいて、前記標的が３次元顔状構造を含むかどうかを判定するステップと、
をさらに含む、項目１に記載の方法。
（項目７）
前記標的の複数の画像を受信するステップと、
前記画像に基づいて、前記標的が第１の脈拍を有するかどうかを識別するステップと、
をさらに含み、
前記標的がスプーフであるかどうかの判定はさらに、少なくとも部分的に、前記標的が脈拍を有するかどうかの識別に基づく、項目１に記載の方法。
（項目８）
前記第１の脈拍は、遠隔フォトプレチスモグラフィを使用して識別される、項目７に記載の方法。
（項目９）
前記標的との物理的接触を通して、前記標的の第２の脈拍を測定するステップをさらに含み、前記標的がスプーフであるかどうかの判定はさらに、少なくとも部分的に、前記第２の脈拍の測定値に基づく、項目７に記載の方法。
（項目１０）
前記第２の脈拍が前記第１の脈拍に相関するかどうかを判定するステップをさらに含み、前記標的がスプーフであるかどうかの判定はさらに、少なくとも部分的に、前記相関に基づく、項目９に記載の方法。
（項目１１）
前記第２の脈拍を測定するステップは、前記ユーザデバイスまたは別のハンドヘルドもしくはウェアラブルデバイスから前記第２の脈拍と関連付けられる情報を受信するステップを含む、項目９に記載の方法。
（項目１２）
前記第２の脈拍と関連付けられる情報は、バリストカルジオグラフ信号を含む、項目１１に記載の方法。
（項目１３）
システムであって、
コンピュータ実行可能命令を記憶するための、少なくとも１つのメモリと、
前記メモリ上に記憶される命令を実行するための、少なくとも１つの処理ユニットであって、前記命令の実行は、
ユーザデバイスのオーディオ出力コンポーネントを使用して、１つまたはそれを上回るオーディオ信号を放出するステップと、
前記ユーザデバイスのオーディオ入力コンポーネントを使用して、標的から前記オーディオ信号の１つまたはそれを上回る反射を受信するステップと、
前記１つまたはそれを上回る反射に基づいて、前記標的が顔状構造および顔状組織のうちの少なくとも１つを含むかどうかを判定するステップと、
少なくとも部分的に、前記標的が顔状構造および顔状組織のうちの少なくとも１つを含むかどうかの判定に基づいて、標的がスプーフであるかどうかを判定するステップと、
を含む動作を実施するように前記少なくとも１つの処理ユニットをプログラムする、少なくとも１つの処理ユニットと、
を備える、システム。
（項目１４）
前記ユーザデバイスは、スマートフォン、タブレット、またはラップトップを含むモバイルデバイスである、項目１３に記載のシステム。
（項目１５）
前記１つまたはそれを上回るオーディオ信号は、ショートコード化パルスｐｉｎｇ、短期間のチャープ、またはＣＴＦＭ ｐｉｎｇを含む、項目１３に記載のシステム。
（項目１６）
前記動作は、
前記標的の身体的特徴を識別するために、分類子を訓練するステップと、
前記分類子への入力として、前記標的からの前記オーディオ信号の１つまたはそれを上回る反射に基づいて、情報を提供するステップと、
をさらに含み、
前記標的がスプーフであるかどうかの判定はさらに、少なくとも部分的に、前記提供された入力に応答して受信される前記分類子の出力に基づく、項目１３に記載のシステム。
（項目１７）
前記動作はさらに、前記１つまたはそれを上回るオーディオ信号の１つもしくはそれを上回る特性をランダム化するステップを含む、項目１３に記載のシステム。
（項目１８）
前記動作は、
前記標的の複数の画像を受信するステップと、
前記画像内の検出された光反射に基づいて、前記標的が３次元顔状構造を含むかどうかを判定するステップと、
をさらに含む、項目１３に記載のシステム。
（項目１９）
前記動作は、
前記標的の複数の画像を受信するステップと、
前記画像に基づいて、前記標的が第１の脈拍を有するかどうかを識別するステップと、
をさらに含み、
前記標的がスプーフであるかどうかの判定はさらに、少なくとも部分的に、前記標的が脈拍を有するかどうかの識別に基づく、項目１３に記載のシステム。
（項目２０）
前記第１の脈拍は、遠隔フォトプレチスモグラフィを使用して識別される、項目１９に記載のシステム。
（項目２１）
前記動作はさらに、前記標的との物理的接触を通して、前記標的の第２の脈拍を測定するステップを含み、前記標的がスプーフであるかどうかの判定はさらに、少なくとも部分的に、前記第２の脈拍の測定値に基づく、項目１９に記載のシステム。
（項目２２）
前記動作はさらに、前記第２の脈拍が前記第１の脈拍に相関するかどうかを判定するステップを含み、前記標的がスプーフであるかどうかの判定はさらに、少なくとも部分的に、前記相関に基づく、項目２１に記載のシステム。
（項目２３）
前記第２の脈拍を測定するステップは、前記ユーザデバイスまたは別のハンドヘルドもしくはウェアラブルデバイスから前記第２の脈拍と関連付けられる情報を受信するステップを含む、項目２１に記載のシステム。
（項目２４）
前記第２の脈拍と関連付けられる情報は、バリストカルジオグラフ信号を含む、項目２３に記載のシステム。
（項目２５）
非一過性コンピュータ可読媒体であって、実行されると、
ユーザデバイスのオーディオ出力コンポーネントを使用して、１つまたはそれを上回るオーディオ信号を放出するステップと、
前記ユーザデバイスのオーディオ入力コンポーネントを使用して、標的から前記オーディオ信号の１つまたはそれを上回る反射を受信するステップと、
前記１つまたはそれを上回る反射に基づいて、前記標的が顔状構造および顔状組織のうちの少なくとも１つを含むどうかを判定するステップと、
少なくとも部分的に、前記標的が顔状構造および顔状組織のうちの少なくとも１つを含むかどうかの判定に基づいて、標的がスプーフであるかどうかを判定するステップと、
を含む動作を実施するように少なくとも１つのプロセッサをプログラムする、その上に記憶される命令を有する、非一過性コンピュータ可読媒体。

図１Ａ−１Ｃは、アンチスプーフィングおよびライブネス検出に関する種々の使用事例を描写する。 図２は、ある実装による、アンチスプーフィングおよびライブネス検出に関する方法を描写する。 図３は、電話イヤピースとマイクロホンとの間の音響プローブパルスに関する例示的直接および間接音響経路を描写する。 図４および５は、それぞれ、モニタスクリーンおよび本物の顔に関する反射を呈する、例示的整合フィルタ復調エコーを描写する。 図４および５は、それぞれ、モニタスクリーンおよび本物の顔に関する反射を呈する、例示的整合フィルタ復調エコーを描写する。 図６および７は、それぞれ、顔およびモニタスクリーンの異なる面からの反射を描写する。 図６および７は、それぞれ、顔およびモニタスクリーンの異なる面からの反射を描写する。

種々の図面における同様の参照番号および記号は、同様の要素を示す。

種々の実装において本明細書に説明されるものは、顔で変調された音響反射を使用する音響３次元（３Ｄ）「顔面性」感知をマルチソース／マルチパスバイタル検出と組み合わせる、多段階ソフトウェアベースのアンチスプーフィングおよび「ライブネス」検出技術を提供するためのシステムおよび付随の方法である。本明細書で使用されるように、「ライブネス」は、生存人物（眼または顔の画像または事前記録されたビデオ、３次元モデル化された頭部等の生存人物のスプーフもしくは偽物ではない）の存在を示す傾向にある特性を指す。そのような特性は、例えば、顔、脈拍、呼吸パターン等の認識可能な身体的性質を含むことができる。「顔面性」は、眼、鼻、口、顎、ならびに／または認識可能なパターンにおいて配列される他の顔面特徴および組織の（再現されるものとは対照的に）実際の存在等、本物の顔の存在を示す傾向にある特性を指す。顔面性の本定義は、（スプーフの顔のものとは対照的に）本物の顔の受動的または能動的な音響的、光的、および／または電磁的徴候を含めることによって増強されることができる。

本開示は、ソフトウェアにおいて完全に実装され得る新しい物理ベースのソリューションを提供し、とりわけ、その品質にかかわらず、スプーフィングスクリーン再生を検出する。これは、全てユーザに明白な方式において、その音響（および／または測光）徴候の検査を通して、本物の３Ｄの顔がユーザデバイスに提示されている可能性を評価することを通して、既存の視覚ベースのアンチスプーフィングソリューションの欠点を克服する。有利なこととして、本技法は、種々の日常的環境において典型的なモバイル電話イヤピース／音響トランスデューサおよびマイクロホンのみを使用して、バイオメトリック認証に関するスプーフを検出する。モバイルデバイスの既存のハードウェアを使用して結果として生じる音響徴候は、説明される方法論が克服する複数の交絡因子によって、脆弱であり、課題がある。前述の音響信号対雑音比不良の原因は、望ましくないエコーだけではなく、音響経路非線形性および帯域幅制限（トランスデューサのものを含む）、マイクロホン／イヤピース指向性および感度、ならびにデバイスの内部反響を含む。また、本明細書に詳述されるように、利用されるオーディオ帯域のより長い波長を前提とすると、空間分解能は、既存の超音波ソナーシステムと比較して低減され、標的反射の多くは、代わりに、散乱を介して放散され、埋設される音響徴候の間接的検出を提供する。

一実装では、アンチスプーフィングおよびライブネス検出技術は、３次元顔状構造の存在を検証するステップと、複数の源を使用して標的の脈拍を測定するステップとを含む。３次元顔感知は、顔で変調された音響反射（例えば、ソナーと同様に、電話イヤピースまたは他の音響トランスデューサから放出されたコード化された高音プローブ信号から、電話マイクロホンまたは他のオーディオ入力から受信される信号の反射を用いて）および／または構造化照度差ステレオ（例えば、電話スクリーンからの高速パターン化照明から）を使用して実施されることができる。ユーザの脈拍の検出等のバイタル検出が、顔色変化および手／身体振動を誘発する心臓ポンピング作用から測定されることができる。心拍数検出が、複数の経路、すなわち、バリストカルジオグラムとしても公知である、身体の心拍誘発機械的振動、および遠隔フォトプレチスモグラム（遠隔ＰＰＧまたはｒＰＰＧ）としても公知である、赤色−緑色−青色（ＲＧＢ）カメラによって記録される皮膚色変化からの脈拍の検出を通して遂行されることができる。ユーザの脈拍はまた、心拍数センサを伴う他のウェアラブル／モバイルデバイスを介して検出されることができる。

図１Ａ−１Ｃは、本明細書に説明されるようなアンチスプーフィングおよびライブネス分析技術に関する種々の使用事例を図示する。例えば、図１Ａでは、標的ユーザ１０４は、自身のモバイルデバイス１０２（例えば、スマートフォン、タブレット等）を使用し、モバイルデバイスカメラによって捕捉されるバイオメトリック読取（例えば、眼走査）を使用して、自身を認証する。カメラに加えて、モバイルデバイス１０２は、本説明される技法を使用して、ユーザの物理的存在を検証するために、加速度計、ジャイロスコープ、指先心拍センサ、振動センサ、オーディオ出力コンポーネント（例えば、スピーカ、イヤピース、または他の音響トランスデューサ）、オーディオ入力コンポーネント（例えば、マイクロホン）、および同等物等の他のセンサを利用することができる。図１Ｂでは、モバイルデバイス１０６は、ＬＣＤモニタ１０６または他のディスプレイスクリーン上の標的の画像もしくはビデオを捕捉する。モバイルデバイス１０２上で実行するソフトウェアは、標的が、本技法、例えば、３次元顔検出、反射された光および／または音響信号の評価、および脈拍検出を使用して、物理的に存在していないと判定することができる。図１Ｃは、モバイルデバイス１０２を保持し、これを標的ユーザ１０４に指向させる第２のユーザ１１０を描写する。本事例では、標的ユーザ１０４の物理的存在は、（例えば、３次元顔面構造および視覚脈拍認識によって）確立されるであろうが、デバイス１０２と第２のユーザ１１０との間の物理的接触を介してモバイルデバイス１０２によって取得される二次脈拍読取値は、標的ユーザ１０４に関して識別される視覚脈拍に対応せず、したがって、ユーザの識別の照合は、失敗するであろう。

アンチスプーフィングおよびライブネス分析のための他の技法が、本明細書に説明される技術と併用されることができる。そのような技法は、２０１４年９月９日に出願され、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｌｉｖｅｎｅｓｓ Ａｎａｌｙｓｉｓ」と題された、米国特許出願第１４／４８０，８０２号および２０１５年３月３０日に出願され、「Ｂｉｏ Ｌｅａｓｈ ｆｏｒ Ｕｓｅｒ Ａｕｔｈｅｎｔｉｃａｔｉｏｎ」と題された、米国特許出願第１４／６７２，６２９号（その全てが、参照することによって本明細書に組み込まれる）に説明されるものを含む。

スプーフおよびライブネス検出に関する方法の一実装が、図２に描写される。ステップ２０２において開始すると、ユーザデバイス（例えば、モバイルデバイス１０２、または他の携帯電話、スマートフォン、タブレット、仮想現実デバイス、もしくはバイオメトリック眼照合を使用しながら銀行アプリにログインする等、バイオメトリック的に増強されたユーザ相互作用において使用される他のデバイス）は、顔状３次元（３Ｄ）物体が、デバイスの正面に位置付けられ、平面ディスプレイ上の事前記録されたビデオ等のスプーフでないかを検出する。

ステップ２０２における３Ｄ顔面検出は、種々の方法またはその組み合わせを使用して遂行されることができ、ユーザのデバイス上のあるセンサおよび送信機の可用性に基づき得る。一実装では、音波（例えば、高周波数音波）が、３次元の顔、または代替として、平面ディスプレイもしくは非顔状３Ｄ物体がバイオメトリックセンサに（顔または眼サブ領域を含むそのサブ領域のいずれかを使用する画像ベースのバイオメトリクスのために（バイオメトリックセンサは、例えば、モバイルデバイスカメラを含むことができる））提示されているかどうかを判定するために使用される。音響（音波）ベースの技法の一実施例は、連続伝送周波数変調（ＣＴＦＭ）であり、顔の異なる面／表面までの距離が、測定デバイス（例えば、同一または異なるデバイスのオーディオ入力コンポーネント（マイクロホン）と併せたデバイスのオーディオ出力コンポーネント（イヤピース、スピーカ、音響トランスデューサ））によって伝送される音響プローブの時変周波数に基づいて測定される。バイオメトリック認証の場合では、音響距離測定はまた、測定された眼間距離が、標的の登録の時点で判定された予期される眼間距離に対応することを確認するために使用されることができる。前述は、実在のスケール測定値チェックの一実施例であるが、カメラの焦点機構からもたらされるもの等の他のデバイス−顔距離測定もまた、使用され得ることを理解されたい。３Ｄ顔面検出に関する技法は、以下にさらに詳細に説明される。

別の実装では、照度差ステレオの存在および程度が、３次元顔状物体の存在を示す傾向にある特性に関して分析される。測光効果の有効性はまた、先に言及される音響測定距離と組み合わせられ、随意に、バイオメトリック登録フェーズ中に集積された照度差ステレオデータと比較されることができる。デバイススクリーンが、より高いフレームレートで駆動され得る場合、光測定は、より低いフレームレートを有するカメラとともに機能するようにエイリアシングを使用し、スクリーン誘発光プローブの時間的変動をユーザにより知覚不可能にすることができる。前述の３次元特性が、より高い正確度で測定される場合、有効な登録の時点で音響および／または測光測定値を使用して判定されるようなユーザの顔の３Ｄプロファイルは、ある程度までユーザ特有になり得、本明細書に説明されるアンチスプーフィング手段にさらなる特異性を（ソフトバイオメトリクスとして）誘発し得ることに留意されたい。

顔状３Ｄ構造が検出される場合、本デバイスはさらに、随意に、顔状構造が（例えば、デバイスカメラによって捕捉される画像に基づく顔面ｒＰＰＧを使用して）存在するパルスを予期される範囲内に有するかどうかを検出することによって、ライブネスを検証することができる（ステップ２０８）。別様に、いかなる３Ｄ顔面構造も検出されない場合、ライブネス検出は、失敗し、標的は、拒絶される（ステップ２３０）。有効な脈拍が検出される場合、見掛けの循環を伴う３Ｄ顔状物体が、ライブネス検出およびアンチスプーフィングの第１のフェーズとして確立される。本フェーズは、ハードルが高い、ｒＰＰＧを回避させる脈動する皮膚を伴う顔状３Ｄ構造へのスプーフ攻撃を限定する。

二次フェーズでは、本システムは、随意に、より強力なライブネス検出／アンチスプーフィングのために、顔状構造（例えば、音響および／または測光３Ｄ顔チェック後の顔ｒＰＰＧ）から検出された第１の脈拍を、異なる方法を通して取得された第２の脈拍測定値と相関させるように試行することができる（ステップ２１２および２１６）。二次脈拍測定は、例えば、バリストカルジオグラム信号を通して遂行されることができ、これは、心臓ポンピング作用によって誘発されるハンドヘルドデバイス振盪に基づいて捕捉され、デバイス運動センサ、または利用可能である場合、脈拍感知ウェアラブル、または心拍数もしくはその高調波をチェックするための他の好適な二次経路によって測定されることができる。いかなる二次脈拍も検出されない、もしくは二次脈拍が別様に無効である（例えば、予期される範囲外に該当する）場合、または相関が失敗する（例えば、本システムが、脈拍がレートまたは他の特性において合致しないことを検出する）場合、標的は、拒絶される（ステップ２３０）。逆に、前述のステップがライブネスを検証する場合、標的は、生存する正当なユーザとして許容されることができる（ステップ２２０）。本実装に説明される照合フェーズは、説明される順序において実施される必要はなく、むしろ、ステップの代替順序もまた、想定されることを理解されたい。例えば、１つまたはそれを上回る脈拍測定値は、最初に取得され、３Ｄ顔面検出が、脈拍測定値に基づいて判定されたライブネス対スプーフの結論を強化するために使用されることができる。さらに、全てのステップが、実施される必要があるわけではない（例えば、スプーフが存在するかどうかの判定は、３Ｄ顔面検出のみに基づいて成されることができる）。
（音響３Ｄ顔面性測定）

本音響技法は、顔（正当なデバイスに面する眼または顔のバイオメトリック走査に関して予期される）または他の構造的に非顔状の物体（例えば、平面スクリーンまたは他のスプーフィングシナリオ）が、バイオメトリックセンサ（例えば、モバイル電話の正面カメラ）に表示されているかを検出する。本技法は、顔または眼サブ領域を含むそのサブ領域を使用する画像ベースのバイオメトリクスのために使用される。３Ｄ顔面性測定のために使用され得る音響ｐｉｎｇの実施例は、限定ではないが、ショートコード化パルスｐｉｎｇ、短期間のチャープ、およびＣＴＦＭを含む。

ショートコード化パルスｐｉｎｇは、最大相関コード（例えば、Ｂａｒｋｅｒ２−Ｂａｒｋｅｒ１３パターン、そのオリジナル形態または二位相シフトキーイングコード化されたもの）および／または短期間のチャープ（例えば、カイザー窓等のエンベロープを伴う線形周波数掃引）が、電話イヤピースもしくは他のオンボード音響トランスデューサ等のオーディオ出力コンポーネントを通して送信されるそれらのｐｉｎｇを含む。複数のオーディオ出力コンポーネントが存在する場合、音響ビーム形成が、音響ｐｉｎｇをより空間的に良好に集束させるために使用されることができる。前述のパルス圧縮技法からのエコーの整合フィルタまたは自己相関デコードは、標的の粗い３Ｄ徴候の再構築を可能にする（これはまた、衝突される面の音響インピーダンスに起因して、そのテクスチャおよび材料構造を反映する）。本情報は、ソナーおよびレーダシステムに見られるものと同様に、受信されたエコーの飛行時間および形態を通して、ユーザデバイスに提示される。整合フィルタは、受信されたエコーのオリジナルｐｉｎｇ信号との交差相関を伴う。エコーのそれ自体との自己相関が、代わりに使用されることができ、進行中の信号の即ちに受信されたコピーが、事実上、検出テンプレートになる。いずれの場合も、デコードされた信号の分析バージョンの振幅の計算等、さらなる後処理が、特徴選択および分類に先立って実施される。

ＣＴＦＭ ｐｉｎｇに関して、標的（ここでは、ユーザの顔またはスプーフィングスクリーン）の異なる面／表面からの距離は、本デバイスによって（例えば、電話のイヤピースを通して）伝送される高音音響プローブの時変周波数に基づいて測定される。

いくつかの実装では、音響距離測定はまた、バイオメトリック登録の時点での撮像（実在のスケール測定値チェック）を介して測定される予期される眼間距離への適切な対応を確実にするために、全体的顔距離をチェックするために使用される。いくつかの実装では、エコーの低信号対雑音比はさらに、複数のｐｉｎｇならびに／またはマルチマイクロホンビーム形成および雑音消去を平均化することによって克服されることができる。

本技法には、２つの側面、すなわち、（ｉ）非顔物体（例えば、スプーフィングスクリーン）の拒絶および（ｉｉ）顔状３Ｄ音響プロファイル、特に、登録されたユーザのもの（例えば、登録中に作成されたユーザ特有音響顔テンプレート）に類似するものの許容が存在し、対象特異性を考慮することによって、アンチスプーフィング正確度を増加させることに留意されたい。後者の側面は、音響反射からの顔徴候の学習（提示学習）を利用し、これは、分類子アンサンブルおよびディープラーニング等の周知の機械学習技法を使用して実施されることができる。音響３Ｄ顔プロファイル認識の正確度はさらに、画像センサからの補助的信号を含めることによって増加されることができる。例えば、エコープロファイルは、ユーザが眼鏡を装着している、またはスカーフでその顔の一部を被覆している場合、変化するであろう。画像分析は、これらの変化を明らかにし、例えば、それらの状況に関して適切なテンプレートおよび閾値を使用することによって、適宜、分類モジュールを調節することができる。
（測光３Ｄ顔面性測定）

いくつかの実装では、音響顔構造検出に続いて（または音響顔構造検出の前に、もしくはそれと同時に）、３Ｄ顔面性測度はさらに、照明強度、位相および周波数、ならびに色を用いてコード化されたモバイルデバイススクリーンの高周波数パターン（構造化スクリーン照明）によって誘発されるような照度差ステレオ等の照明変動を照会することから、顔面３Ｄ構造の存在および程度を検査することによって補強される。照度差ステレオ効果は、概して、光源距離に依存し、したがって、先に言及されるソナー測定距離と組み合わせられることができる。

さらなる実装では、照合測光徴候は、より高い感度および特異性のためにこれらの測定値を対象特有にするために、ユーザの登録中に導出された１つまたはそれを上回る測光徴候と比較されることができる。改良された音響および測光３Ｄ顔プロファイルを組み合わせることによって、本組み合わせは、より良好な正確度を用いてスプーフを検出しながら、本物のユーザの拒絶を回避し続けるだけではなく、また、ソフトバイオメトリックとしてユーザ特有の音響測光顔徴候を検出し、したがって、追加されたソフト識別モダリティとして主要バイオメトリックモダリティの性能をさらに増加させることができる。

例えば、デバイススクリーンが、より高いフレームレートで駆動され、スクリーン誘発光プローブの時間的変動をより知覚不可能にし得る場合、光測定はまた、より良好なユーザ体験のために、撮像センサエイリアシングを利用することができる。つまり、カメラが、スクリーンよりも低いフレームレートで駆動される場合、構造化光のエイリアシングされた周波数成分を使用し、正常に進行することができる。
（心臓測定）

いくつかの実装では、顔面性が音響的かつ／または測光的に検証される場合、顔面脈拍の存在（およびいくつかの事例では、値）が、完全なｒＰＰＧ脈拍数計算のために必要とされるものよりも短い観察時間の周期において、モバイルデバイスの正面カメラから検出／測定されることができる。本迅速なチェックは、非常にハードルが高い、脈動する皮膚を伴う顔状３Ｄ構造へのスプーフ攻撃を限定する。本脈拍識別ステップは、音響（および随意に、測光）顔面性測定の後のアンチスプーフィング保護の補助レイヤとしての役割を果たすことができる。

さらなる実装では、さらに強力なライブネスチェックに関して、提案される方法は、ユーザのマルチパス心臓バイタルを測定し、クロス検証する。１つの心臓信号は、例えば、先に言及される３Ｄ検証された顔ｒＰＰＧに基づいて判定されることができる。付加的心臓信号（またはその主要高調波）が、バリストカルジオグラム信号（例えば、心臓の機械的ポンピング作用によって誘発され、デバイス運動センサによって測定され、随意に、厳密な信号処理および運動増幅後にデバイスカメラフィードから検出される相関されたわずかな振動によって確証されるようなハンドヘルドデバイス振動およびその高調波）から回収されることができる。これらの付加的心臓信号は、利用可能であるとき、健康監視ウェアラブルまたはユーザのモバイルデバイスに内蔵される他の心拍数センサ等の他の心拍数センサによって取得されることができる。いくつかの実装では、運動センサ信号は、標的心拍数周波数範囲およびその高調波における帯域通過フィルタ処理によって前処理される。他の実装では、心拍数高調波が、主要バリストカルジオグラム信号として使用される。さらなる実装では、バリストカルジオグラムは、例えば、モバイルデバイスのカメラによって見られるように、増幅された相関された心臓誘発運動によって増強される

脈拍の検出および複数の心臓信号（例えば、ｒＰＰＧおよびバリストカルジオグラム脈拍測定値）間の有意なリアルタイム相関に応じて、より強力なライブネスの確率が、保証されることができる。そのような心臓ループライブネススコアは、例えば、２つの心臓信号（バリストカルジオグラムおよびｒＰＰＧ）間のリアルタイム相関／類似性強度であり得る。アンチスプーフィングの本付加的レイヤは、バイオメトリック照合を求めるユーザの心拍を使用して、手で保持すること（機械的経路）から知覚される検証された顔／眼（光学および音響経路）への心臓ライブネス照合ループを閉じる。

本説明される技術は、当分野で公知であり、例えば、２０１４年４月１４日に発行され、「Ｃａｒｄｉａｃ Ｐｅｒｆｏｒｍａｎｃｅ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ ｆｏｒ Ｕｓｅ ｗｉｔｈ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｄｅｖｉｃｅｓ」と題された、米国特許第８，７００，１３７号、２０１５年のＥｎｇｉｎｅｅｒｉｎｇ ｉｎ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｂｉｏｌｏｇｙ Ｓｏｃｉｅｔｙ， ２０１５ ３７ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ＩＥＥＥ、２０１５のＨｅｒｎａｎｄｅｚ、ＭｃＤｕｆｆ、およびＰｉｃａｒｄの「Ｂｉｏｐｈｏｎｅ：Ｐｈｙｓｉｏｌｏｇｙ Ｍｏｎｉｔｏｒｉｎｇ ｆｒｏｍ Ｐｅｒｉｐｈｅｒａｌ Ｓｍａｒｔｐｈｏｎｅ Ｍｏｔｉｏｎｓ」、ならびに２０１５年２月の ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｂｉｏｍｅｄｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ（ｖｏｌ．６２、第２号）のＷａｎｇ、Ｓｔｕｉｊｋ、およびｄｅ Ｈａａｎの「Ｅｘｐｌｏｉｔｉｎｇ Ｓｐａｔｉａｌ Ｒｅｄｕｎｄａｎｃｙ ｏｆ Ｉｍａｇｅ Ｓｅｎｓｏｒ ｆｏｒ Ｍｏｔｉｏｎ Ｒｏｂｕｓｔ ｒＰＰＧ」（その全体が、参照することによって本明細書に組み込まれる）に説明される、心拍数検出のための種々の技法を組み込むことができる。
（付加的実装）

ここで図３を参照すると、正面カメラを用いたユーザの顔および／または眼領域のバイオメトリック走査中、本明細書に説明される技法に従って、電話イヤピース３０２（および／または標的顔面面積に集束されるビーム形成配列における複数のスピーカを含む、他の音響トランスデューサ）は、一連の信号を放出し、知覚される相互作用するユーザの顔面性を音響的に照会する。電話マイクロホン３０４は、ライブ認証のイベントにおいて、主に顔から、信号の反射を収集する。しかしながら、スクリーンまたは顔の他の再現物が、スプーフ攻撃中に代わりに提示されることが、可能である。いくつかの実装では、デバイスの底部マイクロホン３０４が使用される場合、プローブ信号放出の開始が、ｐｉｎｇが電話本体を通して／横断して進行する際の音の速度および音響インピーダンスを前提として、音響プローブの最初の最も大きい受信されるコピー（ルート０）としてマイクロホン３０４によって聴取される第１の伝送のタイムスタンピングを通して検出される。オリジナル信号は、整合フィルタ処理のために電話のマイクロホン３０４によって受信されるようなそのエコーと併用される（信号が空気を通してイヤピース３０２からマイクロホンに伝搬する、外部ルート１および信号が標的から反射され、マイクロホン３０４によって受信される外部ルート２を介して受信される信号／エコーを含むことができる）。音響ｐｉｎｇの実施例は、パルス圧縮および／または短チャープもしくはＢａｒｋｅｒ／Ｍシーケンスコード等の最大相関シーケンスを含む。

いくつかの実装では、利用可能である場合、正面マイクロホンが、改良された指向性、背景雑音抑制、およびプローブ信号出発開始検出のために使用される。カージオイド等のデバイスマイクロホンの指向性極性パターンが、より良好な指向性の受信のために選択されることができる。本デバイス上の複数のマイクロホンが、利用可能である場合、より良好な指向性のために、したがって、顔面性エコーのより良好な受信のために、ビーム形成に関して使用されることができる。

いくつかの実装では、反射された音の自己相関は、反射された音の顔／スプーフエコー成分をデコードするために使用される。本方法は、整合フィルタカーネルが、本質的に、ここではプローブ波パターンの実際の伝送されたバージョンであるため、より良好な復調をもたらすことができる。さらなる実装では、プロービング信号は、ＣＴＦＭタイプであり、したがって、ヘテロダインが、標的構造の空間的プロファイルおよび距離を分解するために使用される。最終的に、分類子が、任意の数の上記に言及される方法から復調されたエコーから抽出された特徴に基づいて、知覚される顔面性を決定することができる。

本デバイスのマイクロホンによって記録されるようなエコーの特性に基づいて、顔の具体的多面的３Ｄ形状およびその吸収／反射性質対、例えば、着目顔面領域または眼領域のＬＣＤ再現物等の２次元スプーフのものに留意して、音が、スプーフィングスクリーンまたは他のスプーフィング物体とは対照的に、ユーザの顔から反射されたかどうかを判定するための異なる方法が存在する。

図４および５は、ルート０、１、および２（図３参照）を通した種々の音響反射が明確に観察され、音響経路飛行の最初の２０ｃｍに関してＢａｒｋｅｒ−２コードシーケンスを使用する、例示的整合フィルタ復調エコーを描写する。より具体的には、図４は、パルスを放出する電話から約１０〜１２ｃｍ離れたモニタスクリーンによって引き起こされる反射を描写する一方、図５は、電話から約１０〜１４ｃｍ正面の本物の人の顔によって引き起こされる異なるエコー徴候を描写する。

いくつかの実装では、音響プローブ信号は、オーダー２〜１３のＢａｒｋｅｒコード（そのオリジナル形態または二位相シフトキーイング（ＢＰＳＫ）変調を伴うもののいずれかで、搬送周波数が、ビットレベル変化毎に１８０度だけその位相を偏移させる）または疑似ランダムＭシーケンス等、最大相関信号である。いくつかの実装では、音響プローブ信号は、短チャープ（種々の周波数範囲のもの、ならびに掃引および振幅エンベロープ）から成る。プロービング信号は、例えば、ＣＴＦＭ信号であり得る。これらの短い高周波数信号は、（例えば、捕捉のために正面カメラを使用するとき、これが自然に標的に面するため、スマートフォンまたはタブレットの場合では）イヤピース等のオーディオ出力コンポーネントから伝送される。しかしながら、いくつかの実装では、他のまたは複数のデバイス音響トランスデューサが、音響プローブをバイオメトリック標的に対してより良好に集中させるために、ビーム形成に関して使用される。

音響プローブ信号は、開示される技法の実装の中で種々の形態をとることができる。例えば、一実装では、音響プローブ信号は、１６ｋＨｚ〜２０ｋＨｚを掃引するハニングウィンドウ化線形チャープを伴うＣＴＦＭ信号である。別の実装では、プローブ信号は、４，４１００Ｈｚでサンプリングされた１１．２５ｋＨｚの搬送周波数で１８０度偏移正弦ＢＰＳＫを伴うＢａｒｋｅｒ−２シーケンス等の最大相関シーケンスである。さらなる実装では、プローブ信号は、ウィンドウ化チャープ信号である。チャープは、例えば、１１．２５ｋＨｚの開始周波数を伴う余弦信号であり、１０ｍ秒において２２．５ｋＨｚまで線形に掃引し、４４，１００Ｈｚにおいてサンプリングされることができる。窓関数は、長さ４４０サンプル（４４．１ｋＨｚサンプリングレートで１０ｍ秒）の６のベータ値を伴うカイザーウィンドウであり得る。前述の値は、合理的に正確な結果を提供するそれらのプローブ信号パラメータを表す。しかしながら、正確な結果を提供するプローブ信号パラメータは、デバイスおよびオーディオ入力／出力コンポーネント特性に基づいて、変動し得ることを理解されたい。故に、他の範囲の値も、本技法と併用するために想定される。

いくつかの実装では、放出されるプローブ信号の初期位相、周波数、および厳密な再生開始、またはさらにはコードタイプ自体が、モバイルバイオメトリックモジュールによって（例えば、ＰＳＫコード化されたＢａｒｋｅｒプローブパルス列に関して）ランダム化されることができる。本ランダム化は、再現された偽エコーが電話に再生され、提案された音響顔面性チェッカを打破する、仮定された（但し、広範囲に及ぶ高度な）攻撃を阻止することができる。コード化された音響シーケンスのＰＳＫ変調のオンザフライのランダム化位相／タイプ／開始／周波数または出力プローブの他の動的属性は、攻撃者に気付かれないため、仮想の投入されたエコーは、整合フィルタによって復調されず、また、厳密な予期されるパターンに従わないであろう。

基本的Ｂａｒｋｅｒコード／チャープ／ＣＴＦＭ手順中、その往復距離に基づいて、時間（および、したがって、ＣＴＦＭに関する周波数）において遅延される、プローブ信号の反射は、本デバイスのマイクロホンまたは他のオーディオ入力コンポーネントによって記録される。オリジナルチャープまたは別様にコード化された音響プローブは、（Ｂａｒｋｅｒおよび短チャープに関して）整合フィルタもしくは自己相関のいずれかによって検出される、またはエコーにオリジナル周波数ランプを乗算し、より低い周波数副産物を取得すること（ヘテロダイン）によって、ベースバンドに復調されることができる。標的の各衝突される面は、そのテクスチャ的および構造的性質（例えば、空気と衝突される表面との間の音響インピーダンス差異、ならびにそのサイズおよび形状）ならびに音源からの距離（音往復遅延）に関連する様式でプローブパルスを反射する。したがって、その単純化した形態（いかなる雑音および望ましくない背景エコーもないと仮定する）では、顔は、（空気−皮膚および軟組織−骨界面におけるその複数の主要な面によって反射されるように）より弱い大きさにおける複数の反射を有する一方、例えば、スプーフィングモニタスクリーンは、単一のより強い反射を有するであろう（図４および５を比較）。

各反射の往復遅延を前提とすると、各反射する標的面の距離は、整合フィルタ／自己相関応答における時間遅延または電力スペクトル密度もしくはＰＳＤ（以下にさらに説明される図６および７参照）における周波数デルタに変換され、標的特有エコー形態を提供することができる。ＣＴＦＭ信号からＰＳＤ特徴を計算するために、異なる方法が、使用されることができる。いくつかの実装では、マルチテーパ方法が、復調されたエコーの０〜２００Ｈｚスパンに適用され、ビン分割された出力が、例えば、線形またはガウスカーネルサポートベクトルマシン、もしくは類似するものであり得る、分類子への入力として使用される。

より具体的には、種々の実装では、以下のステップのうちの１つまたはそれを上回るものが、チャープ／コード化パルス復調および標的分類のために行われる。一事例では、音響プローブは、マイクロホン読出を頻繁に（例えば、１００ｍ秒毎、５００ｍ秒毎、１秒毎等）チェックし、潜在的に妨害する雑音を聴くことによって、大きい音響環境雑音を回避する。本チェックは、チャープ／コード化パルスプローブ信号の相関（時間反転された畳み込み）を計算するステップと、トリガ閾値を適度に静かな環境において取得されたものに設定するステップとを含むことができる。いくつかの実装では、付加的な類似するチェックが、音響プローブ信号を再生した直後に実行され、音響ｐｉｎｇの直後に妨害雑音が生じたかどうかを判定する。その場合、本セッションは、破棄されることができる。複数のチャープはまた、信号または決定スコアレベルにおいて平均化（中央値処理）され、結果を改良することができる。

一実装では、前処理は、受信された信号のハイパスフィルタ処理を伴い、伝送されるチャープ／コード化信号に関連する周波数のみを可能にする。本ハイパスフィルタは、例えば、９，３００Ｈｚの阻止帯域周波数、１１，７５０Ｈｚの通過帯域周波数、０．０１５８４８９３１９２５の阻止帯域減衰、０．０３７３９９５５５８５９の通過帯域リップル、および２０の密度係数を伴う等リップル有限インパルス応答フィルタであり得る。

いくつかの実装では、復調は、高域通過した受信されたエコーのオリジナル音響チャープ／コード化信号との正規化された交差相関（音響プローブの時間反転されたバージョンを伴う正規化された畳み込みに等しい）を含む。最大応答は、デコードされた信号の開始／起点と見なされる。変調は、例えば、上記に言及される開始の０．２２７ｍ秒前から２．２７ｍ秒＋開始マーカ後のチャープ／コード化信号の時間長の信号の部分の自己相関を含むことができる。復調された信号を後処理するステップは、復調されたエコーのエンベロープをさらに明瞭化するために、その分析信号の大きさ（実際の信号に虚数の９０度位相偏移されたバージョンのものを加えたものから成る複雑な螺旋シーケンス）を計算するステップを含むことができる。一実装では、４４，１００Ｈｚのサンプリングレートを仮定すると、分析信号の上記の大きさの最初の１００個のサンプルは、最初の２０個のサンプルに関して１であり、サンプル２１−１００に関して線形に５に上昇する、区分的線形重み係数でさらに乗算され、進行した距離に起因する音減衰を補償する。二次形態に従うもの等の他の重み係数も、使用されることができる。

図６は、顔の異なる面からの複数の反射を描写する（ＣＴＦＭ技法を使用して、３つのサンプルが示される）。これらのエコーは、（スプーフ徴候とは対照的に）具体的空間的顔構造を示す。これは、復調された音響プローブエコーによって検出されるような異なる音響経路の異なる遅延（および大きさ）に起因する。対照的に、図７に示されるスプーフィングディスプレイは、復調中に殆ど単一の大きいピークを引き起こす。課題が、ある電話のオーディオ回路によって付与される２０ＫＨｚの上限周波数制限に起因する、典型的な顔の低空間分解能および高い散乱から生じ得る。他の課題は、ユーザ挙動および背景雑音によって引き起こされる変動ならびに制御できない環境によって誘発される運動／反射アーチファクト、ならびにデバイスオーディオ回路制限に起因する全体的に低いＳＮＲを含むが、全てが、本明細書に説明される技法によって対処される。

いくつかの実装では、上記に言及される分類子に関する特徴セットは、ランダムサブセットアンサンブル分類技法を使用して最良な分類性能のために選択される、サブセットの集合である。ランダム部分空間分類子アンサンブルは、例えば、ｋ最近傍分類子の和則融合集合、またはデコードされた分析信号の特徴ベクトルのセットに対して動作するサポートベクトルマシンの和則融合集合であり得る。付属ＡおよびＢは、ランダム部分空間アンサンブル構築方法論を使用して、実験的に導出される分類子および入力空間を提供する。付属Ａは、ｋＮＮアンサンブル分類子と併せてランダム部分空間サンプリングを使用して、本物のユーザならびに種々のスプーフィングスクリーンから記録された１８，０００個を上回るエコーから成る、膨大な訓練／試験データセットを使用して選択された、８０個の特徴ベクトルの例示的セットを列挙する。部分空間は、異なる部分空間構成（すなわち、入力サンプル場所および次元、ならびに関与する分類子の数）の平均クロス検証性能（ＲＯＣ曲線分析を介して測定される）に基づいて取得された。各数字の列場所は、４４，１００Ｈｚのサンプリングレートを使用して、デコードされたチャープ／コード化信号伝送の開始からのデジタル信号サンプル番号を示す。別の実装では、部分空間アンサンブルは、付属Ｂに列挙され、（より膨大なデータセットを使用する、フィッシャ判別線形分類からの）そのフィッシャ判別比率に基づいて、付属Ａの８０個の特徴のサブセットとして選択される、デコードされた分析信号の４０個の特徴ベクトルのセットを受信するガウスカーネルを伴うサポートベクトルマシン分類子の集合である。再び、各数字の列場所は、４４，１００Ｈｚのサンプリングレートを使用して、デコードされたチャープ／コード化信号伝送の開始からのデジタル信号サンプル番号を示す。

エコー空間内の具体的顔の表現（および一般的な顔対スプーフだけではなく）を正確に識別するために、いくつかの実装では、ソナー分類子は、対象特有（および場合によっては、以下の方法は、組み合わせられたユーザ−デバイス独自性を適応させるため、デバイス特有）であるように訓練される。本機能性は、代表的な偽物集団のものに対して（およびスプーフだけではなく、対象特異性に関して）、バイオメトリック登録中に集積されたユーザの音響特徴を区別するように分類子を訓練することによって達成されることができる。本方法の別の利点は、登録中に収集された特徴がまた、登録のために使用されたデバイスの特異性を反映し、したがって、分類子は、具体的デバイスの音響独自性に適合されることである。結果として生じるユーザ（およびデバイス）特有音響パターン検出器は、より精密なユーザ（およびデバイス）調整されたアンチスプーフィング分類子の一部として使用されることができ、本対象特有分類は、先に言及されるスプーフ検出分類子と組み合わせられる。いくつかの実装では、ユーザ特有音響プロファイル検出器自体が、ソフトバイオメトリックとして使用されることができる。

眼／顔面バイオメトリック標的の上記の音響照会は、より良好なアンチスプーフィングのために、風景を照会するモバイルデバイスによって付与される構造化光への顔面測光応答によって増強されることができる。いくつかの実装では、構造化光は、例えば、内蔵されたＬＣＤまたはＬＥＤ光源を介して、本デバイスによって付与される光のコード化された強度、コード化された色変動、コード化された空間分布、および／もしくはコード化された位相変動の形態である。前述のコードは、周波数形態およびＢａｒｋｅｒまたはＭシーケンス等の具体的最大相関シーケンスの観点から定義されることができる。他の実装では、ユーザの顔の測光プロファイルは、ユーザ対スプーフの一般的集団プロファイル（ユーザ非依存の測光顔面性）に基づいて事前計算される。

さらに、いくつかの実装では、検証される登録の時点でユーザの測光反射によって検出されるようなユーザの顔の３Ｄプロファイルは、ユーザ特異性のために分類子によって学習される。音響モダリティとともに、またはそれ自体で、これらのユーザ特有ポートフォリオは、ソフトバイオメトリクスとして使用されることができ、これはまた、さらなる対象特異性、したがって、正確度をこれらのアンチスプーフィング手段にもたらす。

ここで説明されるシステムおよび技法は、バックエンドコンポーネント（例えば、データサーバとして）を含む、またはミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含む、またはフロントエンドコンポーネント（例えば、それを通してユーザがここで説明されるシステムおよび技法の実装と相互作用できる、グラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータ）を含む、またはそのようなバックエンド、ミドルウェア、もしくはフロントエンドコンポーネントの任意の組み合わせを含む、コンピューティングシステム内に実装されることができる。本システムのコンポーネントは、デジタルデータ通信の任意の形態または媒体（例えば、通信ネットワーク）によって、相互接続されることができる。通信ネットワークの実施例は、ローカルエリアネットワーク（「ＬＡＮ」）と、広域ネットワーク（「ＷＡＮ」）と、インターネットとを含む。

コンピューティングシステムは、クライアントと、サーバとを含むことができる。クライアントおよびサーバは、概して、相互に遠隔にあり、通信ネットワークを通して相互作用する。クライアントとサーバとの関係は、個別のコンピュータ上で起動し、相互にクライアント−サーバ関係を有するコンピュータプログラムによって生じる。いくつかの実施形態が、説明されている。それにもかかわらず、種々の修正が、本発明の精神および範囲から逸脱することなく、成され得ることを理解されたい。

本明細書に説明される主題および動作の実施形態は、デジタル電子回路内に、または本明細書に開示される構造およびそれらの構造的均等物を含む、コンピュータソフトウェア、ファームウェア、もしくはハードウェア内に、またはそれらうちの１つもしくはそれを上回るものの組み合わせ内に、実装されることができる。本明細書に説明される主題の実施形態は、１つまたはそれを上回るコンピュータプログラム、すなわち、データ処理装置による、またはその動作を制御するための、実行のためにコンピュータ記憶媒体上でエンコードされる、コンピュータプログラム命令の１つまたはそれを上回るモジュールとして実装されることができる。代替として、または加えて、プログラム命令は、データ処理装置による実行のための好適な受信機装置への伝送のための情報をエンコードするために生成される、人為的生成伝搬信号、例えば、機械生成電気、光学、または電磁信号上でエンコードされることができる。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムもしくはシリアルアクセスメモリアレイもしくはデバイス、またはそれらのうちの１つまたはそれを上回るものの組み合わせである、またはその中に含まれることができる。さらに、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人為的生成伝搬信号内でエンコードされる、コンピュータプログラム命令のソースまたは宛先であり得る。コンピュータ記憶媒体はまた、１つまたはそれを上回る別個の物理的コンポーネントまたは媒体（例えば、複数のＣＤ、ディスク、または他の記憶デバイス）である、またはその中に含まれることができる。

本明細書に説明される動作は、１つまたはそれを上回るコンピュータ可読記憶デバイス上に記憶される、または他のソースから受信されるデータに対して、データ処理装置によって実施される動作として実装されることができる。

「データ処理装置」という用語は、実施例として、プログラム可能プロセッサ、コンピュータ、チップ上のシステム、または前述のものの複数もしくは組み合わせを含む、データを処理するための全ての種類の装置、デバイス、および機械を包含する。装置は、専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）を含むことができる。装置はまた、ハードウェアに加えて、当該コンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらのうちの１つもしくはそれを上回るものの組み合わせを構成するコードも含むことができる。装置および実行環境は、ウェブサービス、分散コンピューティング、およびグリッドコンピューティングインフラストラクチャ等、種々の異なるコンピューティングモデルインフラストラクチャを実現することができる。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても公知である）が、コンパイルまたは解釈される言語、宣言型または手続き型言語を含む、プログラミング言語の任意の形態において書き込まれることができ、これは、スタンドアローンのプログラムとして、またはモジュール、コンポーネント、サブルーチン、オブジェクト、もしくはコンピューティング環境における使用のために好適な他のユニットとしてを含む、任意の形態において展開されることができる。コンピュータプログラムは、ファイルシステム内のファイルに対応し得るが、そうである必要はない。プログラムは、他のプログラムまたはデータ（例えば、マークアップ言語リソース内に記憶される１つまたはそれを上回るスクリプト）を保持するファイルの一部内に、当該プログラム専用である単一ファイル内に、または複数の協調ファイル（例えば、１つまたはそれを上回るモジュール、サブプログラム、またはコードの一部を記憶するファイル）内に記憶されることができる。コンピュータプログラムは、１つのコンピュータ上で、または１つの場所に位置する、もしくは複数の場所にわたって分散され、通信ネットワークによって相互接続される、複数のコンピュータ上で実行されるように展開されることができる。

本明細書に説明される主題の実施形態は、例えば、データサーバとして、バックエンドコンポーネントを含む、またはミドルウェアコンポーネント、例えば、アプリケーションサーバを含む、またはフロントエンドコンポーネント、例えば、それを通してユーザが本明細書に説明される主題の実装と相互作用できる、グラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータを含む、または１つもしくそれを上回るそのようなバックエンド、ミドルウェア、もしくはフロントエンドコンポーネントの任意の組み合わせを含む、コンピューティングシステム内に実装されることができる。本システムのコンポーネントは、デジタルデータ通信の任意の形態または媒体、例えば、通信ネットワークによって、相互接続されることができる。通信ネットワークの実施例は、ローカルエリアネットワーク（「ＬＡＮ」）と、広域ネットワーク（「ＷＡＮ」）と、ネットワーク間（例えば、インターネット）と、ピアツーピアネットワーク（例えば、アドホックピアツーピアネットワーク）とを含む。

コンピューティングシステムは、クライアントと、サーバとを含むことができる。クライアントおよびサーバは、概して、相互に遠隔にあり、通信ネットワークを通して相互作用することができる。クライアントとサーバとの関係は、個別のコンピュータ上で起動し、相互にクライアント−サーバ関係を有するコンピュータプログラムによって生じる。いくつかの実施形態では、サーバは、データ（例えば、ＨＴＭＬページ）をクライアントデバイスに（例えば、クライアントデバイスと相互作用するユーザにデータを表示し、そこからユーザ入力を受信することを目的として）伝送する。クライアントデバイスにおいて生成されたデータ（例えば、ユーザの相互作用の結果）は、サーバにおけるクライアントデバイスから受信されることができる。

１つまたはそれを上回るコンピュータのシステムは、動作時にシステムにアクションを実施させる、システム上にインストールされる、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせを有することによって、特定の動作またはアクションを実施するように構成されることができる。１つまたはそれを上回るコンピュータプログラムは、データ処理装置によって実行されると、装置にアクションを実施させる命令を含むことによって、特定の動作またはアクションを実施するように構成されることができる。
（Ａｐｐｅｎｄｉｘ Ａ）

Ｆｅａｔｕｒｅ Ｖｅｃｔｏｒ Ｓｅｔ １：

（Ａｐｐｅｎｄｉｘ Ｂ）
Ｆｅａｔｕｒｅ Ｖｅｃｔｏｒ Ｓｅｔ ２：

本明細書は、多くの具体的実装詳細を含有するが、これらは、任意の発明または請求され得るものの範囲に対する限定として解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に固有である特徴の説明として解釈されるべきである。別個の実施形態の文脈において本明細書に説明されるある特徴はまた、単一の実施形態における組み合わせにおいて実装されることができる。逆に、単一の実施形態の文脈において説明される種々の特徴もまた、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴は、ある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。

同様に、動作は特定の順序において図面に描写されているが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序において、もしくは連続的順序において実施される、または全ての例証される動作が実施されることを要求するものとして理解されるべきではない。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。

したがって、本主題の特定の実施例が、説明されている。他の実施形態も、以下の請求項の範囲内である。いくつかの場合では、請求項に記載されるアクションは、異なる順序において実施され、依然として、望ましい結果を達成することができる。加えて、付随の図に描写されるプロセスは、望ましい結果を達成するために、必ずしも、示される特定の順序、または連続的順序を要求するわけではない。ある実装では、マルチタスクおよび並列処理が、有利であり得る。

Claims (21)

1. 方法であって、前記方法は、コンピュータによって実行され、前記方法は、
   ユーザデバイスのオーディオ出力コンポーネントを使用して、１つまたはそれを上回るオーディオ信号を放出することと、
   前記ユーザデバイスのオーディオ入力コンポーネントを使用して、標的から前記オーディオ信号の１つまたはそれを上回る反射を受信することと、
   前記１つまたはそれを上回る反射に基づいて、前記標的が顔状構造および顔状組織のうちの少なくとも１つを含むかどうかを判定することと、
   前記標的の複数の画像を受信することと、
   前記画像に基づいて、前記標的が第１の脈拍を有するかどうかを識別することと、
   前記標的との物理的接触を通して、前記標的の第２の脈拍を測定することと、
   （ｉ）前記標的が顔状構造および顔状組織のうちの少なくとも１つを含むかどうかの判定、（ｉｉ）前記標的が脈拍を有するかどうかの識別、および（ｉｉｉ）前記第２の脈拍の測定に基づいて、前記標的がスプーフであるかどうかを判定することと
   を含む、方法。
2. 前記ユーザデバイスは、スマートフォン、タブレット、またはラップトップを含むモバイルデバイスである、請求項１に記載の方法。
3. 前記１つまたはそれを上回るオーディオ信号は、ショートコード化パルスｐｉｎｇ、短期間のチャープ、またはＣＴＦＭ ｐｉｎｇを含む、請求項１に記載の方法。
4. 前記標的の身体的特徴を識別するために、分類子を訓練することと、
   前記分類子への入力として、前記標的からの前記オーディオ信号の前記１つまたはそれを上回る反射に基づいて、情報を提供することと
   をさらに含み、
   前記標的がスプーフであるかどうかの判定はさらに、前記提供された入力に応答して受信される前記分類子の出力に基づく、請求項１に記載の方法。
5. 前記１つまたはそれを上回るオーディオ信号の１つもしくはそれを上回る特性をランダム化することをさらに含む、請求項１に記載の方法。
6. 前記標的の複数の画像を受信することと、
   前記画像内の検出された光反射に基づいて、前記標的が３次元顔状構造を含むかどうかを判定することと
   をさらに含む、請求項１に記載の方法。
7. 前記第１の脈拍は、遠隔フォトプレチスモグラフィを使用して識別される、請求項１に記載の方法。
8. 前記第２の脈拍が前記第１の脈拍に相関するかどうかを判定することをさらに含み、前記標的がスプーフであるかどうかの判定はさらに、前記相関に基づく、請求項１に記載の方法。
9. 前記第２の脈拍を測定することは、前記ユーザデバイスまたは別のハンドヘルドもしくはウェアラブルデバイスから前記第２の脈拍と関連付けられる情報を受信することを含む、請求項１に記載の方法。
10. 前記第２の脈拍と関連付けられる前記情報は、バリストカルジオグラム信号を含む、請求項９に記載の方法。
11. システムであって、
    コンピュータ実行可能命令を記憶するための少なくとも１つのメモリと、
    前記メモリ上に記憶される前記命令を実行するための少なくとも１つの処理ユニットであって、前記命令の実行は、
    ユーザデバイスのオーディオ出力コンポーネントを使用して、１つまたはそれを上回るオーディオ信号を放出することと、
    前記ユーザデバイスのオーディオ入力コンポーネントを使用して、標的から前記オーディオ信号の１つまたはそれを上回る反射を受信することと、
    前記１つまたはそれを上回る反射に基づいて、前記標的が顔状構造および顔状組織のうちの少なくとも１つを含むかどうかを判定することと、
    前記標的の複数の画像を受信することと、
    前記画像に基づいて、前記標的が第１の脈拍を有するかどうかを識別することと、
    前記標的との物理的接触を通して、前記標的の第２の脈拍を測定することと、
    （ｉ）前記標的が顔状構造および顔状組織のうちの少なくとも１つを含むかどうかの判定、（ｉｉ）前記標的が脈拍を有するかどうかの識別、および（ｉｉｉ）前記第２の脈拍の測定に基づいて、前記標的がスプーフであるかどうかを判定することと
    を含む動作を実施するように前記少なくとも１つの処理ユニットをプログラムする、少なくとも１つの処理ユニットと
    を備える、システム。
12. 前記ユーザデバイスは、スマートフォン、タブレット、またはラップトップを含むモバイルデバイスである、請求項１１に記載のシステム。
13. 前記１つまたはそれを上回るオーディオ信号は、ショートコード化パルスｐｉｎｇ、短期間のチャープ、またはＣＴＦＭ ｐｉｎｇを含む、請求項１１に記載のシステム。
14. 前記動作は、
    前記標的の身体的特徴を識別するために、分類子を訓練することと、
    前記分類子への入力として、前記標的からの前記オーディオ信号の前記１つまたはそれを上回る反射に基づいて、情報を提供することと
    をさらに含み、
    前記標的がスプーフであるかどうかの判定はさらに、前記提供された入力に応答して受信される前記分類子の出力に基づく、請求項１１に記載のシステム。
15. 前記動作はさらに、前記１つまたはそれを上回るオーディオ信号の１つもしくはそれを上回る特性をランダム化することを含む、請求項１１に記載のシステム。
16. 前記動作は、
    前記標的の複数の画像を受信することと、
    前記画像内の検出された光反射に基づいて、前記標的が３次元顔状構造を含むかどうかを判定することと
    をさらに含む、請求項１１に記載のシステム。
17. 前記第１の脈拍は、遠隔フォトプレチスモグラフィを使用して識別される、請求項１１に記載のシステム。
18. 前記動作はさらに、前記第２の脈拍が前記第１の脈拍に相関するかどうかを判定することを含み、前記標的がスプーフであるかどうかの判定はさらに、前記相関に基づく、請求項１１に記載のシステム。
19. 前記第２の脈拍を測定することは、前記ユーザデバイスまたは別のハンドヘルドもしくはウェアラブルデバイスから前記第２の脈拍と関連付けられる情報を受信することを含む、請求項１１に記載のシステム。
20. 前記第２の脈拍と関連付けられる前記情報は、バリストカルジオグラム信号を含む、請求項１９に記載のシステム。
21. 命令が記憶された非一過性コンピュータ可読媒体であって、前記命令は、実行されると、
    ユーザデバイスのオーディオ出力コンポーネントを使用して、１つまたはそれを上回るオーディオ信号を放出することと、
    前記ユーザデバイスのオーディオ入力コンポーネントを使用して、標的から前記オーディオ信号の１つまたはそれを上回る反射を受信することと、
    前記１つまたはそれを上回る反射に基づいて、前記標的が顔状構造および顔状組織のうちの少なくとも１つを含むかどうかを判定することと、
    前記標的の複数の画像を受信することと、
    前記画像に基づいて、前記標的が第１の脈拍を有するかどうかを識別することと、
    前記標的との物理的接触を通して、前記標的の第２の脈拍を測定することと、
    （ｉ）前記標的が顔状構造および顔状組織のうちの少なくとも１つを含むかどうかの判定、（ｉｉ）前記標的が脈拍を有するかどうかの識別、および（ｉｉｉ）前記第２の脈拍の測定に基づいて、前記標的がスプーフであるかどうかを判定することと
    を含む動作を実施するように少なくとも１つのプロセッサをプログラムする、非一過性コンピュータ可読媒体。

Images