JP6864030B2

JP6864030B2 - 単画素センサ

Info

Publication number: JP6864030B2
Application number: JP2019085570A
Authority: JP
Inventors: マウリツィオ・ゼッキーニ; ポール・オサリヴァン; チャオ・ワン
Original assignee: アナログディヴァイスィズインク
Priority date: 2018-05-03
Filing date: 2019-04-26
Publication date: 2021-04-21
Anticipated expiration: 2039-04-26
Also published as: KR102635069B1; CN110443106B; JP2019194587A; US10691926B2; US20190340418A1; KR20190127566A; CN110443106A

Description

本開示は、対象物から反射された分散光パルスの時間シグネチャを測定する単粒子センサに関する。センサ位置と対象物の異なる部分との間の奥行きの差に起因して、短い持続時間の証明パルスは、異なる時間でセンサに達し戻ってくるため、個々の対象物に固有の時間ベースの一次元シグネチャを提供する。

顔認識システムは、一般に、特定の顔の特徴（例えば、鼻、目、あご等の相対位置）を分析し、データベース内部の基準またはサンプルに対して比較することによって、人物を識別または認証するための視覚的取得およびアルゴリズムを使用する。それらは、最も一般的には、識別アルゴリズムを実行するコンピューティングシステムとともに、画像または映像フィードを使用して実装される。それらは、スタンドアロンで、または網膜／虹彩および指紋スキャン等の他のバイオメトリクスとともに使用されることができる。スマートフォンにおけるトレンドは、個人識別番号（ＰＩＮ）コードおよび／または指紋の代替として、またはそれらに加えて、顔認識を認証機能に追加することである。そのようなシステムは、顔情報を取得するために二次元（２Ｄ）カメラを使用することが多いが、２Ｄのみのシステムは、静止画像が容易にだめになる。追加されたセキュリティレベル（例えば、認識中に片目を点滅させるための要件）を使用している場合であっても、そのようなシステムは、通常は、他のバイオメトリックセンサを置換するために十分にはロバストかつ安全ではない。

本開示は、被写体の顔から反射された分散光パルスの時間シグネチャを測定する単画素センサを使用して顔認識を実行することに関する。いくつかの例では、測定されるシーンの異なる観点を得るために、少数のそのようなセンサがともに使用され得る。センサの位置と被写体の顔の異なる部分との間の奥行きの差に起因して、短い持続時間の証明パルスの反射が、被写体の顔の異なる部分から、異なる時間でセンサに達し戻るため、個々の被写体に固有の時間ベースの一次元シグネチャ提供する。主成分分析（ＰＣＡ）または人工ニューラルネットワーク（ＡＮＮ）等のアルゴリズムを使用して反射シグネチャを分析することによって、被写体の認識を得ることができる。加えて、同じシステムを、顔に加えて任意の他の既知の形状の対象物、例えば製造ライン上で製造された製品等を認識または識別するためにも使用し得る。

上記に鑑み、本開示の１つの例は、対象物を検出するためのセンサを提供し、センサは、対象物の顔を照らすために短い持続時間の光パルスを発するように構成された光源と、対象物の顔から反射された前記光パルスからの光を検出し、対象物の顔の特質を表す一次元時間ベースの反射信号を生成するように構成された光検出器と、反射信号を表す信号を受信し、それに依存する対象物についての時間ベースの反射シグネチャを生成するように構成された処理装置と、を備える。そのような構成によって、一次元時間ベースの反射信号を使用して、反射シグネチャが生成されることが可能になり、これはその後多くの用途で、例えば対象物を認識するかまたは認証するために使用されることができる。

例えば、認識処理装置が設けられ、認識処理装置は、時間ベースの反射シグネチャを受信し、反射シグネチャに依存して対象物を認識するように構成される。対象物の自動認識は、生産ライン上およびセキュリティ目的を含む、多くのシナリオで有用である。

１つの例では、認識処理装置は、機械学習技術を利用して、時間ベースの反射シグネチャに基づいて前記対象物を認識する。例えば、機械学習技術は、ａ）ＰＣＡ、および／またはｂ）１つ以上のニューラルネットワークのうちの少なくとも１つを含み得る。また、対象物の自動認識または支援付き認識を行うことが可能である他の人工知能技術を使用してもよい。

１つの例では、基準チャネルコンポーネントがさらに設けられ、基準チャネルコンポーネントは、短い持続時間の光パルスの少なくとも一部を、光源から直接受信し、基準信号を提供するように構成される。そして、処理装置は、照明パルスにおける不要な特性を考慮して、基準信号に依存して反射信号を正規化するようにさらに構成され得る。そのような構成は、照明パルスの不規則性が自動的に補償されることを可能にし、ひいてはセンサの検出および認識性能を向上させる。

さらに詳細な例では、光源は、リンギング特性を有し得、基準チャネルコンポーネントは、リンギング特性を検出するように構成された基準光検出器を備える。処理装置は、リンギング特性に応答して基準光検出器によって生成された信号を受信し、反射信号を正規化して、リンギングによって生じたアーティファクトを取り除くようにさらに構成され得る。

１つの例では、二次元空間ベースの認識システムを、一次元（１Ｄ）センサと組み合わせてさらに設けてもよい。二次元空間ベースの認識システムは、対象物の顔の二次元画像をキャプチャし、それに依存して対象物の認識を行うように構成され得る。そして、認識処理装置は、二次元画像および一次元時間ベースの反射信号の両方を使用して、対象物の認識に依存して対象物の成功した認識を示す出力信号を生成し得る。このような構成では、２Ｄセンサおよび１Ｄセンサは相乗的に協働し得、２Ｄセンサを使用して被写体の認識が行われ、１Ｄセンサは、認識されたシーンもまた十分な奥行きを包含することを検証し、ひいては、単なる認識される対象物の写真または他の２Ｄ画像ではない。

１つの例では対象物は人間の被写体であり、対象物の顔は人間の被写体の顔である。この点において、本開示の例は、特に、携帯電話またはタブレット装置等のポータブル電子装置を自動的にロック解除する目的のために、特に人間の被写体の顔を認識するように設計されることができる。

一例では、認識処理装置は、時間ベースの反射シグネチャ（または、対応するテンプレート）と比較されて対象物を識別するために、対象物特有の一次元時間ベースの信号トレースデータ（または、対応する数学的テンプレート）を記憶し得る。特に、対象物特有の時間ベースの信号トレースデータは、訓練フェーズ中にキャプチャされたそれぞれの対象物特有の時間ベースの信号トレースのサンプルの各セットを含み得、認識処理装置は、サンプルのセット（例えば、サンプリングされたデータ点）間を補間して、マッチングするための前記対象物特有の時間ベースの信号トレースを再生する。

別の態様から、本開示のさらなる例は、単画素センサを動作させる方法を提供し、対象物を短い存続期間の光のパルスで照らすことと、単画素センサにおいて対象物から反射された光のパルスからの光を検出し、光のパルスによって照らされた対象物の照らされた顔全体から反射された光を表す一次元反射時間トレースを得ることと、一次元反射時間トレースを、既知の対象物から得られた一次元反射時間トレースの記憶された表現と比較することと、そして、その記憶された時間トレースが得られた一次反射時間トレースと一致する対象物として、比較に依存して対象物を識別または認証することと、を含む。

１つの例では、識別することは、機械学習技術を利用して、得られた時間トレースに基づいて対象物を認識することを含む。例えば、機械学習技術は、ａ）ＰＣＡおよび／またはｂ）１つ以上のニューラルネットワークのうちの少なくとも１つを含み得る。

さらなる例では、本方法は、基準信号を提供するために、短い持続期間の光パルスの少なくとも一部を光源から直接受信することと、短い持続期間の光パルスにおける不要な特性を考慮して、基準信号に依存して反射時間トレースを正規化することとをさらに含み得る。特に、短い持続期間の光パルスはリンギング特性を有し得、該方法は、リンギング特性を検出することと、反射時間トレースを正規化して、リンギング特性によって生じたアーティファクトを取り除くこととをさらに含み得る。

本方法はさらに、２Ｄセンサと組み合わせて使用し、１Ｄセンサの発見の２Ｄセンサ検証を可能にしれてもよく、またはその逆でもよい。特に、１つの例では、該方法は、対象物の顔の二次元画像をキャプチャすることと、およびそれに依存して対象物の認識を行うこととをさらに含み得る。そして、２Ｄ画像および１Ｄ時間トレースの両方を用いて、対象物の認識に応じて対象物の認識に成功することができる。

１つの例では、本方法は、一次元反射時間トレースと比較されて対象物を認識する対象物に特有の一次元時間ベースの信号トレースデータをさらに含む。特に、さらに詳細な例では、対象物特有の時間ベースの信号トレースデータは、訓練フェーズ中にキャプチャされたそれぞれの対象物特有の時間ベースの信号トレースのサンプルの各セットを含み、該方法は、サンプルのセット（例えば、サンプリングされたデータ点）間を補間して、マッチングするための対象物特有の時間ベースの信号トレースを再生することをさらに含む。

またさらなる態様から、本開示の別の例は、センサシステムを提供し、短い持続期間の照明パルスから、被写体ユーザの顔から反射された光に対応する一次元反射トレースをキャプチャするように構成された単画素センサと、被写体ユーザの顔の二次元画像をキャプチャするように構成された二次元画像センサと、キャプチャされた二次元画像およびキャプチャされた一次元反射トレースに依存して被写体ユーザを検証するように構成され、センサシステムが検証に依存して動作する部分を形成する装置を制御する、１つ以上の処理装置と、を備える。そのような構成では、一次元センサからのデータは、二次元画像データに基づいてなされた顔認識を確認するために、例えば、二次元センサシステムが、被写体ユーザの写真または他の画像によってスプーフィングされていないことを確認するために使用されることができる。

さらなる本開示の例では、複数の単数形センサが設けられ、被写体ユーザの顔から反射された光に対応するそれぞれの一次元反射トレースをキャプチャするように構成されることができ、１つ以上の処理装置が、それぞれの一次元反射トレースに依存して被写体ユーザを検証するようにさらに構成される。複数のそのような単体センサを設けることは、センサが被写体ユーザのわずかに異なる視野を有することを可能にし、ひいては、ユーザの検証または認識の正確さを高めるはずであり、および／また好適な反射トレースサンプルをキャプチャするために必要とされる時間量を低減させるはずである。

本開示のさらなる特徴、例、および利点は、以下の説明および添付の特許請求の範囲から明らかとなろう。

本開示の一例の動作の概念を例証する図である。図１の例から導出された信号を例証するグラフである。本開示の一例のシステムのブロック図である。本開示の一例のシステムの動作または一部を例証するフロー図である。本開示の一例のシステムの一部の動作を例証するさらなるフロー図である。本開示の一例のシステムの動作または一部を例証するフロー図である。本開示のさらなる例のシステムブロック図である。本開示の一例で使用される関連する光検出器応答を例証するグラフである。本開示の理論上の一例においてシミュレートされた応答および関連付けられかつ決定された形状である。本開示の理論上の一例においてシミュレートされた応答および関連付けられかつ決定された形状である。本開示の理論上の一例においてシミュレートされた応答および関連付けられかつ決定された形状である。本開示の理論上の一例においてシミュレートされた応答および関連付けられかつ決定された形状である。本開示の理論上の一例においてシミュレートされた応答および関連付けられかつ決定された形状である。本開示の理論上の一例においてシミュレートされた応答および関連付けられかつ決定された形状である。本開示の一例の動作を例証する応答の受信および正規化バージョンとして示されるシミュレートされた帯域幅限定パルス応答である。本開示の一例からシミュレートされた応答特性である。応答曲線の特徴付けを例証する、本開示の一例からのデジタル化後の実応答特性である。本開示の一例で使用される認識プロセスを例証するフロー図である。本開示の例のための使用例をリストアップする表である。

本開示およびその特徴ならびに利点のより完全な理解を提供するために、添付の図面と併せて、以下の説明について申し述べ、図面においては、同様の参照番号は同様の部分を表す。

本開示は、人間の顔等の対象物の形状を検知するための新しいタイプのセンサに関する。センサは、検知される対象物を短分散照明パルスで一時的に照らすように機能する照明フラッシュとともに、単画素センサとして機能する単一の光検出器を備える。そして、センサは、照明対象物の全部からセンサに達し戻る時間的反射波形を記録し、その後、波形（または対応する数学的テンプレート）は、認識される対象物に対応する記憶されたシグネチャ波形（またはテンプレート）と比較され、対象物認識が行われることを可能にすることができる。特に注意すべきは、単画素センサは、小さな部分からサンプルを取り出すために対象物全体にわたるスキャンを行わない（例えば、対象物全体にわたるラスタスキャン）が、代わりに、センサに関して異なる奥行きによって、対象物の異なる部分から反射された光のセンサにおける到達時間の時差に依拠して、フラッシュによって照らされる照明されている対象物の顔全体からの反射を受ける。そして、受信された時間波形を見て、対象物の反射部分の異なる相対奥行き（センサに対する）に起因する内部での小さな変化を特定することによって、対象物と特徴付けて認識することができる。

より詳細には、本開示の例は、単一の光検出器（例えば、フォトダイオード（ＰＤ）、アバランシェフォトダイオード（ＡＰＤ）、シリコン光電子増倍管（ＳｉＰＭ）、または単一光子アバランシェダイオード（ＳＰＡＤ））によって受信された、対象物（例えば、顔）から反射された分散型短レーザパルスから、時間的応答を分析することに基づく。受信された電気的応答は、視野（ＦＯＶ）内部の奥行きを包含するベクトルを有するレーザパルスの畳み込みである。多くの場合、少なくとも単一の固定された露出によって、標的対象物を復元することが可能であるが、信号は、被写体を識別し、アルゴリズムによって顔認識を実行するために使用されることができるシグネチャを表す。そのようなシステムは、二次元イメージャとともに動作し得、例えば構造化光イメージャ等の３Ｄイメージャと比較してより少なく低いコストかつより低い消費電力であるという潜在的な利点を提供する。

図１および２は本開示の例の詳細の動作原理をより詳細に例証する。まず図１を基準すると、発光体には、隣接して同じ場所に構成された光センサが設けられていると仮定する。エミッタおよびセンサのコロケーションは、光が、エミッタからの光線の入射角とほぼ同じ角度アルファ（α）で、対象物からセンサに反射して戻るようにされる。次に、エミッタから入射する光に対して、複数の奥行きＤ１〜Ｄ５を呈する表面を有する対象物の一例を考察する。エミッタおよびセンサは、対象物の裏面からの基準奥行きＤＲＥＦにあり、対象物Ｄ１〜Ｄ５の表面の表面レリーフを表す例示の奥行きは、すべてＤＲＥＦよりかなり小さい。

動作中、エミッタは、典型的には数ナノ秒程度の単分散光パルスを生成するが、理想的には数ピコ秒で測定される可能な限り短い照明で、良好な結果が得られる。光パルスは、エミッタに面する対象物の表面を照らし、光はそれらの表面から同じ場所に構成されたセンサまで反射する。図２に示すように、エミッタに対して異なる相対奥行きを有する異なる表面からの光は、異なる時間でセンサに達し戻る。図２中では、エミッタによって発された光パルスは、上部のトレース上に示され、そして下部のトレースは、センサが対象物の異なる奥行きの表面からの光パルスからの反射光を検出するためにかかる時間を示している。このように、例えば、エミッタにより近い距離Ｄ１の表面からの光は、時間ＴＤ１で反射され、これ対して、エミッタからさらに離れた表面Ｄ２からの光は、時間ＴＤ２でセンサに反射して戻る。表面Ｄ３、Ｄ４、およびＤ５から反射された光についても同様であり、これらはその後それぞれ時間ＴＤ３、ＴＤ４、およびＴＤ５でセンサにおいて受信される。したがって、反射光の時間トレースは、対象物の異なる奥行き表面を表す特性信号を提供し、そして対象物の特性である反射光のシグネチャ時間トレースとして機能することが可能である。図２に見られるように、センサの理論的に無限の帯域幅により、異なる奥行きの各表面からの別個のパルスをトレース内部で見分けることができる。しかしながら、実際には、センサは限られた帯域幅であり、入射光に応答してセンサによって生成される信号に対して著しい立ち上がり時間および立ち下がり時間につながり、結果として、シグネチャトレースは、むしろ図２に点線で示されるようになる。しかしながら、このシグネチャトレースは、依然として対象物の形状の特性であり、対象物の特徴付けおよび認識のために使用されることができる。複数の対象物の帯域幅が制限されたシグネチャトレースに対応するデータを記憶し、その後照明からの測定トレースを、記憶されたシグネチャトレースと比較することによって、対象物の特徴付けおよび識別を行うことができる。

ここで、本開示の一例のセンシシステムを、図３〜図６に関連して説明する。この点において、図３は、本開示の単画素対象物認識装置（ＳＰＯＲ）の一構成例を示すブロック図であり、本例では、顔認識（そしてひいては、本明細書では単画素顔認識装置（ＳＰＦＲ）と称される場合が多い）を実行することに関して説明されるが、他の対象物形状決定および認識が、説明されたシステムによって他の例の範囲内で行われることができることが理解されるべきである。また、本例では、単画素センサはカメラ等の２Ｄ画像センサと統合されているが、他の例では、単画素センサを単独で使用してもよいことが理解されるべきである。

図３に示すように、本例では、ＳＰＯＲ（ＳＰＦＲ）システムは３つの主なサブシステムによって形成される。
１．顔の照らされた部分の奥行き変化を測定する奥行きシネチャ処理装置１
２．顔の視像を関連付ける２Ｄカメラ２
３．ユーザを認証するための奥行きシグネチャおよびビジュアルキューを処理するアプリケーション処理装置３。

奥行きシグネチャ処理装置１の動作は以下の通りである。ＳＰＦＲ処理装置１．１１は、レーザダイオード（ＬＤ）または垂直共振器面発光レーザ（ＶＣＳＥＬ）１．２を、所望の領域をカバーするために可能な限り短いパルスおよび最適電力レベルで駆動する照明ドライバ１．１に、起動信号を送ることによって動作を開始する。また、良好な光信号の完全性を保証する必要がある。最も簡易な形態では、照明ドライバ１．１は、受動電流制限を有する窒化ガリウム電界効果トランジスタ（ＧａＮ−ＦＥＴ）であることができ、一方でより高度な実施形態は、高速で大電流のデジタル・アナログ変換器（ＤＡＣ）であり、この場合、ＬＤまたは垂直共振器面発光レーザ（ＶＣＳＥＬ）のピーク活性化電流を選択することが可能である。高速なｄｉ／ｄｔに起因して、照明ドライバ１．１およびＬＤ／ＶＣＳＥＬは、寄生インダクタンスを最小限に抑えるために、理想的には一括パッケージされるかまたは直接ボンディングを使用する。

ＬＤ／ＶＣＳＥＬ１．２によって生成された光パルスは、２つの経路に分割され、第１の経路ｂ１は導波路１．１３によって作成され、光検出器１．７によって検出された信号基準として使用され、トランスインピーダンス増幅器（ＴＩＡ）１．８によって増幅される。第２の経路ｂ２は、被写体の顔領域４．１をカバーするために十分な角度で光を放射する光拡散体１．３に向けられる。光拡散体１．３は、ＬＤ／ＶＣＳＥＬに組み込むことができるか、または発光特性は、拡散体が必要とされないようなものである。

照明領域４．１から反射された光は、ＰＤ、ＡＰＤ等の光検出器１．５によってキャプチャされ、ＴＩＡ１．６によって増幅され、基準および測定信号は１．９で多重化され、そして、ＳＰＦＲ処理装置１．１１によって選択された信号は、高速アナログ・デジタル変換器（ＡＤＣ）１．１０（例えば、高速ＡＤＣ）によってデジタル化される。

最終的に、デジタル化された信号は、専用のメモリ１．１２に波形のサンプルを記憶するＳＰＦＲ処理装置１．１１によって処理される。信号の可変性に起因して、シグネチャ波形は複数回取得され得、最終処理の前にフィルタリングされ得る。最終処理は、対象物の公称距離を計算することと、基準および測定デジタル化信号を正規化することと、時間整合することと、逆畳み込みとを含む。その結果は特定の対象物に対する奥行きシグネチャである。

さらなるセキュリティのために、ＳＰＦＲ処理装置１．１１はまた、アプリケーション処理装置３に送信される深度シグネチャデータを暗号化し得る。

２Ｄカメラ２の動作は以下の通りである。高解像度撮像センサ２．１は、キャプチャされた映像情報を、２Ｄイメージャ処理および制御２．４を介してアプリケーション処理装置３に送信する。ほとんどのケースでは、この素子は、コンピューティングシステム（スマートフォン、タブレット、ラップトップ等）ですでに利用可能なカメラモジュールの一部である。他のケースでは、これは、赤緑青（ＲＧＢ）および／または赤外線（ＩＲ）に高感度であることができる専用のイメージャ、例えば相補型金属酸化物（ＣＭＯＳ）カメラであることができる。

２Ｄカメラ２は、認証プロセスを実行している間に正しい振れを検出するために、ドライバ２．５およびアクチュエータ２．２（例えば、ピエゾ、ボイスコイルモータ（ＶＣＭ）アクチュエータの組み合わせ）によって形成された画像安定化を有することができる。また、２Ｄカメラシステムは、低光量状態で使用される白色および／またはＩＲ照明器２．６およびドライバ２．７を有し得る。付加的なセキュリティのために、２．４は、アプリケーション処理装置３に送信された映像データを暗号化する。

アプリケーション処理装置３の動作は、以下の３つの機能を行うことである。
・顔認証プロセスおよび学習の制御
・奥行きシグネチャ処理装置１から奥行きシグネチャのサンプルを収集し、２Ｄカメラ２から２Ｄスナップショットを収集
・アルゴリズム（機械学習アルゴリズム等）を使用して対象物の識別または認証を実行

図４、５、および６は、上記を行うことを助けるためにアプリケーション処理装置３上で実行されるソフトウェアの動作のさらなる詳細を与える。

図４は、新たな被写体を学習するために、アプリケーション処理装置およびその内部の顔認識アルゴリズムによって引き受けられる処理を例証する。まず、４．２において、プログラムは、システムが展開されているスマートフォン等をディスプレイ画面上に表示させ、標的となる被写体の顔の取得を容易にするように機能する。そして、いったん被写体ユーザがカメラを見ると、４．４において、２Ｄ画像の形式の顔データが２Ｄカメラでキャプチャされる。次に、アプリケーション処理装置内のソフトウェアおよび顔認識アルゴリズムは、公知の画像認識技術を使用して、２Ｄ画像内の重要な特徴、例えば眉、鼻、口、瞳孔を識別する。例えば、目の瞳孔は、小さな黒円を探し出すように、画像を色閾値化することによって、画像から容易に判定されることができる。次に、４．８において、スマートフォンまたはシステムが組み込まれている他の装置のディスプレイがアップデートされ、検出特徴と、検出の奥行きシグネチャセンサ領域とマッチングする標的検出領域とを示す。そして、４．１０において、ユーザにプロンプトが示され、すなわち、画面をまっすぐに見るか、ユーザの頭部を上げるかもしくは下げるか、または左から右に動かすかに関してユーザに知らせることによって、頭を必要とされる位置に位置付ける。いったんユーザが２Ｄセンサおよび奥行きシグネチャセンサを適切に見ると、４．１２において、想定された頭部位置に対する２Ｄ画像データおよび奥行きデータが捕捉される。４．１４において、データをキャプチャすることが必要とされるすべての所望の頭部位置が保証されたかに関する評価が行われ、そうでない場合、処理は４．１０に戻り、ここでユーザは、わずかに異なる頭部位置を推定するよう促される。この動作４．１０、４．１２、および４．１４のループは、ユーザのためのすべての所望の頭部位置がキャプチャされるまで繰り返される。

したがって、この時点では、アプリケーション処理装置は、２Ｄカメラおよび奥行きシグネチャ処理装置を介して、ユーザの顔に関する画像データに加えて、ユーザの顔に関する奥行きシグネチャデータの両方をキャプチャしており、両方のデータのセットが、頭部のわずかに異なる角度および位置に対応して複数セットキャプチャされている。そして、このデータは、データの主要パラメータを判定するためのパラメータ抽出プロセスに適用されることができ、それらのパラメータは、いったん４．１８において検証さると、暗号化され、４．２０において数学的テンプレートに記憶されることができる。有効なパラメータを抽出することができない場合、その後プロセスは失敗し、メッセージがユーザに示される。マッチング処理のためにアプリケーション処理装置によって使用するための、ユーザ奥行きシグネチャトレースを生成するためのキャプチャ時間トレースからのパラメータ抽出は、図１４に関連してより詳細に後述する。

図４の学習処理が行われ、その後検出される特定のユーザに対応するデータがアプリケーション処理装置内に記憶されたと仮定して、図５は、図３のシステムを使用してユーザを識別または認証するための全体的なユーザ認証プロセスを示す。図５の第１の部分は、例えば図４のプロセスを使用して、実際に何らかの顔データがシステムによって学習されたかを判断することである。顔データまたは顔テンプレートがアプリケーション処理装置に記憶されていない場合、５．１６において、代替認証モード、例えばピンコードを使用する必要があり、これはその後、５．１８においてマッチングするかが判断される。しかしながら、アプリケーション処理装置が、ユーザに対する顔データ（例えば、２Ｄ画像および奥行き時間トレースの形式）を記憶している場合、５．４において、処理装置は、例えばスマートフォン等の装置を、その画面上に視覚的キューを表示して、標的被写体の顔の取得を容易にするように制御する。これらのプロンプトは、ユーザにデバイスに対して自分の顔を正しく位置付けさせるために、図４の学習プロセスの４．２において使用されたものと同じ視覚的合図であることができる。例えば、デバイスは、その画面上に、基準マークが重ねられたユーザの画像を示し得、それによって、ユーザはその後、自分の顔の特定の部分、例えば目、鼻、または耳がマークの上に重なるように、自分の頭をデバイスに対して位置付けする必要があるようにされる。しかしながら、他の例では、視覚的キューの表示は行われなくてもよく、代わりに、プロセスは、いずれにしても装置がキャプチャすることが可能である画像データに進む。

被写体の顔がキャプチャ装置に対して適切に向けられると、その後５．６において、顔画像データが２Ｄカメラを使用してキャプチャされる。そして、この画像データは、アプリケーション処理装置に供給され、その後従来のものであってもよい２Ｄ顔マッチングアルゴリズムを使用して、顔をマッチングすることを試みる。２Ｄ顔マッチングアルゴリズムが肯定的な結果を返すことができない場合、すなわち、ユーザの顔を認識することができない場合、処理はその後５．１４に進み、ここで、ユーザが認識を実行しようと試みた回数に関して評価が行われる。最大再試行回数が得られた場合、その後５．１６および５．１８の代替認証メカニズムが使用され、これらがユーザを認証できない場合、認証プロセスは失敗する。逆に、代替認証方法、例えばＰＩＮコード等がユーザを認証することが可能である場合、認証プロセスは、ユーザが認証されたことを返す。

しかしながら、５．８に戻ると、２Ｄカメラによってキャプチャされた２Ｄ画像がユーザの顔とマッチングすると、次に、ユーザの顔の奥行きシグネチャもまたマッチングするかを判断する必要がある。したがって、５．１０において、奥行きシグネチャ処理装置１を使用して顔奥行きシグネチャがキャプチャされ、そして結果として得られた時間ベースの波形がアプリケーション処理装置に供給され、記憶された奥行きシグネチャ（または、対応する数学的テンプレート）とマッチングする。アプリケーション処理装置が、キャプチャされた顔奥行きシネチャと、ユーザについて記憶された奥行きシグネチャとマッチングさせることが可能である（一定のマッチング閾値を超える）場合、ユーザはその後、２Ｄ画像キャプチャと奥行きシグネチャ処理装置との両方によって認証されており、ひいては本物であると認証されることができる。前述したように、カメラからの２Ｄ画像を使用した２Ｄ顔マッチングと、顔奥行きシグネチャマッチングとの両方を実行することの利点は、単にユーザの写真をカメラに表示することによって、２Ｄ画像顔マッチングプロセスをスプーフィングすることが可能とはならないため、より高いセキュリティが得られることである。代わりに、奥行きシグネチャ情報もまたマッチングし、ユーザの２Ｄ画像と同時にキャプチャされなければならないことに起因して、ユーザを認証するためには、三次元の顔を持つ実際のユーザが存在しなければならない。代替的に、ユーザに生き写しのマスクを使用してシステムを偽装しようと試みるかもしれないが、これは単なる写真よりも再現することが著しく困難であることが理解されよう。

図５の奥行きシグネチャ捕捉プロセス５．１０を、図６により詳細に示す。特に、図６は、認識のためにアプリケーション処理装置に送信するための奥行きシグネチャ信号トレースの取得において奥行きシグネチャ処理装置１によって実行されるステップを示す。図６のステップは、奥行きシグネチャ処理装置の他の構成要素を適宜制御するＳＰＦＲ処理装置１．１１によって制御される。

図６を基準すると、まず６．２において取得メモリ１．１２がクリアされ、そして次に奥行きシネチャ処理装置によって実行されなければならない最初のステップは、その駆動信号に対するレーザダイオードまたはＶＣＳＥＬの応答の基準測定値を得ることである。基準測定モードは６．４において選択され、照明ドライバ１．１からレーザダイオードまたはＶＣＳＥＬ１．２へ照明パルスを送ることと、高速ＡＤＣ１．１０を使用してサンプリングすることとを伴う。トランスインピーダンス増幅器１．８を介して、基準検出器１．７を使用してレーザダイオードまたはＶＣＳＥＬによって光がもたらされ、マルチプレクサ（ＭＵＸ）１．９を介して高速ＡＤＣに供給される。すなわち、６．６において、照明パルスは、照明ドライバ１．１を介してレーザダイオード１．２に送られ、そして結果としてレーザダイオードから得られた光パルスが基準検出器１．７によって検出され、６．８において、ＴＩＡ１．８およびＭＵＸ１．９を介して高速ＡＤＣ１．１０によってサンプリングされる。そして、６．１０において、ＳＰＦＲ処理装置１．１は、ＡＤＣから受信した情報から有用なサンプルを抽出し、基準波形メモリを更新する。次に、必要数の基準波形が得られたかに関する評価が行われ、さらなる基準波形が必要な場合、すなわち基準波形の数ＲＭＡＸが満たされなかった場合、処理はその後６．６に戻り、さらなる基準波形が取得される。このプロセスは、所望の数の基準波形ＲＭＡＸが得られ、基準波形メモリに記憶されるまで繰り返される。

基準波形の必要性に関し、光パルスを送信するときに、ハードウェアの制限に起因して光信号の歪みが生じる可能性があり、そのような歪みが生じる場合、それを正規化することは有用であり得る。例えば、基準波形を図８に示す。ここで、基準波形８２は、その駆動パルスに対するレーザダイオードまたはＶＣＳＥＬの応答が非線形であり、かつ大きなリンギングを呈することを示している。これは、レーザダイオード内部の駆動パルスおよび回路寄生に起因して、レーザダイオードまたはＶＣＳＥＬ内部の時間に関して電流ｄｉ／ｄｔが急速に変化するためである。その駆動パルスに対するレーザダイオードまたはＶＣＳＥＬの応答におけるリンギングは、パルス持続期間中のレーザダイオードまたはＶＣＳＥＬによる光出力の変化によって顕著になり、ひいては、このリンギングを基準信号としてレーザダイオードまたはＶＣＳＥＬ出力に記録し、それによって、その後これを使用して光検出器１．５によって収集された反射光信号を後に正規化することができるようにすることが必要である。この正規化が実行されなかった場合、システム非線形性によって引き起こされる光振幅およびパルス形状の差が、照明されている対象物、例えば被写体ユーザの顔の特徴によって引き起こされているとして誤解される可能性があるため、照明パルスからの反射光を使用して対象物を認識するかまたは特徴付けることはほぼ不可能である。

図６に戻ると、レーザダイオードまたはＶＣＳＥＬ応答の基準波形が収集されると、次に、被写体ユーザ４からの反射波形の収集を開始することが可能である。したがって、６．１４において、ＳＰＦＲ処理装置によって信号測定モードが選択され、６．１６において、照明ドライバ１．１からレーザダイオードまたはＶＣＳＥＬ１．２に照明パルスが送られ、ＡＤＣは、サンプリングを再度開始する。しかしながら、今回は、ＡＤＣは、トランスインピーダンス増幅器１．６およびＭＵＸ１．９を介して光検出器１．５から受信した信号をサンプリングしており、したがって、サンプリングされた信号は、照明光パルスに応答して被写体の顔からの反射光に応答した光検出器１．５の出力の時間トレースを表す。６．１８において、ＳＰＦＲ処理装置は、ＴＩＡ１．６、ＭＵＸ１．９、およびＡＤＣ１．１０を介して、光検出器１．５から波形を収集し、そして有用なサンプルを抽出して、６．２０において信号波形メモリ１．１２を更新する。ＳＰＦＲ処理装置はまた、飛行時間情報を測定して、検出が成功するのに必要な最小距離を計算し、その後、取得された信号波形の数が所望の数ＳＭＡＸに等しいかに関して評価を実行し、そうでなければ、奥行きシグネチャ処理装置回路を制御して、より多くのサンプルを取得するために上記のプロセスを繰り返す。しかしながら、いったん必要な数の信号波形が取得されると、ＳＰＦＲ処理装置１．１１は、信号波形の収集を停止するように回路を制御し、その後、収集されてメモリ１．１２に記憶された波形の分析に進む。このことは、６．２４から行われる。

より具体的には、６．２４において、ＳＰＦＲ処理装置は、記憶された波形から、波形が十分な特徴付けデータを包含するか、すなわち被写体が十分に接近していたかを計算する。この点に関して、ユーザまでの距離は、飛行時間を測定することによって計算され、飛行時間は、基準波形の立ち上がりエッジおよび受信パルスの立ち上がりエッジの間の時間差である。記憶された波形が、距離が範囲外であることを示すと判定された場合、６．２８において、被写体ユーザに対して、装置にさらに近づかなければならないというメッセージが表示され、その後信号収集を繰り返すことができる。反対に、基準波形が、被写体が範囲内にあることを示す場合、６．３０および６．３２において、基準波形および受信信号波形が正規化され、その後６．３４において時間整列される。６．３６において、基準波形は信号波形から逆畳み込みされ、それは受信信号からレーザダイオードまたはＶＣＳＥＬのシステム非線形性（または、先に説明したリンギング応答等のアーティファクト）の寄与を除去する結果を有する。図１２は、例示のシミュレートされた波形を例証し、図１２の上部トレース１２０２は、異なる奥行きの差を段差として有するシミュレート面に対する例示的な矩形パルス応答を例証し、一方で下部トレース１２０４は、同じ日付を示すが、レーザダイオードまたはＶＣＳＥＬのアーティファクトの影響を取り除くために正規化されている。

次に、処理は６．３８に進み、ここで逆畳み込みされたデータについて妥当性検査が行われ、データが有効であると見なされると、６．４２において暗号化され、次に６．４４においてユーザとのマッチングのためにアプリケーション処理装置に送られる。反対に、データが検証されることができない場合、６．４０において、データが無効であるとアプリケーション処理装置に通知し、マッチング処理は行われない。

したがって、以上の処理により、奥行きシグネチャ処理装置は、光パルスが反射した被写体ユーザの顔の形状の時間トレース波形特性をキャプチャすることが可能である。レーザダイオード内部のアーティファクトを吸収するために、これらのパルスは、レーザダイオードからキャプチャされた基準波形に関して正規化され、それによって、波形の形状は、回路内部に導入されたエラーではなく、光パルスが反射した対象物の形状にほぼ完全に依存する。このようにして、時間ベースの波形トレースは、その後、被写体ユーザに対する認識信号としてアプリケーション処理装置によって使用されることができる。

概念を検証するために、既製の構成要素および計装に基づいて、試験設定が構築された。図７はこの設定のブロック図を示す。

図７に示すように、ＬＤパルス生成は、１ｎｓという短いパルスを作り出すデジタル信号発生器７１２によって提供される。この信号は、８５０ｎｍまたは他の近赤外（ＮＩＲ）周波数で動作するドライバおよびレーザダイオードを含むＬＤボード７１０に付与される。最大ＬＤピーク電流は、抵抗器によって設定され、ＬＤアノードに印加される電圧によって制御されることができ、我々の試験では、この電圧は８ＡのＬＤピーク電流（５Ｗまでの光ピーク電力）に対応する１８Ｖに設定される。高速なｄｉ／ｄｔおよび避けることができない回路寄生に起因して、明らかな矩形パルスを生成することは不可能であり、そのためＬＤ駆動信号は、図８に示され、上述されたように大きなリンギングを有する。

ＬＤモジュール７０８／７１０を出る光は、レンズ７０６によって平行にされ、平行にされたビームは、７０４によって５０／５０に分割され、１つのビームは高速フォトダイオードＤＥＴ０８ＣＬ７１６に向けられて、高速デジタルオシロスコープ７１４のＣＨ１で取得された基準信号として使用される。スプリッタ７０４からの他方のビームは、エミッタから約３０ｃｍに置かれた被写体ユーザの一部をカバーするように設定された２０°拡散器７０５を通過する。そして、照明光は被写体者の顔を横切って反射する。

被写体から反射された光は、高速ＡＰＤ７１８によって検出され、および高速ＡＰＤ７０８からの増幅された信号は、高速デジタルオシロスコープ７１４のＣＨ２上で取得される。スコープは、取得した信号を正規化し、時間整合し、逆畳み込みし、結果をデータベースに保存することに加えて、後処理のために生の波形データを保存することによってデータを処理するＰＣプログラムを通して、基準および測定波形を取得するラップトップコンピュータに接続されたＧＰＩＢである。正規化、時間整列および逆畳み込みは、図７に関して前述した通りである。そして、得られた波形トレースから被写体ユーザを認識する処理について以下に説明する。

図１５は、反射時間トレースから被写体４を認識するかまたは特徴付けるためにアプリケーション処理装置３によって実行されるプロセスを高レベルで示す。１５．２において、時系列データがＳＰＦＲ処理装置１．１１から受信され、その後１５．４においてアプリケーション処理装置は、時系列データ（または対応するテンプレート）を、認証されようと試みている推定の被写体ユーザについて先に記憶された時系列シグネチャデータ（またはテンプレート）と比較するか、また代替的にはシグネチャトレースが記憶されているすべての被写体ユーザと比較するように機能する。記憶された時系列データとのマッチングがなされた場合、マッチングがなされたユーザは、１５．６において認証された。カメラモジュール等の２Ｄ画像センサと併せて使用されるとき、１５．８において、アプリケーション処理装置はまた、２Ｄ画像認識に取り掛かることができ、ＳＰＦＲセンサデータおよび２Ｄ画像データの両方がマッチングする（システム管理者が設定した閾値を超える）場合、処理装置でユーザを認証することができる。ユーザが認証する場合、アプリケーション処理装置はその後、そのホスト装置に検証／識別信号を出力する。そして、ホスト装置によるこの検証または識別信号の受信は、装置に行動、例えばユーザによる装置の使用を許可するためにロック解除することを行わせ得る。

アプリケーション処理装置によって実行される必要がある時間トレースマッチングに関して、これは、上述したように、ＰＤ、ＡＰＤまたはＳＰＡＤによってキャプチャされた一次元時間トレース信号に対して実行される。これをよりよく理解するために、可変の奥行きを有する対象物から反映される信号応答の複雑さを理解するのを助けるように、数学的モデルが開発された。モデリングを簡単にするために、対象物表面をｍ×ｎ個の要素に分割し、各要素の反射率および散乱プロファイルは同じであると仮定した（Ｒ＝０．５、反射率）。また、各要素の異なる角度によって引き起こされる反射振幅の違いも同様に、各要素の異なる角度によって引き起こされる距離の違いが考慮された。そして、照明のシミュレーションもまた、理想的な光源からの可変パルス幅、および帯域幅またはテスト設定で測定された実際の光波形を考慮した。最終結果は、振幅および時間の観点から、すべての要素からの応答の統合である。理想化された（非帯域幅制限、ピコ秒パルス）結果の例が図９Ａ〜１１Ｂに示され、一方で帯域幅制限およびナノ秒パルスからの正規化結果が図１２および１３に示される。

まず図９Ａ〜１１Ｂの理想化されたシミュレーションを簡単に基準すると、実際の応答を表すものではないが、これらは本技術の理論上の識別能力を例証する。参考として、図９Ａおよび図９Ｂに平面の理論的応答を例証する。左側のプロットから、無制限帯域幅検出器および理想化されたピコ秒の照明パルスによる平坦な応答は、予想されるように、単一の反射ピークを与えることが理解されよう。図１０Ａおよび図１０Ｂは、５ｃｍの段差のある理想化された表面を例証し、そこから５ｃｍの奥行きの違いが、時間トレースにおいて０．３ｎｓ離れた２つの別個の出力パルスにつながることがわかる。図１１Ａおよび図１１Ｂは、まさに０．５ｃｍの段差のより小さな奥行きの差を示すが、やはり理想的なシミュレーションでは、２つのピークがトレースにおいて検出可能である。しかしながら、実際には、ＰＤにおける帯域幅制限に起因して、図１０Ａおよび図１０Ｂの５ｃｍの段差は検出可能であり得るが、０．５ｃｍのステップは、普通は、ピークを同化させる帯域幅の制限に起因して、ＰＤの分解能を超えている。

しかしながら、上記は理想化されたシミュレーションに適用されるが、実際の使用においては、理想化されたピコ秒パルスのケースについて示されるように、各々の奥行きの差を検出する必要はない。代わりに、異なる奥行きを有する異なるスポットからの反射が同化して、１つの単一の波形を形成する。このことは図１３に示され、ここでは、多面的な表面が、より現実的な５ｎｓのパルスでシミュレートされた。理解されるように、多面的な表面から、異なる反射トレースが単一のトレースに効果的に融合し、そしてこれが対象物についての特性時間トレースとして使用されることができる。

そして、次の問題として、どのようにして時間トレースを特徴付けるかということが生じる。この点において、この問題は、異なる対象物の波形に対する差が小さいこと、そしてほぼ振幅に反映することであり、それ自体が実際のシステムに対して不安定である。再度、差が非常に小さいため、デジタイザに対する要求は非常に高い。しかしながら、３ＧＨｚのサンプリングレートは、十分なデータポイントを提供するはずであり、実際のシナリオでは、異なるスポットの反射率および散乱プロファイルは異なり、それはより大きな差を提供するはずである。図１４は、サンプリングされ補間されたトレースを例証し、図１３のトレースは（ｎｓ当たり３つのサンプルを与えるため）３ＧＨｚでサンプリングされていた。したがって、サンプル点の例は、１４０４、１４０６、１４０８、１４１０、１４１２、１４１４、および１４１６で示され、波形は、サンプル点間の線形補間によって、処理装置３におけるマッチングを目的として再作成される。当然ながら、他の例では、入力としてサンプル点を取り、マッチングのために波形を再作成するための異なる補間技術が使用されてもよい。

上記を所与とし、かつ図１５に戻ると、１５．６で述べたように、アプリケーション処理装置は、時間トレース（上記のように、一連のサンプルとして表される）を特定の登録ユーザのための記憶された時間トレースとマッチングする。どのようにしてこのマッチングが行われるかという観点から、概念証明システムは、ユーザ識別のための機械学習アルゴリズムを実装しており、特に２つの特定のタイプのマッチングアルゴリズムが使用されてきた。
１．ＡＮＮマッチングアルゴリズム−時系列データを、入力ニューロン、１つ以上の隠れ層、および出力層に直接マッピングし、データセットからの個々のＧｏ／ＮｏＧｏ認証または識別を提供する
２．部分最小二乗判別分析（ＰＬＳ−ＤＡ）アルゴリズム−回帰を実施する前に、ＰＣＡを使用して時系列データの次元を低減する。ＡＮＮの例と同様の出力を提供する。

３２人のサンプルサイズでテストした場合、最初の結果は、システムが実際の人物に対して２Ｄ写真を容易に区別できること、そしてニューラルネットワークマッチングが、データセット内の個人に対し９９％までの認識率を達成し、ＰＬＳ−ＤＡマッチングではやや低いことを示している。当然ながら、他の例では、被写体とする読者には周知であるように、異なるマッチングアルゴリズムがさらに使用されてもよい。

要約すると、本開示の例は、特に困難な状況（例えば、劣悪な照明、化粧品による修正等）において、付随する２Ｄシステムの認識率を最大１００倍まで向上させるか、またはスタンドアロンシステムとして使用される可能性を有する単画素センサシステムを提供する。さらに、２−Ｄセンサとともに使用されると、単画素センサシステムの３Ｄ奥行き検知機能を追加することによって、（例えば、実際の人物の代わりにユーザ被写体の写真または映像フィードをしようすることによって）システム全体が単純ななりすましを起こしにくくなる。また、単画素センサシステムは、構造化光または飛行時間型スキャナ等の他の３Ｄ画像化システムよりもはるかに簡易かつよりコストがかからない。

さらなる例を提供するために、上記の例に様々な修正を加えることができる。さらなる一例では、一次元ラインまたは二次元アレイのいずれかに構成された複数の単要素センサを設けてもよい。複数のそのようなセンサを設けることの利点は、それらを使用して被写体を画像化することが可能になることではなく、同じ照明パルスから複数の測定値を並行して得ることができることである。このことは、動作に必要な較正および測定照明パルスの数を減らす。加えて、複数のセンサの各々の単画素センサは、光が照明ダイオードからユーザにわたり、その後アレイ内の異なるセンサへと戻るわずかに異なる光線経路に起因して、わずかに異なる被写体ユーザのＦＯＶを有する。これは、アレイ内の各々の単画素センサが、各自のＦＯＶから反射されて戻る光を表すわずかに異なる一次元時間トレースをキャプチャすることを意味する。このように、各々別個の照明フラッシュについて得られた同期時間トレースのセットは、被写体ユーザまたは対象物のさらなるシグネチャ特性を提供し、このセットを使用して、対象物の区別または識別を向上させることができる。

さらなる例において、照明ダイオードまたはＶＣＳＥＬは、その駆動信号に対して明確かつ予測可能な応答を有する（すなわち、リンギングまたは他の予測不可能なアーティファクトを呈さない）場合、基準チャネルコンポーネントまたは上記の例に記載されている基準正規化ステップを含む必要はない場合がある。可能であれば、そのような機能を除外することは、結果としてより簡易で、ひいてはコストがよりかからない実装をもたらす。

いくつかの例では、本装置は、本明細書に記載された方法のうちのいずれか１つを実施／実行するための手段を含み得る。

また、本明細書で概説した仕様、寸法、および関係のすべて（例えば、処理装置の数、論理演算等）は、例示および教示のみを目的として提供されていることにも留意しなければならない。そのような情報は、本開示の本質、または添付の特許請求の範囲（もしあれば）もしくは本明細書に記載された例から逸脱することなく大きく変更されてもよい。本明細書は、１つの非限定的な例にのみ適用され、ゆえにそれらはそのように解釈されるべきである。上記の説明において、特定の処理装置および／または構成要素の構成を基準して、例示の実施形態を説明してきた。添付の特許請求の範囲（もしあれば）の範囲から逸脱することなく、そのような実施形態に様々な修正および変更を加えてもよい。ゆえに、説明および図面は、限定的な意味ではなく、例証として見なされるものである。

本明細書で提供される多数の例を用いて、２つ、３つ、４つ以上の電気構成要素またはパーツに関して相互作用が説明され得ることに留意されたい。しかしながら、これは、明確さおよび例示のみを目的としてなされている。本システムは、任意の好適な方法で統合されることができることが理解されるべきである。同様の設計代替案に沿って、図面の例証された構成要素、モジュール、ブロック、および要素のうちのいずれかが、様々な可能な構成で組み合わせられ得、それらすべてが明らかに本明細書の広範な範囲内にある。一定のケースでは、限られた数の電気的要素を基準することのみによって、所与のフローのセットの機能性のうちの１つ以上をより容易に説明し得る。図およびその教示の電気回路は、容易に拡張可能であり、多数の構成要素に加えて、より複雑な／洗練された構成および構成を収容することができることが理解されるべきである。したがって、提供された例は、場合によっては無数の他のアーキテクチャに適用されるように、範囲を制限したり、電気回路の広範な教示を禁止したりするべきではない。

本明細書において、「１つの実施形態（ｏｎｅｅｍｂｏｄｉｍｅｎｔ）」、「例示の実施形態（ｅｘａｍｐｌｅｅｍｂｏｄｉｍｅｎｔ）」、「一実施形態（ａｎｅｍｂｏｄｉｍｅｎｔ）」、「別の実施形態（ａｎｏｔｈｅｒｅｍｂｏｄｉｍｅｎｔ）」、「いくつかの実施形態（ｓｏｍｅｅｍｂｏｄｉｍｅｎｔｓ）」、「様々な実施形態（ｖａｒｉｏｕｓｅｍｂｏｄｉｍｅｎｔｓ）」、「他の実施形態（ｏｔｈｅｒｅｍｂｏｄｉｍｅｎｔｓ）」、「代替の実施形態（ａｌｔｅｒｎａｔｉｖｅｅｍｂｏｄｉｍｅｎｔ）」等に含まれる様々な特徴（例えば要素、構造、モジュール、構成要素、ステップ、動作、特性等）に対する言及は、いずれかのそのような特徴が、本開示の１つ以上の実施形態に含まれるが、同じ実施形態において組み合わせられてもよく、または必ずしも組み合わせられなくてもよいことを意味することに留意されたい。また、本明細書に記載された機能は、図に例証されるシステム／回路によって、またはその内部で実行され得る可能性のある機能のうちのいくつかのみを示していることに留意することも重要である。これらの動作のうちのいくつかは、適宜削除されるかもしくは除去される場合があるか、またはこれらの動作は、本開示の範囲から逸脱することなく、大きく修正されるかもしくは変更される場合がある。加えて、これらの動作のタイミングは、大きく変更し得る。前述の動作フローは、例示および説明を目的として提供されている。本明細書に記載の実施形態によって、本開示の教示から逸脱することなく、任意の好適な構成、時系列、構成、およびタイミングメカニズムを提供し得るという点で、実質的な柔軟性が提供される。当業者においては、非常に多くの他の変更、置換、変形、改変、および修正を確認してもよく、本開示は、添付の特許請求の範囲（もしあれば）または本明細書に記載された実施例の範囲内に含まれるような、すべてのそのような変更、置換、変形、改変、および修正を包含することが意図される。また、上述した装置のすべての任意選択の特徴における詳細は、本明細書に記載された方法もしくはプロセスに関して実施されてもよく、または１つ以上の実施形態のいかなる部分においても使用され得ることに留意されたい。

さらなる例を提供するために、追加、削除、または置換のいずれかによる様々なさらなる変更が、上述の例になされてもよく、それらのいずれかおよびすべてが、添付の特許請求の範囲によって包含されることが意図される。

請求項は、本明細書においては、ＵＳＰＴＯでの出願に適した単一の従属形式で提示されてきたが、多重従属請求を許す権限範囲を目的として、明らかに技術的に不可能な場合を除き、各請求項が同じタイプの任意の先行請求項に依存することができることが理解されるべきである。

1 深さシグネチャ処理装置
2 ２Ｄカメラ
3 アプリケーション処理装置＆顔認識アルゴリズム
4 対象

Claims

対象物を検出するためのセンサであって、前記センサが、
前記対象物の顔を照らすために光パルスを発するように構成された光源と、
前記対象物の顔から反射された前記光パルスからの光を検出し、前記対象物の顔の特性を表す一次元時間ベースの反射信号を生成するように構成された光検出器と、
前記一次元時間ベースの反射信号を表す信号を受信し、それに依存する前記対象物についての時間ベースの反射シグネチャを生成するように構成された処理装置と、
前記時間ベースの反射シグネチャを受信し、前記時間ベースの反射シグネチャに依存して前記対象物を認識するように構成された認識処理装置と
を備え、
前記認識処理装置が、機械学習技術を利用して、前記時間ベースの反射シグネチャに基づいて前記対象物を認識する、センサ。
前記機械学習技術が、
ａ）主成分分析、および／または
ｂ）１つ以上のニューラルネットワーク
のうちの少なくとも１つを含む、請求項１に記載のセンサ。
基準信号を提供するために、前記光パルスの少なくとも一部を前記光源から直接受信するように構成された基準チャネルコンポーネントをさらに備え、前記処理装置が、前記光パルスにおける不要な特性を考慮して、前記基準信号に依存して前記一次元時間ベースの反射信号を正規化するようにさらに構成される、請求項１に記載のセンサ。
前記対象物の前記顔の二次元画像をキャプチャし、それに依存して前記対象物の認識を行うように構成された二次元空間ベースの認識システムをさらに含み、前記認識処理装置が、前記二次元画像と前記一次元時間ベースの反射信号との両方を用いて、前記対象物の認識に依存して、前記対象物の成功した認識を示す出力信号を生成する、請求項１に記載のセンサ。
前記対象物が人間被写体であり、前記対象物の前記顔が、前記人間被写体の顔である、請求項１に記載のセンサ。
前記認識処理装置が、前記時間ベースの反射シグネチャまたは対応するテンプレートと比較されて前記対象物を認識する、対象物特有の一次元時間ベースの信号トレースデータまたは対応する数学的テンプレートを記憶する、請求項１に記載のセンサ。
前記対象物特有の一次元時間ベースの信号トレースデータが、訓練フェーズ中にキャプチャされたそれぞれの対象物特有の時間ベースの信号トレースのサンプルの各セットを含み、前記認識処理装置が、前記サンプルのセット間を補間して、マッチングするための前記対象物特有の時間ベースの信号トレースを再生する、請求項６に記載のセンサ。
前記光源が、リンギングの特性を有し、前記基準チャネルコンポーネントが、前記リンギングの前記特性を検出するように構成された基準光検出器を含み、前記処理装置が、前記リンギングの前記特性に応答して前記基準光検出器によって生成された信号を受信し、前記一次元時間ベースの反射信号を正規化して、前記リンギングによって生じたアーティファクトを取り除くようにさらに構成される、請求項３に記載のセンサ。
単画素センサを動作させる方法であって、
対象物を光のパルスで照らすことと、
単画素センサにおいて前記対象物から反射された前記光のパルスからの光を検出し、前記光のパルスによって照らされた前記対象物の照らされた顔全体から反射された前記光を表す一次元反射時間トレースを得ることと、
前記一次元反射時間トレースを、既知の対象物から得られた一次元反射時間トレースの記憶された表現と比較することと、
その記憶された時間トレースが前記得られた一次元反射時間トレースと一致する前記対象物として、前記比較に依存して前記対象物を識別または認証することと、
を含み、
前記識別することが、機械学習技術を利用して、前記得られた一次元反射時間トレースに基づいて前記対象物を認識することを含む、方法。
前記機械学習技術が、
ａ）主成分分析、および／または
ｂ）１つ以上のニューラルネットワーク
のうちの少なくとも１つを含む、請求項９に記載の方法。
基準信号を提供するために、前記光のパルスの少なくとも一部を光源から直接受信することと、前記光のパルスにおける不要な特性を考慮して、前記基準信号に依存して前記一次元反射時間トレースを正規化することとをさらに含む、請求項９に記載の方法。
前記光のパルスがリンギングの特性を有し、前記方法が、前記リンギングの前記特性を検出することと、前記一次元反射時間トレースを正規化して、前記リンギングによって生じたアーティファクトを取り除くこととをさらに含む、請求項１１に記載の方法。
前記対象物の前記照らされた顔全体の二次元画像をキャプチャすることと、それに依存して前記対象物の認識を行うこととをさらに含み、前記対象物の成功した認識が、前記二次元画像と前記一次元反射時間トレースとの両方を用いて、前記対象物の認識に依存してなされる、請求項９に記載の方法。
前記一次元反射時間トレースと比較されて前記対象物を認識する対象物特有の一次元時間ベースの信号トレースデータを記憶することをさらに含む、請求項９に記載の方法。
前記対象物特有の一次元時間ベースの信号トレースデータが、訓練フェーズ中にキャプチャされたそれぞれの対象物特有の時間ベースの信号トレースのサンプルの各セットを含み、前記方法が、前記サンプルのセット間を補間して、マッチングするための前記対象物特有の時間ベースの信号トレースを再生することをさらに含む、請求項１４に記載の方法。
センサシステムであって、
照明パルスから、被写体ユーザの顔から反射された光に対応する一次元反射トレースをキャプチャするように構成された単画素センサと、
前記被写体ユーザの顔の二次元画像をキャプチャするように構成された二次元画像センサと、
機械学習技術を利用して、前記キャプチャされた二次元画像および前記キャプチャされた一次元反射トレースに依存して前記被写体ユーザを検証するように構成され、前記センサシステムが前記検証に依存して動作する部分を形成する装置を制御する、１つ以上の処理装置と、を備える、センサシステム。
前記被写体ユーザの顔から反射された光に対応するそれぞれの一次元反射トレースをキャプチャするように構成された複数の単画素センサをさらに備え、前記１つ以上の処理装置が、前記それぞれの一次元反射トレースに依存して前記被写体ユーザを検証するようにさらに構成される、請求項１６に記載のセンサシステム。