JP6864030B2 - 単画素センサ - Google Patents

単画素センサ Download PDF

Info

Publication number
JP6864030B2
JP6864030B2 JP2019085570A JP2019085570A JP6864030B2 JP 6864030 B2 JP6864030 B2 JP 6864030B2 JP 2019085570 A JP2019085570 A JP 2019085570A JP 2019085570 A JP2019085570 A JP 2019085570A JP 6864030 B2 JP6864030 B2 JP 6864030B2
Authority
JP
Japan
Prior art keywords
time
dimensional
trace
sensor
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019085570A
Other languages
English (en)
Other versions
JP2019194587A (ja
Inventor
マウリツィオ・ゼッキーニ
ポール・オサリヴァン
チャオ・ワン
Original Assignee
アナログ ディヴァイスィズ インク
アナログ ディヴァイスィズ インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アナログ ディヴァイスィズ インク, アナログ ディヴァイスィズ インク filed Critical アナログ ディヴァイスィズ インク
Publication of JP2019194587A publication Critical patent/JP2019194587A/ja
Application granted granted Critical
Publication of JP6864030B2 publication Critical patent/JP6864030B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30Writer recognition; Reading and verifying signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Description

本開示は、対象物から反射された分散光パルスの時間シグネチャを測定する単粒子センサに関する。センサ位置と対象物の異なる部分との間の奥行きの差に起因して、短い持続時間の証明パルスは、異なる時間でセンサに達し戻ってくるため、個々の対象物に固有の時間ベースの一次元シグネチャを提供する。
顔認識システムは、一般に、特定の顔の特徴(例えば、鼻、目、あご等の相対位置)を分析し、データベース内部の基準またはサンプルに対して比較することによって、人物を識別または認証するための視覚的取得およびアルゴリズムを使用する。それらは、最も一般的には、識別アルゴリズムを実行するコンピューティングシステムとともに、画像または映像フィードを使用して実装される。それらは、スタンドアロンで、または網膜/虹彩および指紋スキャン等の他のバイオメトリクスとともに使用されることができる。スマートフォンにおけるトレンドは、個人識別番号(PIN)コードおよび/または指紋の代替として、またはそれらに加えて、顔認識を認証機能に追加することである。そのようなシステムは、顔情報を取得するために二次元(2D)カメラを使用することが多いが、2Dのみのシステムは、静止画像が容易にだめになる。追加されたセキュリティレベル(例えば、認識中に片目を点滅させるための要件)を使用している場合であっても、そのようなシステムは、通常は、他のバイオメトリックセンサを置換するために十分にはロバストかつ安全ではない。
本開示は、被写体の顔から反射された分散光パルスの時間シグネチャを測定する単画素センサを使用して顔認識を実行することに関する。いくつかの例では、測定されるシーンの異なる観点を得るために、少数のそのようなセンサがともに使用され得る。センサの位置と被写体の顔の異なる部分との間の奥行きの差に起因して、短い持続時間の証明パルスの反射が、被写体の顔の異なる部分から、異なる時間でセンサに達し戻るため、個々の被写体に固有の時間ベースの一次元シグネチャ提供する。主成分分析(PCA)または人工ニューラルネットワーク(ANN)等のアルゴリズムを使用して反射シグネチャを分析することによって、被写体の認識を得ることができる。加えて、同じシステムを、顔に加えて任意の他の既知の形状の対象物、例えば製造ライン上で製造された製品等を認識または識別するためにも使用し得る。
上記に鑑み、本開示の1つの例は、対象物を検出するためのセンサを提供し、センサは、対象物の顔を照らすために短い持続時間の光パルスを発するように構成された光源と、対象物の顔から反射された前記光パルスからの光を検出し、対象物の顔の特質を表す一次元時間ベースの反射信号を生成するように構成された光検出器と、反射信号を表す信号を受信し、それに依存する対象物についての時間ベースの反射シグネチャを生成するように構成された処理装置と、を備える。そのような構成によって、一次元時間ベースの反射信号を使用して、反射シグネチャが生成されることが可能になり、これはその後多くの用途で、例えば対象物を認識するかまたは認証するために使用されることができる。
例えば、認識処理装置が設けられ、認識処理装置は、時間ベースの反射シグネチャを受信し、反射シグネチャに依存して対象物を認識するように構成される。対象物の自動認識は、生産ライン上およびセキュリティ目的を含む、多くのシナリオで有用である。
1つの例では、認識処理装置は、機械学習技術を利用して、時間ベースの反射シグネチャに基づいて前記対象物を認識する。例えば、機械学習技術は、a)PCA、および/またはb)1つ以上のニューラルネットワークのうちの少なくとも1つを含み得る。また、対象物の自動認識または支援付き認識を行うことが可能である他の人工知能技術を使用してもよい。
1つの例では、基準チャネルコンポーネントがさらに設けられ、基準チャネルコンポーネントは、短い持続時間の光パルスの少なくとも一部を、光源から直接受信し、基準信号を提供するように構成される。そして、処理装置は、照明パルスにおける不要な特性を考慮して、基準信号に依存して反射信号を正規化するようにさらに構成され得る。そのような構成は、照明パルスの不規則性が自動的に補償されることを可能にし、ひいてはセンサの検出および認識性能を向上させる。
さらに詳細な例では、光源は、リンギング特性を有し得、基準チャネルコンポーネントは、リンギング特性を検出するように構成された基準光検出器を備える。処理装置は、リンギング特性に応答して基準光検出器によって生成された信号を受信し、反射信号を正規化して、リンギングによって生じたアーティファクトを取り除くようにさらに構成され得る。
1つの例では、二次元空間ベースの認識システムを、一次元(1D)センサと組み合わせてさらに設けてもよい。二次元空間ベースの認識システムは、対象物の顔の二次元画像をキャプチャし、それに依存して対象物の認識を行うように構成され得る。そして、認識処理装置は、二次元画像および一次元時間ベースの反射信号の両方を使用して、対象物の認識に依存して対象物の成功した認識を示す出力信号を生成し得る。このような構成では、2Dセンサおよび1Dセンサは相乗的に協働し得、2Dセンサを使用して被写体の認識が行われ、1Dセンサは、認識されたシーンもまた十分な奥行きを包含することを検証し、ひいては、単なる認識される対象物の写真または他の2D画像ではない。
1つの例では対象物は人間の被写体であり、対象物の顔は人間の被写体の顔である。この点において、本開示の例は、特に、携帯電話またはタブレット装置等のポータブル電子装置を自動的にロック解除する目的のために、特に人間の被写体の顔を認識するように設計されることができる。
一例では、認識処理装置は、時間ベースの反射シグネチャ(または、対応するテンプレート)と比較されて対象物を識別するために、対象物特有の一次元時間ベースの信号トレースデータ(または、対応する数学的テンプレート)を記憶し得る。特に、対象物特有の時間ベースの信号トレースデータは、訓練フェーズ中にキャプチャされたそれぞれの対象物特有の時間ベースの信号トレースのサンプルの各セットを含み得、認識処理装置は、サンプルのセット(例えば、サンプリングされたデータ点)間を補間して、マッチングするための前記対象物特有の時間ベースの信号トレースを再生する。
別の態様から、本開示のさらなる例は、単画素センサを動作させる方法を提供し、対象物を短い存続期間の光のパルスで照らすことと、単画素センサにおいて対象物から反射された光のパルスからの光を検出し、光のパルスによって照らされた対象物の照らされた顔全体から反射された光を表す一次元反射時間トレースを得ることと、一次元反射時間トレースを、既知の対象物から得られた一次元反射時間トレースの記憶された表現と比較することと、そして、その記憶された時間トレースが得られた一次反射時間トレースと一致する対象物として、比較に依存して対象物を識別または認証することと、を含む。
1つの例では、識別することは、機械学習技術を利用して、得られた時間トレースに基づいて対象物を認識することを含む。例えば、機械学習技術は、a)PCAおよび/またはb)1つ以上のニューラルネットワークのうちの少なくとも1つを含み得る。
さらなる例では、本方法は、基準信号を提供するために、短い持続期間の光パルスの少なくとも一部を光源から直接受信することと、短い持続期間の光パルスにおける不要な特性を考慮して、基準信号に依存して反射時間トレースを正規化することとをさらに含み得る。特に、短い持続期間の光パルスはリンギング特性を有し得、該方法は、リンギング特性を検出することと、反射時間トレースを正規化して、リンギング特性によって生じたアーティファクトを取り除くこととをさらに含み得る。
本方法はさらに、2Dセンサと組み合わせて使用し、1Dセンサの発見の2Dセンサ検証を可能にしれてもよく、またはその逆でもよい。特に、1つの例では、該方法は、対象物の顔の二次元画像をキャプチャすることと、およびそれに依存して対象物の認識を行うこととをさらに含み得る。そして、2D画像および1D時間トレースの両方を用いて、対象物の認識に応じて対象物の認識に成功することができる。
1つの例では、本方法は、一次元反射時間トレースと比較されて対象物を認識する対象物に特有の一次元時間ベースの信号トレースデータをさらに含む。特に、さらに詳細な例では、対象物特有の時間ベースの信号トレースデータは、訓練フェーズ中にキャプチャされたそれぞれの対象物特有の時間ベースの信号トレースのサンプルの各セットを含み、該方法は、サンプルのセット(例えば、サンプリングされたデータ点)間を補間して、マッチングするための対象物特有の時間ベースの信号トレースを再生することをさらに含む。
またさらなる態様から、本開示の別の例は、センサシステムを提供し、短い持続期間の照明パルスから、被写体ユーザの顔から反射された光に対応する一次元反射トレースをキャプチャするように構成された単画素センサと、被写体ユーザの顔の二次元画像をキャプチャするように構成された二次元画像センサと、キャプチャされた二次元画像およびキャプチャされた一次元反射トレースに依存して被写体ユーザを検証するように構成され、センサシステムが検証に依存して動作する部分を形成する装置を制御する、1つ以上の処理装置と、を備える。そのような構成では、一次元センサからのデータは、二次元画像データに基づいてなされた顔認識を確認するために、例えば、二次元センサシステムが、被写体ユーザの写真または他の画像によってスプーフィングされていないことを確認するために使用されることができる。
さらなる本開示の例では、複数の単数形センサが設けられ、被写体ユーザの顔から反射された光に対応するそれぞれの一次元反射トレースをキャプチャするように構成されることができ、1つ以上の処理装置が、それぞれの一次元反射トレースに依存して被写体ユーザを検証するようにさらに構成される。複数のそのような単体センサを設けることは、センサが被写体ユーザのわずかに異なる視野を有することを可能にし、ひいては、ユーザの検証または認識の正確さを高めるはずであり、および/また好適な反射トレースサンプルをキャプチャするために必要とされる時間量を低減させるはずである。
本開示のさらなる特徴、例、および利点は、以下の説明および添付の特許請求の範囲から明らかとなろう。
本開示の一例の動作の概念を例証する図である。 図1の例から導出された信号を例証するグラフである。 本開示の一例のシステムのブロック図である。 本開示の一例のシステムの動作または一部を例証するフロー図である。 本開示の一例のシステムの一部の動作を例証するさらなるフロー図である。 本開示の一例のシステムの動作または一部を例証するフロー図である。 本開示のさらなる例のシステムブロック図である。 本開示の一例で使用される関連する光検出器応答を例証するグラフである。 本開示の理論上の一例においてシミュレートされた応答および関連付けられかつ決定された形状である。 本開示の理論上の一例においてシミュレートされた応答および関連付けられかつ決定された形状である。 本開示の理論上の一例においてシミュレートされた応答および関連付けられかつ決定された形状である。 本開示の理論上の一例においてシミュレートされた応答および関連付けられかつ決定された形状である。 本開示の理論上の一例においてシミュレートされた応答および関連付けられかつ決定された形状である。 本開示の理論上の一例においてシミュレートされた応答および関連付けられかつ決定された形状である。 本開示の一例の動作を例証する応答の受信および正規化バージョンとして示されるシミュレートされた帯域幅限定パルス応答である。 本開示の一例からシミュレートされた応答特性である。 応答曲線の特徴付けを例証する、本開示の一例からのデジタル化後の実応答特性である。 本開示の一例で使用される認識プロセスを例証するフロー図である。 本開示の例のための使用例をリストアップする表である。
本開示およびその特徴ならびに利点のより完全な理解を提供するために、添付の図面と併せて、以下の説明について申し述べ、図面においては、同様の参照番号は同様の部分を表す。
本開示は、人間の顔等の対象物の形状を検知するための新しいタイプのセンサに関する。センサは、検知される対象物を短分散照明パルスで一時的に照らすように機能する照明フラッシュとともに、単画素センサとして機能する単一の光検出器を備える。そして、センサは、照明対象物の全部からセンサに達し戻る時間的反射波形を記録し、その後、波形(または対応する数学的テンプレート)は、認識される対象物に対応する記憶されたシグネチャ波形(またはテンプレート)と比較され、対象物認識が行われることを可能にすることができる。特に注意すべきは、単画素センサは、小さな部分からサンプルを取り出すために対象物全体にわたるスキャンを行わない(例えば、対象物全体にわたるラスタスキャン)が、代わりに、センサに関して異なる奥行きによって、対象物の異なる部分から反射された光のセンサにおける到達時間の時差に依拠して、フラッシュによって照らされる照明されている対象物の顔全体からの反射を受ける。そして、受信された時間波形を見て、対象物の反射部分の異なる相対奥行き(センサに対する)に起因する内部での小さな変化を特定することによって、対象物と特徴付けて認識することができる。
より詳細には、本開示の例は、単一の光検出器(例えば、フォトダイオード(PD)、アバランシェフォトダイオード(APD)、シリコン光電子増倍管(SiPM)、または単一光子アバランシェダイオード(SPAD))によって受信された、対象物(例えば、顔)から反射された分散型短レーザパルスから、時間的応答を分析することに基づく。受信された電気的応答は、視野(FOV)内部の奥行きを包含するベクトルを有するレーザパルスの畳み込みである。多くの場合、少なくとも単一の固定された露出によって、標的対象物を復元することが可能であるが、信号は、被写体を識別し、アルゴリズムによって顔認識を実行するために使用されることができるシグネチャを表す。そのようなシステムは、二次元イメージャとともに動作し得、例えば構造化光イメージャ等の3Dイメージャと比較してより少なく低いコストかつより低い消費電力であるという潜在的な利点を提供する。
図1および2は本開示の例の詳細の動作原理をより詳細に例証する。まず図1を基準すると、発光体には、隣接して同じ場所に構成された光センサが設けられていると仮定する。エミッタおよびセンサのコロケーションは、光が、エミッタからの光線の入射角とほぼ同じ角度アルファ(α)で、対象物からセンサに反射して戻るようにされる。次に、エミッタから入射する光に対して、複数の奥行きD1〜D5を呈する表面を有する対象物の一例を考察する。エミッタおよびセンサは、対象物の裏面からの基準奥行きDREFにあり、対象物D1〜D5の表面の表面レリーフを表す例示の奥行きは、すべてDREFよりかなり小さい。
動作中、エミッタは、典型的には数ナノ秒程度の単分散光パルスを生成するが、理想的には数ピコ秒で測定される可能な限り短い照明で、良好な結果が得られる。光パルスは、エミッタに面する対象物の表面を照らし、光はそれらの表面から同じ場所に構成されたセンサまで反射する。図2に示すように、エミッタに対して異なる相対奥行きを有する異なる表面からの光は、異なる時間でセンサに達し戻る。図2中では、エミッタによって発された光パルスは、上部のトレース上に示され、そして下部のトレースは、センサが対象物の異なる奥行きの表面からの光パルスからの反射光を検出するためにかかる時間を示している。このように、例えば、エミッタにより近い距離D1の表面からの光は、時間TD1で反射され、これ対して、エミッタからさらに離れた表面D2からの光は、時間TD2でセンサに反射して戻る。表面D3、D4、およびD5から反射された光についても同様であり、これらはその後それぞれ時間TD3、TD4、およびTD5でセンサにおいて受信される。したがって、反射光の時間トレースは、対象物の異なる奥行き表面を表す特性信号を提供し、そして対象物の特性である反射光のシグネチャ時間トレースとして機能することが可能である。図2に見られるように、センサの理論的に無限の帯域幅により、異なる奥行きの各表面からの別個のパルスをトレース内部で見分けることができる。しかしながら、実際には、センサは限られた帯域幅であり、入射光に応答してセンサによって生成される信号に対して著しい立ち上がり時間および立ち下がり時間につながり、結果として、シグネチャトレースは、むしろ図2に点線で示されるようになる。しかしながら、このシグネチャトレースは、依然として対象物の形状の特性であり、対象物の特徴付けおよび認識のために使用されることができる。複数の対象物の帯域幅が制限されたシグネチャトレースに対応するデータを記憶し、その後照明からの測定トレースを、記憶されたシグネチャトレースと比較することによって、対象物の特徴付けおよび識別を行うことができる。
ここで、本開示の一例のセンシシステムを、図3〜図6に関連して説明する。この点において、図3は、本開示の単画素対象物認識装置(SPOR)の一構成例を示すブロック図であり、本例では、顔認識(そしてひいては、本明細書では単画素顔認識装置(SPFR)と称される場合が多い)を実行することに関して説明されるが、他の対象物形状決定および認識が、説明されたシステムによって他の例の範囲内で行われることができることが理解されるべきである。また、本例では、単画素センサはカメラ等の2D画像センサと統合されているが、他の例では、単画素センサを単独で使用してもよいことが理解されるべきである。
図3に示すように、本例では、SPOR(SPFR)システムは3つの主なサブシステムによって形成される。
1.顔の照らされた部分の奥行き変化を測定する奥行きシネチャ処理装置1
2.顔の視像を関連付ける2Dカメラ2
3.ユーザを認証するための奥行きシグネチャおよびビジュアルキューを処理するアプリケーション処理装置3。
奥行きシグネチャ処理装置1の動作は以下の通りである。SPFR処理装置1.11は、レーザダイオード(LD)または垂直共振器面発光レーザ(VCSEL)1.2を、所望の領域をカバーするために可能な限り短いパルスおよび最適電力レベルで駆動する照明ドライバ1.1に、起動信号を送ることによって動作を開始する。また、良好な光信号の完全性を保証する必要がある。最も簡易な形態では、照明ドライバ1.1は、受動電流制限を有する窒化ガリウム電界効果トランジスタ(GaN−FET)であることができ、一方でより高度な実施形態は、高速で大電流のデジタル・アナログ変換器(DAC)であり、この場合、LDまたは垂直共振器面発光レーザ(VCSEL)のピーク活性化電流を選択することが可能である。高速なdi/dtに起因して、照明ドライバ1.1およびLD/VCSELは、寄生インダクタンスを最小限に抑えるために、理想的には一括パッケージされるかまたは直接ボンディングを使用する。
LD/VCSEL1.2によって生成された光パルスは、2つの経路に分割され、第1の経路b1は導波路1.13によって作成され、光検出器1.7によって検出された信号基準として使用され、トランスインピーダンス増幅器(TIA)1.8によって増幅される。第2の経路b2は、被写体の顔領域4.1をカバーするために十分な角度で光を放射する光拡散体1.3に向けられる。光拡散体1.3は、LD/VCSELに組み込むことができるか、または発光特性は、拡散体が必要とされないようなものである。
照明領域4.1から反射された光は、PD、APD等の光検出器1.5によってキャプチャされ、TIA1.6によって増幅され、基準および測定信号は1.9で多重化され、そして、SPFR処理装置1.11によって選択された信号は、高速アナログ・デジタル変換器(ADC)1.10(例えば、高速ADC)によってデジタル化される。
最終的に、デジタル化された信号は、専用のメモリ1.12に波形のサンプルを記憶するSPFR処理装置1.11によって処理される。信号の可変性に起因して、シグネチャ波形は複数回取得され得、最終処理の前にフィルタリングされ得る。最終処理は、対象物の公称距離を計算することと、基準および測定デジタル化信号を正規化することと、時間整合することと、逆畳み込みとを含む。その結果は特定の対象物に対する奥行きシグネチャである。
さらなるセキュリティのために、SPFR処理装置1.11はまた、アプリケーション処理装置3に送信される深度シグネチャデータを暗号化し得る。
2Dカメラ2の動作は以下の通りである。高解像度撮像センサ2.1は、キャプチャされた映像情報を、2Dイメージャ処理および制御2.4を介してアプリケーション処理装置3に送信する。ほとんどのケースでは、この素子は、コンピューティングシステム(スマートフォン、タブレット、ラップトップ等)ですでに利用可能なカメラモジュールの一部である。他のケースでは、これは、赤緑青(RGB)および/または赤外線(IR)に高感度であることができる専用のイメージャ、例えば相補型金属酸化物(CMOS)カメラであることができる。
2Dカメラ2は、認証プロセスを実行している間に正しい振れを検出するために、ドライバ2.5およびアクチュエータ2.2(例えば、ピエゾ、ボイスコイルモータ(VCM)アクチュエータの組み合わせ)によって形成された画像安定化を有することができる。また、2Dカメラシステムは、低光量状態で使用される白色および/またはIR照明器2.6およびドライバ2.7を有し得る。付加的なセキュリティのために、2.4は、アプリケーション処理装置3に送信された映像データを暗号化する。
アプリケーション処理装置3の動作は、以下の3つの機能を行うことである。
・顔認証プロセスおよび学習の制御
・奥行きシグネチャ処理装置1から奥行きシグネチャのサンプルを収集し、2Dカメラ2から2Dスナップショットを収集
・アルゴリズム(機械学習アルゴリズム等)を使用して対象物の識別または認証を実行
図4、5、および6は、上記を行うことを助けるためにアプリケーション処理装置3上で実行されるソフトウェアの動作のさらなる詳細を与える。
図4は、新たな被写体を学習するために、アプリケーション処理装置およびその内部の顔認識アルゴリズムによって引き受けられる処理を例証する。まず、4.2において、プログラムは、システムが展開されているスマートフォン等をディスプレイ画面上に表示させ、標的となる被写体の顔の取得を容易にするように機能する。そして、いったん被写体ユーザがカメラを見ると、4.4において、2D画像の形式の顔データが2Dカメラでキャプチャされる。次に、アプリケーション処理装置内のソフトウェアおよび顔認識アルゴリズムは、公知の画像認識技術を使用して、2D画像内の重要な特徴、例えば眉、鼻、口、瞳孔を識別する。例えば、目の瞳孔は、小さな黒円を探し出すように、画像を色閾値化することによって、画像から容易に判定されることができる。次に、4.8において、スマートフォンまたはシステムが組み込まれている他の装置のディスプレイがアップデートされ、検出特徴と、検出の奥行きシグネチャセンサ領域とマッチングする標的検出領域とを示す。そして、4.10において、ユーザにプロンプトが示され、すなわち、画面をまっすぐに見るか、ユーザの頭部を上げるかもしくは下げるか、または左から右に動かすかに関してユーザに知らせることによって、頭を必要とされる位置に位置付ける。いったんユーザが2Dセンサおよび奥行きシグネチャセンサを適切に見ると、4.12において、想定された頭部位置に対する2D画像データおよび奥行きデータが捕捉される。4.14において、データをキャプチャすることが必要とされるすべての所望の頭部位置が保証されたかに関する評価が行われ、そうでない場合、処理は4.10に戻り、ここでユーザは、わずかに異なる頭部位置を推定するよう促される。この動作4.10、4.12、および4.14のループは、ユーザのためのすべての所望の頭部位置がキャプチャされるまで繰り返される。
したがって、この時点では、アプリケーション処理装置は、2Dカメラおよび奥行きシグネチャ処理装置を介して、ユーザの顔に関する画像データに加えて、ユーザの顔に関する奥行きシグネチャデータの両方をキャプチャしており、両方のデータのセットが、頭部のわずかに異なる角度および位置に対応して複数セットキャプチャされている。そして、このデータは、データの主要パラメータを判定するためのパラメータ抽出プロセスに適用されることができ、それらのパラメータは、いったん4.18において検証さると、暗号化され、4.20において数学的テンプレートに記憶されることができる。有効なパラメータを抽出することができない場合、その後プロセスは失敗し、メッセージがユーザに示される。マッチング処理のためにアプリケーション処理装置によって使用するための、ユーザ奥行きシグネチャトレースを生成するためのキャプチャ時間トレースからのパラメータ抽出は、図14に関連してより詳細に後述する。
図4の学習処理が行われ、その後検出される特定のユーザに対応するデータがアプリケーション処理装置内に記憶されたと仮定して、図5は、図3のシステムを使用してユーザを識別または認証するための全体的なユーザ認証プロセスを示す。図5の第1の部分は、例えば図4のプロセスを使用して、実際に何らかの顔データがシステムによって学習されたかを判断することである。顔データまたは顔テンプレートがアプリケーション処理装置に記憶されていない場合、5.16において、代替認証モード、例えばピンコードを使用する必要があり、これはその後、5.18においてマッチングするかが判断される。しかしながら、アプリケーション処理装置が、ユーザに対する顔データ(例えば、2D画像および奥行き時間トレースの形式)を記憶している場合、5.4において、処理装置は、例えばスマートフォン等の装置を、その画面上に視覚的キューを表示して、標的被写体の顔の取得を容易にするように制御する。これらのプロンプトは、ユーザにデバイスに対して自分の顔を正しく位置付けさせるために、図4の学習プロセスの4.2において使用されたものと同じ視覚的合図であることができる。例えば、デバイスは、その画面上に、基準マークが重ねられたユーザの画像を示し得、それによって、ユーザはその後、自分の顔の特定の部分、例えば目、鼻、または耳がマークの上に重なるように、自分の頭をデバイスに対して位置付けする必要があるようにされる。しかしながら、他の例では、視覚的キューの表示は行われなくてもよく、代わりに、プロセスは、いずれにしても装置がキャプチャすることが可能である画像データに進む。
被写体の顔がキャプチャ装置に対して適切に向けられると、その後5.6において、顔画像データが2Dカメラを使用してキャプチャされる。そして、この画像データは、アプリケーション処理装置に供給され、その後従来のものであってもよい2D顔マッチングアルゴリズムを使用して、顔をマッチングすることを試みる。2D顔マッチングアルゴリズムが肯定的な結果を返すことができない場合、すなわち、ユーザの顔を認識することができない場合、処理はその後5.14に進み、ここで、ユーザが認識を実行しようと試みた回数に関して評価が行われる。最大再試行回数が得られた場合、その後5.16および5.18の代替認証メカニズムが使用され、これらがユーザを認証できない場合、認証プロセスは失敗する。逆に、代替認証方法、例えばPINコード等がユーザを認証することが可能である場合、認証プロセスは、ユーザが認証されたことを返す。
しかしながら、5.8に戻ると、2Dカメラによってキャプチャされた2D画像がユーザの顔とマッチングすると、次に、ユーザの顔の奥行きシグネチャもまたマッチングするかを判断する必要がある。したがって、5.10において、奥行きシグネチャ処理装置1を使用して顔奥行きシグネチャがキャプチャされ、そして結果として得られた時間ベースの波形がアプリケーション処理装置に供給され、記憶された奥行きシグネチャ(または、対応する数学的テンプレート)とマッチングする。アプリケーション処理装置が、キャプチャされた顔奥行きシネチャと、ユーザについて記憶された奥行きシグネチャとマッチングさせることが可能である(一定のマッチング閾値を超える)場合、ユーザはその後、2D画像キャプチャと奥行きシグネチャ処理装置との両方によって認証されており、ひいては本物であると認証されることができる。前述したように、カメラからの2D画像を使用した2D顔マッチングと、顔奥行きシグネチャマッチングとの両方を実行することの利点は、単にユーザの写真をカメラに表示することによって、2D画像顔マッチングプロセスをスプーフィングすることが可能とはならないため、より高いセキュリティが得られることである。代わりに、奥行きシグネチャ情報もまたマッチングし、ユーザの2D画像と同時にキャプチャされなければならないことに起因して、ユーザを認証するためには、三次元の顔を持つ実際のユーザが存在しなければならない。代替的に、ユーザに生き写しのマスクを使用してシステムを偽装しようと試みるかもしれないが、これは単なる写真よりも再現することが著しく困難であることが理解されよう。
図5の奥行きシグネチャ捕捉プロセス5.10を、図6により詳細に示す。特に、図6は、認識のためにアプリケーション処理装置に送信するための奥行きシグネチャ信号トレースの取得において奥行きシグネチャ処理装置1によって実行されるステップを示す。図6のステップは、奥行きシグネチャ処理装置の他の構成要素を適宜制御するSPFR処理装置1.11によって制御される。
図6を基準すると、まず6.2において取得メモリ1.12がクリアされ、そして次に奥行きシネチャ処理装置によって実行されなければならない最初のステップは、その駆動信号に対するレーザダイオードまたはVCSELの応答の基準測定値を得ることである。基準測定モードは6.4において選択され、照明ドライバ1.1からレーザダイオードまたはVCSEL1.2へ照明パルスを送ることと、高速ADC1.10を使用してサンプリングすることとを伴う。トランスインピーダンス増幅器1.8を介して、基準検出器1.7を使用してレーザダイオードまたはVCSELによって光がもたらされ、マルチプレクサ(MUX)1.9を介して高速ADCに供給される。すなわち、6.6において、照明パルスは、照明ドライバ1.1を介してレーザダイオード1.2に送られ、そして結果としてレーザダイオードから得られた光パルスが基準検出器1.7によって検出され、6.8において、TIA1.8およびMUX1.9を介して高速ADC1.10によってサンプリングされる。そして、6.10において、SPFR処理装置1.1は、ADCから受信した情報から有用なサンプルを抽出し、基準波形メモリを更新する。次に、必要数の基準波形が得られたかに関する評価が行われ、さらなる基準波形が必要な場合、すなわち基準波形の数RMAXが満たされなかった場合、処理はその後6.6に戻り、さらなる基準波形が取得される。このプロセスは、所望の数の基準波形RMAXが得られ、基準波形メモリに記憶されるまで繰り返される。
基準波形の必要性に関し、光パルスを送信するときに、ハードウェアの制限に起因して光信号の歪みが生じる可能性があり、そのような歪みが生じる場合、それを正規化することは有用であり得る。例えば、基準波形を図8に示す。ここで、基準波形82は、その駆動パルスに対するレーザダイオードまたはVCSELの応答が非線形であり、かつ大きなリンギングを呈することを示している。これは、レーザダイオード内部の駆動パルスおよび回路寄生に起因して、レーザダイオードまたはVCSEL内部の時間に関して電流di/dtが急速に変化するためである。その駆動パルスに対するレーザダイオードまたはVCSELの応答におけるリンギングは、パルス持続期間中のレーザダイオードまたはVCSELによる光出力の変化によって顕著になり、ひいては、このリンギングを基準信号としてレーザダイオードまたはVCSEL出力に記録し、それによって、その後これを使用して光検出器1.5によって収集された反射光信号を後に正規化することができるようにすることが必要である。この正規化が実行されなかった場合、システム非線形性によって引き起こされる光振幅およびパルス形状の差が、照明されている対象物、例えば被写体ユーザの顔の特徴によって引き起こされているとして誤解される可能性があるため、照明パルスからの反射光を使用して対象物を認識するかまたは特徴付けることはほぼ不可能である。
図6に戻ると、レーザダイオードまたはVCSEL応答の基準波形が収集されると、次に、被写体ユーザ4からの反射波形の収集を開始することが可能である。したがって、6.14において、SPFR処理装置によって信号測定モードが選択され、6.16において、照明ドライバ1.1からレーザダイオードまたはVCSEL1.2に照明パルスが送られ、ADCは、サンプリングを再度開始する。しかしながら、今回は、ADCは、トランスインピーダンス増幅器1.6およびMUX1.9を介して光検出器1.5から受信した信号をサンプリングしており、したがって、サンプリングされた信号は、照明光パルスに応答して被写体の顔からの反射光に応答した光検出器1.5の出力の時間トレースを表す。6.18において、SPFR処理装置は、TIA1.6、MUX1.9、およびADC1.10を介して、光検出器1.5から波形を収集し、そして有用なサンプルを抽出して、6.20において信号波形メモリ1.12を更新する。SPFR処理装置はまた、飛行時間情報を測定して、検出が成功するのに必要な最小距離を計算し、その後、取得された信号波形の数が所望の数SMAXに等しいかに関して評価を実行し、そうでなければ、奥行きシグネチャ処理装置回路を制御して、より多くのサンプルを取得するために上記のプロセスを繰り返す。しかしながら、いったん必要な数の信号波形が取得されると、SPFR処理装置1.11は、信号波形の収集を停止するように回路を制御し、その後、収集されてメモリ1.12に記憶された波形の分析に進む。このことは、6.24から行われる。
より具体的には、6.24において、SPFR処理装置は、記憶された波形から、波形が十分な特徴付けデータを包含するか、すなわち被写体が十分に接近していたかを計算する。この点に関して、ユーザまでの距離は、飛行時間を測定することによって計算され、飛行時間は、基準波形の立ち上がりエッジおよび受信パルスの立ち上がりエッジの間の時間差である。記憶された波形が、距離が範囲外であることを示すと判定された場合、6.28において、被写体ユーザに対して、装置にさらに近づかなければならないというメッセージが表示され、その後信号収集を繰り返すことができる。反対に、基準波形が、被写体が範囲内にあることを示す場合、6.30および6.32において、基準波形および受信信号波形が正規化され、その後6.34において時間整列される。6.36において、基準波形は信号波形から逆畳み込みされ、それは受信信号からレーザダイオードまたはVCSELのシステム非線形性(または、先に説明したリンギング応答等のアーティファクト)の寄与を除去する結果を有する。図12は、例示のシミュレートされた波形を例証し、図12の上部トレース1202は、異なる奥行きの差を段差として有するシミュレート面に対する例示的な矩形パルス応答を例証し、一方で下部トレース1204は、同じ日付を示すが、レーザダイオードまたはVCSELのアーティファクトの影響を取り除くために正規化されている。
次に、処理は6.38に進み、ここで逆畳み込みされたデータについて妥当性検査が行われ、データが有効であると見なされると、6.42において暗号化され、次に6.44においてユーザとのマッチングのためにアプリケーション処理装置に送られる。反対に、データが検証されることができない場合、6.40において、データが無効であるとアプリケーション処理装置に通知し、マッチング処理は行われない。
したがって、以上の処理により、奥行きシグネチャ処理装置は、光パルスが反射した被写体ユーザの顔の形状の時間トレース波形特性をキャプチャすることが可能である。レーザダイオード内部のアーティファクトを吸収するために、これらのパルスは、レーザダイオードからキャプチャされた基準波形に関して正規化され、それによって、波形の形状は、回路内部に導入されたエラーではなく、光パルスが反射した対象物の形状にほぼ完全に依存する。このようにして、時間ベースの波形トレースは、その後、被写体ユーザに対する認識信号としてアプリケーション処理装置によって使用されることができる。
概念を検証するために、既製の構成要素および計装に基づいて、試験設定が構築された。図7はこの設定のブロック図を示す。
図7に示すように、LDパルス生成は、1nsという短いパルスを作り出すデジタル信号発生器712によって提供される。この信号は、850nmまたは他の近赤外(NIR)周波数で動作するドライバおよびレーザダイオードを含むLDボード710に付与される。最大LDピーク電流は、抵抗器によって設定され、LDアノードに印加される電圧によって制御されることができ、我々の試験では、この電圧は8AのLDピーク電流(5Wまでの光ピーク電力)に対応する18Vに設定される。高速なdi/dtおよび避けることができない回路寄生に起因して、明らかな矩形パルスを生成することは不可能であり、そのためLD駆動信号は、図8に示され、上述されたように大きなリンギングを有する。
LDモジュール708/710を出る光は、レンズ706によって平行にされ、平行にされたビームは、704によって50/50に分割され、1つのビームは高速フォトダイオードDET08CL716に向けられて、高速デジタルオシロスコープ714のCH1で取得された基準信号として使用される。スプリッタ704からの他方のビームは、エミッタから約30cmに置かれた被写体ユーザの一部をカバーするように設定された20°拡散器705を通過する。そして、照明光は被写体者の顔を横切って反射する。
被写体から反射された光は、高速APD718によって検出され、および高速APD708からの増幅された信号は、高速デジタルオシロスコープ714のCH2上で取得される。スコープは、取得した信号を正規化し、時間整合し、逆畳み込みし、結果をデータベースに保存することに加えて、後処理のために生の波形データを保存することによってデータを処理するPCプログラムを通して、基準および測定波形を取得するラップトップコンピュータに接続されたGPIBである。正規化、時間整列および逆畳み込みは、図7に関して前述した通りである。そして、得られた波形トレースから被写体ユーザを認識する処理について以下に説明する。
図15は、反射時間トレースから被写体4を認識するかまたは特徴付けるためにアプリケーション処理装置3によって実行されるプロセスを高レベルで示す。15.2において、時系列データがSPFR処理装置1.11から受信され、その後15.4においてアプリケーション処理装置は、時系列データ(または対応するテンプレート)を、認証されようと試みている推定の被写体ユーザについて先に記憶された時系列シグネチャデータ(またはテンプレート)と比較するか、また代替的にはシグネチャトレースが記憶されているすべての被写体ユーザと比較するように機能する。記憶された時系列データとのマッチングがなされた場合、マッチングがなされたユーザは、15.6において認証された。カメラモジュール等の2D画像センサと併せて使用されるとき、15.8において、アプリケーション処理装置はまた、2D画像認識に取り掛かることができ、SPFRセンサデータおよび2D画像データの両方がマッチングする(システム管理者が設定した閾値を超える)場合、処理装置でユーザを認証することができる。ユーザが認証する場合、アプリケーション処理装置はその後、そのホスト装置に検証/識別信号を出力する。そして、ホスト装置によるこの検証または識別信号の受信は、装置に行動、例えばユーザによる装置の使用を許可するためにロック解除することを行わせ得る。
アプリケーション処理装置によって実行される必要がある時間トレースマッチングに関して、これは、上述したように、PD、APDまたはSPADによってキャプチャされた一次元時間トレース信号に対して実行される。これをよりよく理解するために、可変の奥行きを有する対象物から反映される信号応答の複雑さを理解するのを助けるように、数学的モデルが開発された。モデリングを簡単にするために、対象物表面をm×n個の要素に分割し、各要素の反射率および散乱プロファイルは同じであると仮定した(R=0.5、反射率)。また、各要素の異なる角度によって引き起こされる反射振幅の違いも同様に、各要素の異なる角度によって引き起こされる距離の違いが考慮された。そして、照明のシミュレーションもまた、理想的な光源からの可変パルス幅、および帯域幅またはテスト設定で測定された実際の光波形を考慮した。最終結果は、振幅および時間の観点から、すべての要素からの応答の統合である。理想化された(非帯域幅制限、ピコ秒パルス)結果の例が図9A〜11Bに示され、一方で帯域幅制限およびナノ秒パルスからの正規化結果が図12および13に示される。
まず図9A〜11Bの理想化されたシミュレーションを簡単に基準すると、実際の応答を表すものではないが、これらは本技術の理論上の識別能力を例証する。参考として、図9Aおよび図9Bに平面の理論的応答を例証する。左側のプロットから、無制限帯域幅検出器および理想化されたピコ秒の照明パルスによる平坦な応答は、予想されるように、単一の反射ピークを与えることが理解されよう。図10Aおよび図10Bは、5cmの段差のある理想化された表面を例証し、そこから5cmの奥行きの違いが、時間トレースにおいて0.3ns離れた2つの別個の出力パルスにつながることがわかる。図11Aおよび図11Bは、まさに0.5cmの段差のより小さな奥行きの差を示すが、やはり理想的なシミュレーションでは、2つのピークがトレースにおいて検出可能である。しかしながら、実際には、PDにおける帯域幅制限に起因して、図10Aおよび図10Bの5cmの段差は検出可能であり得るが、0.5cmのステップは、普通は、ピークを同化させる帯域幅の制限に起因して、PDの分解能を超えている。
しかしながら、上記は理想化されたシミュレーションに適用されるが、実際の使用においては、理想化されたピコ秒パルスのケースについて示されるように、各々の奥行きの差を検出する必要はない。代わりに、異なる奥行きを有する異なるスポットからの反射が同化して、1つの単一の波形を形成する。このことは図13に示され、ここでは、多面的な表面が、より現実的な5nsのパルスでシミュレートされた。理解されるように、多面的な表面から、異なる反射トレースが単一のトレースに効果的に融合し、そしてこれが対象物についての特性時間トレースとして使用されることができる。
そして、次の問題として、どのようにして時間トレースを特徴付けるかということが生じる。この点において、この問題は、異なる対象物の波形に対する差が小さいこと、そしてほぼ振幅に反映することであり、それ自体が実際のシステムに対して不安定である。再度、差が非常に小さいため、デジタイザに対する要求は非常に高い。しかしながら、3GHzのサンプリングレートは、十分なデータポイントを提供するはずであり、実際のシナリオでは、異なるスポットの反射率および散乱プロファイルは異なり、それはより大きな差を提供するはずである。図14は、サンプリングされ補間されたトレースを例証し、図13のトレースは(ns当たり3つのサンプルを与えるため)3GHzでサンプリングされていた。したがって、サンプル点の例は、1404、1406、1408、1410、1412、1414、および1416で示され、波形は、サンプル点間の線形補間によって、処理装置3におけるマッチングを目的として再作成される。当然ながら、他の例では、入力としてサンプル点を取り、マッチングのために波形を再作成するための異なる補間技術が使用されてもよい。
上記を所与とし、かつ図15に戻ると、15.6で述べたように、アプリケーション処理装置は、時間トレース(上記のように、一連のサンプルとして表される)を特定の登録ユーザのための記憶された時間トレースとマッチングする。どのようにしてこのマッチングが行われるかという観点から、概念証明システムは、ユーザ識別のための機械学習アルゴリズムを実装しており、特に2つの特定のタイプのマッチングアルゴリズムが使用されてきた。
1.ANNマッチングアルゴリズム−時系列データを、入力ニューロン、1つ以上の隠れ層、および出力層に直接マッピングし、データセットからの個々のGo/NoGo認証または識別を提供する
2.部分最小二乗判別分析(PLS−DA)アルゴリズム−回帰を実施する前に、PCAを使用して時系列データの次元を低減する。ANNの例と同様の出力を提供する。
32人のサンプルサイズでテストした場合、最初の結果は、システムが実際の人物に対して2D写真を容易に区別できること、そしてニューラルネットワークマッチングが、データセット内の個人に対し99%までの認識率を達成し、PLS−DAマッチングではやや低いことを示している。当然ながら、他の例では、被写体とする読者には周知であるように、異なるマッチングアルゴリズムがさらに使用されてもよい。
要約すると、本開示の例は、特に困難な状況(例えば、劣悪な照明、化粧品による修正等)において、付随する2Dシステムの認識率を最大100倍まで向上させるか、またはスタンドアロンシステムとして使用される可能性を有する単画素センサシステムを提供する。さらに、2−Dセンサとともに使用されると、単画素センサシステムの3D奥行き検知機能を追加することによって、(例えば、実際の人物の代わりにユーザ被写体の写真または映像フィードをしようすることによって)システム全体が単純ななりすましを起こしにくくなる。また、単画素センサシステムは、構造化光または飛行時間型スキャナ等の他の3D画像化システムよりもはるかに簡易かつよりコストがかからない。
さらなる例を提供するために、上記の例に様々な修正を加えることができる。さらなる一例では、一次元ラインまたは二次元アレイのいずれかに構成された複数の単要素センサを設けてもよい。複数のそのようなセンサを設けることの利点は、それらを使用して被写体を画像化することが可能になることではなく、同じ照明パルスから複数の測定値を並行して得ることができることである。このことは、動作に必要な較正および測定照明パルスの数を減らす。加えて、複数のセンサの各々の単画素センサは、光が照明ダイオードからユーザにわたり、その後アレイ内の異なるセンサへと戻るわずかに異なる光線経路に起因して、わずかに異なる被写体ユーザのFOVを有する。これは、アレイ内の各々の単画素センサが、各自のFOVから反射されて戻る光を表すわずかに異なる一次元時間トレースをキャプチャすることを意味する。このように、各々別個の照明フラッシュについて得られた同期時間トレースのセットは、被写体ユーザまたは対象物のさらなるシグネチャ特性を提供し、このセットを使用して、対象物の区別または識別を向上させることができる。
さらなる例において、照明ダイオードまたはVCSELは、その駆動信号に対して明確かつ予測可能な応答を有する(すなわち、リンギングまたは他の予測不可能なアーティファクトを呈さない)場合、基準チャネルコンポーネントまたは上記の例に記載されている基準正規化ステップを含む必要はない場合がある。可能であれば、そのような機能を除外することは、結果としてより簡易で、ひいてはコストがよりかからない実装をもたらす。
いくつかの例では、本装置は、本明細書に記載された方法のうちのいずれか1つを実施/実行するための手段を含み得る。
また、本明細書で概説した仕様、寸法、および関係のすべて(例えば、処理装置の数、論理演算等)は、例示および教示のみを目的として提供されていることにも留意しなければならない。そのような情報は、本開示の本質、または添付の特許請求の範囲(もしあれば)もしくは本明細書に記載された例から逸脱することなく大きく変更されてもよい。本明細書は、1つの非限定的な例にのみ適用され、ゆえにそれらはそのように解釈されるべきである。上記の説明において、特定の処理装置および/または構成要素の構成を基準して、例示の実施形態を説明してきた。添付の特許請求の範囲(もしあれば)の範囲から逸脱することなく、そのような実施形態に様々な修正および変更を加えてもよい。ゆえに、説明および図面は、限定的な意味ではなく、例証として見なされるものである。
本明細書で提供される多数の例を用いて、2つ、3つ、4つ以上の電気構成要素またはパーツに関して相互作用が説明され得ることに留意されたい。しかしながら、これは、明確さおよび例示のみを目的としてなされている。本システムは、任意の好適な方法で統合されることができることが理解されるべきである。同様の設計代替案に沿って、図面の例証された構成要素、モジュール、ブロック、および要素のうちのいずれかが、様々な可能な構成で組み合わせられ得、それらすべてが明らかに本明細書の広範な範囲内にある。一定のケースでは、限られた数の電気的要素を基準することのみによって、所与のフローのセットの機能性のうちの1つ以上をより容易に説明し得る。図およびその教示の電気回路は、容易に拡張可能であり、多数の構成要素に加えて、より複雑な/洗練された構成および構成を収容することができることが理解されるべきである。したがって、提供された例は、場合によっては無数の他のアーキテクチャに適用されるように、範囲を制限したり、電気回路の広範な教示を禁止したりするべきではない。
本明細書において、「1つの実施形態(one embodiment)」、「例示の実施形態(example embodiment)」、「一実施形態(an embodiment)」、「別の実施形態(another embodiment)」、「いくつかの実施形態(some embodiments)」、「様々な実施形態(various embodiments)」、「他の実施形態(other embodiments)」、「代替の実施形態(alternative embodiment)」等に含まれる様々な特徴(例えば要素、構造、モジュール、構成要素、ステップ、動作、特性等)に対する言及は、いずれかのそのような特徴が、本開示の1つ以上の実施形態に含まれるが、同じ実施形態において組み合わせられてもよく、または必ずしも組み合わせられなくてもよいことを意味することに留意されたい。また、本明細書に記載された機能は、図に例証されるシステム/回路によって、またはその内部で実行され得る可能性のある機能のうちのいくつかのみを示していることに留意することも重要である。これらの動作のうちのいくつかは、適宜削除されるかもしくは除去される場合があるか、またはこれらの動作は、本開示の範囲から逸脱することなく、大きく修正されるかもしくは変更される場合がある。加えて、これらの動作のタイミングは、大きく変更し得る。前述の動作フローは、例示および説明を目的として提供されている。本明細書に記載の実施形態によって、本開示の教示から逸脱することなく、任意の好適な構成、時系列、構成、およびタイミングメカニズムを提供し得るという点で、実質的な柔軟性が提供される。当業者においては、非常に多くの他の変更、置換、変形、改変、および修正を確認してもよく、本開示は、添付の特許請求の範囲(もしあれば)または本明細書に記載された実施例の範囲内に含まれるような、すべてのそのような変更、置換、変形、改変、および修正を包含することが意図される。また、上述した装置のすべての任意選択の特徴における詳細は、本明細書に記載された方法もしくはプロセスに関して実施されてもよく、または1つ以上の実施形態のいかなる部分においても使用され得ることに留意されたい。
さらなる例を提供するために、追加、削除、または置換のいずれかによる様々なさらなる変更が、上述の例になされてもよく、それらのいずれかおよびすべてが、添付の特許請求の範囲によって包含されることが意図される。
請求項は、本明細書においては、USPTOでの出願に適した単一の従属形式で提示されてきたが、多重従属請求を許す権限範囲を目的として、明らかに技術的に不可能な場合を除き、各請求項が同じタイプの任意の先行請求項に依存することができることが理解されるべきである。
1 深さシグネチャ処理装置
2 2Dカメラ
3 アプリケーション処理装置&顔認識アルゴリズム
4 対象

Claims (17)

  1. 対象物を検出するためのセンサであって、前記センサが、
    前記対象物の顔を照らすために光パルスを発するように構成された光源と、
    前記対象物の顔から反射された前記光パルスからの光を検出し、前記対象物の顔の特性を表す一次元時間ベースの反射信号を生成するように構成された光検出器と、
    前記一次元時間ベースの反射信号を表す信号を受信し、それに依存する前記対象物についての時間ベースの反射シグネチャを生成するように構成された処理装置と、
    前記時間ベースの反射シグネチャを受信し、前記時間ベースの反射シグネチャに依存して前記対象物を認識するように構成された認識処理装置と
    を備え、
    前記認識処理装置が、機械学習技術を利用して、前記時間ベースの反射シグネチャに基づいて前記対象物を認識する、センサ。
  2. 前記機械学習技術が、
    a)主成分分析、および/または
    b)1つ以上のニューラルネットワーク
    のうちの少なくとも1つを含む、請求項に記載のセンサ。
  3. 基準信号を提供するために、前記光パルスの少なくとも一部を前記光源から直接受信するように構成された基準チャネルコンポーネントをさらに備え、前記処理装置が、前記光パルスにおける不要な特性を考慮して、前記基準信号に依存して前記一次元時間ベースの反射信号を正規化するようにさらに構成される、請求項1に記載のセンサ。
  4. 前記対象物の前記顔の二次元画像をキャプチャし、それに依存して前記対象物の認識を行うように構成された二次元空間ベースの認識システムをさらに含み、前記認識処理装置が、前記二次元画像と前記一次元時間ベースの反射信号との両方を用いて、前記対象物の認識に依存して、前記対象物の成功した認識を示す出力信号を生成する、請求項に記載のセンサ。
  5. 前記対象物が人間被写体であり、前記対象物の前記顔が、前記人間被写体の顔である、請求項1に記載のセンサ。
  6. 前記認識処理装置が、前記時間ベースの反射シグネチャまたは対応するテンプレートと比較されて前記対象物を認識する、対象物特有の一次元時間ベースの信号トレースデータまたは対応する数学的テンプレートを記憶する、請求項に記載のセンサ。
  7. 前記対象物特有の一次元時間ベースの信号トレースデータが、訓練フェーズ中にキャプチャされたそれぞれの対象物特有の時間ベースの信号トレースのサンプルの各セットを含み、前記認識処理装置が、前記サンプルのセット間を補間して、マッチングするための前記対象物特有の時間ベースの信号トレースを再生する、請求項に記載のセンサ。
  8. 前記光源が、リンギング特性を有し、前記基準チャネルコンポーネントが、前記リンギングの前記特性を検出するように構成された基準光検出器を含み、前記処理装置が、前記リンギングの前記特性に応答して前記基準光検出器によって生成された信号を受信し、前記一次元時間ベースの反射信号を正規化して、前記リンギングによって生じたアーティファクトを取り除くようにさらに構成される、請求項に記載のセンサ。
  9. 単画素センサを動作させる方法であって、
    対象物を光のパルスで照らすことと、
    単画素センサにおいて前記対象物から反射された前記光のパルスからの光を検出し、前記光のパルスによって照らされた前記対象物の照らされた顔全体から反射された前記光を表す一次元反射時間トレースを得ることと、
    前記一次元反射時間トレースを、既知の対象物から得られた一次元反射時間トレースの記憶された表現と比較することと、
    その記憶された時間トレースが前記得られた一次元反射時間トレースと一致する前記対象物として、前記比較に依存して前記対象物を識別または認証することと、
    を含み、
    前記識別することが、機械学習技術を利用して、前記得られた一次元反射時間トレースに基づいて前記対象物を認識することを含む、方法。
  10. 前記機械学習技術が、
    a)主成分分析、および/または
    b)1つ以上のニューラルネットワーク
    のうちの少なくとも1つを含む、請求項に記載の方法。
  11. 基準信号を提供するために、前記光のパルスの少なくとも一部を光源から直接受信することと、前記光のパルスにおける不要な特性を考慮して、前記基準信号に依存して前記一次元反射時間トレースを正規化することとをさらに含む、請求項に記載の方法。
  12. 前記光のパルスがリンギング特性を有し、前記方法が、前記リンギングの前記特性を検出することと、前記一次元反射時間トレースを正規化して、前記リンギングによって生じたアーティファクトを取り除くこととをさらに含む、請求項11に記載の方法。
  13. 前記対象物の前記照らされた顔全体の二次元画像をキャプチャすることと、それに依存して前記対象物の認識を行うこととをさらに含み、前記対象物の成功した認識が、前記二次元画像と前記一次元反射時間トレースとの両方を用いて、前記対象物の認識に依存してなされる、請求項に記載の方法。
  14. 前記一次元反射時間トレースと比較されて前記対象物を認識する対象物特有の一次元時間ベースの信号トレースデータを記憶することをさらに含む、請求項に記載の方法。
  15. 前記対象物特有の一次元時間ベースの信号トレースデータが、訓練フェーズ中にキャプチャされたそれぞれの対象物特有の時間ベースの信号トレースのサンプルの各セットを含み、前記方法が、前記サンプルのセット間を補間して、マッチングするための前記対象物特有の時間ベースの信号トレースを再生することをさらに含む、請求項14に記載の方法。
  16. センサシステムであって、
    照明パルスから、被写体ユーザの顔から反射された光に対応する一次元反射トレースをキャプチャするように構成された単画素センサと、
    前記被写体ユーザの顔の二次元画像をキャプチャするように構成された二次元画像センサと、
    機械学習技術を利用して、前記キャプチャされた二次元画像および前記キャプチャされた一次元反射トレースに依存して前記被写体ユーザを検証するように構成され、前記センサシステムが前記検証に依存して動作する部分を形成する装置を制御する、1つ以上の処理装置と、を備える、センサシステム。
  17. 前記被写体ユーザの顔から反射された光に対応するそれぞれの一次元反射トレースをキャプチャするように構成された複数の単画素センサをさらに備え、前記1つ以上の処理装置が、前記それぞれの一次元反射トレースに依存して前記被写体ユーザを検証するようにさらに構成される、請求項16に記載のセンサシステム。
JP2019085570A 2018-05-03 2019-04-26 単画素センサ Active JP6864030B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/970,539 US10691926B2 (en) 2018-05-03 2018-05-03 Single-pixel sensor
US15/970,539 2018-05-03

Publications (2)

Publication Number Publication Date
JP2019194587A JP2019194587A (ja) 2019-11-07
JP6864030B2 true JP6864030B2 (ja) 2021-04-21

Family

ID=68384232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019085570A Active JP6864030B2 (ja) 2018-05-03 2019-04-26 単画素センサ

Country Status (4)

Country Link
US (1) US10691926B2 (ja)
JP (1) JP6864030B2 (ja)
KR (1) KR102635069B1 (ja)
CN (1) CN110443106B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10947103B2 (en) 2019-06-24 2021-03-16 Accenture Global Solutions Limited Beverage dispensing machine for achieving target pours for different beverages
US10726246B1 (en) 2019-06-24 2020-07-28 Accenture Global Solutions Limited Automated vending machine with customer and identification authentication
USD963407S1 (en) 2019-06-24 2022-09-13 Accenture Global Solutions Limited Beverage dispensing machine
EP3869395A1 (en) 2020-02-21 2021-08-25 Accenture Global Solutions Limited Identity and liveness verification
US20230153600A1 (en) * 2020-05-09 2023-05-18 The Regents Of The University Of California Machine vision using diffractive spectral encoding

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757018B1 (en) 1998-12-18 2004-06-29 Agilent Technologies, Inc. CMOS image sensor with pixel level gain control
JP2002160395A (ja) 2000-11-22 2002-06-04 Fuji Photo Film Co Ltd 画像記録方法および装置
KR20020075960A (ko) 2002-05-20 2002-10-09 주식회사 코난테크놀로지 신경회로망을 이용한 얼굴 영역 검출 방법
US6803998B2 (en) * 2002-08-20 2004-10-12 Applied Materials, Inc. Ultra low cost position and status monitoring using fiber optic delay lines
JP4874593B2 (ja) * 2005-07-25 2012-02-15 コニカミノルタオプト株式会社 映像表示装置およびヘッドマウントディスプレイ
US8295610B1 (en) 2010-01-06 2012-10-23 Apple Inc. Feature scaling for face detection
WO2011091358A1 (en) * 2010-01-22 2011-07-28 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for recording an image using an optical diffuser
JP2012060411A (ja) 2010-09-09 2012-03-22 Hamamatsu Metrix Kk マルチバンド1次元ラインセンサカメラ
KR101251836B1 (ko) * 2011-09-02 2013-04-09 현대자동차주식회사 적외선 센서를 이용한 운전자 상태감시 장치 및 그 방법
JP5950296B2 (ja) * 2012-01-27 2016-07-13 国立研究開発法人産業技術総合研究所 人物追跡属性推定装置、人物追跡属性推定方法、プログラム
US8884229B2 (en) 2012-02-22 2014-11-11 Excelitas Technologies Singapore Pte. Ltd. Passive infrared range finding proximity detector
JP2013183915A (ja) * 2012-03-08 2013-09-19 Canon Inc 被検体情報取得装置
US9549158B2 (en) 2012-04-18 2017-01-17 Brightway Vision Ltd. Controllable single pixel sensors
US8958005B1 (en) 2012-08-30 2015-02-17 Google Inc. Single pixel camera
WO2014054068A1 (ja) 2012-10-02 2014-04-10 Hayashi Mitsuo デジタル画像リサンプリング装置、方法、及びプログラム
JP5867355B2 (ja) * 2012-10-02 2016-02-24 株式会社デンソー 状態監視装置及び状態監視プログラム
KR101977711B1 (ko) * 2012-10-12 2019-05-13 삼성전자주식회사 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
KR101422549B1 (ko) 2012-11-13 2014-07-24 재단법인대구경북과학기술원 얼굴 인식 방법 및 그 시스템
US20150085136A1 (en) 2013-09-26 2015-03-26 Xerox Corporation Hybrid single-pixel camera switching mode for spatial and spot/area measurements
WO2015108587A2 (en) * 2013-10-22 2015-07-23 Flir Systems, Inc. System and method for detecting an object or recess on a surface
KR102249824B1 (ko) * 2014-02-24 2021-05-10 삼성전자주식회사 신체 정보 감지장치 및 이의 신체 정보 감지방법
KR101649891B1 (ko) * 2014-05-08 2016-08-23 한국원자력연구원 단일 센서기반 스테레오 방식 방사선 영상 장치 및 이를 이용한 고속 방사선 영상 획득 방법
KR101653228B1 (ko) 2014-05-15 2016-09-01 주식회사 뷰웍스 Tdi 라인 이미지 센서
US9554100B2 (en) 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
EP3158498A4 (en) * 2014-11-15 2017-08-16 Beijing Kuangshi Technology Co. Ltd. Face detection using machine learning
JP6700575B2 (ja) * 2015-09-25 2020-05-27 株式会社リコー 回路装置、光検出器、物体検出装置、センシング装置、移動体装置、光検出方法、及び物体検出方法
US10740658B2 (en) * 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
EP3301476B1 (en) * 2016-09-28 2023-03-15 STMicroelectronics (Research & Development) Limited Apparatus having a camera and a time of flight single photon avalanche diode based range detecting module for controlling the camera and corresponding method
DE102016014141A1 (de) * 2016-11-25 2017-05-18 Daimler Ag Sensoreinrichtung
US10810912B2 (en) * 2017-03-15 2020-10-20 Aether Inc. Face recognition triggered digital assistant and LED light ring for a smart mirror
US10621838B2 (en) * 2017-12-15 2020-04-14 Google Llc External video clip distribution with metadata from a smart-home environment
US10699126B2 (en) * 2018-01-09 2020-06-30 Qualcomm Incorporated Adaptive object detection and recognition

Also Published As

Publication number Publication date
US20190340418A1 (en) 2019-11-07
US10691926B2 (en) 2020-06-23
JP2019194587A (ja) 2019-11-07
CN110443106B (zh) 2023-11-17
KR20190127566A (ko) 2019-11-13
KR102635069B1 (ko) 2024-02-07
CN110443106A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
JP6864030B2 (ja) 単画素センサ
US9767358B2 (en) Systems and methods for performing iris identification and verification using mobile devices
Steiner et al. Design of an active multispectral SWIR camera system for skin detection and face verification
US9076048B2 (en) Biometric identification, authentication and verification using near-infrared structured illumination combined with 3D imaging of the human ear
US20150339471A1 (en) Device unlock with three dimensional (3d) captures
US20040037450A1 (en) Method, apparatus and system for using computer vision to identify facial characteristics
US20220333912A1 (en) Power and security adjustment for face identification with reflectivity detection by a ranging sensor
US20160019421A1 (en) Multispectral eye analysis for identity authentication
CN105874472A (zh) 具有虹膜颜色识别的多频带生物识别相机系统
US20160019420A1 (en) Multispectral eye analysis for identity authentication
US9008375B2 (en) Security improvements for iris recognition systems
KR20230149320A (ko) 모바일 장치를 사용하여 촬영된 이미지를 이용한 지문-기반 사용자 인증 수행 시스템 및 방법
US10521662B2 (en) Unguided passive biometric enrollment
US9336438B2 (en) Iris cameras
EP3673406B1 (en) Laser speckle analysis for biometric authentication
JP6984724B2 (ja) なりすまし検知装置、なりすまし検知方法、及びプログラム
CA2833740A1 (en) Method of generating a normalized digital image of an iris of an eye
KR102317180B1 (ko) 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
KR101919090B1 (ko) 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
WO2019163065A1 (ja) なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体
KR20220052828A (ko) 생체 인증 장치 및 생체 인증 방법
US10157312B2 (en) Iris recognition
Dronky et al. A review on iris liveness detection techniques
EP3564850A1 (en) Single-pixel sensor
US11741748B2 (en) Passive image depth sensing for object verification based on chromatic differentiation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210401

R150 Certificate of patent or registration of utility model

Ref document number: 6864030

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250