JP6449516B2 - 眼球血管および顔認識のための画像および特徴品質、画像強化および特徴抽出、ならびにバイオメトリックシステムのための眼球血管と顔領域および/またはサブ顔領域との融合 - Google Patents

眼球血管および顔認識のための画像および特徴品質、画像強化および特徴抽出、ならびにバイオメトリックシステムのための眼球血管と顔領域および/またはサブ顔領域との融合 Download PDF

Info

Publication number
JP6449516B2
JP6449516B2 JP2018188074A JP2018188074A JP6449516B2 JP 6449516 B2 JP6449516 B2 JP 6449516B2 JP 2018188074 A JP2018188074 A JP 2018188074A JP 2018188074 A JP2018188074 A JP 2018188074A JP 6449516 B2 JP6449516 B2 JP 6449516B2
Authority
JP
Japan
Prior art keywords
image
feature descriptor
interest
region
emr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018188074A
Other languages
English (en)
Other versions
JP2018206442A (ja
Inventor
ケー. サリパル サシ
ケー. サリパル サシ
ゴッテムクラ ヴィカス
ゴッテムクラ ヴィカス
アール. デラクシャニ レザ
アール. デラクシャニ レザ
Original Assignee
アイベリファイ インコーポレイテッド
アイベリファイ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイベリファイ インコーポレイテッド, アイベリファイ インコーポレイテッド filed Critical アイベリファイ インコーポレイテッド
Publication of JP2018206442A publication Critical patent/JP2018206442A/ja
Application granted granted Critical
Publication of JP6449516B2 publication Critical patent/JP6449516B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467Encoded features or binary features, e.g. local binary patterns [LBP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Description

(関連出願の相互参照)
本願は、2015年9月11日に出願され、“Image Enhancement,
Quality Metrics, Feature Extraction, Information Fusion, Pose Estimation and Compensation, and Template Updates for Biometric Systems”と題された米国仮特許出願第62/217,660号に対する優先権およびその利益を主張するものであり、該米国仮特許出願の全体は、参照により本明細書中に援用される。
本開示は、バイオメトリック認証に関し、より具体的には、マルチ領域(眼下から顔)または他の画像ベースのバイオメトリックシステムのための画像強化、品質メトリック、特徴抽出、および情報融合のためのシステムならびに方法に関する。
バイオメトリックシステムは、個人の識別を認証し、情報源へのアクセスの許可または拒否のいずれかを行うために使用されることができる。例えば、画像スキャナが、バイオメトリックセキュリティシステムによって使用され、例えば、個人の眼およびその周囲領域における、個人の顔内の一意の構造に基づいて、個人を識別することができる。登録プロセスの間、捕捉されたもの等の個人から捕捉されたバイオメトリックデータは、後に、個人の識別を照合するために使用される、テンプレートとして記憶されることができる。しかしながら、バイオメトリック走査技術は、登録および照合のために、眼球特徴の代わりに、またはそれに加え、眼球周囲特徴を使用する際、改良された技法から利益を享受するであろう。
眼球血管、眼球周囲、および顔領域に適用可能なバイオメトリック技法に関連するシステムならびに方法が、開示される。一側面では、コンピュータ実装方法は、ユーザの顔領域の画像を受信するステップであって、顔領域は、眼および眼を囲繞する面積を含むステップと、画像を処理し、顔領域の画像内の眼の少なくとも一部を含む、眼球画像領域を画定するステップと、それぞれ、顔領域の画像内の眼を囲繞する面積の少なくとも一部を含む、複数の眼球周囲画像領域を画定するステップであって、眼球周囲領域は、画定された眼球領域の寸法に基づいて画定される、ステップと、眼球画像領域および眼球周囲領域のうちの少なくとも1つに基づいて、1つまたはそれを上回るバイオメトリックマッチングスコアを計算するステップと、1つまたはそれを上回るバイオメトリックマッチングスコアに基づいて、顔領域の画像を真正または非真正として指定するステップとを含む。
一実装では、複数の眼球周囲画像領域は、少なくとも4つの眼球周囲画像領域を備える。少なくとも4つの眼球周囲画像領域は、眼球画像領域の下方に配置される眼球周囲画像領域、眼球画像領域の右に配置される眼球周囲画像領域、眼球画像領域の左に配置される眼球周囲画像領域、および眼球画像領域の上方に配置される眼球周囲画像領域を備えることができる。
複数の眼球周囲画像領域を画定するステップは、眼球画像領域の下方に配置される下側眼球周囲画像領域を画定するステップを含むことができ、下側眼球周囲画像領域は、眼球画像領域幅の幅と実質的に等しい幅および眼球画像領域の高さの10%〜300%の範囲内の高さを有する。複数の眼球周囲画像領域を画定するステップはまた、眼球画像領域の右に配置される右眼球周囲画像領域を画定するステップを含むことができ、右眼球周囲画像領域は、眼球画像領域の幅の10%〜80%の範囲内の幅および眼球画像領域の高さの120%〜550%の高さを有する。複数の眼球周囲画像領域を画定するステップはさらに、眼球画像領域の左に配置される左眼球周囲画像領域を画定するステップを含むことができ、左眼球周囲画像領域は、眼球画像領域の幅の10%〜50%の範囲内の幅および眼球画像領域の高さの120%〜550%の高さを有する。複数の眼球周囲画像領域を画定するステップはまた、眼球画像領域の上方に配置される上側眼球周囲画像領域を画定するステップを含むことができ、上側眼球周囲画像領域は、眼球画像領域幅の幅と実質的に等しい幅および眼球画像領域の高さの10%〜150%の範囲内の高さを有する。
別の実装では、1つまたはそれを上回るバイオメトリックマッチングスコアを計算するステップは、眼球画像領域および眼球登録テンプレートに基づいて、第1のバイオメトリックマッチングスコアを計算するステップと、第1のバイオメトリックマッチングスコアが第1のマッチング閾値に満たないことの判定に応答して、眼球画像領域、眼球周囲画像領域のうちの第1のもの、眼球登録テンプレート、および眼球周囲登録テンプレートに基づいて、第2のバイオメトリックマッチングスコアを計算するステップとを含む。1つまたはそれを上回るバイオメトリックマッチングスコアを計算するステップはさらに、第2のバイオメトリックマッチングスコアが第2のマッチング閾値に満たないことの判定に応答して、特定のさらなるバイオメトリックマッチングスコアのいずれかが対応するマッチング閾値を満たす、またはさらなる眼球周囲画像領域が含有のために利用不可能となるまで、さらなるバイオメトリックマッチングスコアを計算する際に、眼球周囲画像領域の付加的なものを反復的に含むことによって、1つまたはそれを上回るさらなるバイオメトリックマッチングスコアを計算するステップを含むことができる。複数の眼球周囲画像領域は、少なくとも、弁別力および/または品質に基づいて、ランク付けされることができ、付加的眼球周囲画像領域は、付加的眼球周囲画像領域の個別のランク付けに基づいて、反復的に含まれることができる。複数の眼球周囲画像領域のうちの1つまたはそれを上回るものは、眼球周囲画像領域から導出される1つまたはそれを上回る顔特徴に基づいて、サブ領域に分割されることができ、付加的眼球周囲画像領域は、付加的眼球周囲画像領域のクラスタ重要度または個別のランク付けに基づいて、反復的に含まれることができる。
さらなる実装では、1つまたはそれを上回るバイオメトリックマッチングスコアを計算するステップは、眼球画像領域および登録テンプレートに基づいて、第1のマッチング点の対のセットを識別するステップと、眼球周囲画像領域および登録テンプレートのうちの少なくとも1つに基づいて、第2のマッチング点の対のセットを識別するステップとを含む。1つまたはそれを上回るバイオメトリックマッチングスコアを計算するステップはさらに、第1および第2のマッチング点の対のセットの組み合わせを誤対応検出アルゴリズムに入力することによって、1つまたはそれを上回る正対応マッチング点を判定するステップと、眼球画像領域に対応する正対応マッチング点の数が最小眼球正対応カウントを満たすことを判定するステップと、少なくとも部分的に、正対応マッチング点に基づいて、特定のバイオメトリックマッチングスコアを計算するステップとを含むことができる。最小眼球正対応カウントは、3に等しくあることができる。
さらに別の実装では、1つまたはそれを上回るバイオメトリックマッチングスコアを計算するステップはさらに、第1のマッチング点の対のセットを誤対応検出アルゴリズムに入力することによって、1つまたはそれを上回る第1の正対応マッチング点を判定するステップと、第2のマッチング点の対のセットを誤対応検出アルゴリズムに入力することによって、1つまたはそれを上回る第2の正対応マッチング点を判定するステップと、第1および第2の正対応マッチング点の組み合わせを入力として使用して、少なくとも部分的に、誤対応検出アルゴリズムの出力に基づいて、特定のバイオメトリックマッチングスコアを計算するステップとを含む。1つまたはそれを上回るバイオメトリックマッチングを計算するステップはさらに、眼球画像領域に対応する誤対応検出アルゴリズムの出力から得られた正対応マッチング点の数が最小眼球正対応カウントを満たすことを判定するステップを含むことができる。最小眼球正対応カウントは、3に等しくあることができる。
別の側面では、コンピュータ実装方法は、ユーザの顔領域の画像を受信するステップであって、顔領域は、眼および眼を囲繞する面積を含むステップと、画像を処理し、(i)顔領域の画像内の眼の少なくとも一部を含む、眼球画像領域を画定し、(ii)それぞれ、顔領域の画像内の眼を囲繞する面積の少なくとも一部を含む、1つまたはそれを上回る眼球周囲画像領域を画定するステップと、眼球画像領域および1つまたはそれを上回る眼球周囲画像領域のうちの少なくとも1つ内の複数の着目点を識別するステップと、着目点毎に、複数のパターン化ヒストグラム特徴記述子の組み合わせに基づいて、特徴記述子を生成するステップと、生成された特徴記述子をバイオメトリックテンプレート内に記憶するステップとを含む。
一実装では、画像を処理するステップは、ローカル勾配ガボールパターン(LGGP)を使用して、画像の少なくとも一部を強化するステップを含む。LGGPを使用して、画像の少なくとも一部を強化するステップは、複数の角度のそれぞれにおいて、画像の少なくとも一部に関するガボール位相画像を計算するステップと、計算されたガボール位相画像を集約し、組み合わせられたガボール位相画像を形成するステップと、複数の角度のそれぞれにおいて、組み合わせられたガボール位相画像のローカル勾配を計算するステップと、各ローカル勾配の最大値を留保し、強化された画像を形成するステップとを含むことができる。
特定のパターン化ヒストグラム特徴記述子は、拡張型マルチ半径ローカルバイナリパターンのパターン化ヒストグラム(PH−EMR−LBP)、拡張型マルチ半径中心対称ローカルバイナリパターンのパターン化ヒストグラム(PH−EMR−CSLBP)、または拡張型マルチ半径ローカルターナリーパターンのパターン化ヒストグラム(PH−EMR−LTP)を備えることができる。特定の着目点に関する特徴記述子を生成するステップは、特定の着目点を備える画像領域を画定するステップと、画像領域内のピクセル毎に、複数のローカルバイナリパターン(LBP)コードを計算し、マルチ半径LBP(MR−LBP)画像を形成するステップと、MR−LBP画像を複数のサブ領域に分割するステップと、各サブ領域内の各MR−LBPビット場所の周波数を備える、複数のヒストグラムを導出するステップと、複数のヒストグラムを組み合わせ、PH−EMR−LBP特徴記述子を形成するステップとによって、PH−EMR−LBP特徴記述子を生成するステップを含むことができる。特定の着目点に関する特徴記述子を生成するステップは、特定の着目点を備える画像領域を画定するステップと、画像領域内のピクセル毎に、複数の中心対称ローカルバイナリパターン(CSLBP)コードを計算し、マルチ半径CSLBP(MR−CSLBP)画像を形成するステップと、MR−LBP画像を複数のサブ領域に分割するステップと、各サブ領域内の各MR−CSLBPビット場所の周波数を備える、複数のヒストグラムを導出するステップと、複数のヒストグラムを組み合わせ、PH−EMR−CSLBP特徴記述子を形成するステップとによって、PH−EMR−CSLBP特徴記述子を生成するステップを含むことができる。特定の着目点に関する特徴記述子を生成するステップは、特定の着目点を備える画像領域を画定するステップと、画像領域内のピクセル毎に、複数のローカルターナリーパターン(LTP)コードを計算し、マルチ半径LTP(MR−LTP)画像を形成するステップと、MR−LBP画像を複数のサブ領域に分割するステップと、各サブ領域内の各MR−LTPビット場所の周波数を備える、複数のヒストグラムを導出するステップと、複数のヒストグラムを組み合わせ、PH−EMR−LTP特徴記述子を形成するステップとによって、PH−EMR−LTP特徴記述子を生成するステップを含むことができる。
別の実装では、特定の着目点に関する特徴記述子を生成するステップは、特定の着目点に関するPH−EMR−LBP特徴記述子、PH−EMR−CS−LBP特徴記述子、およびPH−EMR−LTP特徴記述子を計算するステップと、PH−EMR−LBP特徴記述子、PH−EMR−CS−LBP特徴記述子、およびPH−EMR−LTP特徴記述子を組み合わせ、組み合わせられた特徴記述子を形成するステップとを含む。特定の着目点に関する特徴記述子を生成するステップはさらに、分散分析を組み合わせられた特徴記述子に適用し、組み合わせられた特徴記述子からの特徴のサブセットを備える、上位特徴記述子を形成するステップを含むことができる。特定の着目点に関する特徴記述子を生成するステップはさらに、上位特徴記述子に次元縮退を行い、特定の着目点に関する特徴記述子を形成するステップを含むことができる。
さらなる実装では、特定のパターン化ヒストグラム特徴記述子を生成するステップにおいて、ローカルバイナリパターンまたはローカルターナリーパターン特徴記述子は、角を伴うまたは伴わない正方形によって画定された近傍を使用して計算される。
別の側面では、コンピュータ実装方法は、ユーザの顔領域の画像を受信するステップであって、顔領域は、眼および眼を囲繞する面積を含むステップと、顔領域の画像内の眼の少なくとも一部を含む、眼球画像領域を画定するステップと、それぞれ、顔領域の画像内の眼を囲繞する面積の少なくとも一部を含む、1つまたはそれを上回る眼球周囲画像領域を画定するステップと、眼球画像領域および1つまたはそれを上回る眼球周囲画像領域のうちの少なくとも1つ内の複数の着目点を識別するステップと、着目点毎に、着目点を囲繞するテクスチャに関する領域値を計算するステップと、着目点および個別の計算された領域値に基づいて、顔領域の画像の少なくとも一部に関する少なくとも1つの品質メトリックを判定するステップとを含む。
一実装では、特定の着目点に関する領域値を計算するステップは、特定の着目点に関する正方形近傍内の少なくとも1つのローカルバイナリパターン(BP)を計算するステップと、特定の着目点からオフセットされた1つまたはそれを上回る点に関する少なくとも1つのBPを計算するステップとを含む。特定の着目点に関する領域値を計算するステップはさらに、領域値を特定の着目点および複数のオフセット点に関して計算された領域値の平均に設定するステップを含むことができる。特定の着目点に関する少なくとも1つのBPを計算するステップは、それぞれ、特定の着目点に関する異なる近傍を有する、複数のBPを計算するステップを含むことができ、オフセット点に関する少なくとも1つのBPを計算するステップは、それぞれ、オフセット点毎に異なる近傍を有する、複数のBPを計算するステップを含むことができる。特定の着目点またはオフセット点に関する複数のBPを計算するステップは、複数のBPを雑音バイナリパターン(NBP)に低減させるステップと、汎用バイナリパターン(genBP)をNBPから作成するステップとを含むことができる。特定の着目点またはオフセット点に関する複数のBPを計算するステップはさらに、加重されたパターンHをgenBPから作成するステップと、特定の着目点またはオフセット点に関する領域値を以下のように計算するステップであって、
Figure 0006449516
式中、Lは、genBP内の連続ゼロの最大長を含む、ステップとを含むことができる。オフセット点は、特定の着目点から異なる方向に均一にシフトされた複数のピクセル場所を備えることができる。
別の実装では、品質メトリックを判定するステップは、着目点の個別の領域値に基づいて、着目点の順序付けられたリストを作成するステップと、順序付けられたリスト内の連続着目点間の距離を計算するステップとを含む。品質メトリックを判定するステップはさらに、品質メトリックを以下のように計算するステップであって、
Figure 0006449516
式中、pは、着目点の数を含み、sは、着目点nに関して計算された領域値を含み、swは、着目点nに関する加重指数を含み、dwは、順序付けられたリスト内の点nに対応する距離に関する加重を含む、ステップを含むことができる。
さらなる実装では、顔領域の画像の少なくとも一部は、眼球領域または眼球周囲領域のうちの少なくとも1つを備える。本方法はさらに、眼球周囲画像領域毎に別個に計算された個別の品質メトリックに基づいて、眼球周囲画像領域をランク付けするステップを含むことができる。本方法はさらに、各眼球周囲画像領域の個別の弁別力のうちの少なくとも1つに基づいて、眼球周囲画像領域をランク付けするステップを含むことができる。本方法はさらに、少なくとも部分的に、個別の品質メトリックおよび/または眼球周囲画像領域の弁別力ランク付けに基づいて、眼球周囲画像領域をプログレッシブバイオメトリックマッチャ内で使用するステップを含むことができる。
さらに別の実装では、本方法はさらに、眼球または眼球周囲画像領域のうちの第1のものと眼球または眼球周囲画像領域のうちの第2のものとの間の計算された品質メトリックの差異が閾値を超えることを判定するステップと、計算された品質メトリックの判定された差異に基づいて、偽装の存在の尤度を示すステップとを含む。
前述の他の側面は、対応するシステムおよび非一過性コンピュータ可読媒体を含む。本明細書に説明される主題の1つまたはそれを上回る実装の詳細は、付随の図面および以下の説明に記載される。主題の他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。
本発明は、例えば、以下を提供する。
(項目1)
コンピュータ実装方法であって、
ユーザの顔領域の画像を受信することであって、前記顔領域は、眼および前記眼を囲繞する面積を含むことと、
前記画像を処理し、前記顔領域の画像内の前記眼の少なくとも一部を含む、眼球画像領域を画定することと、
それぞれが前記顔領域の画像内の前記眼を囲繞する面積の少なくとも一部を含む複数の眼球周囲画像領域を画定することであって、前記眼球周囲領域は、前記画定された眼球領域の寸法に基づいて画定される、ことと、
前記眼球画像領域および前記眼球周囲領域のうちの少なくとも1つに基づいて、1つまたはそれを上回るバイオメトリックマッチングスコアを計算することと、
前記1つまたはそれを上回るバイオメトリックマッチングスコアに基づいて、前記顔領域の画像を真正または非真正として指定することと、
を含む、方法。
(項目2)
前記複数の眼球周囲画像領域は、少なくとも4つの眼球周囲画像領域を備える、項目1に記載の方法。
(項目3)
前記少なくとも4つの眼球周囲画像領域は、前記眼球画像領域の下方に配置される眼球周囲画像領域、前記眼球画像領域の右に配置される眼球周囲画像領域、前記眼球画像領域の左に配置される眼球周囲画像領域、および前記眼球画像領域の上方に配置される眼球周囲画像領域を備える、項目2に記載の方法。
(項目4)
前記複数の眼球周囲画像領域を画定することは、前記眼球画像領域の下方に配置される下側眼球周囲画像領域を画定することを含み、前記下側眼球周囲画像領域は、眼球画像領域幅の幅と実質的に等しい幅および前記眼球画像領域の高さの10%〜300%の範囲内の高さを有する、項目1に記載の方法。
(項目5)
前記複数の眼球周囲画像領域を画定することは、前記眼球画像領域の右に配置される右眼球周囲画像領域を画定することを含み、前記右眼球周囲画像領域は、前記眼球画像領域の幅の10%〜80%の範囲内の幅および前記眼球画像領域の高さの120%〜550%の高さを有する、項目1に記載の方法。
(項目6)
前記複数の眼球周囲画像領域を画定することは、前記眼球画像領域の左に配置される左眼球周囲画像領域を画定することを含み、前記左眼球周囲画像領域は、前記眼球画像領域の幅の10%〜50%の範囲内の幅および前記眼球画像領域の高さの120%〜550%の高さを有する、項目1に記載の方法。
(項目7)
前記複数の眼球周囲画像領域を画定することは、前記眼球画像領域の上方に配置される上側眼球周囲画像領域を画定することを含み、前記上側眼球周囲画像領域は、眼球画像領域幅の幅と実質的に等しい幅および前記眼球画像領域の高さの10%〜150%の範囲内の高さを有する、項目1に記載の方法。
(項目8)
前記1つまたはそれを上回るバイオメトリックマッチングスコアを計算することは、
前記眼球画像領域および眼球登録テンプレートに基づいて、第1のバイオメトリックマッチングスコアを計算することと、
前記第1のバイオメトリックマッチングスコアが第1のマッチング閾値に満たないことの判定に応答して、前記眼球画像領域、前記眼球周囲画像領域のうちの第1のもの、前記眼球登録テンプレート、および眼球周囲登録テンプレートに基づいて、第2のバイオメトリックマッチングスコアを計算することと、
を含む、項目1に記載の方法。
(項目9)
前記1つまたはそれを上回るバイオメトリックマッチングスコアを計算することはさらに、前記第2のバイオメトリックマッチングスコアが第2のマッチング閾値に満たないことの判定に応答して、特定のさらなるバイオメトリックマッチングスコアのいずれかが対応するマッチング閾値を満たす、またはさらなる眼球周囲画像領域が含有のために利用不可能となるまで、前記さらなるバイオメトリックマッチングスコアを計算する際に、前記眼球周囲画像領域の付加的なものを反復的に含むことによって、1つまたはそれを上回るさらなるバイオメトリックマッチングスコアを計算することを含む、項目8に記載の方法。
(項目10)
前記複数の眼球周囲画像領域は、少なくとも、弁別力および/または品質に基づいて、ランク付けされ、前記付加的眼球周囲画像領域は、前記付加的眼球周囲画像領域の個別のランク付けに基づいて、反復的に含まれる、項目9に記載の方法。
(項目11)
前記眼球周囲画像領域から導出される1つまたはそれを上回る顔特徴に基づいて、前記複数の眼球周囲画像領域のうちの1つまたはそれを上回るものをサブ領域に分割することをさらに含み、前記付加的眼球周囲画像領域は、前記付加的眼球周囲画像領域のクラスタ重要度または個別のランク付けに基づいて、反復的に含まれる、項目9に記載の方法。
(項目12)
前記1つまたはそれを上回るバイオメトリックマッチングスコアを計算することは、
前記眼球画像領域および登録テンプレートに基づいて、第1のマッチング点の対のセットを識別することと、
前記眼球周囲画像領域および前記登録テンプレートのうちの少なくとも1つに基づいて、第2のマッチング点の対のセットを識別することと、
を含む、項目1に記載の方法。
(項目13)
前記1つまたはそれを上回るバイオメトリックマッチングスコアを計算することはさらに、
前記第1および第2のマッチング点の対のセットの組み合わせを誤対応検出アルゴリズムに入力することによって、1つまたはそれを上回る正対応マッチング点を判定することと、
前記眼球画像領域に対応する前記正対応マッチング点の数が最小眼球正対応カウントを満たすことを判定することと、
少なくとも部分的に、前記正対応マッチング点に基づいて、特定のバイオメトリックマッチングスコアを計算することと、
を含む、項目12に記載の方法。
(項目14)
前記最小眼球正対応カウントは、3に等しい、項目13に記載の方法。
(項目15)
前記1つまたはそれを上回るバイオメトリックマッチングスコアを計算することはさらに、
前記第1のマッチング点の対のセットを誤対応検出アルゴリズムに入力することによって、1つまたはそれを上回る第1の正対応マッチング点を判定することと、
前記第2のマッチング点の対のセットを誤対応検出アルゴリズムに入力することによって、1つまたはそれを上回る第2の正対応マッチング点を判定することと、
前記第1および第2の正対応マッチング点の組み合わせを入力として使用して、少なくとも部分的に、誤対応検出アルゴリズムの出力に基づいて、特定のバイオメトリックマッチングスコアを計算することと、
を含む、項目13に記載の方法。
(項目16)
前記1つまたはそれを上回るバイオメトリックマッチングスコアを計算することはさらに、前記眼球画像領域に対応する前記誤対応検出アルゴリズムの出力から得られた正対応マッチング点の数が最小眼球正対応カウントを満たすことを判定することを含む、項目13に記載の方法。
(項目17)
前記最小眼球正対応カウントは、3に等しい、項目16に記載の方法。
(項目18)
システムであって、
コンピュータ実行可能命令を記憶するための少なくとも1つのメモリと、
前記少なくとも1つのメモリ上に記憶される命令を実行するための少なくとも1つの処理ユニットであって、前記命令の実行は、前記少なくとも1つの処理ユニットを、
ユーザの顔領域の画像を受信することであって、前記顔領域は、眼および前記眼を囲繞する面積を含むことと、
前記画像を処理し、前記顔領域の画像内の前記眼の少なくとも一部を含む、眼球画像領域を画定することと、
それぞれが前記顔領域の画像内の前記眼を囲繞する面積の少なくとも一部を含む複数の眼球周囲画像領域を画定することであって、前記眼球周囲領域は、前記画定された眼球領域の寸法に基づいて画定される、ことと、
前記眼球画像領域および前記眼球周囲領域のうちの少なくとも1つに基づいて、1つまたはそれを上回るバイオメトリックマッチングスコアを計算することと、
前記1つまたはそれを上回るバイオメトリックマッチングスコアに基づいて、前記顔領域の画像を真正または非真正として指定することと、
を含む動作を行うようにプログラムする、少なくとも1つの処理ユニットと、
を備える、システム。
(項目19)
前記複数の眼球周囲画像領域は、少なくとも4つの眼球周囲画像領域を備える、項目18に記載のシステム。
(項目20)
前記少なくとも4つの眼球周囲画像領域は、前記眼球画像領域の下方に配置される眼球周囲画像領域、前記眼球画像領域の右に配置される眼球周囲画像領域、前記眼球画像領域の左に配置される眼球周囲画像領域、および前記眼球画像領域の上方に配置される眼球周囲画像領域を備える、項目19に記載のシステム。
(項目21)
前記複数の眼球周囲画像領域を画定することは、前記眼球画像領域の下方に配置される下側眼球周囲画像領域を画定することを含み、前記下側眼球周囲画像領域は、眼球画像領域幅の幅と実質的に等しい幅および前記眼球画像領域の高さの10%〜300%の範囲内の高さを有する、項目18に記載のシステム。
(項目22)
前記複数の眼球周囲画像領域を画定することは、前記眼球画像領域の右に配置される右眼球周囲画像領域を画定することを含み、前記右眼球周囲画像領域は、前記眼球画像領域の幅の10%〜80%の範囲内の幅および前記眼球画像領域の高さの120%〜550%の高さを有する、項目18に記載のシステム。
(項目23)
前記複数の眼球周囲画像領域を画定することは、前記眼球画像領域の左に配置される左眼球周囲画像領域を画定することを含み、前記左眼球周囲画像領域は、前記眼球画像領域の幅の10%〜50%の範囲内の幅および前記眼球画像領域の高さの120%〜550%の高さを有する、項目18に記載のシステム。
(項目24)
前記複数の眼球周囲画像領域を画定することは、前記眼球画像領域の上方に配置される上側眼球周囲画像領域を画定することを含み、前記上側眼球周囲画像領域は、眼球画像領域幅の幅と実質的に等しい幅および前記眼球画像領域の高さの10%〜150%の範囲内の高さを有する、項目18に記載のシステム。
(項目25)
前記1つまたはそれを上回るバイオメトリックマッチングスコアを計算することは、
前記眼球画像領域および眼球登録テンプレートに基づいて、第1のバイオメトリックマッチングスコアを計算することと、
前記第1のバイオメトリックマッチングスコアが第1のマッチング閾値に満たないことの判定に応答して、前記眼球画像領域、前記眼球周囲画像領域のうちの第1のもの、前記眼球登録テンプレート、および眼球周囲登録テンプレートに基づいて、第2のバイオメトリックマッチングスコアを計算することと、
を含む、項目18に記載のシステム。
(項目26)
前記1つまたはそれを上回るバイオメトリックマッチングスコアを計算することはさらに、前記第2のバイオメトリックマッチングスコアが第2のマッチング閾値に満たないことの判定に応答して、特定のさらなるバイオメトリックマッチングスコアのいずれかが対応するマッチング閾値を満たす、またはさらなる眼球周囲画像領域が含有のために利用不可能となるまで、前記さらなるバイオメトリックマッチングスコアを計算する際に、前記眼球周囲画像領域の付加的なものを反復的に含むことによって、1つまたはそれを上回るさらなるバイオメトリックマッチングスコアを計算することを含む、項目25に記載のシステム。
(項目27)
前記複数の眼球周囲画像領域は、少なくとも、弁別力および/または品質に基づいて、ランク付けされ、前記付加的眼球周囲画像領域は、前記付加的眼球周囲画像領域の個別のランク付けに基づいて、反復的に含まれる、項目26に記載のシステム。
(項目28)
前記動作はさらに、前記眼球周囲画像領域から導出される1つまたはそれを上回る顔特徴に基づいて、前記複数の眼球周囲画像領域のうちの1つまたはそれを上回るものをサブ領域に分割することを含み、前記付加的眼球周囲画像領域は、前記付加的眼球周囲画像領域のクラスタ重要度または個別のランク付けに基づいて、反復的に含まれる、項目26に記載のシステム。
(項目29)
前記1つまたはそれを上回るバイオメトリックマッチングスコアを計算することは、
前記眼球画像領域および登録テンプレートに基づいて、第1のマッチング点の対のセットを識別することと、
前記眼球周囲画像領域および前記登録テンプレートのうちの少なくとも1つに基づいて、第2のマッチング点の対のセットを識別することと、
を含む、項目18に記載のシステム。
(項目30)
前記1つまたはそれを上回るバイオメトリックマッチングスコアを計算することはさらに、
前記第1および第2のマッチング点の対のセットの組み合わせを誤対応検出アルゴリズムに入力することによって、1つまたはそれを上回る正対応マッチング点を判定することと、
前記眼球画像領域に対応する前記正対応マッチング点の数が最小眼球正対応カウントを満たすことを判定することと、
少なくとも部分的に、前記正対応マッチング点に基づいて、特定のバイオメトリックマッチングスコアを計算することと、
を含む、項目29に記載のシステム。
(項目31)
前記最小眼球正対応カウントは、3に等しい、項目30に記載のシステム。
(項目32)
前記1つまたはそれを上回るバイオメトリックマッチングスコアを計算することはさらに、
前記第1のマッチング点の対のセットを誤対応検出アルゴリズムに入力することによって、1つまたはそれを上回る第1の正対応マッチング点を判定することと、
前記第2のマッチング点の対のセットを誤対応検出アルゴリズムに入力することによって、1つまたはそれを上回る第2の正対応マッチング点を判定することと、
前記第1および第2の正対応マッチング点の組み合わせを入力として使用して、少なくとも部分的に、誤対応検出アルゴリズムの出力に基づいて、特定のバイオメトリックマッチングスコアを計算することと、
を含む、項目30に記載のシステム。
(項目33)
前記1つまたはそれを上回るバイオメトリックマッチングスコアを計算することはさらに、前記眼球画像領域に対応する前記誤対応検出アルゴリズムの出力から得られた正対応マッチング点の数が最小眼球正対応カウントを満たすことを判定することを含む、項目30に記載のシステム。
(項目34)
前記最小眼球正対応カウントは、3に等しい、項目33に記載のシステム。
(項目35)
コンピュータ実装方法であって、
ユーザの顔領域の画像を受信することであって、前記顔領域は、眼および前記眼を囲繞する面積を含むことと、
前記画像を処理し、(i)前記顔領域の画像内の前記眼の少なくとも一部を含む、眼球画像領域を画定し、(ii)それぞれが前記顔領域の画像内の前記眼を囲繞する面積の少なくとも一部を含む1つまたはそれを上回る眼球周囲画像領域を画定することと、
前記眼球画像領域および前記1つまたはそれを上回る眼球周囲画像領域のうちの少なくとも1つ内の複数の着目点を識別することと、
着目点毎に、複数のパターン化ヒストグラム特徴記述子の組み合わせに基づいて、特徴記述子を生成することと、
前記生成された特徴記述子をバイオメトリックテンプレート内に記憶することと、
を含む、方法。
(項目36)
前記画像を処理することは、ローカル勾配ガボールパターン(LGGP)を使用して、前記画像の少なくとも一部を強化することを含む、項目35に記載の方法。
(項目37)
LGGPを使用して、前記画像の少なくとも一部を強化することは、
複数の角度のそれぞれにおいて、前記画像の少なくとも一部に関するガボール位相画像を計算することと、
前記計算されたガボール位相画像を集約し、組み合わせられたガボール位相画像を形成することと、
複数の角度のそれぞれにおいて、前記組み合わせられたガボール位相画像のローカル勾配を計算することと、
各ローカル勾配の最大値を留保し、強化された画像を形成することと、
を含む、項目36に記載の方法。
(項目38)
特定のパターン化ヒストグラム特徴記述子は、拡張型マルチ半径ローカルバイナリパターンのパターン化ヒストグラム(PH−EMR−LBP)、拡張型マルチ半径中心対称ローカルバイナリパターンのパターン化ヒストグラム(PH−EMR−CSLBP)、または拡張型マルチ半径ローカルターナリーパターンのパターン化ヒストグラム(PH−EMR−LTP)を備える、項目35に記載の方法。
(項目39)
特定の着目点に関する前記特徴記述子を生成することは、
前記特定の着目点を備える画像領域を画定することと、
前記画像領域内のピクセル毎に、複数のローカルバイナリパターン(LBP)コードを計算し、マルチ半径LBP(MR−LBP)画像を形成することと、
前記MR−LBP画像を複数のサブ領域に分割することと、
各サブ領域内の各MR−LBPビット場所の周波数を備える、複数のヒストグラムを導出することと、
前記複数のヒストグラムを組み合わせ、前記PH−EMR−LBP特徴記述子を形成することと、
によって、PH−EMR−LBP特徴記述子を生成することを含む、項目38に記載の方法。
(項目40)
特定の着目点に関する前記特徴記述子を生成することは、
前記特定の着目点を備える画像領域を画定することと、
前記画像領域内のピクセル毎に、複数の中心対称ローカルバイナリパターン(CSLBP)コードを計算し、マルチ半径CSLBP(MR−CSLBP)画像を形成することと、
前記MR−LBP画像を複数のサブ領域に分割することと、
各サブ領域内の各MR−CSLBPビット場所の周波数を備える、複数のヒストグラムを導出することと、
前記複数のヒストグラムを組み合わせ、前記PH−EMR−CSLBP特徴記述子を形成することと、
によって、PH−EMR−CSLBP特徴記述子を生成することを含む、項目38に記載の方法。
(項目41)
特定の着目点に関する前記特徴記述子を生成することは、
前記特定の着目点を備える画像領域を画定することと、
前記画像領域内のピクセル毎に、複数のローカルターナリーパターン(LTP)コードを計算し、マルチ半径LTP(MR−LTP)画像を形成することと、
前記MR−LBP画像を複数のサブ領域に分割することと、
各サブ領域内の各MR−LTPビット場所の周波数を備える、複数のヒストグラムを導出することと、
前記複数のヒストグラムを組み合わせ、前記PH−EMR−LTP特徴記述子を形成することと、
によって、PH−EMR−LTP特徴記述子を生成することを含む、項目38に記載の方法。
(項目42)
特定の着目点に関する前記特徴記述子を生成することは、
前記特定の着目点に関するPH−EMR−LBP特徴記述子、PH−EMR−CS−LBP特徴記述子、およびPH−EMR−LTP特徴記述子を計算することと、
前記PH−EMR−LBP特徴記述子、PH−EMR−CS−LBP特徴記述子、およびPH−EMR−LTP特徴記述子を組み合わせ、組み合わせられた特徴記述子を形成することと、
を含む、項目38に記載の方法。
(項目43)
特定の着目点に関する前記特徴記述子を生成することはさらに、分散分析を前記組み合わせられた特徴記述子に適用し、前記組み合わせられた特徴記述子からの特徴のサブセットを備える、上位特徴記述子を形成することを含む、項目42に記載の方法。
(項目44)
特定の着目点に関する前記特徴記述子を生成することはさらに、前記上位特徴記述子に次元縮退を行い、前記特定の着目点に関する特徴記述子を形成することを含む、項目43に記載の方法。
(項目45)
特定のパターン化ヒストグラム特徴記述子を生成することにおいて、ローカルバイナリパターンまたはローカルターナリーパターン特徴記述子は、角を伴うまたは伴わない正方形によって画定された近傍を使用して計算される、項目35に記載の方法。
(項目46)
システムであって、
コンピュータ実行可能命令を記憶するための少なくとも1つのメモリと、
前記少なくとも1つのメモリ上に記憶される命令を実行するための少なくとも1つの処理ユニットであって、前記命令の実行は、前記少なくとも1つの処理ユニットを、
ユーザの顔領域の画像を受信することであって、前記顔領域は、眼および前記眼を囲繞する面積を含むことと、
前記画像を処理し、(i)前記顔領域の画像内の前記眼の少なくとも一部を含む、眼球画像領域を画定し、(ii)それぞれが前記顔領域の画像内の前記眼を囲繞する面積の少なくとも一部を含む1つまたはそれを上回る眼球周囲画像領域を画定することと、
前記眼球画像領域および前記1つまたはそれを上回る眼球周囲画像領域のうちの少なくとも1つ内の複数の着目点を識別することと、
着目点毎に、複数のパターン化ヒストグラム特徴記述子の組み合わせに基づいて、特徴記述子を生成することと、
前記生成された特徴記述子をバイオメトリックテンプレート内に記憶することと、
を含む動作を行うようにプログラムする、少なくとも1つの処理ユニットと、
を備える、システム。
(項目47)
前記画像を処理することは、ローカル勾配ガボールパターン(LGGP)を使用して、前記画像の少なくとも一部を強化することを含む、項目46に記載のシステム。
(項目48)
LGGPを使用して、前記画像の少なくとも一部を強化することは、
複数の角度のそれぞれにおいて、前記画像の少なくとも一部に関するガボール位相画像を計算することと、
前記計算されたガボール位相画像を集約し、組み合わせられたガボール位相画像を形成することと、
複数の角度のそれぞれにおいて、前記組み合わせられたガボール位相画像のローカル勾配を計算することと、
各ローカル勾配の最大値を留保し、強化された画像を形成することと、
を含む、項目47に記載のシステム。
(項目49)
特定のパターン化ヒストグラム特徴記述子は、拡張型マルチ半径ローカルバイナリパターンのパターン化ヒストグラム(PH−EMR−LBP)、拡張型マルチ半径中心対称ローカルバイナリパターンのパターン化ヒストグラム(PH−EMR−CSLBP)、または拡張型マルチ半径ローカルターナリーパターンのパターン化ヒストグラム(PH−EMR−LTP)を備える、項目46に記載のシステム。
(項目50)
特定の着目点に関する前記特徴記述子を生成することは、
前記特定の着目点を備える画像領域を画定することと、
前記画像領域内のピクセル毎に、複数のローカルバイナリパターン(LBP)コードを計算し、マルチ半径LBP(MR−LBP)画像を形成することと、
前記MR−LBP画像を複数のサブ領域に分割することと、
各サブ領域内の各MR−LBPビット場所の周波数を備える、複数のヒストグラムを導出することと、
前記複数のヒストグラムを組み合わせ、前記PH−EMR−LBP特徴記述子を形成することと、
によって、PH−EMR−LBP特徴記述子を生成することを含む、項目49に記載のシステム。
(項目51)
特定の着目点に関する前記特徴記述子を生成することは、
前記特定の着目点を備える画像領域を画定することと、
前記画像領域内のピクセル毎に、複数の中心対称ローカルバイナリパターン(CSLBP)コードを計算し、マルチ半径CSLBP(MR−CSLBP)画像を形成することと、
前記MR−LBP画像を複数のサブ領域に分割することと、
各サブ領域内の各MR−CSLBPビット場所の周波数を備える、複数のヒストグラムを導出することと、
前記複数のヒストグラムを組み合わせ、前記PH−EMR−CSLBP特徴記述子を形成することと、
によって、PH−EMR−CSLBP特徴記述子を生成することを含む、項目49に記載のシステム。
(項目52)
特定の着目点に関する前記特徴記述子を生成することは、
前記特定の着目点を備える画像領域を画定することと、
前記画像領域内のピクセル毎に、複数のローカルターナリーパターン(LTP)コードを計算し、マルチ半径LTP(MR−LTP)画像を形成することと、
前記MR−LBP画像を複数のサブ領域に分割することと、
各サブ領域内の各MR−LTPビット場所の周波数を備える、複数のヒストグラムを導出することと、
前記複数のヒストグラムを組み合わせ、前記PH−EMR−LTP特徴記述子を形成することと、
によって、PH−EMR−LTP特徴記述子を生成することを含む、項目49に記載のシステム。
(項目53)
特定の着目点に関する前記特徴記述子を生成することは、
前記特定の着目点に関するPH−EMR−LBP特徴記述子、PH−EMR−CS−LBP特徴記述子、およびPH−EMR−LTP特徴記述子を計算することと、
前記PH−EMR−LBP特徴記述子、PH−EMR−CS−LBP特徴記述子、およびPH−EMR−LTP特徴記述子を組み合わせ、組み合わせられた特徴記述子を形成することと、
を含む、項目49に記載のシステム。
(項目54)
特定の着目点に関する前記特徴記述子を生成することはさらに、分散分析を前記組み合わせられた特徴記述子に適用し、前記組み合わせられた特徴記述子からの特徴のサブセットを備える、上位特徴記述子を形成することを含む、項目53に記載のシステム。
(項目55)
特定の着目点に関する前記特徴記述子を生成することはさらに、前記上位特徴記述子に次元縮退を行い、前記特定の着目点に関する特徴記述子を形成することを含む、項目54に記載のシステム。
(項目56)
特定のパターン化ヒストグラム特徴記述子を生成することにおいて、ローカルバイナリパターンまたはローカルターナリーパターン特徴記述子は、角を伴うまたは伴わない正方形によって画定された近傍を使用して計算される、項目46に記載のシステム。
(項目57)
コンピュータ実装方法であって、
ユーザの顔領域の画像を受信することであって、前記顔領域は、眼および前記眼を囲繞する面積を含む、ことと、
前記顔領域の画像内の前記眼の少なくとも一部を含む、眼球画像領域を画定することと、
それぞれが前記顔領域の画像内の前記眼を囲繞する面積の少なくとも一部を含む1つまたはそれを上回る眼球周囲画像領域を画定することと、
前記眼球画像領域および前記1つまたはそれを上回る眼球周囲画像領域のうちの少なくとも1つ内の複数の着目点を識別することと、
着目点毎に、前記着目点を囲繞するテクスチャに関する領域値を計算することと、
前記着目点および前記個別の計算された領域値に基づいて、前記顔領域の画像の少なくとも一部に関する少なくとも1つの品質メトリックを判定することと、
を含む、コンピュータ実装方法。
(項目58)
特定の着目点に関する前記領域値を計算することは、
前記特定の着目点に関する正方形近傍内の少なくとも1つのローカルバイナリパターン(BP)を計算することと、
前記特定の着目点からオフセットされた1つまたはそれを上回る点に関する少なくとも1つのBPを計算することと、
を含む、項目57に記載の方法。
(項目59)
前記特定の着目点に関する前記領域値を計算することはさらに、前記領域値を前記特定の着目点および複数の前記オフセット点に関して計算された領域値の平均に設定することを含む、項目58に記載の方法。
(項目60)
前記特定の着目点に関する少なくとも1つのBPを計算することは、それぞれが前記特定の着目点に関する異なる近傍を有する複数のBPを計算することを含み、前記オフセット点に関する少なくとも1つのBPを計算することは、それぞれがオフセット点毎に異なる近傍を有する複数のBPを計算することを含む、項目58に記載の方法。
(項目61)
特定の着目点またはオフセット点に関する前記複数のBPを計算することは、
前記複数のBPを雑音バイナリパターン(NBP)に低減させることと、
汎用バイナリパターン(genBP)を前記NBPから作成することと、
を含む、項目60に記載の方法。
(項目62)
特定の着目点またはオフセット点に関する前記複数のBPを計算することはさらに、
加重されたパターンHを前記genBPから作成することと、
前記特定の着目点またはオフセット点に関する領域値を以下のように計算することであって、
Figure 0006449516
式中、Lは、前記genBP内の連続ゼロの最大長を含む、ことと、
を含む、項目61に記載の方法。
(項目63)
前記オフセット点は、前記特定の着目点から異なる方向に均一にシフトされた複数のピクセル場所を備える、項目58に記載の方法。
(項目64)
前記品質メトリックを判定することは、
前記着目点の個別の領域値に基づいて、前記着目点の順序付けられたリストを作成することと、
前記順序付けられたリスト内の連続着目点間の距離を計算することと、
を含む、項目57に記載の方法。
(項目65)
前記品質メトリックを判定することはさらに、前記品質メトリックを以下のように計算することであって、
Figure 0006449516
式中、pは、前記着目点の数を含み、sは、着目点nに関して計算された前記領域値を含み、swは、着目点nに関する加重指数を含み、dwは、前記順序付けられたリスト内の点nに対応する距離に関する加重を含む、こと
を含む、項目64に記載の方法。
(項目66)
前記顔領域の画像の少なくとも一部は、前記眼球領域、または、前記眼球周囲領域のうちの少なくとも1つを備える、項目57に記載の方法。
(項目67)
前記眼球周囲画像領域毎に別個に計算された個別の品質メトリックに基づいて、前記眼球周囲画像領域をランク付けすることをさらに含む、項目57に記載の方法。
(項目68)
各眼球周囲画像領域の個別の弁別力のうちの少なくとも1つに基づいて、前記眼球周囲画像領域をランク付けすることをさらに含む、項目67に記載の方法。
(項目69)
少なくとも部分的に、前記個別の品質メトリックおよび/または前記眼球周囲画像領域の弁別力ランク付けに基づいて、前記眼球周囲画像領域をプログレッシブバイオメトリックマッチャ内で使用することをさらに含む、項目68に記載の方法。
(項目70)
前記眼球画像領域または眼球周囲画像領域のうちの第1のものと前記眼球画像領域または眼球周囲画像領域のうちの第2のものとの間の計算された品質メトリックの差異が閾値を超えることを判定することと、
計算された品質メトリックの前記判定された差異に基づいて、偽装の存在の尤度を示すことと、
をさらに含む、項目57に記載の方法。
(項目71)
システムであって、
コンピュータ実行可能命令を記憶するための少なくとも1つのメモリと、
前記少なくとも1つのメモリ上に記憶される命令を実行するための少なくとも1つの処理ユニットであって、前記命令の実行は、前記少なくとも1つの処理ユニットを、
ユーザの顔領域の画像を受信することであって、前記顔領域は、眼および前記眼を囲繞する面積を含むことと、
前記顔領域の画像内の前記眼の少なくとも一部を含む、眼球画像領域を画定することと、
それぞれが前記顔領域の画像内の前記眼を囲繞する面積の少なくとも一部を含む1つまたはそれを上回る眼球周囲画像領域を画定することと、
前記眼球画像領域および前記1つまたはそれを上回る眼球周囲画像領域のうちの少なくとも1つ内の複数の着目点を識別することと、
着目点毎に、前記着目点を囲繞するテクスチャに関する領域値を計算することと、
前記着目点および前記個別の計算された領域値に基づいて、前記顔領域の画像の少なくとも一部に関する少なくとも1つの品質メトリックを判定することと、
を含む動作を行うようにプログラムする、少なくとも1つの処理ユニットと、
を備える、システム。
(項目72)
特定の着目点に関する前記領域値を計算することは、
前記特定の着目点に関する正方形近傍内の少なくとも1つのローカルバイナリパターン(BP)を計算することと、
前記特定の着目点からオフセットされた1つまたはそれを上回る点に関する少なくとも1つのBPを計算することと、
を含む、項目71に記載のシステム。
(項目73)
前記特定の着目点に関する領域値を計算することはさらに、前記領域値を前記特定の着目点および複数の前記オフセット点に関して計算された領域値の平均に設定することを含む、項目72に記載のシステム。
(項目74)
前記特定の着目点に関する少なくとも1つのBPを計算することは、それぞれが前記特定の着目点に関する異なる近傍を有する複数のBPを計算することを含み、前記オフセット点に関する少なくとも1つのBPを計算することは、それぞれがオフセット点毎に異なる近傍を有する複数のBPを計算することを含む、項目72に記載のシステム。
(項目75)
特定の着目点またはオフセット点に関する前記複数のBPを計算することは、
前記複数のBPを雑音バイナリパターン(NBP)に低減させることと、
汎用バイナリパターン(genBP)を前記NBPから作成することと、
を含む、項目74に記載のシステム。
(項目76)
特定の着目点またはオフセット点に関する前記複数のBPを計算することはさらに、
加重されたパターンHを前記genBPから作成することと、
前記特定の着目点またはオフセット点に関する領域値を以下のように計算することであって、
Figure 0006449516
式中、Lは、前記genBP内の連続ゼロの最大長を含む、ことと、
を含む、項目75に記載のシステム。
(項目77)
前記オフセット点は、前記特定の着目点から異なる方向に均一にシフトされた複数のピクセル場所を備える、項目72に記載のシステム。
(項目78)
前記品質メトリックを判定することは、
前記着目点の個別の領域値に基づいて、前記着目点の順序付けられたリストを作成することと、
前記順序付けられたリスト内の連続着目点間の距離を計算することと、
を含む、項目71に記載のシステム。
(項目79)
前記品質メトリックを判定することはさらに、前記品質メトリックを以下のように計算することであって、
Figure 0006449516
式中、pは、前記着目点の数を含み、sは、着目点nに関して計算された前記領域値を含み、swは、着目点nに関する加重指数を含み、dwは、前記順序付けられたリスト内の点nに対応する距離に関する加重を含む、こと
を含む、項目78に記載のシステム。
(項目80)
前記顔領域の画像の少なくとも一部は、前記眼球領域または前記眼球周囲領域のうちの少なくとも1つを備える、項目71に記載のシステム。
(項目81)
前記動作はさらに、前記眼球周囲画像領域毎に別個に計算された個別の品質メトリックに基づいて、前記眼球周囲画像領域をランク付けすることを含む、項目71に記載のシステム。
(項目82)
前記動作はさらに、各眼球周囲画像領域の個別の弁別力のうちの少なくとも1つに基づいて、前記眼球周囲画像領域をランク付けすることを含む、項目81に記載のシステム。
(項目83)
前記動作はさらに、少なくとも部分的に、前記個別の品質メトリックおよび/または前記眼球周囲画像領域の弁別力ランク付けに基づいて、前記眼球周囲画像領域をプログレッシブバイオメトリックマッチャ内で使用することを含む、項目82に記載のシステム。
(項目84)
前記動作はさらに、
前記眼球または眼球周囲画像領域のうちの第1のものと前記眼球または眼球周囲画像領域のうちの第2のものとの間の計算された品質メトリックの差異が閾値を超えることを判定することと、
計算された品質メトリックの前記判定された差異に基づいて、偽装の存在の尤度を示すことと、
を含む、項目71に記載のシステム。
図面中、同様の参照文字は、概して、異なる図全体を通して同一部分を指す。また、図面は、必ずしも、正確な縮尺ではなく、代わりに、概して実装の原理の例証に応じて、強調が置かれる。以下の説明では、種々の実装は、以下の図面を参照して説明される。
図1は、ある実装による、眼球および眼球周囲登録テンプレートを作成するための例示的方法を描写する。
図2Aおよび2Bは、ある実装による、眼球および眼球周囲領域ならびに対応する顔画像を画定するための例示的方法を描写する。
図3は、ある実装による、例示的修正されたローカルバイナリパターン(genBP)プロセスを描写する。
図4は、ある実装による、登録および照合位相を伴う、バイオメトリックプログレッシブマッチングのための例示的技法を描写する。 図4は、ある実装による、登録および照合位相を伴う、バイオメトリックプログレッシブマッチングのための例示的技法を描写する。
図5は、ある実装による、バイオメトリック走査および分析を行うための例示的システムを描写する。
白眼は、容易に可視および走査可能であるだけではなく、また、各個人に一意である、複雑なパターン(主に、血管構造に起因する)を含む。ある場合には、他の非血管形成もまた、可視であり得、バイオメトリックマッチングアルゴリズムによって考慮されることができる。したがって、主に、結膜および上強膜の血管系に起因する、白眼上に見られるこれらの可視構造は、走査され、有利には、バイオメトリックとして使用されることができる。本バイオメトリックは、特定の個人を認証する、または未知の個人をより大きい候補セットから識別するために使用されることができる。白眼内の血管を撮像およびパターンマッチングするため、ならびに血管点検出、特徴抽出、およびマッチングのためのソリューションの実装が、例えば、2013年2月5日に発行され、「Texture Features for Biometric Authentication」と題された米国特許第8,369,595号と、2016年7月12日に発行され、「Feature Extraction and Matching for Biometric
Authentication」と題された米国特許第9,390,327号(その全体が、参照することによって本明細書に組み込まれる)に説明されている。ロバスト性をこれらおよび他のバイオメトリック照合技法に追加するために、例えば、付加的情報がより正確な分析を形成するために必要とされる場合、眼球周囲または部分的もしくはさらには完全な顔または他の可視識別可能パターン等の白眼の外側の可視非眼球血管構造を眼球血管バイオメトリックマッチングスキームにプログレッシブに含めるための方法が、本明細書に説明される。
眼球特徴は、主に、白眼上に見られる血管パターンに起因する、角膜輪部の外部に見られ、眼瞼によって境界される、パターンから生じるものである。故に、そのような特徴は、本明細書では、眼球または眼球血管と同義的に称される。白眼は、いくつかの層を有する。強膜は、コラーゲンおよび弾性繊維を含有する、眼の不透明な線維質の保護的な層である。強膜は、特に、それを通貫し、かつそれにわたる、多数の血管および静脈を有する、上強膜によって被覆される。上強膜は、眼瞼が開かれると、眼瞼または環境と界面接触する、薄い透明な膜である、眼球結膜によって被覆され、これもまた、一意かつ豊富な血管構造を含有する。血管は、白眼のこれらの層の全てを通貫し、眼の画像内において検出されることができる。眼はまた、睫毛および時として眼瞼下垂を含み、時として、画像内の白眼の部分を曖昧にし得る。
眼球周囲は、眼を囲繞する顔の直近領域(眼瞼縁の外部にあり、いくつかの事例では、それに当接する)を指し、これは、テクスチャ化され、バイオメトリック用途のために使用されることができる。眼球周囲領域は、連続的であり得るが、必ずしもそうではなく、形状およびサイズに関して種々の形態をとり得る、1つまたはそれを上回る領域を含むことができる。眼球周囲領域は、明確に画定された境界を有していないが、着目領域を標準化することは、位置合わせ問題を最小限にし、バイオメトリックシステムの正確度をさらに改良することができる。そのような標準化は、眼角間の距離、虹彩の半径、眼球間距離、および/または導出される眼クロップの幅ならびに高さ等のユーザの顔からある測定可能値を使用して達成されることができる(眼検出アルゴリズムを使用しながら)。ユーザ認証の際、ユーザの眼および眼球周囲領域の1つまたはそれを上回るデジタル画像が、捕捉され、1つまたはそれを上回る照合テンプレートが、捕捉された画像または複数の画像から生成され、ユーザの識別は、登録および照合テンプレート内に表されるような対応する眼球および眼球周囲構造をマッチングさせることによって照合されることができる。
他の実装では、眼球周囲領域を越えて延在する顔の付加的領域が、眼を直接囲繞する領域に加え、またはその代わりに、使用されることができる。例えば、肉づきのよい顔貌が観察されるとき、鼻の上および/または周囲もしくは顔の上/周囲の1つまたはそれを上回る領域は、延在された眼球周囲領域と見なされ得る。一実装では、顔特徴は、眼ベースのバイオメトリックマッチャのための眼球特徴を補完することができる。別の実装では、眼ベースのバイオメトリックマッチャによって使用される眼球特徴は、眼球周囲および延在される顔特徴の両方によって補完される。別の実装では、顔全体が、眼を直接囲繞する領域に加え、またはその代わりに、使用されることができる。顔は、眼ベースのバイオメトリックマッチャのための眼球特徴を補完することができる。眼球周囲および顔領域は両方とも、眼ベースのバイオメトリックマッチャによって使用される眼球特徴を補完することができる。
種々の他の実装では、眼球周囲領域の肌質等の他の情報もまた、測定され、ソフトバイオメトリックとして使用されることができる。肌質は、正規化された赤色、緑色、および青色(RGB)チャネル等の画像の異なる色帯の強度値のヒストグラムを使用して推定されることができる。照合の際、登録テンプレートのヒストグラム情報は、登録および照合画像のヒストグラム間の距離が閾値より高いとき、照合プロセスを停止するために使用されることができる。
一実装では、肌質は、最も顕著な色を識別する、クラスタ化技法によって推定されることができる。一実施例として、眼球周囲領域のRGBピクセルが、Lab色空間に変換され、N数のクラスにクラスタ化される。最適Nは、AIC(赤池情報基準)またはBIC(ベイズ情報基準)によって判定されることができる。次に、これらのクラスタは、その発生に基づいて、昇順にソートされ、上位3つのクラスタが、事前に定義された肌質でグループ化される。最も近い肌質が、距離測定および/または相関測定を用いて判定されることができる。一実装では、距離測定は、ユークリッド距離であるが、他の距離測定も、検討される。次に、照合手技は、登録および照合画像間の距離および/または相関が閾値より高い場合、停止されることができる。同一プロセスは、虹彩等の画像の他の着色部分にも適用されることができる。
図1は、眼球および眼球周囲登録テンプレートを作成するための例示的方法を描写する。ステップ102では、ユーザの顔領域の1つまたはそれを上回る画像が、ユーザによるアクセスが認証されるべきデバイス(例えば、スマートフォン、スマートウォッチ、スマートグラス、ノートブック型コンピュータ、タブレットコンピュータ等)と関連付けられ得る、画像センサ、例えば、カメラを使用して捕捉される。例証として、カメラは、デジタルカメラ、3次元(3D)カメラ、明視野センサ、および/または近赤外線センサ、もしくは他のモノクロおよび/またはマルチスペクトル撮像センサであり得る。画像は、いくつかの事例では、1つまたはそれを上回る眼球領域(ユーザの眼面積を画定する領域)および/または1つまたはそれを上回る眼球周囲領域ならびに他の顔領域を含むことができる。画像は、静止モードまたは動画モードもしくはその組み合わせのいずれかにおいて捕捉されることができる。画像は、種々の波長で捕捉されることができる。いくつかの実装では、ユーザは、デバイスをより近づける/より離すように移動させ、眼および/または顔を見出すための最適距離をトリガするように促される(視覚、または可聴、または触覚フィードバックによって)。
ステップ104では、初期着目領域(ROI)が、識別され、例えば、一方または両方の眼が、特定されてもよい。ヴィオラジョーンズアルゴリズムまたは種々の異なる前方視眼画像上で訓練される類似学習アルゴリズムが、本目的のために使用されることができる。別の実装では、種々の異なる視線の眼の画像上で訓練されたヴィオラジョーンズアルゴリズムが、使用されることができる。その後、ハールフィルタを使用するもの等の注視追跡アルゴリズムが、いったん選択された注視方向が検出されると、注視の量を量子化し、1つまたはそれを上回る画像を取得するために使用されることができる。
いったん初期ROIが、捕捉された画像に示される顔上で特定されると、付加的算出が、画像上で最終ROIを得るために行われることができる。典型的には、最終ROIは、1つまたはそれを上回る眼のRGBおよび/または近赤外線画像を得るために、クロッピングされる。故に、本明細書で使用されるように、「画像」または「捕捉された画像」はまた、最終ROIのクロッピングされた画像も指し得る。
図1を参照すると、眼球および眼球周囲段階では、登録画像または照合画像であり得る、1つまたはそれを上回る平均され、または別様に強化された、または自然捕捉された画像が、画像強化サブ段階106および画質サブ段階108において前処理されることができ、前処理された画像からの特徴は、特徴抽出サブ段階110において抽出され、1つまたはそれを上回る眼球および眼球周囲テンプレートを生成する。前処理サブ段階106および108は、以下にさらに説明される、画像強化および画質技法を含むことができる。特徴抽出サブ段階110は、以下に詳細に説明される、着目点検出およびローカル記述子抽出を含むことができる。眼球および眼球周囲段階におけるサブ段階106、108、および110の間に行われる動作は、同一ではない必要がある。むしろ、眼球および眼球周囲領域の特定の特徴を考慮する、異なる動作が、それらの個別の段階において使用され得る。登録眼球および/または眼球周囲テンプレートは、記憶に先立って、ステップ112において、暗号化または別様に保護されることができる。
眼球周囲境界
ここで図2Aおよび2Bを参照すると、眼球周囲領域が、種々の方法を使用して抽出されることができる。ユーザの顔の画像が取得されるとすぐに(ステップ200)、1つまたはそれを上回る眼領域が、検出される(ステップ202)。ステップ202において識別された眼クロップのサイズに基づいて、眼領域サイズが、再計算されることができる(ステップ204)。眼球段階に先行して、一実装では、積分微分アルゴリズム、ハフ円、またはヘッシアンブロブ検出器が、使用され、虹彩境界を検出することができる(ステップ208における虹彩領域のセグメント化)。同様に、ガボールフィルタ処理ベースのアルゴリズムが、上側および下側眼瞼を検出するために使用されることができ、さらに、白眼が、虹彩領域を除去後、分離されることができる(ステップ206における強膜領域のセグメント化)。眼球周囲領域は、白眼および虹彩領域の両方を捕捉された画像から減算した後に導出されることができる(ステップ210)。いくつかの実装では、色ベースの方法が、前述の領域をセグメント化するために使用される。
一実装では、図2Aおよび2Bにおける眼球周囲領域段階212によって示されるように、サイズ幅W×高さH(WおよびHは、それぞれ、水平および垂直方向におけるピクセルの数)の最終眼球ROIの周囲の眼球周囲領域は、以下に説明されるように、画定されることができる。眼球ROIは、必ずしも、長方形形状ではない。むしろ、ROIは、図2Bに示されるように、眼の形状に類似する形態をとることができ、WおよびHは、それぞれ、眼球ROIを包含する境界ボックスの幅および高さとして画定されることができる。種々の数の領域が存在することができる。しかしながら、以下に説明される実装は、本質的に領域がバイオメトリックマッチング動作において有用な程度を指す、弁別力によってランク付けされる、4つの眼球周囲領域(1〜4)を含む。より具体的には、眼球周囲領域1は、顔領域を表し、これは、領域2より明確である、すなわち、弁別性がある特性であって、領域2は、領域3と比較してより優れた弁別力を有する等と続く。種々の眼球周囲領域サイズが、検討される(ここでは、幅W×高さHの境界ボックスによって画定される)。本明細書に開示される眼球周囲領域の範囲および値は、どの眼球周囲領域がバイオメトリックマッチング動作を行う目的のために十分な弁別力を有するかの大規模試験に基づいて、実験的に判定された。以下で使用されるように、用語「実質的に等しい」とは、特定の値と等しい、または値の+/−10%以内であることを意味する。
一実装では、4つの眼球周囲領域が、以下のように画定され、WおよびHは、それぞれ、眼球領域の幅および高さを指す。
・領域1:
幅は、Wと実質的に等しい。
高さは、眼球領域の眼クロップの下方の0.1H〜3Hの範囲内である(それらの値も含む)。一実装では、高さは、0.3Hと実質的に等しい。
・領域2:
幅は、0.1W〜0.8Wの範囲内である(それらの値も含む)。一実装では、幅は、0.2Wと実質的に等しい。
高さは、1.2H(眼球領域の眼クロップの0.1H上方および眼クロップの0.1H下方)〜5.5H(眼クロップの1.5H上方および眼クロップの3H下方)の範囲内である(それらの値も含む)。一実装では、高さは、1.45H(眼クロップの0.15H上方および眼クロップの0.3H下方)と実質的に等しい。
・領域3:
幅は、0.1W〜0.5Wの範囲内である(それらの値も含む)。一実装では、幅は、0.15Wと実質的に等しい。
高さは、1.2H(眼球領域の眼クロップの0.1H上方および眼クロップの0.1H下方)〜5.5H(眼クロップの1.5H上方および眼クロップの3H下方)の範囲内である(それらの値も含む)。一実装では、高さは、1.45H(眼クロップの0.15H上方および眼クロップの0.3H下方)と実質的に等しい。
・領域4:
幅は、Wと実質的に等しい。
高さは、眼球領域の眼クロップの0.1H〜1.5H上方の範囲内である(それらの値も含む)。一実装では、高さは、0.15Hと実質的に等しい。
他の非長方形またはさらに非連続的眼球周囲(または他の顔)サブ領域も、個人、ある人口、またはユーザの全て毎に、それらの領域の微分可能性および信頼性に基づいて、使用されることができる。いくつかの実装では、眼瞼下垂が、頻繁に観察されるとき、サイズW×Hの厳密なクロップの周囲の最適眼球周囲領域は、以下のように画定されることができる。
・領域2および3の幅は、それぞれ、0.2Wおよび0.15Wと実質的に等しい。・領域2および3の高さは、それぞれ、1.45Hと実質的に等しい(眼クロップの上部から開始する)。
・領域1および4の幅は、Wと実質的に等しい。
・領域1および4の高さは、それぞれ、0.45Hおよび0.1Hと実質的に等しい。
種々の領域に関する高さおよび幅の値の範囲は、上記に説明されたものと同一である。他の眼球周囲領域サイズも、検討される。WおよびHの値は、撮像センサ分解能に基づいて変動することができる。
画像強化
図1のステップ106において行われるもの等の画像強化技法が、ここで説明されるであろう。画像センサから捕捉される画像は、例えば、露光およびモーションブラーアーチファクトに起因して、可変品質を有し得る。随意である、ステップ106では、いくつかの画像が、画像雑音を低減させるために位置合わせ(すなわち、空間的に整合される)および平均化されることができる。いくつかの実装では、画像相関方法が、平均化するための画像を整合し、最も異なる(例えば、モーションブラーまたは瞬目に起因して)、したがって、位置合わせおよび平均化に対して好適でないものを破棄するために、得られた画像間の非類似性を測定するために使用される。例えば、最小限の運動を伴うn連続フレームが、位置合わせ後に平均化されることができる。平均化される、連続フレームの数(上記で説明される不定期のドロップされたフレームを除く)は、フレームレート、所与の設定における画像センサの雑音レベル、画像が捕捉されている環境条件に依存し得る。
一実施例では、周囲光が、画像取得の間、800ルーメンを上回る場合、2つの連続フレームが、位置合わせされ、平均される。周囲光が、450〜800ルーメンの範囲内である場合、3つの連続フレームが、位置合わせされ、平均される。周囲光が、0〜450ルーメンの範囲内である場合、4つの連続フレームが、位置合わせされ、平均される。周囲光に基づいて、フレームの数を選択する他の組み合わせも、着目領域が、センサ雑音が所与の設定において無視可能であるほど十分に明るい場合の非平均化オプションを含め、白眼、眼球周囲領域、および顔のために可能性として考えられる。
別の実装では、平均するために使用されるフレームの数はまた、連続フレームを横断して運動アーチファクトに適合されることができる。例えば、運動は、表情の変化、眼および身体の移動、および/または環境異常に起因して生じ得る。運動は、フレームを横断した相関、フレームを横断した相互情報等を使用して、測定されることができる。一実装では、平均するために使用されるフレームの数は、環境光および観察される運動アーチファクトの両方に依拠する。
いくつかの実装では、画像強化アルゴリズムは、自己商画像、すなわち、SQIを含む。SQI画像の単純バージョン(Q)は、以下のように表されることができる。
Figure 0006449516
式中、
Figure 0006449516
は、Iの平滑化されたバージョンであって、Fは、平滑カーネルである。SQI方法は、その光不変性性質に関して公知であって、これは、陰影および他の光条件に起因して可変照明を伴う眼球周囲領域に有用である。ウェバー線形記述子(WLD)、コヒーレンス拡散フィルタ、アトラスウェーブレット、レティネックス(およびその変形)、シングルまたはマルチフレームバイラテラルフィルタリング、深層学習法、および他の疎強化等の他の画像強化も、使用されることができる。
一実装では、ローカル勾配ガボールパターン(LGGP)が、以下のステップに説明されるように、特定の画像または画像領域のための画像強化技法として使用されることができる。
ステップ1:以下のように、偶数および奇数ガボール応答を使用して、画像領域の緑色チャネルに関するガボールの位相を計算する。
ステップ1a:帯域通過フィルタに類似する、2D偶数ガボールカーネルは、2Dガウシアンエンベロープによって変調された余弦関数であって、2D奇数ガボールは、2Dガウシアンエンベロープによって変調された正弦関数である。偶数および奇数ガボールカーネルは、以下のように導出されることができる。
Figure 0006449516
ガボールカーネルの任意のスケールおよび配向が、以下の座標変換を通して達成されることができる。
Figure 0006449516
式中、σおよびσは、それぞれ、xおよびy−軸に沿ったガウシアンエンベロープの広がりを定義し、fは、変調サインまたはコサインの周波数であり、φは、カーネルの配向である。一実装では、周波数は、6に設定され、xおよびy−軸に沿ったガウシアンの広がりは、2.5に設定される。一実装では、配向の選択肢は、π/6ラジアンずつ離れ、0から5π/6まで及ぶ、6に切り詰められる。
ステップ1b:ガボール画像の位相が、以下のように計算される。
Figure 0006449516
式中、
Figure 0006449516
は、コンボリューション演算子である。任意の所与の配向において、実施例として、
Figure 0006449516
は、画像領域の緑色チャネルのサイズと等しいサイズの画像である。
ステップ2:種々の配向におけるガボール応答(画像)の位相は、出力画像を形成するために集約される。これを達成するための3つの例示的方法は、(1)全ての配向を横断した所与の場所(x、y)におけるピクセルの強度の最大値を留保し、(2)その特定の場所における全ての配向を横断した所与の場所(x、y)におけるピクセルの強度を応答の加重された平均に設定し、(3)全ての配向を横断した所与の場所(x、y)におけるピクセルの強度の最大値をオリジナル画像で乗算した後、正規化を続けることである。
ステップ3:4つの方向(0、45、90、および135度)におけるローカル勾配が、次いで、集約された応答に関して計算され、最大勾配値が、出力画像を形成するために留保される。
一実装では、グレーワールドアルゴリズムを使用して、ホワイトバランシング等の色正規化白色が、前述の強化技法の前に使用されることができる。
一実装では、強化された画像の付加的処理は、コントラスト制限付適応ヒストグラム均等化(CLAHE)等の画像ヒストグラムおよびコントラスト調節を含む。CLAHEは、概して、タイルと称される画像の小さな領域内で動作する。典型的には、各タイルのコントラストは、出力のヒストグラムが、特定の分布(例えば、均一、指数、またはレイリー分布)によって規定されるヒストグラムとほぼマッチングするように、強化される。近傍タイルが、次いで、任意の人為的に誘起された境界を排除するために、補間(例えば、バイリニア補間)を使用して組み合わせられた。いくつかの実装では、眼球血管または眼球周囲特徴と背景との間の最良コントラストを有する、赤色、緑色、または青色の色成分の線形または非線形の組み合わせを選択することは、画像領域を強化することができる。例えば、緑色成分は、血管と背景との間のより良好なコントラストを提供し得るため、眼球血管のRGB画像において好ましくあり得る。
画像および特徴品質メトリック
図1におけるステップ108に戻って参照すると、各強化された画像の品質が、測定されることができ、ある品質閾値を満たすものは、さらなる処理のために留保される。そのような品質は、併せて、または別個に、眼球および眼球周囲領域に関して測定されることができる。画質メトリックはまた、マッチング予測に役立つ品質メトリック(マッチングする個別のバイオメトリックサンプルの能力の測定基準)として作用することができ、いくつかのシナリオでは、最終マッチングスコアに融合され、バイオメトリックシステム性能を改良することができる。
一実装では、画像内で検出された着目点は、画像の品質を判定することができる。基準画質メトリックが存在しない、1つの点ベースの品質メトリックは、本明細書では、EV_QMと称されるであろう。EV_QMは、3つのステップ、すなわち、着目点検出、領域値計算、および品質メトリックスコア生成を使用して、計算されることができる。着目点は、以下にさらに説明される、血管点検出(VPD)を使用して検出されることができる。領域値は、各着目点の周囲のテクスチャの量を指す。各着目点の周囲のテクスチャは、ローカルターナリーパターン(LTP)を使用して判定されることができる。品質メトリックスコア生成は、角場所および領域値を使用して測定される。
図3を参照すると、一実装では、領域値が、以下の修正されたローカルバイナリパターン(LBP)プロセスを使用して計算されることができる。対応する異なる半長(近傍)を伴う、3つの正方形(角を伴うまたは伴わない)が、着目点の周囲で計算され、そのピクセル軌跡が算出される(ピクセルグリッド304に描写されるように)。例えば、これらの半長は、2、4、6、または他の数のピクセルであることができる。着目点は、8つの異なる場所においてさらにオフセット(シフト)され(ピクセルグリッド302に描写されるように)、3つの正方形(その角を差し引く)を各オフセット点の周囲にさらに作成することができる(ピクセルグリッド304に描写されるものに類似し、オフセット点が中心点としての役割を果たす)。着目およびオフセット点毎のLBPが、3つの正方形のそれぞれを横断して計算され、これはさらに、バイナリパターン(BP)と称される。したがって、各着目点および対応するオフセット点は、それらと関連付けられた3つの異なるBPを有する。
3つのBPはさらに、以下のように、最終領域値(テクスチャスコア)を得るために低減されることができる。
ステップ1:各BPが、均一性スコアを判定するために評価される。BPが、均一ではない場合(例えば、4ビットより多い変化または2ビットより少ない変化)、BPは、破棄され、対応するオフセットまたは着目点を横断するスコア(最終領域値)は、ゼロに設定される。
ステップ2:BPが全て、均一である場合、フィルタ処理プロセスが、図3のステップ306に図式的に描写されるように行われる。BP1、BP2、およびBP3内の各要素は、以下の式を使用して追加される。
Figure 0006449516
Figure 0006449516
の各要素内に見られ得る、3つの可能性として考えられる値(1、0、および2)が存在する。これらのビットはそれぞれ、ステップ308に示されるように、Value内の対応する値(それぞれ、−1、0、および1)に従ってさらにマップされる。本結果はさらに、雑音バイナリパターン(NBP)と称される。
ステップ3:4つを上回る雑音ピクセルが存在する場合、対応する着目点に関するスコアは、ゼロに設定される。そうでなければ、NBP内の各雑音ピクセルは、その最近傍と置換される。
ステップ4:最終結果は、半長2に関するBPの長さを伴う、単一バイナリパターンとなる。本最終バイナリパターンはさらに、genBPと称される。
ステップ5:genBPはさらに、ステップ310に説明される式に基づいて加重される。
Figure 0006449516
結果はさらに、加重パターン、すなわち、Hと称される。
ステップ6:genBP内の連続ゼロの最大長を計算し、これはさらに、Lと称される。
ステップ7:最終領域値sは、ステップ312に説明される式を使用して計算されることができる。
Figure 0006449516
ステップ8:着目点および対応するオフセット点を含む、点のうちの少なくとも3つが、領域値を算出する場合、着目点の領域値および領域値を算出するそれらのオフセットされた対応する点は、平均され、sに割り当てられる。そうでなければ、sは、ゼロに設定される。
別の実装では、領域値は、着目点および各着目点の周囲の対応するオフセット点を囲繞する領域のエントロピを使用して計算されることができる。着目点の周囲の領域のエントロピは、以下のように計算される。
ステップ1:閾値を初期化し、着目点および対応するオフセット点の周囲の着目領域内のテクスチャを量子化する。
ステップ2:中心ピクセル強度を着目領域内の全ての他の強度とともに減算することによって、着目領域内のレベルの数(level_map)を判定する。
ステップ3:level_mapはさらに、ステップ1において判定された閾値を使用して、ピクセル強度をグループ化することによって量子化される。
ステップ4:level_mapの各グループ内の一意の要素の数が、計算される。
ステップ5:着目点の周囲のエントロピに基づく領域の値が、以下のように計算される。
Figure 0006449516
式中、Nは、グループ「i」内の要素の長さである。
ステップ6:着目点および対応するオフセット点を横断してsを平均し、平均された値をsに割り当てる。
別の実装では、領域値は、「D」方向における着目点の周囲の勾配情報のエントロピを使用して計算されることができる。一実装では、Dは、0、45、90、および135度を含む。勾配情報は、着目点の周囲の複数のスケールにおいて計算されることができる。
一実装では、角場所および対応する領域値が、品質メトリックスコア生成を判定するために使用されることができる。品質メトリックスコア生成は、以下のように実装されることができる。
ステップ1:その領域値に基づく着目点を降順でソートし、対応する着目点場所に着目する。
ステップ2:ステップ1に基づいてそれらを並べ替えた後、対応する着目点間の距離をd={d,d,d,…,dn−2,dn−1,d}とし、d1は、第1および第2の着目点間の距離である。dは、ゼロとなるであろう。
ステップ3:距離の加重を距離の対数として算出する、すなわち、dw=log(d)となる。
ステップ4:加重指数を以下のように算出する。
Figure 0006449516
(式中、nは、着目点の数である。)
最終品質メトリックスコアが、以下の式を使用して算出されることができる。
Figure 0006449516
(式中、pは、着目点の数である。)
加速化セグメント試験(FAST)または高速ロバスト特徴(SURF)アルゴリズムを使用する計算等、他の着目点検出アルゴリズムも、使用されることができる。
EV_QMは、眼球および眼球周囲領域に関して別個に計算されることができ、さらに、各ROIは、計算されたEV_QMに基づいて、ランク付けされることができる。ROIは、プログレッシブマッチャ(以下に説明される)が使用されている場合、それらがランク付けされた順番でマッチングされることができる。着目すべきこととして、本明細書に説明される品質メトリックは、偽装検出技法において使用されることができる。悪意による、画面上に再生された本物のユーザの物理的写真もしくは印刷物またはデジタル画像もしくはビデオ等、眼または顔の顔特徴の再現は、多くの場合、走査時における実際の物理的存在と比較して、低品質である(例えば、より低い分解能、ぼやけた、退色、雑音、ぼけている等)。照合プロセスの際、着目低品質点をフィルタ処理後、低品質再現は、概して、十分な数の認識可能着目点を有しておらず、したがって、照合に失敗するであろう。
類似技法は、部分的偽装を検出するためにも使用されることができる。例えば、ある人物が、眼照合プロセスに合格することを試みようとして、有効な眼の印刷物を自身の眼の上に保持し得る。照合を行う際、眼印刷物の判定された品質(例えば、認識可能着目点)が、眼球周囲または他の顔領域の判定された品質と比較されることができる。眼と1つまたはそれを上回る他の領域との間の品質の差異が、閾値を超える場合、これは、部分的偽装の存在を示し得、照合は、失敗するであろう。開示される品質メトリックを使用した他の偽装検出技法も、検討される。
着目点検出
種々の着目点検出アルゴリズムが、眼球血管、眼球周囲、および顔の捕捉された画像領域内で別個に使用されることができる。例えば、高速ロバスト特徴(SURF)アルゴリズムは、着目点上に心合される画像領域内の面積を識別するために使用され得る、「ブロブ」タイプ特徴検出アルゴリズムである。加速化セグメント試験(FAST)アルゴリズムからの特徴は、同様に画像領域内の着目点を識別するために使用され得る、角検出アルゴリズムである。血管点検出器(VPD)もまた、画像領域内の血管系上に付着する点を識別するために使用されることができる。さらに、VPDはまた、眼球周囲領域および顔上の点を検出するためにも使用されることができる。いくつかの実装では、候補点もまた、複数の画像スケールにおいて識別されることができる。例えば、オリジナル画像サイズが100×100(スケール0)である場合、点は、100×100オリジナル画像から識別されることができ、また、オリジナル画像が、50×50(スケール1)および25×25(スケール2)にサイズ調整されるときも同様である。点検出器の他の領域特有構成も、検討されることができる。
点抑制
着目点検出アルゴリズムを使用して生成される候補点の数は、テクスチャの量および画像の品質に基づいて変動し得る。さらに、そのようなアルゴリズムは、特に、非VPDアルゴリズムを用いる場合、雑音または非関連(所与の用途に関して)情報を被り得る。そのような雑音または非関連候補点は、候補点抑制アルゴリズムによって除去されることができる。
一実装では、非血管点抑制(NVS)アルゴリズムが、候補点品質を判定するために使用される。アルゴリズムは、以下のステップに説明される。
ステップ1:着目点の周囲の領域(R)を抽出する。RのサイズをM×Mとする。
ステップ2:サイズN×NのR内のローカルパッチ(LP)を抽出し、N<Mである。R内に心合されたLPを中心パッチ(CP)として割り当てる。
ステップ3:領域Rの内側のローカルパッチが、疎らに取り込まれる。
ステップ4:領域R内に包囲された全てのLPのヒストグラム分布を計算し、CPのヒストグラムをLPに関して各計算されたヒストグラムから減算する。
ステップ5:減算毎に、広がりスコアを総利用可能ビンによって除算された占有されているビンの数として計算する。
ステップ6:オリジナル画像内のピクセルの分布に基づいて、帯域通過フィルタの組み合わせを導出する(帯域通過フィルタ算出)。これらの帯域通過フィルタは、血管情報ピクセルに対するグレア等のスプリアスピクセルの量を測定するために使用される。
ステップ7:ステップ4から減算されたパッチは、導出された帯域通過フィルタに基づいてフィルタ処理され、角応答が、計算される。
ステップ8:広がりスコアおよび角応答をカスケードフレームワーク内で使用する。広がりスコアは、バイナリ分類子である。すなわち、点を否認または承認するかのいずれかである。角応答は、ゼロと1との間の正規化されたスコア化を提供する。ゼロは、非血管性を示す一方、1は、血管性を示す。
別の実装では、帯域通過フィルタ算出が、候補点強度を判定するために使用される。帯域通過フィルタは、セグメント化白眼領域統計に基づいて、動的に生成される。帯域通過フィルタは、以下のように生成されることができる。
ステップ1:強膜領域の緑色層をRGB画像から抽出する。
ステップ2:領域のヒストグラムを導出する。例えば、「N」ビンを使用して、ヒストグラムをRGB画像から抽出する。
ステップ3:ステップ2において導出された逆正規化ヒストグラムの指数関数を計算する。
ステップ4:指数関数を係数kによって抑制する。係数kは、概して、0.1〜0.3に変動し、用途またはデータセットに基づいて調整されることができる。
ステップ5:1〜Nに及ぶ整数値を伴う逆指数関数の応答を計算する。
ステップ6:ステップ4からの最初の5つの要素とステップ5からの残りのものを連結する。これは、帯域通過フィルタ1を提供する。
ステップ7:帯域通過フィルタ2に関して、強膜ピクセル(緑色チャネル)の正規分布を用いてガウス分布を構築する。
ステップ8:帯域通過フィルタ1および帯域通過フィルタ2を並行して使用し、血管点の強度を確立する。
本フィルタ構築プロセスは、画像ピクセルへの適応である。画像が暗い場合、強膜ピクセルの大部分は、ヒストグラムの左端の近傍に来る。したがって、帯域通過フィルタ1は、帯域通過フィルタ2より高い応答を有するであろう。これは、点のスコアを低減させる。同様に、グレア飽和画像は、全てのそのピクセルを上側に有し、帯域通過フィルタ2は、より高い応答を有し、低スコアを伴う点を排除するであろう。
一実装では、ローカルバイナリパターン(LBP)の均一性が、候補点の品質を判定するために生成されることができる。8ビットLBPコードを使用して、0から1またはその逆のビット毎遷移の数は、LBPコードの均一性を判定する。LBPコードは、「n」遷移未満またはそれと等しい場合、均一と見なされる。遷移の範囲は、0〜8である。一実装では、nは、3に等しい。実施例として、0遷移を伴うLBPコード00000000、2遷移を伴う01111100、3遷移を伴う01000001は、均一である。同様に、4遷移を伴う01010000および6遷移を伴う01010010は、非均一である。均一である候補点は、テンプレート内に留保される。
候補点に関する前述の品質アルゴリズムは、組み合わせて、または別個に、所与の登録または照合プロセスのために使用されることができる。
ローカル特徴記述子
各着目点の周囲の特徴ベクトルは、眼球血管、眼球周囲、および顔領域に関する着目点の周囲の画像パッチを使用して、別個に生成されることができる。着目点に関する記述子は、単一または複数の特徴記述子アルゴリズムを使用して生成されることができる。高速網膜キーポイント(FREAK)アルゴリズムは、例えば、FASTアルゴリズムによって識別される候補点に関する記述子を生成するために使用され得る、一例示的特徴記述子アルゴリズムである。FREAK記述子は、例えば、候補点を囲繞する視覚的特徴を定義する、バイナリ数字のストリングであることができる。候補点の周囲のローカルバイナリパターン(LBP)および中心対称ローカルバイナリパターン(CSLBP)等のその変形は、候補点の近傍の画像パッチを記述するために使用され得る、特徴記述子の実施例である。配向勾配のヒストグラム(HoG)、LBPのヒストグラム(HLBP)、CSLBPのヒストグラム(HCSLBP)、拡張型マルチ半径LBPのパターン化ヒストグラム(PH−EMR−LBP)、拡張型マルチ半径CSLBPのパターン化ヒストグラム(PH−EMR−CSLBP)、拡張型マルチ半径ローカルターナリーパターンのパターン化ヒストグラム(PH−EMR−LTP)、および次元縮退後のパターン化ヒストグラムバイナリパターン(PHBP−DR)は、候補点の周囲の画像近傍を記述するために使用され得る、特徴記述子の他の実施例である。他の特徴記述子アルゴリズムまたはアルゴリズムの組み合わせも、画像領域の候補点に関するローカル画像記述子を生成するために使用されることができる。
一実装では、以下のステップが、PH−EMR−LBP記述子を生成する際に伴われる。
ステップ1:各ピクセルの周囲の3×3ピクセルおよび5×5ピクセル同心正方形の両方に関するLBPコードを計算し、マルチ半径LBP(MR−LBP)画像を形成する(通常LBPとは対照的に、前述の技法は、LBPコード逸脱に関して、中心ピクセルの周囲のピクセルの円軌跡ではなく、角を含有または除外し得る、正方形または長方形近傍を使用することに留意されたい)。3×3ピクセル領域では、中心ピクセルとその直近の8つの近傍ピクセルの比較は、3×3LBPコードを生成する。結果は、8ビットコードとなり、そのビット値は、0または1のいずれかである(近傍ピクセルの強度値が、中心ピクセルの強度を上回る場合、1であって、そうでなければ、0となる)。同様に、5×5ピクセル領域では、中心ピクセルとその次の直近の8つの近傍ピクセル(すなわち、16のピクセル)の比較は、5×5LBPコードを生成する(結果は、16ビットコードとなる)。故に、MR−LBPは、画像内の所与のピクセルに関して、24ビットコード(3×3LBPコードからの8および5×5LBPコードからの16)を有する。
ステップ2:各着目点の周囲のM×Mパッチ(ステップ1の出力)が、K重複ピクセルを有し得る、N×Nサブ領域の中にセグメント化される。
ステップ3:各サブ領域内の24ビットMR−LBP毎のヒストグラムが、別個に導出され、PH−EMR−LBPをもたらすために連結される(通常LBPとは対照的に、本ヒストグラムは、バイナリコードの十進相当のものではなく、パッチ内のLBPビット場所の周波数に基づいて、計算されることに留意されたい)。
M、N、およびKに関するパラメータ値は、画像の空間周波数、分解能、および雑音に基づいて調整されることができる。
一実装では、以下のステップは、PH−EMR−CSLBP記述子を生成する際に伴われる。
ステップ1:各ピクセルにおいて、3×3ピクセルおよび5×5ピクセル中心対称ローカルバイナリパターン(CSLBP)コードの両方を計算し、マルチ半径CS−LBP(MR−CSLBP)画像を形成する。3×3領域では、8つの境界ピクセルを使用した対角線ピクセルの強度値の比較は、4ビット3×3CS−LBPコードを生成する(左上ピクセルから開始し、境界ピクセルは、時計回り方向に1〜8の番号が付与されるものとし、4ビットCS−LBPコードは、それぞれ、ピクセル1、2、3、および4と5、6、7、および8を比較することによって生成される)。値は、0または1である(1の強度値が5を上回る場合、1であって、そうでなければ、0であって、同様に、他の組み合わせに関しても同様である)。同様に、5×5領域では、外側円の16の対角線ピクセルが、比較され、8ビット5×5CS−LBPコードを生成する。故に、MR−CS−LBPは、画像内の所与のピクセルに関して12ビットコード(3×3CS−LBPコードからの4および5×5CS−LBPコードからの8)を有する。
ステップ2:各着目点の周囲のM×Mパッチ(ステップ1の出力)が、K重複ピクセルを有し得る、N×Nサブ領域の中にセグメント化される。
ステップ3:各サブ領域内の12ビットMR−CS−LBP毎のヒストグラムが、別個に導出され、PH−EMR−CS−LBPをもたらすために連結される。
前述の記述子と同様に、M、N、およびKに関するパラメータ値は、画像の空間周波数、分解能、および雑音に基づいて調整されることができる。
一実装では、以下のステップは、PH−EMR−LTP記述子を生成する際に伴われる。
ステップ1:各ピクセルにおいて、3×3ピクセルおよび5×5ピクセルローカルターナリーパターンコードの両方を計算し、ステップサイズ(SS)を伴うマルチ半径LTP(MR−LTP)画像を形成する。3×3領域では、中心ピクセルとその直近の8つの近傍ピクセルの比較は、3×3LTPコードを生成する。結果は、16ビットコードとなり、その値は、0または1である(各近傍ピクセルの強度値が中心ピクセル+SSの強度を上回る場合、1であって、そうでなければ、0であって、各近傍ピクセルの強度値が中心ピクセル−SSの強度未満である場合、1であって、そうでなければ、0である)。同様に、5×5領域では、中心ピクセルとその次の直近の8つの近傍ピクセル(すなわち、16ピクセル)の比較は、5×5LTPコードを生成する(結果は、32ビットコードとなる)。故に、MR−LTPは、画像内の所与のピクセルに関して48ビットコード(3×3LBPコードからの16および5×5LBPコードからの32)を有する。
ステップ2:各着目点の周囲のM×Mパッチ(ステップ1の出力)が、K重複ピクセルを有し得る、N×Nサブ領域の中にセグメント化される。
ステップ3:各サブ領域内の48ビットMR−LTP毎のヒストグラムが、別個に導出され、PH−EMR−LTPをもたらすために連結される。
前述の記述子と同様に、M、N、およびKに関するパラメータ値は、画像の空間周波数、分解能、および雑音に基づいて調整されることができる。
一実装では、PHBP−DRは、以下のステップを使用して導出されることができる。
ステップ1:所与の着目点に関するPH−EMR−LBPは、M、N、およびK値を、それぞれ、9、3、および1に設定することによって導出される。これらの構成は、長さ384の特徴ベクトル(24×16、すなわち、16のサブ領域を横断して24ビットコードのそれぞれのヒストグラム)をもたらす。0〜9に及ぶ値を伴って(3×3サブ領域内に9つのピクセルを有するため)、16の3×3サブ領域は、1つのピクセル重複を伴って、9×9パッチ内で可能であることに留意されたい。
ステップ2:所与の着目点に関するPH−EMR−CS−LBPは、M、N、およびK値を、それぞれ、7、3、および1に設定することによって導出される。これらの構成は、長さ108の特徴ベクトル(12×9、すなわち、9つのサブ領域を横断して12のビットコードのそれぞれのヒストグラム)をもたらす。0〜9に及ぶ値を伴って(3×3サブ領域内に9つのピクセルを有するため)、9つの3×3サブ領域は、1つのピクセル重複を伴って、7×7パッチ内で可能であることに留意されたい。
ステップ3:所与の着目点に関するPH−EMR−LTPPH−EMR−LBPは、M、N、およびK値を、それぞれ、9、3、および1に設定することによって導出される。これらの構成は、長さ768の特徴ベクトル(48×16、すなわち、16のサブ領域を横断して48のビットコードのそれぞれのヒストグラム)をもたらす。0〜9に及ぶ値を伴って(3×3サブ領域内に9つのピクセルを有するため)、16の3×3サブ領域は、1つのピクセル重複を伴って、9×9パッチ内で可能であることに留意されたい。SSは、画像の強度値が0〜255に正規化された後、5に設定される。
ステップ4:特徴ベクトル1、2、および3は、連結され、長さ1260の特徴ベクトルを形成する。
ステップ5:分散分析を使用して、上位720の特徴のみが、留保される。いくつかの事例では、これらの高変形特徴は、事前に計算されるため、これらの720の特徴のみが、算出複雑性を低減させるために、登録および照合プロセスの間に生成される。
ステップ6:最後に、主成分分析(PCA)等の次元縮退方法が、PHBP−DRを抽出するために使用される。別個のPCA分析が、眼球および眼球周囲領域に関して行われ、それぞれ、103および98長の特徴ベクトルを生成することができる。顔に関して、眼球周囲特徴のいずれかは、そのまま使用されることができる、または別個のPCA分析が、行われることができる。眼球、眼球周囲、および顔に関する他の長さの特徴ベクトルも、可能性として考えられる。
バイオメトリック登録プロセスの終了時、登録テンプレートは、眼球血管ROIに関する候補点および記述子のセットと、眼球周囲領域に関する候補点および記述子のセットとを含むことができる。いくつかの実装では、登録テンプレートはまた、顔に関する候補点および記述子のセットおよび/または延在された眼球周囲領域に関する候補点および記述子のセットを含むことができる。眼球血管および眼球周囲ROIと左および右眼に関するテンプレートは、別個に処理されることに留意されたい。着目点のセットに関する複数の記述子が、検討される。眼球血管、顔、および眼球周囲領域に関するテンプレートを生成するために使用されるオリジナルおよび処理された画像は、セキュリティおよびプライバシ理由から破棄されることができる。
プログレッシブマッチャ
バイオメトリックマッチングプロセスの一実装では、最終マッチングスコアが、プログレッシブマッチャを使用して生成される。初期ステップとして、ローカル画像記述子が、距離測定を使用して、眼球および眼球周囲領域の両方に関する登録ならびに照合テンプレート間のマッチング点対を見つけるためにマッチングされる。実施例として、記述子着目点間のユークリッド距離が、眼球および眼球周囲領域の登録ならびに照合記述子ベクトル間で別個に計算されることができ、ある距離閾値を下回る対は、マッチング点対として留保されることができる。
雑音または他の収差の存在下では、マッチング点対は、いくつかの誤対応または別様に誤った余剰マッチングを有し得る。マッチング点対登録および照合画像の場所間の一見信頼できそうなホモグラフィを仮定することによって、誤対応(仮定されたホモグラフィ下の整合後の空間的非重複マッチング点)は、マッチング点対から除去されることができる。
いくつかの実装では、ランダムサンプルコンセンサス(RANSAC)または他の誤対応検出方法が、登録および照合テンプレート内でエンコードされた眼球着目領域の幾何学形状の観点から、本物のマッチング間の仮定された変換に適合しない誤対応を否認しながら、照合画像内の候補点と登録画像内の点を整合させるために必要とされる変換を判定するために使用されることができる。いくつかの実装では、異なるROI(眼球血管および眼球周囲ROI等)のRANSACが、別個に行われることができ、残った正対応点の収集は、最終スコア計算および他の関連算出のための最終RANSACにもたらされることができる。いくつかの実装では、あるまたは全ての着目サブ領域からの最小数の正対応点(例えば、強膜ROIの上部に見られる血管パッチおよび点)が、最終マッチングに進む前に要求されることができる。最終的に、スコアは、RANSACまたは均等物によるマッチング点対の場所に適合されたホモグラフィ性を使用して、RANSAC後に見出された正対応の数(N)、変換行列から復元されたスケール(RS)、および変換行列から復元された角度(RA)を組み合わせることによって生成される。
一実装では、マッチングスコアは、以下の式を使用して計算される。
Figure 0006449516
式中、CxおよびCyは、それぞれ、登録および照合テンプレート間の正対応マッチング点のxならびにy座標のベクトル間の相関であって、Nは、これらの整合された点の数であって、RAは、正対応マッチングされた照合点の場所の位置合わせのための登録点への変換から生じる角度の変化を表す、復元された角度であって、RSは、前述の変換から生じるスケールの変化を表す、復元されたスケールである。RAおよびRSは、RANSACまたは類似動作から生じる類似性または類似幾何学的変換行列から導出される。特に、着目領域(眼球血管および眼球周囲等)が空間的に事前に正規化された場合、識別からの変換/位置合わせ行列の距離等の他の測定も、検討される。
いくつかの実装では、M−SAC、Group−SACおよび/またはOptimal−RANSACが、RANSACに取って代わることができる。
マッチングスコアは、白眼(SV)および眼球周囲領域(SP)の両方のために、別個に、組み合わせられて(SVP)、または順次様式で生成されることができる。プログレッシブアプローチでは、開始着目領域内にロバストな決定のために不十分な情報または品質が存在する場合、異なるROIが、マッチャの中にプログレッシブに含まれる。例えば、あるソース品質または確かな決定が、白眼内の血管情報を使用して達成されることができない場合、マッチャは、バイオメトリックマッチングをアサートする際、必要に応じて、眼球周囲に関する場所(ならびに潜在的に鼻および顔のようなそれを越えた場所)からのより多くの情報をプログレッシブに追加し、所望の確実性を達成することができる。
一実装では、眼球および眼球周囲領域からのマッチング点対は、別個に計算され、次いで、RANSACのために組み合わせられ、最終マッチングスコアを生成する。
別の実装では、眼球および眼球周囲領域からのマッチング点対は、別個に計算され、次いで、RANSACのために組み合わせられ、最終マッチングスコアを生成する。しかしながら、最終正対応生成は、眼球領域からの少なくともNの点を有するように制約される。
さらなる実装では、眼球および眼球周囲領域からのマッチング点対は、別個に計算され、その個別の正対応は、ROI特有のRANSACによって別個に発見され、次いで、領域特有のRANSACフィルタ処理されたテンプレート要素の収集は、最終RANSACのために組み合わせられ、最終マッチングスコアを生成する。しかしながら、最終正対応生成は、眼球血管領域のRANSACからの少なくともNの点を有するように制約される。いくつかの実装では、Nに関する典型的最小値は、3である。
いくつかの実装では、プログレッシブマッチャは、マッチングスコアと閾値の比較に基づいて、最終決定を行うように実装される。一例として、
ステップ1:SV>3.2である場合、ユーザは、認証され、ステップ2および3は、スキップされる。
ステップ2:SVP>3.4である場合、ユーザは、認証され、ステップ3は、スキップされる。
ステップ3:SP>3.2である場合、ユーザは、認証される。
プロセスを終了する。
前述のプログレッシブプロセスがユーザを認証しない場合、登録バンクからの別の登録テンプレートが、呼び出されることができる、またはある終了条件(時間制限等)に到達するまで、新しい照合画像が取得されることができる。SV、SVP、およびSP閾値の他の組み合わせも、検討される。着目領域のうちの1つまたはそれを上回るものが、例えば、眼鏡またはグレアアーチファクトから生じる収差に起因して、走査のために利用不可能である場合、システムは、他の利用可能な領域を使用することができる。
図5は、登録テンプレートが眼球血管および眼球周囲領域に基づいて作成される、登録フェーズと、プログレッシブマッチングが捕捉された画像および登録テンプレートに基づいて行われることができる、照合フェーズとを含む、プログレッシブマッチングを使用する、バイオメトリック登録および認証のための方法の一実装を描写する。図5に図示されるステップは、本明細書に説明される種々の技法に従って行われることができる。
ある場合には、単一バイオメトリック特徴が、複数のROIに分割されることができ、これは、次いで、プログレッシブにマッチングされる。例えば、眼球周囲領域の有意な領域は、nの部分に分割されることができ、これは、次いで、プログレッシブにマッチングされる。
一実装では、一部または全部の眼球周囲ROIの品質が、測定され、ランク付けされることができ、マッチングプロセスは、バイオメトリックマッチングをアサートする際、必要に応じて、その個別のランク付けに基づいて、各ROIをプログレッシブに追加し、所望の確実性を達成することができる。
別の実装では、画像ベースの距離メトリックまたは類似物が、眼球周囲等のいくつかのバイオメトリック着目領域を歪曲させ得る、ユーザ姿勢、光条件、または顔ジェスチャを検出する。これらの変形例は、登録の間に誘起される、またはテンプレート更新ポリシに基づいて、登録テンプレートバンクに追加されることができる。照合時、マッチャは、前述の画像類似性メトリックに基づいて、最も関連するテンプレートをバンクから読み出そうとすることができる。
別の実装では、マッチングプロセスが、新しい姿勢または表情に遭遇する場合、最も近い表現が、使用され、プログレッシブマッチャの特殊ケースが、適用される。例えば、特殊ケースは、クラスタ化プロセスを使用して、眼球周囲領域をいくつかのセグメントに分割することができ、各セグメント内で、スコアおよび変換行列が、生成される。最終スコアは、全ての個々のセグメントスコアの加重された融合によって判定されることができる。これらの加重は、全ての変換行列を横断して観察された変形量によって判定される。他のスコア融合も、可能性として考えられる。
図5は、本明細書に説明される技法に従って、セキュアバイオメトリックテンプレートを生成し、ユーザ照合を行うためのローカライズされたシステムの一実装を図示する。ユーザデバイス500は、画像センサ530と、プロセッサ540と、メモリ550と、バイオメトリックハードウェアおよび/またはソフトウェア560と、メモリ550を含む種々のシステムコンポーネントをプロセッサ540に結合するシステムバスとを含むことができる。ユーザデバイス500は、限定ではないが、スマートフォン、スマートウォッチ、スマートグラス、タブレットコンピュータ、ポータブルコンピュータ、テレビ、ゲームデバイス、音楽プレーヤ、携帯電話、ラップトップ、パームトップ、スマートまたはダム端末、ネットワークコンピュータ、携帯情報端末、無線デバイス、情報器具、ワークステーション、ミニコンピュータ、メインフレームコンピュータ、または本明細書に説明される機能性を実行することができる、汎用コンピュータまたは特殊目的ハードウェアデバイスとして動作される、他のコンピューティングデバイスを含むことができる。
バイオメトリックハードウェアおよび/またはソフトウェア560は、画像センサ530によって捕捉された画像に操作を行うための画像処理モジュール562を含む。例えば、画像処理モジュール562は、セグメント化および強化をユーザ510の眼ならびに周囲顔面積の画像に行い、血管構造および他の着目特徴の隔離を補助することができる。テンプレートモジュール564は、血管系画像に基づいて、バイオメトリックテンプレートを作成し、種々の曖昧化およびスクランブリング操作をテンプレートに行うことができる。照合モジュール566は、バイオメトリック読取値の捕捉に応じて形成されるバイオメトリック照合テンプレートと以前に記憶された登録テンプレートとの間でマッチング操作動作を行うことによって、ユーザ510の識別を検証する。いくつかの実装では、ある機能性が、ユーザデバイス500以外のデバイスに行われることができる。例えば、ユーザデバイスは、代わりに、カメラ等のバイオメトリックセンサのみを含むことができ、画像処理および照合機能は、インターネット等のネットワークを経由してユーザデバイス500にアクセス可能な遠隔サーバ上で行われることができる。
より一般的には、本明細書に説明されるシステムおよび技法は、バックエンドコンポーネント(例えば、データサーバとして)を含む、またはミドルウェアコンポーネント(例えば、アプリケーションサーバ)を含む、またはフロントエンドコンポーネント(例えば、ユーザが本明細書に説明されるシステムおよび技法の実装と相互作用できる、グラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータ)を含む、またはそのようなバックエンド、ミドルウェア、もしくはフロントエンドコンポーネントの任意の組み合わせを含む、コンピューティングシステム内に実装されることができる。システムのコンポーネントは、デジタルデータ通信の任意の形態または媒体(例えば、通信ネットワーク)によって、相互接続されることができる。通信ネットワークの実施例は、ローカルエリアネットワーク(「LAN」)と、広域ネットワーク(「WAN」)と、インターネットとを含む。
コンピューティングシステムは、クライアントと、サーバとを含むことができる。クライアントおよびサーバは、概して、相互に遠隔にあり、通信ネットワークを通して相互作用することができる。クライアントとサーバとの関係は、それぞれのコンピュータ上で起動し、相互にクライアント−サーバ関係を有するコンピュータプログラムによって生じる。いくつかの実施形態が、説明されている。それにもかかわらず、種々の修正が、本発明の精神および範囲から逸脱することなく、成され得ることが理解されるであろう。
本明細書に説明される主題および動作の実装は、デジタル電子回路内に、または本明細書に開示される構造およびそれらの構造的均等物を含む、コンピュータソフトウェア、ファームウェア、もしくはハードウェア内に、またはそれらうちの1つもしくはそれを上回るものの組み合わせ内に、実装されることができる。本明細書に説明される主題の実施形態は、1つまたはそれを上回るコンピュータプログラム、すなわち、データ処理装置による、またはそれの動作を制御するため、実行のためにコンピュータ記憶媒体上でエンコードされる、コンピュータプログラム命令の1つまたはそれを上回るモジュールとして実装されることができる。代替として、またはそれに加えて、プログラム命令は、データ処理装置による実行のための好適な受信機装置への伝送のための情報をエンコードするために生成される、人為的生成伝搬信号、例えば、マシン生成電気、光学、または電磁信号上でエンコードされることができる。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムもしくはシリアルアクセスメモリアレイもしくはデバイス、またはそれらのうちの1つまたはそれを上回るものの組み合わせであり得る、またはその中に含まれることができる。さらに、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人為的生成伝搬信号内でエンコードされる、コンピュータプログラム命令のソースまたは宛先であり得る。コンピュータ記憶媒体はまた、1つまたはそれを上回る別個の物理的コンポーネントまたは媒体(例えば、複数のCD、ディスク、または他の記憶デバイス)であり得る、またはその中に含まれることができる。
本明細書に説明される動作は、1つまたはそれを上回るコンピュータ可読記憶デバイス上に記憶される、または他のソースから受信されるデータに対して、データ処理装置によって実施される動作として実装されることができる。
「データ処理装置」という用語は、実施例として、プログラム可能プロセッサ、コンピュータ、チップ上のシステム、または前述のものの複数もしくは組み合わせを含む、データを処理するための全ての種類の装置、デバイス、およびマシンを包含する。装置は、専用論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)を含むことができる。装置はまた、ハードウェアに加えて、当該コンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらのうちの1つもしくはそれを上回るものの組み合わせを構成するコードも含むことができる。装置および実行環境は、ウェブサービス、分散コンピューティング、およびグリッドコンピューティングインフラストラクチャ等、種々の異なるコンピューティングモデルインフラストラクチャを実現することができる。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる)が、コンパイルまたは解釈される言語、宣言型または手続型言語を含む、プログラム可能言語の任意の形態において書き込まれることができ、これは、スタンドアローンのプログラムとして、またはモジュール、コンポーネント、サブルーチン、オブジェクト、もしくはコンピューティング環境における使用のために好適な他のユニットとしてを含む、任意の形態において展開されることができる。コンピュータプログラムは、ファイルシステム内のファイルに対応してもよいが、そうである必要はない。プログラムは、他のプログラムまたはデータ(例えば、マークアップ言語リソース内に記憶される1つまたはそれを上回るスクリプト)を保持するファイルの一部内に、当該プログラム専用である単一ファイル内に、または複数の協調ファイル(例えば、1つまたはそれを上回るモジュール、サブプログラム、またはコードの一部を記憶するファイル)内に記憶されることができる。コンピュータプログラムは、1つのコンピュータ上で、または1つの場所に位置する、もしくは複数の場所にわたって分散され、通信ネットワークによって相互接続される、複数のコンピュータ上で実行されるように展開されることができる。
本明細書に説明される主題の実施形態は、例えば、データサーバとして、バックエンドコンポーネントを含むコンピューティングシステムにおいて、またはミドルウェアコンポーネント、例えば、アプリケーションサーバを含むコンピューティングシステムにおいて、またはフロントエンドコンポーネント、例えば、ユーザが本明細書に説明される主題の実装と相互作用できる、グラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータを含むコンピューティングシステムにおいて、または1つまたはそれを上回るそのようなバックエンド、ミドルウェア、もしくはフロントエンドコンポーネントの任意の組み合わせを含む、コンピューティングシステム内に実装されることができる。本システムのコンポーネントは、デジタルデータ通信の任意の形態または媒体、例えば、通信ネットワークによって、相互接続されることができる。通信ネットワークの実施例は、ローカルエリアネットワーク(「LAN」)と、広域ネットワーク(「WAN」)と、ネットワーク間(例えば、インターネット)と、ピアツーピアネットワーク(例えば、アドホックピアツーピアネットワーク)とを含む。
コンピューティングシステムは、クライアントと、サーバとを含むことができる。クライアントおよびサーバは、概して、相互に遠隔にあり、典型的には、通信ネットワークを通して相互作用することができる。クライアントとサーバとの関係は、それぞれのコンピュータ上で起動し、相互にクライアント−サーバ関係を有するコンピュータプログラムによって生じる。いくつかの実施形態では、サーバは、データ(例えば、HTMLページ)をクライアントデバイスに(例えば、クライアントデバイスと相互作用するユーザにデータを表示し、そこからユーザ入力を受信することを目的として)伝送する。クライアントデバイスにおいて生成されたデータ(例えば、ユーザの相互作用の結果)は、サーバにおけるクライアントデバイスから受信されることができる。
1つまたはそれを上回るコンピュータのシステムは、動作時にシステムにアクションを実施させる、システム上にインストールされる、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせを有することによって、特定の動作またはアクションを実施するように構成されることができる。1つまたはそれを上回るコンピュータプログラムは、データ処理装置によって実行されると、装置にアクションを実施させる命令を含むことによって、特定の動作またはアクションを実施するように構成されることができる。
本明細書は多くの具体的実装詳細を含有するが、これらは、任意の発明または請求され得るものの範囲に対する制限として解釈されるべきではなく、特定の発明の特定の実装に固有である特徴の説明として解釈されるべきである。別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることもできる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副組み合わせにおいて実装されることができる。さらに、特徴は、ある組み合わせにおいて作用するものとして前述され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副組み合わせまたは副組み合わせの変形例を対象としてもよい。
同様に、動作は特定の順序において図面内に描写されているが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序において、もしくは連続的順序において実施される、または全ての例証される動作が実施されることを要求するものとして理解されるべきではない。ある状況では、マルチタスクおよび並列処理が、有利となり得る。さらに、前述される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。
したがって、主題の特定の実装が、説明されている。他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に記載されるアクションは、異なる順序において実施され、依然として、望ましい結果を達成することができる。加えて、付随の図に描写されるプロセスは、望ましい結果を達成するために、必ずしも、示される特定の順序、または連続的順序を要求しない。ある実装では、マルチタスクおよび並列処理が、有利となり得る。

Claims (18)

  1. コンピュータ実装方法であって、
    ユーザの顔領域の画像を受信することであって、前記顔領域は、眼および前記眼を囲繞する面積を含む、ことと、
    前記画像を処理することにより、(i)前記顔領域の前記画像内の前記眼の少なくとも一部を含む眼球画像領域を画定し、(ii)それぞれが前記顔領域の前記画像内の前記眼を囲繞する面積の少なくとも一部を含む1つまたは複数の眼球周囲画像領域を画定することであって、前記画像を処理することは、ローカル勾配ガボールパターン(LGGP)を使用して前記画像の少なくとも一部を強化することを含み、前記LGGPを使用して前記画像の少なくとも一部を強化することは、
    複数の角度のそれぞれにおいて、前記画像の少なくとも前記一部に関するガボール位相画像を計算することと、
    前記計算されたガボール位相画像を集約することにより、組み合わせられたガボール位相画像を形成することと、
    複数の角度のそれぞれにおいて、前記組み合わせられたガボール位相画像のローカル勾配を計算することと、
    各ローカル勾配の最大値を保持することにより、強化された画像を形成することと
    によって行われる、ことと、
    前記眼球画像領域および前記1つまたは複数の眼球周囲画像領域のうちの少なくとも1つ内の複数の着目点を識別することと、
    各着目点に対して、複数のパターン化ヒストグラム特徴記述子の組み合わせに基づいて、特徴記述子を生成することと、
    前記生成された特徴記述子をバイオメトリックテンプレート内に記憶することと
    を含む、方法。
  2. 特定の着目点に対して前記特徴記述子を生成することは、拡張型マルチ半径ローカルバイナリパターンのパターン化ヒストグラム(PH−EMR−LBP)、拡張型マルチ半径中心対称ローカルバイナリパターンのパターン化ヒストグラム(PH−EMR−CSLBP)、または拡張型マルチ半径ローカルターナリーパターンのパターン化ヒストグラム(PH−EMR−LTP)を生成することを含む、請求項1に記載の方法。
  3. 特定の着目点に対して前記特徴記述子を生成することは、
    前記特定の着目点を含む画像領域を画定することと、
    前記画像領域内の各ピクセルに対して、複数のローカルバイナリパターン(LBP)コードを計算することにより、マルチ半径LBP(MR−LBP)画像を形成することと、
    前記MR−LBP画像を複数のサブ領域に分割することと、
    各サブ領域内の各MR−LBPビット場所の周波数を含む複数のヒストグラムを導出することと、
    前記複数のヒストグラムを組み合わせることにより、PH−EMR−LBP特徴記述子を形成することと
    によって、前記PH−EMR−LBP特徴記述子を生成することを含む、請求項2に記載の方法。
  4. 特定の着目点に対して前記特徴記述子を生成することは、
    前記特定の着目点を含む画像領域を画定することと、
    前記画像領域内の各ピクセルに対して、複数の中心対称ローカルバイナリパターン(CSLBP)コードを計算することにより、マルチ半径CSLBP(MR−CSLBP)画像を形成することと、
    前記MR−LBP画像を複数のサブ領域に分割することと、
    各サブ領域内の各MR−CSLBPビット場所の周波数を含む複数のヒストグラムを導出することと、
    前記複数のヒストグラムを組み合わせることにより、PH−EMR−CSLBP特徴記述子を形成することと
    によって、前記PH−EMR−CSLBP特徴記述子を生成することを含む、請求項2に記載の方法。
  5. 特定の着目点に対して前記特徴記述子を生成することは、
    前記特定の着目点を含む画像領域を画定することと、
    前記画像領域内の各ピクセルに対して、複数のローカルターナリーパターン(LTP)コードを計算することにより、マルチ半径LTP(MR−LTP)画像を形成することと、
    前記MR−LBP画像を複数のサブ領域に分割することと、
    各サブ領域内の各MR−LTPビット場所の周波数を含む複数のヒストグラムを導出することと、
    前記複数のヒストグラムを組み合わせることにより、PH−EMR−LTP特徴記述子を形成することと
    によって、前記PH−EMR−LTP特徴記述子を生成することを含む、請求項2に記載の方法。
  6. 特定の着目点に対して前記特徴記述子を生成することは、
    前記特定の着目点に対して、PH−EMR−LBP特徴記述子、PH−EMR−CS−LBP特徴記述子、およびPH−EMR−LTP特徴記述子を計算することと、
    前記PH−EMR−LBP特徴記述子、PH−EMR−CS−LBP特徴記述子、およびPH−EMR−LTP特徴記述子を組み合わせることにより、組み合わせられた特徴記述子を形成することと
    を含む、請求項2に記載の方法。
  7. 特定の着目点に対して前記特徴記述子を生成することは、分散分析を前記組み合わせられた特徴記述子に適用することにより、前記組み合わせられた特徴記述子からの特徴のサブセットを含む上位特徴記述子を形成することをさらに含む、請求項6に記載の方法。
  8. 特定の着目点に対して前記特徴記述子を生成することは、前記上位特徴記述子に次元縮退を行うことにより、前記特定の着目点に対する前記特徴記述子を形成することをさらに含む、請求項7に記載の方法。
  9. 特定のパターン化ヒストグラム特徴記述子を生成することにおいて、ローカルバイナリパターンまたはローカルターナリーパターン特徴記述子は、角を伴うかまたは角を伴わない正方形によって画定された近傍を使用して計算される、請求項1に記載の方法。
  10. コンピュータ実行可能な命令を記憶するための少なくとも1つのメモリと、
    前記少なくとも1つのメモリ上に記憶される前記命令を実行するための少なくとも1つの処理ユニットと
    を備えるシステムであって、前記命令の実行は、
    ユーザの顔領域の画像を受信することであって、前記顔領域は、眼および前記眼を囲繞する面積を含む、ことと、
    前記画像を処理することにより、(i)前記顔領域の前記画像内の前記眼の少なくとも一部を含む眼球画像領域を画定し、(ii)それぞれが前記顔領域の前記画像内の前記眼を囲繞する面積の少なくとも一部を含む1つまたは複数の眼球周囲画像領域を画定することであって、前記画像を処理することは、ローカル勾配ガボールパターン(LGGP)を使用して前記画像の少なくとも一部を強化することを含み、前記LGGPを使用して前記画像の少なくとも一部を強化することは、
    複数の角度のそれぞれにおいて、前記画像の少なくとも前記一部に関するガボール位相画像を計算することと、
    前記計算されたガボール位相画像を集約することにより、組み合わせられたガボール位相画像を形成することと、
    複数の角度のそれぞれにおいて、前記組み合わせられたガボール位相画像のローカル勾配を計算することと、
    各ローカル勾配の最大値を保持することにより、強化された画像を形成することと
    によって行われる、ことと、
    前記眼球画像領域および前記1つまたは複数の眼球周囲画像領域のうちの少なくとも1つ内の複数の着目点を識別することと、
    各着目点に対して、複数のパターン化ヒストグラム特徴記述子の組み合わせに基づいて、特徴記述子を生成することと、
    前記生成された特徴記述子をバイオメトリックテンプレート内に記憶することと
    を含む動作を行うように前記少なくとも1つの処理ユニットをプログラムする、システム。
  11. 特定の着目点に対して前記特徴記述子を生成することは、拡張型マルチ半径ローカルバイナリパターンのパターン化ヒストグラム(PH−EMR−LBP)、拡張型マルチ半径中心対称ローカルバイナリパターンのパターン化ヒストグラム(PH−EMR−CSLBP)、または拡張型マルチ半径ローカルターナリーパターンのパターン化ヒストグラム(PH−EMR−LTP)を生成することを含む、請求項10に記載のシステム。
  12. 特定の着目点に対して前記特徴記述子を生成することは、
    前記特定の着目点を含む画像領域を画定することと、
    前記画像領域内の各ピクセルに対して、複数のローカルバイナリパターン(LBP)コードを計算することにより、マルチ半径LBP(MR−LBP)画像を形成することと、
    前記MR−LBP画像を複数のサブ領域に分割することと、
    各サブ領域内の各MR−LBPビット場所の周波数を含む複数のヒストグラムを導出することと、
    前記複数のヒストグラムを組み合わせることにより、PH−EMR−LBP特徴記述子を形成することと
    によって、前記PH−EMR−LBP特徴記述子を生成することを含む、請求項11に記載のシステム。
  13. 特定の着目点に対して前記特徴記述子を生成することは、
    前記特定の着目点を含む画像領域を画定することと、
    前記画像領域内の各ピクセルに対して、複数の中心対称ローカルバイナリパターン(CSLBP)コードを計算することにより、マルチ半径CSLBP(MR−CSLBP)画像を形成することと、
    前記MR−LBP画像を複数のサブ領域に分割することと、
    各サブ領域内の各MR−CSLBPビット場所の周波数を含む複数のヒストグラムを導出することと、
    前記複数のヒストグラムを組み合わせることによって、PH−EMR−CSLBP特徴記述子を形成することと
    によって、前記PH−EMR−CSLBP特徴記述子を生成することを含む、請求項11に記載のシステム。
  14. 特定の着目点に対して前記特徴記述子を生成することは、
    前記特定の着目点を含む画像領域を画定することと、
    前記画像領域内の各ピクセルに対して、複数のローカルターナリーパターン(LTP)コードを計算することにより、マルチ半径LTP(MR−LTP)画像を形成することと、
    前記MR−LBP画像を複数のサブ領域に分割することと、
    各サブ領域内の各MR−LTPビット場所の周波数を含む複数のヒストグラムを導出することと、
    前記複数のヒストグラムを組み合わせることにより、PH−EMR−LTP特徴記述子を形成することと
    によって、前記PH−EMR−LTP特徴記述子を生成することを含む、請求項11に記載のシステム。
  15. 特定の着目点に対して前記特徴記述子を生成することは、
    前記特定の着目点に対して、PH−EMR−LBP特徴記述子、PH−EMR−CS−LBP特徴記述子、およびPH−EMR−LTP特徴記述子を計算することと、
    前記PH−EMR−LBP特徴記述子、PH−EMR−CS−LBP特徴記述子、およびPH−EMR−LTP特徴記述子を組み合わせることにより、組み合わせられた特徴記述子を形成することと
    を含む、請求項11に記載のシステム。
  16. 特定の着目点に対して前記特徴記述子を生成することは、分散分析を前記組み合わせられた特徴記述子に適用することにより、前記組み合わせられた特徴記述子からの特徴のサブセットを含む上位特徴記述子を形成することをさらに含む、請求項15に記載のシステム。
  17. 特定の着目点に対して前記特徴記述子を生成することは、前記上位特徴記述子に次元縮退を行うことにより、前記特定の着目点に対する前記特徴記述子を形成することをさらに含む、請求項16に記載のシステム。
  18. 特定のパターン化ヒストグラム特徴記述子を生成することにおいて、ローカルバイナリパターンまたはローカルターナリーパターン特徴記述子は、角を伴うかまたは角を伴わない正方形によって画定された近傍を使用して計算される、請求項10に記載のシステム。
JP2018188074A 2015-09-11 2018-10-03 眼球血管および顔認識のための画像および特徴品質、画像強化および特徴抽出、ならびにバイオメトリックシステムのための眼球血管と顔領域および/またはサブ顔領域との融合 Active JP6449516B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562217660P 2015-09-11 2015-09-11
US62/217,660 2015-09-11

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018512910A Division JP6416438B2 (ja) 2015-09-11 2016-09-09 眼球血管および顔認識のための画像および特徴品質、画像強化および特徴抽出、ならびにバイオメトリックシステムのための眼球血管と顔領域および/またはサブ顔領域との融合

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018227836A Division JP6778247B2 (ja) 2015-09-11 2018-12-05 眼球血管および顔認識のための画像および特徴品質、画像強化および特徴抽出、ならびにバイオメトリックシステムのための眼球血管と顔領域および/またはサブ顔領域との融合

Publications (2)

Publication Number Publication Date
JP2018206442A JP2018206442A (ja) 2018-12-27
JP6449516B2 true JP6449516B2 (ja) 2019-01-09

Family

ID=56940461

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018512910A Expired - Fee Related JP6416438B2 (ja) 2015-09-11 2016-09-09 眼球血管および顔認識のための画像および特徴品質、画像強化および特徴抽出、ならびにバイオメトリックシステムのための眼球血管と顔領域および/またはサブ顔領域との融合
JP2018188074A Active JP6449516B2 (ja) 2015-09-11 2018-10-03 眼球血管および顔認識のための画像および特徴品質、画像強化および特徴抽出、ならびにバイオメトリックシステムのための眼球血管と顔領域および/またはサブ顔領域との融合
JP2018227836A Expired - Fee Related JP6778247B2 (ja) 2015-09-11 2018-12-05 眼球血管および顔認識のための画像および特徴品質、画像強化および特徴抽出、ならびにバイオメトリックシステムのための眼球血管と顔領域および/またはサブ顔領域との融合

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018512910A Expired - Fee Related JP6416438B2 (ja) 2015-09-11 2016-09-09 眼球血管および顔認識のための画像および特徴品質、画像強化および特徴抽出、ならびにバイオメトリックシステムのための眼球血管と顔領域および/またはサブ顔領域との融合

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018227836A Expired - Fee Related JP6778247B2 (ja) 2015-09-11 2018-12-05 眼球血管および顔認識のための画像および特徴品質、画像強化および特徴抽出、ならびにバイオメトリックシステムのための眼球血管と顔領域および/またはサブ顔領域との融合

Country Status (14)

Country Link
US (3) US9721150B2 (ja)
EP (1) EP3347853A1 (ja)
JP (3) JP6416438B2 (ja)
KR (3) KR102131104B1 (ja)
CN (2) CN108351961B (ja)
AU (3) AU2016319775B2 (ja)
BR (2) BR122018007961B1 (ja)
HK (1) HK1251933A1 (ja)
MX (1) MX2018003051A (ja)
PH (1) PH12018500541A1 (ja)
RU (2) RU2711050C2 (ja)
SG (2) SG10202001380RA (ja)
TW (3) TWI706266B (ja)
WO (1) WO2017044782A1 (ja)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10275902B2 (en) 2015-05-11 2019-04-30 Magic Leap, Inc. Devices, methods and systems for biometric user recognition utilizing neural networks
US10043071B1 (en) * 2015-07-30 2018-08-07 Morphotrust Usa, Llc Automated document classification
US10255040B2 (en) * 2017-05-11 2019-04-09 Veridium Ip Limited System and method for biometric identification
US11329980B2 (en) 2015-08-21 2022-05-10 Veridium Ip Limited System and method for biometric protocol standards
US9830708B1 (en) * 2015-10-15 2017-11-28 Snap Inc. Image segmentation of a video stream
FR3046691B1 (fr) * 2016-01-13 2019-03-29 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif de selection et description de points d'interets dans une sequence d'images, par exemple pour l'appariement de points d'interets
CN108780519B (zh) 2016-03-11 2022-09-02 奇跃公司 卷积神经网络的结构学习
US10733275B1 (en) * 2016-04-01 2020-08-04 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
US10956544B1 (en) 2016-04-01 2021-03-23 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
CH712399A2 (fr) * 2016-04-27 2017-10-31 Bron Christophe Système d'identification biométrique basé sur les réseaux veineux et des codages uniques et non falsifiables de structures arborescentes et procédé associé.
FR3054905B1 (fr) * 2016-08-04 2019-10-18 Safran Identity & Security Procede de generation de cle et procede de controle d'acces
US10262187B1 (en) * 2016-11-10 2019-04-16 Synaptics Incorporated Systems and methods for spoof detection based on local binary patterns
US10565433B2 (en) * 2017-03-30 2020-02-18 George Mason University Age invariant face recognition using convolutional neural networks and set distances
US10762335B2 (en) 2017-05-16 2020-09-01 Apple Inc. Attention detection
CN107169535B (zh) * 2017-07-06 2023-11-03 谈宜勇 生物多光谱图像的深度学习分类方法及装置
CN107480488B (zh) * 2017-07-18 2020-01-14 Oppo广东移动通信有限公司 解锁控制方法及相关产品
CN107492075B (zh) * 2017-07-28 2019-12-10 浙江大学 一种基于细节增强的单张ldr图像曝光校正的方法
CN109325393B (zh) 2017-08-01 2022-12-09 苹果公司 使用单一网络的面部检测、姿态估计和距相机距离的估计
WO2019027506A1 (en) 2017-08-01 2019-02-07 Apple Inc. DETERMINATION OF CLEAR-PATTERN LIGHTING VERSUS DENSE
US10210381B1 (en) 2017-08-01 2019-02-19 Apple Inc. Multiple enrollments in facial recognition
CN212846789U (zh) 2017-08-01 2021-03-30 苹果公司 电子设备
US10719692B2 (en) 2017-09-09 2020-07-21 Apple Inc. Vein matching for difficult biometric authentication cases
US10552671B2 (en) * 2017-11-22 2020-02-04 King Fahd University Of Petroleum And Minerals Multi-kernel fuzzy local Gabor feature extraction method for automatic gait recognition
US10579908B2 (en) * 2017-12-15 2020-03-03 Google Llc Machine-learning based technique for fast image enhancement
US10510145B2 (en) 2017-12-27 2019-12-17 Industrial Technology Research Institute Medical image comparison method and system thereof
CN108734085A (zh) * 2018-03-27 2018-11-02 中国银联股份有限公司 虹膜识别方法及虹膜识别系统
JP2019204288A (ja) * 2018-05-23 2019-11-28 富士通株式会社 生体認証装置、生体認証方法及び生体認証プログラム
US10769414B2 (en) 2018-06-03 2020-09-08 Apple Inc. Robust face detection
US10303866B1 (en) 2018-06-03 2019-05-28 Apple Inc. Automatic retries for facial recognition
TWI674557B (zh) * 2018-07-31 2019-10-11 瑞昱半導體股份有限公司 影像處理裝置及其方法
CN109389031B (zh) * 2018-08-27 2021-12-03 浙江大丰实业股份有限公司 演出人员自动定位机构
US11163981B2 (en) 2018-09-11 2021-11-02 Apple Inc. Periocular facial recognition switching
WO2020065851A1 (ja) * 2018-09-27 2020-04-02 日本電気株式会社 虹彩認証装置、虹彩認証方法および記憶媒体
KR20210075072A (ko) * 2018-10-09 2021-06-22 에씰로 앙터나시오날 착용자의 시각 탐색 전략에 따라 안구 장비를 맞추기 위한 방법
EP3651057B1 (fr) * 2018-11-09 2023-06-14 Tissot S.A. Procede d'authentification faciale d'un porteur d'une montre
CN109766925B (zh) * 2018-12-20 2021-05-11 深圳云天励飞技术有限公司 特征融合方法、装置、电子设备及存储介质
CN109766809B (zh) * 2018-12-29 2021-01-29 山东财经大学 一种改进的人眼检测及跟踪方法
US10803343B2 (en) * 2019-01-23 2020-10-13 Ncku Research And Development Foundation Motion-aware keypoint selection system adaptable to iterative closest point
US10796194B2 (en) * 2019-01-23 2020-10-06 Ncku Research And Development Foundation Motion-aware keypoint selection system adaptable to iterative closest point
CN111666796B (zh) * 2019-03-08 2023-04-07 财团法人成大研究发展基金会 适用于迭代最近点法的可察觉移动的关键点选择系统
US10599934B1 (en) * 2019-03-21 2020-03-24 Alibaba Group Hoding Limited Spoof detection using optokinetic response
FR3094122A1 (fr) * 2019-03-22 2020-09-25 Stmicroelectronics (Grenoble 2) Sas Dispositif électronique de traitement d’images
US10853642B2 (en) * 2019-03-22 2020-12-01 Advanced New Technologies Co., Ltd. Fusing multi-spectral images for identity authentication
CN110070037B (zh) * 2019-04-22 2022-11-01 深圳力维智联技术有限公司 人脸识别模型的平滑升级方法、装置和可读存储介质
CN110110637A (zh) * 2019-04-25 2019-08-09 深圳市华嘉生物智能科技有限公司 一种人脸皮肤皱纹自动识别和皱纹严重程度自动分级的方法
WO2020236993A1 (en) 2019-05-21 2020-11-26 Magic Leap, Inc. Hand pose estimation
CN112102543A (zh) * 2019-05-31 2020-12-18 杭州海康威视数字技术股份有限公司 一种安检系统和方法
CN110472479B (zh) * 2019-06-28 2022-11-22 广州中国科学院先进技术研究所 一种基于surf特征点提取和局部lbp编码的指静脉识别方法
JP7237768B2 (ja) * 2019-08-02 2023-03-13 株式会社日立製作所 生体情報検出装置
US11087444B2 (en) * 2019-08-09 2021-08-10 The Boeing Company Field programmable gate array (FPGA) implementation and optimization of augmented contrast limited adaptive histogram equalization
US11916612B2 (en) * 2019-10-01 2024-02-27 Nippon Telegraph And Telephone Corporation Mobile terminal and communication quality prediction method
US11304645B2 (en) 2019-10-15 2022-04-19 Biosense Webster (Israel) Ltd. Local rendering based detail subset presentation
US11294996B2 (en) 2019-10-15 2022-04-05 Assa Abloy Ab Systems and methods for using machine learning for image-based spoof detection
US11348375B2 (en) 2019-10-15 2022-05-31 Assa Abloy Ab Systems and methods for using focal stacks for image-based spoof detection
US10607077B1 (en) 2019-10-28 2020-03-31 EyeVerify Inc. Identity authentication using an inlier neural network
KR20210071410A (ko) 2019-12-06 2021-06-16 삼성전자주식회사 센서 특화 이미지 인식 장치 및 방법
US11276153B2 (en) * 2020-01-14 2022-03-15 Adobe Inc. Auto-complete image suggestions for image editing
KR102409790B1 (ko) * 2020-01-30 2022-06-17 주식회사 알체라 생체정보 분산관리 시스템 및 이를 이용한 생체인식 방법
DE102020202946A1 (de) 2020-03-08 2021-09-09 Volkswagen Aktiengesellschaft Verfahren zum Bereitstellen des Zugangs zu einem Gerät sowie Kraftfahrzeug
CN111415397B (zh) * 2020-03-20 2024-03-08 广州虎牙科技有限公司 一种人脸重构、直播方法、装置、设备及存储介质
CN111507208B (zh) * 2020-03-30 2021-06-25 中国科学院上海微系统与信息技术研究所 一种基于巩膜识别的身份验证方法、装置、设备和介质
DE102020109171A1 (de) 2020-04-02 2021-10-07 Bundesdruckerei Gmbh Integritätsprüfung eines Dokuments mit personenbezogenen Daten
JP7363675B2 (ja) * 2020-06-15 2023-10-18 株式会社島津製作所 イメージング質量分析装置、及びイメージング質量分析方法
US11275959B2 (en) * 2020-07-07 2022-03-15 Assa Abloy Ab Systems and methods for enrollment in a multispectral stereo facial recognition system
US11689822B2 (en) 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof
US11995808B2 (en) 2020-09-04 2024-05-28 Abova, Inc Method for X-ray dental image enhancement
CN112329674B (zh) * 2020-11-12 2024-03-12 北京环境特性研究所 基于多纹理特征融合的结冰湖泊检测方法和装置
AU2021401427A1 (en) * 2020-12-17 2023-07-13 Avedro, Inc. Treatments for eye infection
US11921831B2 (en) 2021-03-12 2024-03-05 Intellivision Technologies Corp Enrollment system with continuous learning and confirmation
TWI775356B (zh) * 2021-03-19 2022-08-21 宏碁智醫股份有限公司 用於眼底圖的影像前處理方法及影像處理裝置
TWI758162B (zh) * 2021-04-15 2022-03-11 和碩聯合科技股份有限公司 生物形體的追蹤系統及方法
AU2021240278A1 (en) * 2021-09-20 2023-04-06 Sensetime International Pte. Ltd. Face identification methods and apparatuses
WO2023041963A1 (en) * 2021-09-20 2023-03-23 Sensetime International Pte. Ltd. Face identification methods and apparatuses
EP4160548A1 (en) * 2021-10-01 2023-04-05 Amadeus S.A.S. System and method for processing biometric characteristics
US20230222197A1 (en) 2022-01-07 2023-07-13 Jumio Corporation Biometric Authentication Using Head-Mounted Devices
CN114936361A (zh) * 2022-01-28 2022-08-23 中国银联股份有限公司 生物特征识别方法、服务器以及客户端
CN115442021A (zh) * 2022-08-09 2022-12-06 中国银联股份有限公司 一种数据匹配方法、装置、系统、设备及介质
US11762969B1 (en) * 2023-01-12 2023-09-19 King Saud University Systems and methods for facilitating biometric recognition
CN115984952B (zh) * 2023-03-20 2023-11-24 杭州叶蓁科技有限公司 基于球结膜血管图像识别的眼动跟踪系统及其方法
CN117392225A (zh) * 2023-12-06 2024-01-12 中导光电设备股份有限公司 一种显示屏检测区域位置校正的方法和系统

Family Cites Families (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5291560A (en) 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
US5303709A (en) 1991-12-16 1994-04-19 Dreher Andreas W Retinal eye disease diagnostic system
US6095989A (en) 1993-07-20 2000-08-01 Hay; Sam H. Optical recognition methods for locating eyes
US5632282A (en) 1993-07-20 1997-05-27 Hay; S. Hutson Ocular disease detection apparatus
US6707484B1 (en) 1994-07-28 2004-03-16 Semiconductor Energy Laboratory Co., Ltd. Information processing system
US6714665B1 (en) * 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
JPH1063858A (ja) * 1996-08-21 1998-03-06 Oki Electric Ind Co Ltd 個人識別方法及び個人識別装置
CA2273279A1 (en) 1996-12-04 1998-06-11 Dew Engineering And Development Limited Biometric security encryption system
JPH10340343A (ja) * 1997-06-06 1998-12-22 Oki Electric Ind Co Ltd 個体識別装置
JPH10340344A (ja) * 1997-06-06 1998-12-22 Oki Electric Ind Co Ltd 個体識別装置
US6185316B1 (en) 1997-11-12 2001-02-06 Unisys Corporation Self-authentication apparatus and method
JP3315648B2 (ja) 1998-07-17 2002-08-19 沖電気工業株式会社 アイリスコード生成装置およびアイリス認識システム
KR100320188B1 (ko) 1999-03-23 2002-01-10 구자홍 홍채인식 시스템의 위조 판별방법
JP4519963B2 (ja) 1999-06-21 2010-08-04 富士通株式会社 生体情報の暗号化・復号化方法および装置並びに、生体情報を利用した本人認証システム
US6839151B1 (en) 2000-02-02 2005-01-04 Zoran Corporation System and method for color copy image processing
EP1285409B1 (de) 2000-05-16 2005-05-11 Swisscom Mobile AG Biometrisches identifizierungs- und authentifizierungsverfahren
US7536557B2 (en) 2001-03-22 2009-05-19 Ensign Holdings Method for biometric authentication through layering biometric traits
US6836554B1 (en) 2000-06-16 2004-12-28 International Business Machines Corporation System and method for distorting a biometric for transactions with enhanced security and privacy
JP2002236666A (ja) * 2001-02-09 2002-08-23 Matsushita Electric Ind Co Ltd 個人認証装置
US7103200B2 (en) 2001-03-05 2006-09-05 Robert Hillhouse Method and system for adaptively varying templates to accommodate changes in biometric information
US8284025B2 (en) 2001-07-10 2012-10-09 Xatra Fund Mx, Llc Method and system for auditory recognition biometrics on a FOB
FR2831302A1 (fr) 2001-10-19 2003-04-25 St Microelectronics Sa Codage d'informations concentriques
AU2003245458A1 (en) 2002-06-12 2003-12-31 Advanced Research And Technology Institute, Inc. Method and apparatus for improving both lateral and axial resolution in ophthalmoscopy
JP2004023733A (ja) 2002-06-20 2004-01-22 Canon Inc 画像撮影装置及びその制御方法
US7668351B1 (en) 2003-01-17 2010-02-23 Kestrel Corporation System and method for automation of morphological segmentation of bio-images
WO2004073501A2 (en) 2003-02-20 2004-09-02 Gutin Mikhail Optical coherence tomography with 3d coherence scanning
US7599524B2 (en) * 2003-04-04 2009-10-06 Sarnoff Corporation Method and apparatus for providing a robust object finder
KR20050025927A (ko) * 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
JP3945474B2 (ja) 2003-11-28 2007-07-18 松下電器産業株式会社 眼画像入力装置および認証装置ならびに画像処理方法
US7336806B2 (en) 2004-03-22 2008-02-26 Microsoft Corporation Iris-based biometric identification
US7542590B1 (en) 2004-05-07 2009-06-02 Yt Acquisition Corporation System and method for upgrading biometric data
US20050281440A1 (en) 2004-06-18 2005-12-22 Pemer Frederick A Iris feature detection and sensor-based edge detection
US7155040B2 (en) 2004-06-29 2006-12-26 Bio-Key International, Inc. Generation of quality field information in the context of image processing
WO2006055714A2 (en) 2004-11-19 2006-05-26 Triad Biometrics, Llc Methods and systems for use in biomeiric authentication and/or identification
US20060120571A1 (en) * 2004-12-03 2006-06-08 Tu Peter H System and method for passive face recognition
GB0427205D0 (en) 2004-12-11 2005-01-12 Ncr Int Inc Biometric system
WO2006069158A2 (en) 2004-12-22 2006-06-29 Merkatum Corporation Self-adaptive multimodal biometric authentication system and method
GB2438103B8 (en) 2005-01-14 2010-09-15 Ultra Scan Corp Multimodal fusion decision logic system.
KR101224408B1 (ko) * 2005-01-26 2013-01-22 허니웰 인터내셔널 인코포레이티드 원격 홍채 인식 시스템
RU2365995C2 (ru) * 2005-01-31 2009-08-27 Самсунг Электроникс Ко., Лтд. Система и способ регистрации двухмерных изображений
US7327860B2 (en) 2005-05-04 2008-02-05 West Virginia University Conjunctival scans for personal identification
US8370639B2 (en) 2005-06-16 2013-02-05 Sensible Vision, Inc. System and method for providing secure access to an electronic device using continuous facial biometrics
JP4686284B2 (ja) 2005-07-13 2011-05-25 日立オムロンターミナルソリューションズ株式会社 生体情報登録装置
CN100336071C (zh) * 2005-08-19 2007-09-05 清华大学 复杂背景图像中鲁棒的眼睛精确定位方法
US8260008B2 (en) 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
US7801335B2 (en) 2005-11-11 2010-09-21 Global Rainmakers Inc. Apparatus and methods for detecting the presence of a human eye
US8005277B2 (en) 2006-03-03 2011-08-23 Research Foundation-State University of NY Secure fingerprint matching by hashing localized information
US20070217708A1 (en) 2006-03-20 2007-09-20 International Business Machines Corporation Method, system, and program product for transforming a biometric image
JP4961214B2 (ja) 2006-03-29 2012-06-27 株式会社日立情報制御ソリューションズ 生体認証方法およびシステム
RU2304307C1 (ru) * 2006-03-29 2007-08-10 Юрий Витальевич Морзеев Способ идентификации человека по изображению его лица
WO2007124450A2 (en) 2006-04-21 2007-11-01 The Trustees Of The University Of Pennsylvania Motion artifact compensation
US20070286462A1 (en) 2006-04-28 2007-12-13 David Usher System and method for biometric retinal identification
KR100852629B1 (ko) 2006-06-02 2008-08-18 연세대학교 산학협력단 다초점 영상 시퀀스를 이용한 홍채인식 시스템 및 방법
US20070291277A1 (en) 2006-06-20 2007-12-20 Everett Matthew J Spectral domain optical coherence tomography system
US8417960B2 (en) 2006-09-06 2013-04-09 Hitachi, Ltd. Method for generating an encryption key using biometrics authentication and restoring the encryption key and personal authentication system
PL380581A1 (pl) 2006-09-07 2008-03-17 Naukowa I Akademicka Sieć Komputerowa Sposób testowania żywotności oka i urządzenie do testowania żywotności oka
US7496174B2 (en) * 2006-10-16 2009-02-24 Oraya Therapeutics, Inc. Portable orthovoltage radiotherapy
US20080298642A1 (en) 2006-11-03 2008-12-04 Snowflake Technologies Corporation Method and apparatus for extraction and matching of biometric detail
KR100855631B1 (ko) * 2006-12-26 2008-09-01 (주)엔토시스 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법
JP4309926B2 (ja) 2007-03-13 2009-08-05 アイシン精機株式会社 顔特徴点検出装置、顔特徴点検出方法及びプログラム
US8279329B2 (en) 2007-04-10 2012-10-02 University Of Rochester Structured illumination for imaging of stationary and non-stationary, fluorescent and non-fluorescent, objects
US8831299B2 (en) * 2007-05-22 2014-09-09 Intellectual Ventures Fund 83 Llc Capturing data for individual physiological monitoring
FI20070501A0 (fi) 2007-06-21 2007-06-21 Timo Tapani Lehto Menetelmä ja järjestelmä ihmisen tunnistamiseksi
JP5110983B2 (ja) 2007-06-29 2012-12-26 日立オムロンターミナルソリューションズ株式会社 生体認証処理システム
US8553948B2 (en) 2007-09-01 2013-10-08 Eyelock, Inc. System and method for iris data acquisition for biometric identification
RU2382408C2 (ru) * 2007-09-13 2010-02-20 Институт прикладной физики РАН Способ и система для идентификации человека по изображению лица
RU2390844C2 (ru) * 2007-10-22 2010-05-27 Государственное образовательное учреждение высшего профессионального образования Курский государственный технический университет Способ распознавания глаз на изображении и устройство для его реализации
JP5080944B2 (ja) 2007-11-08 2012-11-21 興和株式会社 パノラマ眼底画像合成装置及び方法
ES2326205B1 (es) 2007-11-27 2010-06-29 Universidad Complutense De Madrid Metodo y dispositivo para el reconocimiento de individuos basado en la imagen de la retina que incorpora como constante biometrica el area imagen del punto de fijacion.
US8532344B2 (en) 2008-01-09 2013-09-10 International Business Machines Corporation Methods and apparatus for generation of cancelable face template
JP5277365B2 (ja) 2008-04-06 2013-08-28 国立大学法人九州工業大学 個人認証方法及びそれに使用する個人認証装置
US8238639B2 (en) 2008-04-09 2012-08-07 Cognex Corporation Method and system for dynamic feature detection
KR100949801B1 (ko) 2008-04-17 2010-03-30 한국전자통신연구원 퍼지볼트 시스템에서의 다항식 복원장치 및 그 방법
US8079711B2 (en) 2008-04-24 2011-12-20 Carl Zeiss Meditec, Inc. Method for finding the lateral position of the fovea in an SDOCT image volume
US8422832B2 (en) 2008-06-06 2013-04-16 Google Inc. Annotating images
JP4569670B2 (ja) * 2008-06-11 2010-10-27 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8249314B2 (en) 2008-06-16 2012-08-21 International Business Machines Corporation Anonymous and revocable fingerprint recognition
JP2010020594A (ja) * 2008-07-11 2010-01-28 Kddi Corp 瞳画像認識装置
ES2337866B2 (es) 2008-07-24 2011-02-14 Universidad Complutense De Madrid Reconocimiento biometrico mediante estudio del mapa de superficie delsegundo dioptrio ocular.
US8090246B2 (en) 2008-08-08 2012-01-03 Honeywell International Inc. Image acquisition system
KR100996466B1 (ko) 2008-10-09 2010-11-25 조선대학교산학협력단 비밀분산 기법을 이용한 지문정보 저장 장치, 비밀분산 기법을 이용한 지문 인증 시스템 및 비밀분산 기법을 이용한 지문 인증 방법
US9226798B2 (en) 2008-10-10 2016-01-05 Truevision Systems, Inc. Real-time surgical reference indicium apparatus and methods for surgical applications
US8514277B2 (en) 2008-11-05 2013-08-20 Dyer Holdings, Llc Video infrared retinal image scanner
US20100142767A1 (en) 2008-12-04 2010-06-10 Alan Duncan Fleming Image Analysis
US8280119B2 (en) 2008-12-05 2012-10-02 Honeywell International Inc. Iris recognition system using quality metrics
KR20100073191A (ko) 2008-12-22 2010-07-01 한국전자통신연구원 거리 정보를 이용한 위조 얼굴 검출 방법 및 장치
WO2010129074A1 (en) 2009-01-14 2010-11-11 Indiana University Research & Technology Corporation System and method for identifying a person with reference to a sclera image
US20100232659A1 (en) 2009-03-12 2010-09-16 Harris Corporation Method for fingerprint template synthesis and fingerprint mosaicing using a point matching algorithm
US8472681B2 (en) * 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
GB2471192B (en) 2009-06-15 2011-08-17 Honeywell Int Inc An iris and ocular recognition system using trace transforms
JP5287550B2 (ja) 2009-07-01 2013-09-11 富士通株式会社 生体認証システム,生体認証方法,生体認証装置,生体情報処理装置,生体認証プログラムおよび生体情報処理プログラム
CN102576460A (zh) 2009-09-09 2012-07-11 日本电气株式会社 生物统计认证系统、方法和程序
KR101255555B1 (ko) 2009-11-24 2013-04-17 한국전자통신연구원 보안성이 강화된 지문인식 방법 및 장치
JP5218991B2 (ja) 2009-12-08 2013-06-26 株式会社日立製作所 複数種類のテンプレートを用いた生体認証システム及び生体認証方法
US8818048B2 (en) 2010-01-22 2014-08-26 Indiana University Research And Technology Corp. System and method for cancelable iris recognition
JP5403147B2 (ja) 2010-03-10 2014-01-29 富士通株式会社 生体認証装置及び生体認証方法
US8948467B2 (en) * 2010-08-06 2015-02-03 Honeywell International Inc. Ocular and iris processing system and method
CN106209382A (zh) 2010-09-20 2016-12-07 安全第公司 用于安全数据共享的系统和方法
US8457370B2 (en) 2011-01-20 2013-06-04 Daon Holdings Limited Methods and systems for authenticating users with captured palm biometric data
US8355544B2 (en) 2011-02-01 2013-01-15 Universidade Da Coruna-Otri Method, apparatus, and system for automatic retinal image analysis
CN102844766B (zh) * 2011-04-20 2014-12-24 中国科学院自动化研究所 基于人眼图像的多特征融合身份识别方法
US9323980B2 (en) * 2011-05-13 2016-04-26 Microsoft Technology Licensing, Llc Pose-robust recognition
US8385685B2 (en) * 2011-06-08 2013-02-26 Honeywell International Inc. System and method for ocular recognition
CN104114080B (zh) * 2011-10-17 2017-04-19 爱迪尔扫描有限责任公司 用于确定眼地形图的方法和设备
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
CN102496007B (zh) 2011-12-02 2014-06-11 陈中山 人体身份识别仪
US9082011B2 (en) * 2012-03-28 2015-07-14 Texas State University—San Marcos Person identification using ocular biometrics with liveness detection
US8457367B1 (en) 2012-06-26 2013-06-04 Google Inc. Facial recognition
US8768049B2 (en) 2012-07-13 2014-07-01 Seiko Epson Corporation Small vein image recognition and authorization using constrained geometrical matching and weighted voting under generic tree model
US8483450B1 (en) * 2012-08-10 2013-07-09 EyeVerify LLC Quality metrics for biometric authentication
US8437513B1 (en) * 2012-08-10 2013-05-07 EyeVerify LLC Spoof detection for biometric authentication
US8369595B1 (en) 2012-08-10 2013-02-05 EyeVerify LLC Texture features for biometric authentication
JP6005750B2 (ja) * 2012-08-28 2016-10-12 株式会社日立製作所 認証装置、及び認証方法
CN103679118B (zh) * 2012-09-07 2017-06-16 汉王科技股份有限公司 一种人脸活体检测方法及系统
US9171226B2 (en) * 2012-09-26 2015-10-27 Carnegie Mellon University Image matching using subspace-based discrete transform encoded local binary patterns
CN104143078B (zh) * 2013-05-09 2016-08-24 腾讯科技(深圳)有限公司 活体人脸识别方法、装置和设备
US9076238B2 (en) * 2013-08-21 2015-07-07 Seiko Epson Corporation Intelligent weighted blending for ultrasound image stitching
US9053365B2 (en) * 2013-09-16 2015-06-09 EyeVerify, Inc. Template update for biometric authentication
US8965066B1 (en) 2013-09-16 2015-02-24 Eye Verify LLC Biometric template security and key generation
TWI557004B (zh) * 2014-01-10 2016-11-11 Utechzone Co Ltd Identity authentication system and its method
JP6329635B2 (ja) * 2014-02-25 2018-05-23 アイベリファイ インコーポレイテッド 視線追跡
US9922238B2 (en) 2015-06-25 2018-03-20 West Virginia University Apparatuses, systems, and methods for confirming identity

Also Published As

Publication number Publication date
KR20200007085A (ko) 2020-01-21
CN110852160A (zh) 2020-02-28
BR112018004755A2 (pt) 2018-09-25
KR102067947B1 (ko) 2020-01-17
JP6416438B2 (ja) 2018-10-31
JP6778247B2 (ja) 2020-10-28
TW202029031A (zh) 2020-08-01
TWI706272B (zh) 2020-10-01
PH12018500541A1 (en) 2018-09-24
RU2019116007A (ru) 2019-06-11
RU2691195C1 (ru) 2019-06-11
US10311286B2 (en) 2019-06-04
RU2711050C2 (ru) 2020-01-14
HK1251933A1 (zh) 2019-05-03
MX2018003051A (es) 2018-06-08
US9721150B2 (en) 2017-08-01
RU2019116007A3 (ja) 2019-07-17
US20170076145A1 (en) 2017-03-16
JP2019079546A (ja) 2019-05-23
AU2019204639A1 (en) 2019-07-18
AU2016319775A1 (en) 2018-04-12
US20170206404A1 (en) 2017-07-20
TWI687832B (zh) 2020-03-11
AU2018256555B2 (en) 2019-05-02
AU2019204639B2 (en) 2019-12-19
JP2018528543A (ja) 2018-09-27
AU2018256555A1 (en) 2018-11-22
KR102131104B1 (ko) 2020-07-07
US9836643B2 (en) 2017-12-05
AU2016319775B2 (en) 2018-10-04
SG10202001382XA (en) 2020-04-29
TW201712580A (zh) 2017-04-01
US20170076146A1 (en) 2017-03-16
KR101967123B1 (ko) 2019-04-08
BR122018007961A2 (pt) 2019-09-10
EP3347853A1 (en) 2018-07-18
TW202029035A (zh) 2020-08-01
CN110852160B (zh) 2023-05-09
BR122018007964A2 (pt) 2019-09-10
KR20180057646A (ko) 2018-05-30
TWI706266B (zh) 2020-10-01
JP2018206442A (ja) 2018-12-27
SG10202001380RA (en) 2020-04-29
CN108351961B (zh) 2019-11-01
WO2017044782A1 (en) 2017-03-16
BR122018007961B1 (pt) 2024-04-30
KR20190038685A (ko) 2019-04-08
CN108351961A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
JP6449516B2 (ja) 眼球血管および顔認識のための画像および特徴品質、画像強化および特徴抽出、ならびにバイオメトリックシステムのための眼球血管と顔領域および/またはサブ顔領域との融合
JP6599421B2 (ja) バイオメトリック認証のための特徴抽出およびマッチングおよびテンプレート更新
US10445574B2 (en) Method and apparatus for iris recognition
BR122018007964B1 (pt) Método implementado por computador e sistema

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181003

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181003

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181205

R150 Certificate of patent or registration of utility model

Ref document number: 6449516

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250