JP6257840B2 - ライブ性分析のためのシステムおよび方法 - Google Patents

ライブ性分析のためのシステムおよび方法 Download PDF

Info

Publication number
JP6257840B2
JP6257840B2 JP2017513107A JP2017513107A JP6257840B2 JP 6257840 B2 JP6257840 B2 JP 6257840B2 JP 2017513107 A JP2017513107 A JP 2017513107A JP 2017513107 A JP2017513107 A JP 2017513107A JP 6257840 B2 JP6257840 B2 JP 6257840B2
Authority
JP
Japan
Prior art keywords
individual
signal
color
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017513107A
Other languages
English (en)
Other versions
JP2017534102A (ja
Inventor
デヴィッド ヒルボネン,
デヴィッド ヒルボネン,
Original Assignee
アイベリファイ インコーポレイテッド
アイベリファイ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=54330842&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6257840(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by アイベリファイ インコーポレイテッド, アイベリファイ インコーポレイテッド filed Critical アイベリファイ インコーポレイテッド
Publication of JP2017534102A publication Critical patent/JP2017534102A/ja
Application granted granted Critical
Publication of JP6257840B2 publication Critical patent/JP6257840B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/36Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nonlinear Science (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

(関連出願に対する相互参照)
本願は、2014年9月9日に出願された「Systems and Methods for Liveness Analysis」と題された係属中の米国特許出願第14/480,802号の継続であり、かつ、この出願に対する優先権を主張し、この出願の開示は、参照により、その全体が本明細書に援用される。
(技術分野)
本開示は、概して、画像分析に関し、具体的には、画像内に描写される対象がライブであるか否かを検出するための画像処理技法に関する。
(背景)
多くの場合、特定の個人に対するプロパティまたはリソースへのアクセスを制限することが望ましい。バイオメトリックシステムは、リソースへのアクセスの許可または拒否のいずれかを行うために個人の身元を証明するために使用されることが可能である。例えば、虹彩スキャナが、個人の虹彩内の一意の構造に基づいて、個人を識別するためにバイオメトリックセキュリティシステムによって使用されることが可能である。しかしながら、そのようなシステムは、詐称者が、認証済みの人物の顔の事前に録画された画像またはビデオを走査のために提示する場合、その詐称者を誤って認証する可能性がある。そのような偽の画像またはビデオは、走査のために使用されるカメラの正面に保持されたモニタ(例えば、ブラウン管(CRT)または液晶ディスプレイ(LCD)画面等)上、光沢のある写真等に表示されることが可能である。いくつかのいわゆるなりすまし検出システムは、眼の移動を確認することによって、偽の画像を検出することが可能である。しかし、そのようなシステムは、眼の予期される移動を含む偽のビデオを識別することにおいては効果的ではない場合がある。したがって、改善されたシステムおよび方法が、認証済みの人物によってライブで提供される画像およびビデオから偽の画像およびビデオを効率的に決定するために必要とされる。
(要旨)
本明細書に説明される種々の実施では、実際/真正の顔および詐称者の顔の反射特性における差異が、ライブの真正の顔および/または眼を詐称者の画像/ビデオと区別するために使用される。これは、部分的に、実在の顔または偽画像であり得る標的の正面に保持された画面上に基準信号をレンダリングすることによって、標的による基準信号の反射を記録することによって、および、反射された信号とレンダリングされた信号と間の1つまたは複数の相関を算出することによって、達成される。
従って、一側面では、ライブ画像が認証のために提示されているか否かを決定するためのコンピュータ実施される方法は、表示デバイス上に、相互から位相分離されるいくつかの異なる個別の信号を含む時変性の第1の信号をレンダリングすることを含む。方法はまた、レンダリングの間、レンダリングされた第1の信号によって照明されるいくつかの標的の画像を捕捉することと、バンドパスフィルタを画像に時間的に適用することにより、複数のフィルタリングされた画像を生成することとを含む。方法は、第2の信号をフィルタリングされた画像から抽出することと、第1の信号および第2の信号の時間的相関に少なくとも基づいて、第1の測定値を生成することとをさらに含む。加えて、方法は、いくつかのピクセル場所内のピクセル場所毎に、いくつかのフィルタリングされた画像内のピクセル場所の個別の値の経時的変化に基づいて、ピクセル場所に関する個別の信号を抽出することと、第1の信号に対するピクセル場所の個別の抽出された信号の相関に基づいて、ピクセル場所毎に、個別のピクセル場所相関スコアを計算することとを含む。方法は、ピクセル場所相関スコアのいくつかに少なくとも基づいて、第2の測定値を生成することと、第1の測定値および第2の測定値に少なくとも基づいて、標的を承認または拒否することとをさらに含む。
第1の信号の各個別の信号は、異なる色を有し得、色の各々は、同一の周波数を使用してレンダリングされ得る。いくつかの実施では、第1の信号の各個別の信号は、異なる単色信号であり、第1の信号は、正弦波であり得る。第1の信号の各個別の信号は、別々の正弦波であり得、正弦波は、第1の信号内に重畳され得る。第1の信号の個別の信号は、ランダムに生成され得る。いくつかの実施では、ピクセル場所の特定の個別の値は、色であり得る。
各画像は、いくつかの個別の画像を含み得、いくつかの個別の画像は、各々が個別の変換を受けたか、異なる個別の分解能であるか、または、選択された照明現象に対応する異なる個別の空間的周波数バンドを含む。第1の測定値は、第1の信号の位相が第2の信号の位相に合うか否かにさらに基づき得る。第2の信号をフィルタリングされた画像から抽出することは、第2の信号をフィルタリングされた画像の各々の個別のドミナント色値から抽出することを含み得る。いくつかの実施では、方法は、バンドパスフィルタを適用する前に、捕捉および/または処理された画像のうちのいくつかの中の標的を安定化させることをさらに含む。バンドパスフィルタは、周波数ドメイン内または時間的ドメイン内に適用されることができる。
いくつかの実施では、いくつかのピクセル場所相関スコアに少なくとも基づいて、第2の測定値を生成することは、ピクセル場所相関スコアを組み合わせることにより、第2の測定値を生成することを含む。標的は、ヒトの顔であり得、組み合わせられたピクセル場所相関スコアは、顔の特定の領域のピクセル場所に関し得る。顔の特定の領域は、(i)複数の画像内において隠されるかまたは過度に露出される顔の1つまたは複数の部分を少なくとも部分的に回避するための動的画像分析、および、(ii)レンダリングされた第1の信号を反射する可能性が高い顔の特徴についての知識を表すマスクまたは加重マップのうちの1つまたは複数を使用して決定され得る。
各ピクセル場所は、いくつかの画像データ要素を表し得、いくつかの画像データ要素の一部または全部は、異なる分解能であり得る。各ピクセル場所は、ピクセル場所の個別の画像データ要素の加重された組み合わせであり得る。いくつかの捕捉された画像は、ガウシアンピラミッドまたはラプラシアンピラミッドを表し得る。フィルタリングされた画像の特定のフィルタリングされた画像は、いくつかのピラミッドレベルの加重された組み合わせを表し得る。本側面の他の実施形態は、対応するシステム、装置、およびコンピュータプログラムを含む。
本明細書に説明される主題の特定の実施は、以下の利点のうちの1つまたは複数を実現することが可能である。例えば、検出技法は、検出を実行している間にレンダリングされるマルチスペクトルパターン信号に依存する。認証のために提供される任意の事前に記録されたビデオ/画像からの人物の顔および/または眼の画像は、ライブ性検出の間に提供されるマルチスペクトルパターン信号と相関する可能性が低い。さらに、そのようなビデオ/画像をレンダリングする画面からのマルチスペクトルパターン信号の任意の反射は、ライブ人物の顔および/または眼からの反射と性質が異なる可能性が高い。本明細書に説明される種々の実施は、以下に説明されるように、これらの変則を検出することが可能であり、したがって、ライブの認証済みの人物と偽のビデオおよび/または画像を区別する際によりロバストとなり得る。
本明細書に説明される主題の1つまたは複数の実施形態の詳細は、付随の図面および以下の説明に記載される。主題の他の特徴、側面、および利点は、説明、図面、ならびに特許請求の範囲から明白となる。
本発明は、例えば、以下を提供する。
(項目1)
コンピュータ実施される方法であって、前記方法は、
表示デバイス上に、相互から位相分離された複数の異なる個別の信号を含む時変性の第1の信号をレンダリングすることと、
前記レンダリングの間、前記レンダリングされた第1の信号によって照明される標的の複数の画像を捕捉することと、
バンドパスフィルタを前記画像に時間的に適用することにより、複数のフィルタリングされた画像を生成することと、
第2の信号を前記フィルタリングされた画像から抽出することと、
前記第1の信号および前記第2の信号の時間的相関に少なくとも基づいて、第1の測定値を生成することと、
複数のピクセル場所内のピクセル場所毎に、複数の前記フィルタリングされた画像内の前記ピクセル場所の個別の値の経時的変化に基づいて、前記ピクセル場所に関する個別の信号を抽出することと、
前記第1の信号に対する前記ピクセル場所の個別の抽出された信号の相関に基づいて、前記ピクセル場所毎に、個別のピクセル場所相関スコアを計算することと、
複数の前記ピクセル場所相関スコアに少なくとも基づいて、第2の測定値を生成することと、
前記第1の測定値および前記第2の測定値に少なくとも基づいて、前記標的を承認または拒否することと
を含む、方法。
(項目2)
前記第1の信号の各個別の信号は、異なる色である、項目1に記載の方法。
(項目3)
前記色の各々は、同一の周波数を使用してレンダリングされる、項目2に記載の方法。
(項目4)
前記第1の信号の各個別の信号は、異なる単色信号である、項目1に記載の方法。
(項目5)
前記第1の信号は、正弦波である、項目1に記載の方法。
(項目6)
前記第1の信号の各個別の信号は、別々の正弦波であり、前記正弦波は、前記第1の信号内に重畳される、項目1に記載の方法。
(項目7)
前記第1の信号の個別の信号は、ランダムに生成される、項目1に記載の方法。
(項目8)
ピクセル場所の特定の個別の値は、色である、項目1に記載の方法。
(項目9)
各画像は、複数の個別の画像を含み、前記複数の個別の画像は、各々、異なる個別の分解能で個別に変換されるか、または、選択された照明現象に対応する異なる個別の空間的周波数バンドを含む、項目1に記載の方法。
(項目10)
前記第1の測定値は、前記第1の信号の位相が前記第2の信号の位相に合うか否かにさらに基づく、項目1に記載の方法。
(項目11)
第2の信号を前記フィルタリングされた画像から抽出することは、前記第2の信号を前記フィルタリングされた画像の各々の個別のドミナント色値から抽出することを含む、項目1に記載の方法。
(項目12)
前記バンドパスフィルタを適用する前に、前記複数の画像内の標的を安定化させることをさらに含む、項目1に記載の方法。
(項目13)
前記バンドパスフィルタは、周波数ドメイン内または時間的ドメイン内に適用される、項目1に記載の方法。
(項目14)
複数の前記ピクセル場所相関スコアに少なくとも基づいて前記第2の測定値を生成することは、前記ピクセル場所相関スコアを組み合わせることにより、前記第2の測定値を生成することを含む、項目1に記載の方法。
(項目15)
前記標的は、ヒトの顔であり、前記組み合わせられるピクセル場所相関スコアは、前記顔の特定の領域のピクセル場所に関する、項目14に記載の方法。
(項目16)
前記顔の前記特定の領域は、(i)前記複数の画像内において隠されるかまたは過度に露出される前記顔の1つまたは複数の部分を少なくとも部分的に回避するための動的画像分析、および、(ii)前記レンダリングされた第1の信号を反射する可能性が高い前記顔の特徴についての知識を表すマスクまたは加重マップのうちの少なくとも1つを使用して決定される、項目15に記載の方法。
(項目17)
各ピクセル場所は、個別の複数の画像データ要素を表す、項目1に記載の方法。
(項目18)
複数の前記画像データ要素は、異なる分解能である、項目17に記載の方法。
(項目19)
各ピクセル場所は、前記ピクセル場所の個別の画像データ要素の加重された組み合わせである、項目18に記載の方法。
(項目20)
前記捕捉された複数の画像は、ガウシアンピラミッドまたはラプラシアンピラミッドを表す、項目1に記載の方法。
(項目21)
前記フィルタリングされた画像のうちの特定のフィルタリングされた画像は、複数のピラミッドレベルの加重された組み合わせを表す、項目20に記載の方法。
本特許ファイルまたは出願ファイルは、カラーで作成された少なくとも1つの図面を含む。カラー図面(単数または複数)付きの本特許公報または特許出願公報のコピーは、要請および必要料金の支払に応じて、特許庁によって提供される。
図1は、2つのライブ性測定値を決定するための例示的な手順を図示する。
図2(a)〜図2(c)は、それぞれ、例示的な捕捉されたビデオフレーム、対応する正規化および安定化されたビデオフレーム、ならびに対応する時間的バンドパスフィルタリングされたフレームを描写する。
図3(a)〜図3(c)は、それぞれ、捕捉されたビデオフレームのシーケンスに対応する例示的な回収されたRGB信号、回収されたRGB信号のバンドパスフィルタ応答、および対応するレンダリングされた基準RGB信号を描写する。
図4(a)〜図4(c)は、それぞれ、上から下に、図3(a)〜図3(c)に描写される信号の高速フーリエ変換(FFT)ピリオドグラムを描写する。図4(d)は、図3(b)に描写されるバンドパスフィルタ応答を生成するために使用される時間的バターワースフィルタを描写する。
図5(a)は、例示的な平均の正規化および安定化された画像フレームを描写する。
図5(b)〜図5(d)は、それぞれ、対応する2次元(2D)相関画像、処理された相関画像、および対応する飽和画像を描写する。
図5(e)は、例示的な顔マスクを描写する。
図5(f)〜図5(k)は、基準RGB信号のフルサイクルに対応する例示的な捕捉されたビデオフレームを描写し、図5(b)に示される2D相関画像が、それらのビデオフレームを使用して算出される。
図6は、偽の画像をレンダリングするLCDモニタならびに偽の画像を捕捉および分析する電話の例示的な構成を描写する。
図7は、偽の画像をレンダリングするLCDモニタならびに偽の画像を捕捉および分析する電話の別の例示的な構成を描写する。
図8(a)〜図8(k)は、図6に示されるように構成されるLCDモニタから捕捉された偽の平均画像フレーム、対応する2D相関画像、および、RGB信号のフルサイクルに対応するビデオフレームを描写し、図8(b)に示される2D相関画像が、それらのビデオフレームを使用して算出される。
図9(a)〜図9(k)は、図7に示されるように構成されるLCDモニタから捕捉された偽の平均画像フレーム、対応する2D相関画像、および、RGB信号のフルサイクルに対応するビデオフレームを描写し、図9(b)に示される2D相関画像が、それらのビデオフレームを使用して算出される。
図10(a)〜図10(c)は、それぞれ、図9(f)〜図9(k)に示される捕捉された偽のビデオフレームのシーケンスに対応する回収されたRGB信号、回収されたRGB信号のバンドパスフィルタ応答、および、対応するレンダリングされた基準RGB信号を描写する。
図11(a)〜図11(c)は、それぞれ、上から下に、図10(a)〜図10(c)に描写される信号の高速フーリエ変換(FFT)ピリオドグラムを描写する。図11(d)は、図10(b)に描写されるバンドパスフィルタ応答を生成するために使用される時間的バターワースフィルタを描写する。
図12は、偽の画像に関連付けられたモアレパターンを描写する。
図13は、眼のライブ性を検出するための別の例示的な手順を図示する。
図14(a)および図14(b)は、それぞれ、眼の画像を捕捉する電話を反射する例示的な眼、および、対応する2D相関画像を描写する。
図15(a)は、より高い分解能で図12に描写される偽の画像を示す。
図15(b)および図15(c)は、図15(a)に描写される画像の高分解能のクロップされた部分、および、図13に示される手順に従って算出される局所的2D相関を示す。 図15(b)および図15(c)は、図15(a)に描写される画像の高分解能のクロップされた部分、および、図13に示される手順に従って算出される局所的2D相関を示す。
種々の図面における同様の参照番号および記号は、同様の要素を示す。
図1は、実際のライブ人物および偽物(例えば、以前に捕捉されたライブ人物の写真またはビデオ)から取得された眼の画像を区別するために使用され得る2つの測定値を算出するための一般的なフレームワークを図示する。ステップ102において、マルチスペクトルパターンが、人物の顔(または「標的」)がパターンによって照明されるように、表示デバイス上にレンダリングされる。いくつかの実施では、パターンは、約1秒間表示されるが、他の持続時間も、可能性として考えられる。表示デバイスは、データ処理装置の表示デバイス(例えば、スマートフォン、スマートグラス、スマートウォッチ、タブレットコンピュータ、ラップトップコンピュータ等)である可能性がある。他の表示デバイスも、可能性として考えられる。マルチスペクトルパターンによって照明される標的の画像は、ステップ104において、デジタルカメラによって捕捉される。いくつかの実施では、デジタルカメラは、データ処理装置の正面向きのデジタルカメラである。他のデバイス上のデジタルカメラを含む他のデジタルカメラも、使用されることが可能である。
種々の実施では、マルチスペクトルパターンは、3つの重畳される正弦波信号を含む。例えば、赤色、緑色、および青色(RGB)正弦波が、一般のベイヤパターンデジタルカメラ上の色チャネル毎のネイティブフィルタの感度に合わせるために使用されることが可能である。正弦波信号は、単一バンドパスフィルタが後続分析(以下に説明される)のために使用されることが可能であるように、実質的に単一周波数でレンダリングされることが可能である。加えて、3つの正弦波信号は、3つの色チャネルにわたって位相が均等に分離される(例えば、赤色=0、緑色=(2pi)/3、および青色=(2pi)2/3)ことにより、回収された信号の分離性を改善し、かつ、一部のユーザに不快となり得るフラッシュ効果を悪化させ得る照明間隙を低減させることが可能である。一実施では、約4Hzの周波数が使用され、この周波数は、光過敏性発作に関する閾値を下回るが、短時間周期内において典型的な低周波数照明雑音から容易に分離可能であるために十分に高速である。より少ないまたはより多い成分の信号(例えば、赤色および青色正弦波)を有するパターンを含む他のマルチスペクトルパターンが、RGB正弦波に加えて使用されることが可能である。
ステップ104において、デジタルカメラによって捕捉された画像を含むビデオ信号が、記録される。いくつかの実施では、ビデオ信号は、約25Hz(すなわち、25フレーム/秒)における0.75秒のビデオクリップである。他の持続時間およびフレームレートも、可能性として考えられる。ステップ106において、記録されたビデオ信号内の各フレームは、画像フレームが捕捉されたおよその時間における、ステップ102において表示デバイス上にレンダリングされたパターンの値(例えば、RGB値)とタグ付けされることが可能である。エクスチェンジャブルイメージファイル(EXIF)メタデータ(または他のメタデータ)もまた、ステップ106において記憶されることが可能であり、それにより、概して、自動閾値調節のための周囲照明の測定値を提供する。メタデータは、周囲輝度、露光時間、ISO設定、および/または、絞り値を含むことが可能である。
いくつかの実施では、ステップ108において、ビデオ安定化(位置合わせおよびワーピング)が、場面内の点を一般の基準座標系にマッピングするために、記録されたビデオ信号に対して実行されることが可能である。安定化およびワーピング後、フレームは、環境内の陰影および他の照明アーチファクトに対する感度を低減させるように、正規化されたRGB色空間に変換されることが可能であり、したがって、安定化および正規化されたビデオ信号が、ステップ108において取得される。
ステップ110において、安定化および正規化されたビデオは、レンダリングされた正弦波の周波数(例えば、一実施例では、4Hz)に同調される時間的バンドパスフィルタを使用して、処理される。例証として、フィルタは、安定化および正規化されたビデオフレームに対応するガウシアンピラミッドに適用されることが可能である。時間的バンドパスフィルタリングが、ステップ108において取得された正規化された信号から、ステップ102においてレンダリングされたマルチスペクトルパターンに対応する応答信号を隔離するために実行されることが可能である。最後に、バンドパスフィルタリングされたビデオ信号は、例えば異なる尺度で、以前にレンダリングされたマルチスペクトルパターンと比較されることにより、以下に説明されるように、(1)ステップ112において、大域的フレームベースの時間的相関を取得し、かつ/または、(2)ステップ114において、局所的ピクセルワイズ相関を取得する。
大域的時間的相関測定値を算出するために、ステップ122において、ステップ110において取得されたフィルタリングされた応答信号の各フレームは、ドミナントRGB値を用いて表されることが可能である。ステップ122において割り当てられたドミナントRGB値は、ステップ106において記録されたビデオ信号にタグ付けされたRGB値によって表されるように、レンダリングされたRGBマルチスペクトルパターン色に対応することが予期される。例証として、ドミナントRGB値は、色度ヒストグラムからロバストなモードを介して、または、フレーム毎のピクセル値の加重平均として、算出されることが可能である。ドミナントRGB値を決定する他の方法も、可能性として考えられる。
平均飽和画像が、フィルタリングされた応答信号(ステップ110)から算出され、かつ、加重平均方法のための加重を提供するために使用されることが可能である(ステップ122)。いくつかの実施では、平均飽和画像は、処理されるべきフレームに対応するグレー画像からの距離である。結果として生じる2次元(2D)飽和画像は、反射されたRGBマルチスペクトルパターン強度に比例する。次に、ステップ124において、データからの任意のランプ成分を除去し、基準RGBマルチスペクトルパターン信号との比較のためにより適したものにするために、線形トレンド除去が、推定される赤色信号、緑色信号、および青色信号の各々において独立に実行される。線形トレンド除去は、例えば、線形m推定量を使用して計算されることが可能である。
図3(a)は、例示的な大域的RGB信号を示す。信号は、フレーム内の任意の1つの特定のピクセルではなく、1つのフレームに対応するドミナントRGB値を表すため、「大域的」と呼ばれる。ステップ126において、この大域的信号は、記録された信号に対応する適切な周波数を抽出するために、時間的バンドパスバターワースフィルタを用いてその周波数ドメインにおいて処理される。図2(b)および図2(c)は、それぞれ、フィルタリングされたRGB信号およびレンダリングされた基準信号(すなわち、RGBマルチスペクトルパターン)を示す。これらの2つの信号は、ステップ128において、正規化された相互相関を使用して比較され、nxcorrと表される結果として生じる値は、第1のライブ性測定値を示す。一実施では、小規模1次元(1D)時間的検索が、測定されたRGB信号とレンダリングされたRGB信号との間にわずかな偏移を生じさせ得るカメラドライバ内の待ち時間を補償するように、ステップ128において実行される。検索は、図2(a)における組み合わせられた波形内の各点が全体的フレームを表すため、1D検索である。図4(a)〜図4(c)は、それぞれ、図3(a)〜図3(c)に描写される信号の高速フーリエ変換(FFT)ピリオドグラムを描写する。
(局所的ピクセルワイズ相関)
ステップ114において、フィルタリングされたビデオ応答(すなわち、時間的バンドパスフィルタを介して安定化および正規化された記録信号をフィルタリングすることによって、ステップ110において取得された信号)内の各ピクセル場所において算出される局所的時間的正規化相互相関の空間的平均が算出される。空間的平均は、フィルタリングされた応答内の各ピクセルがレンダリングされたRGB信号に合う正確度を示すことが可能である(例えば、範囲[−1...+1]内の)2D相関画像を作り出すことが可能である。例えば、図5(b)は、図5(a)に描写される例示的な安定化および正規化された記録画像に対応する相関画像を示す。図5(c)は、以下に説明されるように、例えば左右相関画像の最大値を選択することによって取得された処理済み2D相関画像を示す。2D相関を算出するために、顔マスクが、ステップ132において適用されることにより、例えば、処理を顔の皮膚部分に制限し、それによって、低アルベドを有する顔の暗特徴を除去し、かつ/または、眼の独立した運動から雑音を除去することが可能である。図5(e)は、例示的な顔マスクを描写する。局所的ピクセル毎の相関が、次いで、ステップ134において、例えば図5(f)〜図5(k)に示される画像フレーム毎に、算出される。これらの画像は、RGBマルチスペクトルパターンのフルサイクルに対応し、それぞれのピクセル毎の相関は、図5(c)に示される最終的な2D相関画像を取得するように、平均化および処理されることが可能である。
いくつかの実施では、局所的ピクセル毎の相関を算出する際、上記の大域的相関からの回収された位相遅れが、ステップ134において、ステップ110において取得された安定化および正規化されたフレームに対応する容積測定データ内の高価な相関検索の必要性を回避するために使用されることが可能である。いくつかの実施では、平均正規化空間的相互相関値が、それぞれ、ステップ136、138において、顔マスクの左側および右側に関して別個に算出される。2つの空間的相関の最大値が、ステップ140において選択されることが可能である。これは、極端な照明条件が、多くの場合、顔の片側のみに限定されるため、単一平均よりロバストな相関測定値を提供することが可能である。代替的には、EXIFメタデータからの周囲輝度値が、多くの屋内環境において見られることが可能であるように飽和を生じさせにくくするために十分に低い場合、顔マスクの全ピクセルに関する大域的平均が使用されることが可能である。図5(d)は、図5(c)に示される2D相関画像に対応する飽和画像を描写する。nxcorr2と表される最終的な平均局所的相関測定値は、第2のライブ性測定値である可能性がある。
典型的には、実在の顔の皮膚は、高アルベドを有する比較的に拡散した反射を提供し、したがって、各ピクセルにおける相関値は、高い可能性がある。相関画像はまた、比較的に低空間的分散により、非常に均一となる傾向にある。対照的に、ビデオモニタが、詐称者の再生用に使用されるとき、モニタは、鏡のように挙動する傾向にあり、RGBマルチスペクトルパターンがレンダリングされた表示画面から放出される光の反射の角度に応じて、光は、主に、(図6に描写されるように)画面上に捕捉された顔の画像のわずかな部分においてのみ局所的に反射されて戻るか、または、図7に示されるように、表示画面から反射されて離れるかのいずれかである。
例えば、図8(a)は、図6に示されるようにアクセスが認証されるべきデバイス(例えば、電話)の正面に保持されたLCD画面上に表示された捕捉された詐称者の画像を描写する。図8(b)および図8(c)は、対応する2D相関画像を示し、図8(d)は、対応する飽和画像を示し、図8(e)は、適用される顔マスクを示し、図8(f)〜図8(k)は、図1におけるステップ102に示されるように提供されるRGBマルチスペクトルパターンのフルサイクルに対応する種々の捕捉された画像フレームを描写する。この実施例では、LCD画面が、画像を捕捉するために使用される電話と平行に保持されるため、かつ、LCD画面が鏡として作用するため、第2の測定値nxcorr2は、高い(約0.63)。しかしながら、第1の測定値nxcorr(すなわち、大域的相関)は、低く、捕捉された画像がライブソースから取得されていない可能性が高いことを示す。詐称者の画像を表示するLCD画面が、例えば、図7に示されるように、RGBマルチスペクトルパターンをレンダリングするために使用される画面に対してある角度で保持される場合、nxcorr2値およびnxcorr値は両方とも、低い(すなわち、0.5、0.4、0.3等の選択された閾値未満である)ことが予期される。光がカメラから反射されて離れるこの例に対応する典型的な実施例が、図9(a)〜図9(k)に示される。この場合、大域的相関測定値または平均局所的相関測定値のいずれも、予期されるRGB信号に対応せず、概して、両方の測定値nxcorrおよびnxcorr2を低くさせる。したがって、ステップ124において取得されたフィルタリングされた応答信号は、図10(a)〜図10(c)に示される1D RGB信号が図示するように、非常に雑音が多くなる可能性がある。
多くのビデオ再生画面の鏡様特性の利用に加えて、相関測定値は、ビデオ再生からの他の変則(例えば、図9における最後の6つのフレームに見られるように、時間的バンドパスフィルタリングされた出力画像内の垂直バンド等のサンプリングアーチファクト)を反映することが可能である。一実施では、フィルタリングされた応答信号内に表される色信号毎に正規化されたFFTは、図11に見られるように、対象が詐称者であることの強いインジケータである。上3列は、(図1のステップ110において取得された)フィルタリングされた応答信号から取得された赤色、緑色、および青色色チャネルに対応するピリオドグラムである。最終列は、記録されたビデオ内の信号の予期される周期に同調された時間的バンドパスバターワースフィルタである。信号の総エネルギーに対するフィルタリングされたバンドパス信号の低比率は、詐称者の場合を検出するために使用されることが可能である別の測定値である。
画像捕捉デバイス(例えば、携帯電話カメラ)の正面に保持されるLCD画面からの反射の分析は、図8(a)〜図8(k)を参照して説明されるように、例えばnxcor2は高いがnxcorrは低いとき、詐称者の検出を補助するために使用されることが可能である。例えば、図12(a)〜図12(c)は、カメラの正面に保持されたLCD画面上に表示される偽の画像、眼の付近の顔の領域のクロップされた画像、および、LCD画面上に表示された偽の画像を捕捉するために使用された電話の反射を描写するクロップされた画像に対応するエッジ画像を示す。別のアーチファクトは、図12(d)に見られるように、2D相関画像において可視であるモニタからのモアレパターンである。ハール分類器等の2D分類器が、詐称者の場合に特有である相関画像内のパターンを識別するように訓練されることが可能である。一般に、種々の実施では、真正の分類は、大域的相関(nxcorr)および大域的相関(nxcorr2)の両方が所定の閾値を超える場合のみ、返される。
図13は、典型的な眼の反射特性を活用する別の詐称者検出技法を図示する。具体的には、RGBマルチスペクトルパターンをレンダリングするステップ1302、ビデオ信号を捕捉するステップ1304、各フレームをRGB値とタグ付けするステップ1306、および、記録およびタグ付けされたビデオ信号を安定化させるステップ1306が、図1を参照して上述されたものと同様に実行される。その後、ステップ1308において、時空間バンドパス分解が、眼の凸面反射特性を利用するために実行される。ステップ1304において捕捉された各画像フレームが眼の環境の縮小鏡像を含むように、眼が、典型的には、凸面反射表面を有するということが観察され、眼の環境の縮小鏡像は、ステップ1302において表示画面上にレンダリングされたRGBパターンのコンパクト画像を含む可能性がある。
ステップ1310において、時間的バンドパスフィルタが、安定化およびタグ付けされた信号に対応するラプラシアンピラミッドに適用される。ラプラシアンピラミッドは、入力ビデオの空間的バンドパス分解を提供することにより、眼から反射されたRGBマルチスペクトルパターンの主高空間的周波数を隔離することに役立つことが可能である。
局所的なピクセル毎の2D相関画像が、次いで、ステップ1312において、基準信号とビデオバンドパスフィルタリングされた出力との間の時間的正規化相互相関を介して作り出される。ドミナントピークの小近傍内の局所的平均は、付加的ライブ性測定値として使用されることが可能である。一般に、このアプローチは、上述された第1の測定値および第2の測定値を使用した顔のライブ性の検出とは対照的に、眼のライブ性を検出することが可能である。真正のライブ眼の眼領域のみに関する局所的なピクセル毎の相関では、眼の瞳孔によるレンダリングされたRGB信号の反射に対応するたった1つの明るいスポットが、図14(a)および図14(b)に見られるように、予期される。複数のスポットが見られるかまたはスポットが検出されない場合、捕捉された画像は、詐称者によって供給されている可能性が高いということが決定される。
本明細書に説明されるシステムおよび技法は、(例えば、データサーバとして)バックエンド構成要素を含むコンピューティングシステム、あるいは、ミドルウェア構成要素(例えば、アプリケーションサーバ)を含むコンピューティングシステム、あるいは、フロントエンド構成要素(例えば、本明細書に説明されるシステムおよび技法の実施とユーザが相互作用することが可能であるグラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータ)を含むコンピューティングシステム、あるいは、そのようなバックエンド構成要素、ミドルウェア構成要素またはフロントエンド構成要素の任意の組み合わせを含むコンピューティングシステム内に実施されることが可能である。システムの構成要素は、デジタルデータ通信の任意の形態または媒体(例えば、通信ネットワーク)によって、相互接続されることが可能である。通信ネットワークの実施例は、ローカルエリアネットワーク(「LAN」)と、広域ネットワーク(「WAN」)と、インターネットとを含む。
コンピューティングシステムは、クライアントと、サーバとを含むことが可能である。クライアントおよびサーバは、概して、相互に遠隔にあり、通信ネットワークを通して相互作用することが可能である。クライアントとサーバとの関係は、それぞれのコンピュータ上で起動しかつ相互にクライアント−サーバ関係を有するコンピュータプログラムのおかげで生じる。いくつかの実施形態が説明されている。それにもかかわらず、種々の改変が、本発明の精神および範囲から逸脱することなく、成され得ることが理解される。
本明細書に説明される主題および動作の実施形態は、デジタル電子回路内に、あるいは、本明細書に開示される構造物およびそれらの構造的均等物を含むコンピュータソフトウェア、ファームウェアまたはハードウェア内に、あるいは、それらのうちの1つもしくは複数の組み合わせに、実施されることが可能である。本明細書に説明される主題の実施形態は、1つまたは複数のコンピュータプログラム(すなわち、データ処理装置による実行またはデータ処理装置の動作を制御するための実行のためにコンピュータ記憶媒体上でエンコードされるコンピュータプログラム命令の1つまたは複数のモジュール)として実施されることが可能である。代替的に、または、加えて、プログラム命令は、データ処理装置による実行のための適した受信機装置への伝送のための情報をエンコードするために生成される人為的生成伝搬信号(例えば、マシン生成電気信号、光学信号、または、電磁信号)上でエンコードされることが可能である。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムまたはシリアルアクセスメモリアレイまたはデバイス、あるいは、それらのうちの1つまたは複数の組み合わせであるか、または、それらに含まれる可能性がある。さらに、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人為的生成伝搬信号内でエンコードされるコンピュータプログラム命令のソースまたは宛先である可能性がある。コンピュータ記憶媒体はまた、1つまたは複数の別個の物理的な構成要素または媒体(例えば、複数のCD、ディスク、または、他の記憶デバイス)であるか、または、それらに含まれる可能性がある。
本明細書に説明される動作は、1つまたは複数のコンピュータ可読記憶デバイス上に記憶されるかまたは他のソースから受信されるデータに対してデータ処理装置によって実行される動作として実施されることが可能である。
「データ処理装置」という用語は、データを処理するための全ての種類の装置、デバイス、およびマシンを含み、実施例として、プログラム可能プロセッサ、コンピュータ、チップ上のシステム、あるいは、前述のもののうちの複数のものまたは前述のものの組み合わせを含む。装置は、専用論理回路(例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路))を含むことが可能である。装置はまた、ハードウェアに加えて、当該コンピュータプログラムのための実行環境を作り上げるコード(例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、あるいは、それらのうちの1つまたは複数の組み合わせを構成するコード)も含むことが可能である。装置および実行環境は、種々の異なるコンピューティングモデルインフラストラクチャ(例えば、ウェブサービスインフラストラクチャ、分散コンピューティングインフラストラクチャ、および、グリッドコンピューティングインフラストラクチャ)を実現することが可能である。
(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる)コンピュータプログラムが、コンパイルまたは解釈される言語、宣言型言語または手続き型言語を含むプログラミング言語の任意の形態で書き込まれることが可能であり、これは、任意の形態で(スタンドアローンのプログラムとして、または、モジュール、構成要素、サブルーチン、オブジェクト、もしくはコンピューティング環境における使用のために適した他のユニットとして、を含む)展開されることが可能である。コンピュータプログラムは、ファイルシステム内のファイルに対応してもよいが、そうである必要はない。プログラムは、他のプログラムまたはデータ(例えば、マークアップ言語リソース内に記憶される1つまたは複数のスクリプト)を保持するファイルの一部内に、当該プログラム専用である単一ファイル内に、または複数の協調ファイル(例えば、1つまたは複数のモジュール、サブプログラム、またはコードの一部を記憶するファイル)内に記憶されることが可能である。コンピュータプログラムは、1つのコンピュータ上で、あるいは、1つの場所に位置するか、または、複数の場所にわたって分散されかつ通信ネットワークによって相互接続される複数のコンピュータ上で実行されるように展開されることが可能である。
本明細書に説明される主題の実施形態は、(例えば、データサーバとして)バックエンド構成要素を含むコンピューティングシステム、あるいは、ミドルウェア構成要素(例えば、アプリケーションサーバ)を含むコンピューティングシステム、あるいは、フロントエンド構成要素(例えば、ユーザが本明細書に説明される主題の実施と相互作用することが可能であるグラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータ)を含むコンピューティングシステム、あるいは、1つまたは複数のそのようなバックエンド構成要素、ミドルウェア構成要素またはフロントエンド構成要素の任意の組み合わせを含むコンピューティングシステム内に実施されることが可能である。システムの構成要素は、デジタルデータ通信の任意の形態または媒体(例えば、通信ネットワーク)によって相互接続されることが可能である。通信ネットワークの実施例は、ローカルエリアネットワーク(「LAN」)と、広域ネットワーク(「WAN」)と、インターネットワーク(例えば、インターネット)と、ピアツーピアネットワーク(例えば、アドホックピアツーピアネットワーク)とを含む。
コンピューティングシステムは、クライアントと、サーバとを含むことが可能である。クライアントおよびサーバは、概して、相互に遠隔にあり、通信ネットワークを通して相互作用することが可能である。クライアントとサーバとの関係は、それぞれのコンピュータ上で起動しかつ相互にクライアント−サーバ関係を有するコンピュータプログラムのおかげで生じる。いくつかの実施形態では、サーバは、(例えば、クライアントデバイスにデータを表示すること、および、クライアントデバイスと相互作用するユーザからユーザ入力を受信することを目的として)データ(例えば、HTMLページ)をクライアントデバイスに伝送する。クライアントデバイスにおいて生成されたデータ(例えば、ユーザの相互作用の結果)は、サーバにおけるクライアントデバイスから受信されることが可能である。
1つまたは複数のコンピュータのシステムは、動作時にシステムにアクションを実行させる、システム上にインストールされたソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせを有するおかげで、特定の動作またはアクションを実行するように構成されることが可能である。1つまたは複数のコンピュータプログラムは、データ処理装置によって実行されると装置にアクションを実行させる命令を含むおかげで、特定の動作またはアクションを実行するように構成されることが可能である。
本明細書は多くの具体的な実施の詳細を含むが、これらは、任意の発明または請求され得るものの範囲に対する限定として解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有の特徴の説明として解釈されるべきである。別個の実施形態の文脈において本明細書に説明されるある特徴はまた、単一の実施形態における組み合わせにおいて実施されることも可能である。逆に、単一の実施形態の文脈において説明される種々の特徴もまた、複数の実施形態において別個にまたは任意の適した部分的組み合わせにおいて実施されることが可能である。さらに、特徴は、ある組み合わせにおいて作用するものとして上述され、さらにそのようなものとして最初に請求され得るが、請求される組み合わせからの1つまたは複数の特徴は、いくつかの場合では、組み合わせから削除されることが可能であり、請求される組み合わせは、部分的組み合わせまたは部分的組み合わせの変形例を対象としてもよい。
同様に、動作は特定の順序で図面内に描写されているが、これは、望ましい結果を達成するために、示される特定の順序でまたは連続的順序でそのような動作が実施されること、あるいは、図示される全ての動作が実施されることを要求するものとして理解されるべきではない。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上述される実施形態における種々のシステム構成要素の分離は、全ての実施形態においてそのような分離を要求するものとして理解されるべきではなく、説明されるプログラム構成要素およびシステムは、概して、単一のソフトウェア製品内に一体化されるかまたは複数のソフトウェア製品にパッケージ化され得ることを理解されるべきである。
したがって、主題の特定の実施例が説明されている。他の実施形態も、以下の特許請求の範囲の範囲内である。いくつかの場合では、特許請求の範囲に記載されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することが可能である。加えて、付随の図に描写されるプロセスは、望ましい結果を達成するために、必ずしも、示される特定の順序、または、一連の順序を要求しない。ある実施では、マルチタスクおよび並列処理が、有利であり得る。

Claims (30)

  1. コンピュータ実施される方法であって、前記方法は、
    表示デバイス上に、相互から位相分離された複数の異なる信号を含む時変性の複数色信号をレンダリングすることと、
    前記レンダリングの間、前記レンダリングされた複数色信号によって照明される標的の複数の画像を捕捉することであって、前記複数の画像は、複数のフレームを表す、ことと、
    前記フレームに対応する個別の画像が補足された時に、前記レンダリングされた複数色信号の個別の色値と前記フレームをタグ付けすることと、
    バンドパスフィルタを前記画像に時間的に適用することにより、複数のフィルタリングされた画像を生成することと、
    フィルタリングされた応答信号を前記フィルタリングされた画像から抽出することと、
    タグ付けされた個別の色値と前記フィルタリングされた応答信号の個別のドミナント色値との間のフレームレベルの時間的相関に少なくとも基づいて、フレームレベルの時間的相関測定値を生成することと
    前記フレームに対応する個別の画像が補足された時に、前記複数のフレームにわたって、ピクセル場所毎に、個別のフレーム内のピクセル場所におけるピクセルの個別の色値と前記レンダリングされた複数色信号の個別の色値との間の時間的相関から、ピクセルレベルの時間的相関スコアを計算することと、
    複数の前記ピクセルレベルの時間的相関スコアに少なくとも基づいて、ピクセルレベルの時間的相関測定値を生成することと、
    前記フレームレベルの時間的相関測定値および前記ピクセルレベルの時間的相関測定値に少なくとも基づいて、前記標的を承認または拒否することと
    を含む、方法。
  2. 前記複数色信号の各個別の信号は、異なる色である、請求項1に記載の方法。
  3. 前記色の各々は、同一の周波数を使用してレンダリングされる、請求項2に記載の方法。
  4. 前記複数色信号の各個別の信号は、異なる単色信号である、請求項1に記載の方法。
  5. 前記複数色信号は、正弦波である、請求項1に記載の方法。
  6. 前記複数色信号の各個別の信号は、別々の正弦波であり、前記正弦波は、前記複数色信号内に重畳される、請求項1に記載の方法。
  7. 前記複数色信号の個別の信号は、ランダムに生成される、請求項1に記載の方法。
  8. ピクセル場所の特定の個別の値は、色である、請求項1に記載の方法。
  9. 各画像は、複数の個別の画像を含み、前記複数の個別の画像は、各々、異なる個別の分解能で個別に変換されるか、または、選択された照明現象に対応する異なる個別の空間的周波数バンドを含む、請求項1に記載の方法。
  10. 前記フレームレベルの時間的相関測定値は、前記複数色信号の位相が前記フィルタリングされた応答信号の位相に合うか否かにさらに基づく、請求項1に記載の方法。
  11. 前記フィルタリングされた応答信号を前記フィルタリングされた画像から抽出することは、前記フィルタリングされた応答信号を前記フィルタリングされた画像の各々の個別のドミナント色値から抽出することを含む、請求項1に記載の方法。
  12. 前記バンドパスフィルタを適用する前に、前記複数の画像内の標的を安定化させることをさらに含む、請求項1に記載の方法。
  13. 前記バンドパスフィルタは、周波数ドメイン内または時間的ドメイン内に適用される、請求項1に記載の方法。
  14. 複数の前記ピクセル場所相関スコアに少なくとも基づいて前記ピクセルレベルの時間的相関測定値を生成することは、前記ピクセル場所相関スコアを組み合わせることにより、前記ピクセルレベルの時間的相関測定値を生成することを含む、請求項1に記載の方法。
  15. 前記標的は、ヒトの顔であり、前記組み合わせられるピクセル場所相関スコアは、前記顔の特定の領域のピクセル場所に関する、請求項14に記載の方法。
  16. 前記顔の前記特定の領域は、
    (i)前記複数の画像内において隠されるかまたは過度に露出される前記顔の1つまたは複数の部分を少なくとも部分的に回避するための動的画像分析、および、
    (ii)前記レンダリングされた複数色信号を反射する可能性が高い前記顔の特徴についての知識を表すマスクまたは加重マップ
    のうちの少なくとも1つを使用して決定される、請求項15に記載の方法。
  17. 各ピクセル場所は、個別の複数の画像データ要素を表す、請求項1に記載の方法。
  18. 複数の前記画像データ要素は、異なる分解能である、請求項17に記載の方法。
  19. 各ピクセル場所は、前記ピクセル場所の個別の画像データ要素の加重された組み合わせである、請求項18に記載の方法。
  20. 前記捕捉された複数の画像は、ガウシアンピラミッドまたはラプラシアンピラミッドを表す、請求項1に記載の方法。
  21. 前記フィルタリングされた画像のうちの特定のフィルタリングされた画像は、複数のピラミッドレベルの加重された組み合わせを表す、請求項20に記載の方法。
  22. プロセッサ、および、前記プロセッサと電子通信するメモリを備えるシステムであって、前記プロセッサは、
    表示デバイス上に、相互から位相分離された複数の異なる色信号を含む時変性の複数色信号をレンダリングすることと、
    前記レンダリングの間、前記レンダリングされた複数色信号によって照明される標的の複数の画像を捕捉することであって、前記複数の画像は、複数のフレームを表す、ことと、
    前記フレームに対応する個別の画像が補足された時に、前記レンダリングされた複数色信号の個別の色値と前記フレームをタグ付けすることと、
    バンドパスフィルタを前記画像に時間的に適用することにより、複数のフィルタリングされた画像を生成することと、
    フィルタリングされた応答信号を前記フィルタリングされた画像から抽出することと、
    タグ付けされた個別の色値と前記フィルタリングされた応答信号の個別のドミナント色値との間のフレームレベルの時間的相関に少なくとも基づいて、フレームレベルの時間的相関測定値を生成することと、
    前記フレームに対応する個別の画像が補足された時に、前記複数のフレームにわたって、ピクセル場所毎に、個別のフレーム内のピクセル場所におけるピクセルの個別の色値と前記レンダリングされた複数色信号の個別の色値との間の時間的相関から、ピクセルレベルの時間的相関スコアを計算することと、
    複数の前記ピクセルレベルの時間的相関スコアに少なくとも基づいて、ピクセルレベルの時間的相関測定値を生成することと、
    前記フレームレベルの時間的相関測定値および前記ピクセルレベルの時間的相関測定値に少なくとも基づいて、前記標的を承認または拒否することと
    を含む動作を実行するようにプログラムされている、システム。
  23. 前記プロセッサは、前記複数色信号の各個別の信号を異なる色で提供するようにプログラムされている、請求項22に記載のシステム。
  24. 前記プロセッサは、同一の周波数を使用して前記色の各々をレンダリングするようにプログラムされている、請求項23に記載のシステム。
  25. 前記複数色信号の各個別の信号は、別々の正弦波であり、前記正弦波は、前記複数色信号内に重畳される、請求項22に記載のシステム。
  26. ピクセル場所の特定の個別の値は、色である、請求項22に記載のシステム。
  27. 各画像は、複数の個別の画像を含み、前記複数の個別の画像は、各々、異なる個別の分解能で個別に変換されるか、または、選択された照明現象に対応する異なる個別の空間的周波数バンドを含む、請求項22に記載のシステム。
  28. 前記プロセッサは、前記フィルタリングされた画像の各々の個別のドミナント色値から前記フィルタリングされた応答信号を抽出することによって、前記フィルタリングされた画像から前記フィルタリングされた応答信号を抽出するようにさらにプログラムされている、請求項22に記載のシステム。
  29. 前記プロセッサは、前記バンドパスフィルタを適用する前に、前記複数の画像内の標的を安定化させるようにさらにプログラムされている、請求項22に記載のシステム。
  30. 複数の前記ピクセル場所相関スコアに少なくとも基づいて前記ピクセルレベルの時間的相関測定値を生成するために、前記プロセッサは、前記ピクセル場所相関スコアを組み合わせることにより、前記ピクセルレベルの時間的相関測定値を生成するようにさらにプログラムされている、請求項22に記載のシステム。
JP2017513107A 2014-09-09 2015-09-09 ライブ性分析のためのシステムおよび方法 Active JP6257840B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/480,802 2014-09-09
US14/480,802 US9396537B2 (en) 2014-09-09 2014-09-09 Systems and methods for liveness analysis
PCT/US2015/049195 WO2016040487A2 (en) 2014-09-09 2015-09-09 Systems and methods for liveness analysis

Publications (2)

Publication Number Publication Date
JP2017534102A JP2017534102A (ja) 2017-11-16
JP6257840B2 true JP6257840B2 (ja) 2018-01-10

Family

ID=54330842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017513107A Active JP6257840B2 (ja) 2014-09-09 2015-09-09 ライブ性分析のためのシステムおよび方法

Country Status (13)

Country Link
US (2) US9396537B2 (ja)
EP (1) EP3192008B1 (ja)
JP (1) JP6257840B2 (ja)
KR (1) KR101902136B1 (ja)
CN (1) CN107077602B (ja)
AU (2) AU2015315156A1 (ja)
BR (1) BR112017004427B1 (ja)
CA (1) CA2960397C (ja)
ES (1) ES2688399T3 (ja)
MX (1) MX359546B (ja)
RU (1) RU2671540C2 (ja)
SG (1) SG11201701855RA (ja)
WO (1) WO2016040487A2 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015157021A1 (en) 2014-04-07 2015-10-15 Eyeverify, Llc Bio leash for user authentication
US10614204B2 (en) 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
US10698995B2 (en) 2014-08-28 2020-06-30 Facetec, Inc. Method to verify identity using a previously collected biometric image/data
US11256792B2 (en) * 2014-08-28 2022-02-22 Facetec, Inc. Method and apparatus for creation and use of digital identification
US9934443B2 (en) * 2015-03-31 2018-04-03 Daon Holdings Limited Methods and systems for detecting head motion during an authentication transaction
KR102061434B1 (ko) 2015-06-16 2019-12-31 아이베리파이 인크. 스푸프 검출 및 라이브니스 분석을 위한 시스템들 및 방법들
CN107135348A (zh) 2016-02-26 2017-09-05 阿里巴巴集团控股有限公司 拍摄对象的识别方法、装置、移动终端和照相机
CN108885689B (zh) 2016-03-02 2020-06-16 眼验股份有限公司 使用邻近传感器的欺骗侦测
FR3053499B1 (fr) 2016-06-29 2018-06-29 Safran Identity & Security Procede et dispositif de detection de fraude par examen a deux focales distinctes lors d'une reconnaissance automatique d'un visage
JP7040457B2 (ja) * 2016-10-31 2022-03-23 日本電気株式会社 画像処理装置、画像処理方法、顔認証システム及びプログラム
US10204262B2 (en) 2017-01-11 2019-02-12 Microsoft Technology Licensing, Llc Infrared imaging recognition enhanced by 3D verification
US10372974B2 (en) 2017-01-11 2019-08-06 Microsoft Technology Licensing, Llc 3D imaging recognition by stereo matching of RGB and infrared images
US10679083B2 (en) 2017-03-27 2020-06-09 Samsung Electronics Co., Ltd. Liveness test method and apparatus
CN108694357A (zh) * 2017-04-10 2018-10-23 北京旷视科技有限公司 用于活体检测的方法、装置及计算机存储介质
US10657401B2 (en) * 2017-06-06 2020-05-19 Microsoft Technology Licensing, Llc Biometric object spoof detection based on image intensity variations
CN113095124B (zh) * 2017-06-07 2024-02-06 创新先进技术有限公司 一种人脸活体检测方法、装置以及电子设备
GB2563953A (en) 2017-06-28 2019-01-02 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201713697D0 (en) 2017-06-28 2017-10-11 Cirrus Logic Int Semiconductor Ltd Magnetic detection of replay attack
GB201801528D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
CN107506687B (zh) * 2017-07-17 2020-01-21 Oppo广东移动通信有限公司 活体检测方法及相关产品
US20190108551A1 (en) * 2017-10-09 2019-04-11 Hampen Technology Corporation Limited Method and apparatus for customer identification and tracking system
GB201804843D0 (en) 2017-11-14 2018-05-09 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201801874D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Improving robustness of speech processing system against ultrasound and dolphin attacks
GB201801664D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
GB2567503A (en) 2017-10-13 2019-04-17 Cirrus Logic Int Semiconductor Ltd Analysing speech signals
GB201801661D0 (en) * 2017-10-13 2018-03-21 Cirrus Logic International Uk Ltd Detection of liveness
CN107832712A (zh) * 2017-11-13 2018-03-23 深圳前海微众银行股份有限公司 活体检测方法、装置和计算机可读存储介质
GB201801659D0 (en) 2017-11-14 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of loudspeaker playback
US11735189B2 (en) 2018-01-23 2023-08-22 Cirrus Logic, Inc. Speaker identification
US11475899B2 (en) 2018-01-23 2022-10-18 Cirrus Logic, Inc. Speaker identification
CN113408403A (zh) * 2018-09-10 2021-09-17 创新先进技术有限公司 活体检测方法、装置和计算机可读存储介质
WO2020053984A1 (ja) * 2018-09-12 2020-03-19 富士通株式会社 生体認証装置、偽造判別プログラム及び偽造判別方法
US11023756B2 (en) * 2018-10-26 2021-06-01 Advanced New Technologies Co., Ltd. Spoof detection using iris images
US11272157B2 (en) 2019-02-15 2022-03-08 Analog Devices International Unlimited Company Depth non-linearity compensation in time-of-flight imaging
CN110720105A (zh) * 2019-09-11 2020-01-21 深圳市汇顶科技股份有限公司 人脸防伪检测方法、装置、芯片、电子设备和计算机可读介质
TWI761739B (zh) * 2019-12-10 2022-04-21 緯創資通股份有限公司 活體臉部辨識系統與方法
US11687778B2 (en) * 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
CN111460419B (zh) * 2020-03-31 2020-11-27 深圳市微网力合信息技术有限公司 物联网人工智能人脸验证方法及物联网云服务器
US11694480B2 (en) * 2020-07-27 2023-07-04 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection
DE102020123927A1 (de) 2020-09-15 2022-03-17 Audi Aktiengesellschaft Verfahren zur Lebenderkennung bezüglich eines Fahrers eines Kraftfahrzeugs und Kraftfahrzeug
CN112348881B (zh) * 2020-11-12 2023-06-30 网易(杭州)网络有限公司 图像渲染方法、装置和电子设备
KR20220102450A (ko) * 2021-01-13 2022-07-20 삼성전자주식회사 이미지 필터 효과의 생성 방법 및 그 전자 장치
US11562600B2 (en) 2021-03-29 2023-01-24 Nec Corporation Of America Liveness detection based on reflections analysis
CA3230929A1 (en) * 2021-09-07 2023-03-16 Facetec, Inc. Facial recognition and/or authentication system with monitored and/or controlled camera cycling
US12020512B2 (en) * 2021-09-17 2024-06-25 Jumio Corporation Spoof detection using eye boundary analysis

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5329379A (en) 1992-10-22 1994-07-12 International Business Machines Corporation System and method of measuring fidelity of decompressed video signals and images
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
KR100320188B1 (ko) 1999-03-23 2002-01-10 구자홍 홍채인식 시스템의 위조 판별방법
KR100407319B1 (ko) 2001-04-11 2003-11-28 학교법인 인하학원 확장 정합 함수를 이용한 블록 매칭 기반 얼굴 특징 추적방법
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
RU2309672C2 (ru) * 2005-10-05 2007-11-10 Общество с ограниченной ответственностью "Научно-производственное предприятие "Лазерные системы" Способ распознавания принадлежности отпечатка пальца живому или неживому человеку
US8260008B2 (en) 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
CN101493884B (zh) * 2008-01-24 2012-05-23 中国科学院自动化研究所 多光谱图像采集装置和方法
KR100949801B1 (ko) 2008-04-17 2010-03-30 한국전자통신연구원 퍼지볼트 시스템에서의 다항식 복원장치 및 그 방법
US7508960B1 (en) * 2008-05-06 2009-03-24 International Business Machines Corporation Projection of light patterns for liveness verification of biometrics
JP5814799B2 (ja) * 2012-01-06 2015-11-17 キヤノン株式会社 画像処理装置及び画像処理方法
US8542879B1 (en) * 2012-06-26 2013-09-24 Google Inc. Facial recognition
US10452894B2 (en) * 2012-06-26 2019-10-22 Qualcomm Incorporated Systems and method for facial verification
US8457367B1 (en) 2012-06-26 2013-06-04 Google Inc. Facial recognition
JP5955133B2 (ja) * 2012-06-29 2016-07-20 セコム株式会社 顔画像認証装置
CN102831400B (zh) * 2012-07-31 2015-01-28 西北工业大学 一种多光谱人脸识别方法及其系统
KR101417433B1 (ko) * 2012-11-27 2014-07-08 현대자동차주식회사 눈동자의 움직임을 이용한 사용자 인증 장치 및 그 방법

Also Published As

Publication number Publication date
RU2017111779A3 (ja) 2018-10-10
CN107077602B (zh) 2018-11-02
AU2018247216A1 (en) 2018-11-01
JP2017534102A (ja) 2017-11-16
KR20170052636A (ko) 2017-05-12
MX2017002987A (es) 2017-07-28
US10237459B2 (en) 2019-03-19
SG11201701855RA (en) 2017-04-27
AU2015315156A1 (en) 2017-03-23
RU2671540C2 (ru) 2018-11-01
ES2688399T3 (es) 2018-11-02
EP3192008B1 (en) 2018-06-27
WO2016040487A3 (en) 2016-04-28
US9396537B2 (en) 2016-07-19
CA2960397A1 (en) 2016-03-17
WO2016040487A2 (en) 2016-03-17
MX359546B (es) 2018-10-02
BR112017004427A2 (pt) 2017-12-05
CN107077602A (zh) 2017-08-18
US20170053406A1 (en) 2017-02-23
BR112017004427B1 (pt) 2021-01-19
RU2017111779A (ru) 2018-10-10
KR101902136B1 (ko) 2018-09-27
CA2960397C (en) 2018-05-01
EP3192008A2 (en) 2017-07-19
AU2018247216B2 (en) 2019-11-14
US20160071275A1 (en) 2016-03-10

Similar Documents

Publication Publication Date Title
JP6257840B2 (ja) ライブ性分析のためのシステムおよび方法
US11995902B2 (en) Facial signature methods, systems and software
Boulkenafet et al. OULU-NPU: A mobile face presentation attack database with real-world variations
CN107408205B (zh) 用红外成像区分前景和背景
RU2711050C2 (ru) Качество изображения и признака, улучшение изображения и выделение признаков для распознавания по сосудам глаза и лицам и объединение информации о сосудах глаза с информацией о лицах и/или частях лиц для биометрических систем
WO2018176938A1 (zh) 红外光斑中心点提取方法、装置和电子设备
WO2019134536A1 (zh) 基于神经网络模型的人脸活体检测
US20180070015A1 (en) Still image stabilization/optical image stabilization synchronization in multi-camera image capture
Conotter et al. Physiologically-based detection of computer generated faces in video
US9569688B2 (en) Apparatus and method of detecting motion mask
WO2019163066A1 (ja) なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体
KR20120090491A (ko) 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법
Kim et al. Face spoofing detection with highlight removal effect and distortions
Farrukh et al. FaceRevelio: a face liveness detection system for smartphones with a single front camera
CN114387548A (zh) 视频及活体检测方法、系统、设备、存储介质及程序产品
Cho et al. Face recognition performance comparison between fake faces and live faces
US20150302251A1 (en) Methods, systems, and media for detecting gaze locking
US11336882B2 (en) Synchronizing an illumination sequence of illumination sources with image capture in rolling shutter mode
US11551475B2 (en) System architecture and method of authenticating a 3-D object
JP4938065B2 (ja) 画像パラメータ調整装置及び方法及びプログラム
JP2022028850A (ja) なりすまし検知装置、なりすまし検知方法、及びプログラム
Wang et al. Livrable D1. 3 of the PERSEE project-Perceptual Modelling: Softwares results and final report.
IRCCyN et al. Perceptual Modelling: Softwares results and final report.
JP2017097612A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170831

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170831

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170831

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171205

R150 Certificate of patent or registration of utility model

Ref document number: 6257840

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R157 Certificate of patent or utility model (correction)

Free format text: JAPANESE INTERMEDIATE CODE: R157

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250