JP7004522B2 - ライブネス検査方法及び装置 - Google Patents

ライブネス検査方法及び装置 Download PDF

Info

Publication number
JP7004522B2
JP7004522B2 JP2017148957A JP2017148957A JP7004522B2 JP 7004522 B2 JP7004522 B2 JP 7004522B2 JP 2017148957 A JP2017148957 A JP 2017148957A JP 2017148957 A JP2017148957 A JP 2017148957A JP 7004522 B2 JP7004522 B2 JP 7004522B2
Authority
JP
Japan
Prior art keywords
liveness
region
input
interest
liveness inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017148957A
Other languages
English (en)
Other versions
JP2018032391A (ja
Inventor
炳 仁 兪
榮 竣 郭
亭 培 金
辰 雨 孫
昶 ▲教▼ 李
昌 圭 崔
在 濬 韓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2018032391A publication Critical patent/JP2018032391A/ja
Application granted granted Critical
Publication of JP7004522B2 publication Critical patent/JP7004522B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G06V40/1359—Extracting features related to ridge properties; Determining the fingerprint type, e.g. whorl or loop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
    • G06V40/1388—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger using image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Description

以下の説明は、オブジェクトのライブネスを検査する方法及びこれを行う装置に関する。
ユーザ認識システムでコンピューティング装置は、ユーザによって提供される認証情報に基づいて当該のコンピューティング装置に対するアクセスを許容するか否かを決定する。認証情報は、ユーザによって入力されるパスワード又はユーザの生体情報などを含み得る。生体情報は、指紋、紅彩又はその他の顔に関する情報を含む。
近年、ユーザ認識システムのためのセキュリティー方法として、顔スプーフィング防止（ｆａｃｅ ａｎｔｉ－ｓｐｏｏｆｉｎｇ）技術に対する関心が高まっている。顔スプーフィング防止は、コンピューティング装置に入力されたユーザの顔が偽造の顔（ｆａｋｅ ｆａｃｅ）であるか、本物の顔（ｇｅｎｕｉｎｅ ｆａｃｅ）であるかを区別する。そのために、入力映像からＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓ）、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎｓ）などのような特徴が抽出され、抽出された特徴に基づいて入力された顔が偽造の顔であるか否かを判定する。顔スプーフィングは、写真、動画又はマスクなどを用いる攻撃形態を有し、顔の認識においてこのような攻撃を区別することは重要である。
本発明の目的は、ライブネス検査において正確度を改善させることにある。
本発明の他の目的は、ライブネス検査に必要なリソース及び演算量を低減させ、ライブネスをより迅速に検査することにある。
一実施形態に係るライブネス検査方法は、入力映像からオブジェクトの関心領域を抽出するステップと、前記関心領域の映像情報を第１入力にするニューラルネットワークモデルに基づくライブネス検査モデルを用いて前記オブジェクトのライブネスを検査するステップとを含む。オブジェクトは、対象、対象者、客体等と言及されてもよい。
一実施形態に係るライブネス検査方法において、前記ライブネス検査モデルは、前記入力映像の映像情報を第２入力にし得る。
一実施形態に係るライブネス検査方法において、前記入力映像の大きさを調整するステップをさらに含み、前記ライブネス検査モデルは、前記の大きさの調整された入力映像の映像情報を前記第２入力にし得る。
一実施形態に係るライブネス検査方法において、前記第１入力及び前記第２入力は、それぞれ前記ライブネス検査モデルの互いに異なる入力レイヤを介して前記ライブネス検査モデルに入力され得る。
一実施形態に係るライブネス検査方法において、前記検査するステップは、以前の時間で算出された前記ライブネス検査モデルの算出結果に基づいて、現在の時間で前記オブジェクトのライブネスを検査し得る。
一実施形態に係るライブネス検査方法において、前記抽出するステップは、前記入力映像で瞳孔領域を含む部分領域を前記関心領域として抽出し得る。
一実施形態に係るライブネス検査方法において、前記抽出するステップは、前記入力映像から目、鼻、又は唇のうち少なくとも１つを含む部分領域を前記関心領域として抽出し得る。
一実施形態に係るライブネス検査方法において、前記抽出するステップは、前記入力映像で指紋領域を含む部分領域を前記関心領域として抽出し得る。
一実施形態に係るライブネス検査方法において、前記抽出するステップは、前記入力映像で静脈領域を含む部分領域を前記関心領域として抽出し得る。
一実施形態に係るライブネス検査装置は、メモリと、前記メモリに接続した少なくとも１つのプロセッサと、を含み、前記プロセッサは、入力映像でオブジェクトの関心領域を抽出し、前記関心領域の映像情報を第１入力にするニューラルネットワークモデルに基づくライブネス検査モデルを用いて前記オブジェクトのライブネスを検査する。
一実施形態に係るライブネス検査装置において、前記ライブネス検査モデルは、大きさの調整された入力映像の映像情報を第２入力にし、前記関心領域の映像情報及び前記の大きさの調整された入力映像の映像情報に基づいて前記オブジェクトのライブネスを決定するための基準値を提供し得る。
一実施形態に係るライブネス検査装置において、前記ライブネス検査モデルは、以前の時間で導き出された前記ライブネス検査モデルの算出結果に基づいて、現在の時間における前記オブジェクトのライブネスを検査し得る。
一実施形態によると、ライブネス検査において正確度を改善させることができる。
一実施形態によると、ライブネス検査に必要なリソース及び演算量を低減させ、ライブネスをより迅速に検査できる。
一実施形態に係るライブネス検査の一例を説明するための図である。 一実施形態に係るライブネス検査の一例を説明するための図である。 一実施形態に係るライブネス検査の一例を説明するための図である。 一実施形態に係るライブネス検査の一例を説明するための図である。 一実施形態に係るライブネス検査方法の動作を説明するためのフローチャートである。 一実施形態に係る関心領域の抽出過程の一例を説明するための図である。 一実施形態に係る関心領域の抽出過程の一例を説明するための図である。 一実施形態に係る関心領域の抽出過程の一例を説明するための図である。 一実施形態に係る関心領域の抽出過程の一例を説明するための図である。 一実施形態に係るライブネス検査過程を説明するための図である。 他の実施形態に係るライブネス検査過程を説明するための図である。 更なる実施形態に係るライブネス検査過程を説明するための図である。 更なる実施形態に係るライブネス検査過程を説明するための図である。 一実施形態に係るライブネス検査装置の構成を示す図である。 一実施形態に係るコンピューティング装置の構成を示す図である。
本明細書で開示されている特定の構造的又は機能的な説明は単に実施形態を説明するための目的として例示されたものであり、実施形態は様々な異なる形態で実施され、本明細書に説明された実施形態に限定されることはない。
第１又は第２などの用語を複数の構成要素を説明するために用いることができるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。
いずれかの構成要素が他の構成要素に「連結されて」いると言及された場合、その次の構成要素に直接的に連結されてもよく、又は中間に他の構成要素が存在することもあり得ると理解されなければならない。一方いずれかの構成要素が他の構成要素に「直接連結されて」いるか「直接接続されて」いと言及される場合には、中間に他の構成要素が存在しないものとして理解されなければならない。構成要素間の関係を説明する表現、例えば「～間に」と「すぐ～の間に」、又は「～に隣接する」と「～に直接に隣接する」などのように解釈されなければならない。
本明細書で用いた用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なる定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
以下、実施形態を添付する図面を参照しながら詳細に説明する。添付図面を参照して説明することにおいて、図面符号に関係なく同一の構成要素は同一の参照符号を付与し、これに対する重複する説明は省略する。
図１Ａ～図１Ｄは、一実施形態に係るライブネス検査の一例を説明するための図である。
ライブネス検査は、検査対象であるオブジェクトがライブ（ｌｉｖｅ）であるか否かを検査することにより、例えば、カメラによって撮影された顔が本人の本物の顔であるか、偽造の顔であるかを検査する。「ライブネス」の用語は、生命のないオブジェクト（例えば、偽造に使用された写真、映像及び模型）と生きている人との間を区別するための用語として用いる。一実施形態によると、ライブネス検査は、ユーザログイン、モバイル決済、又は出入り規制などで実行されるユーザ認証に関して認証対象のライブネスを検査するために用いられる。ライブネス検査は、写真、動画、マスク、又は模型のような代替物を用いた認証試み（スプーフィング攻撃）を取り除いて誤認証を防止する役割を果たす。
図１Ａは、顔認識を行う実施形態を示す。図１Ａを参照すると、ライブネス検査装置は、コンピューティング装置１２０に含まれて動作する。一実施形態によると、コンピューティング装置１２０は、顔認識によってコンピューティング装置１２０にアクセスしようとするユーザ１１０を認証する。例えば、ユーザ１１０は、コンピューティング装置１２０をロック解除しようとコンピューティング装置１２０にユーザ認証を試みることができ、コンピューティング装置１２０は、カメラ１３０のような映像取得装置を用いてユーザ１１０の顔映像を取得し、顔映像を分析してユーザ１１０の認証を許容する又は拒否する。コンピューティング装置１２０は、取得した顔映像を予め登録された登録映像と比較してユーザ１１０を認証するか否かを決定する。コンピューティング装置１２０は、例えば、スマートフォン、ウェアラブル機器、タブレットコンピュータ、ネットブック、ラップトップ、デスクトップ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、セットトップボックス、テレビ、生体ドアロック、セキュリティー装置又は車両始動装置であり得る。
一実施形態では、コンピューティング装置１２０がロックモードとして動作する場合、コンピューティング装置１２０は顔認識過程を介してユーザ１１０を認証する。許可されたユーザは、コンピューティング装置１２０によって実行される顔認識過程を介してコンピューティング装置１２０をロック解除する。許可されたユーザは、自身の顔映像をコンピューティング装置１２０に予め登録又は格納し、コンピューティング装置１２０は、格納装置又はクラウド格納媒体に許可されたユーザの顔がキャプチャーされた登録映像を格納する。
コンピューティング装置１２０をロック解除するために、ユーザ１１０は、自分の顔の少なくとも一部を示す顔映像をコンピューティング装置１２０を用いて撮影する。許可されていないユーザは、偽造技術を用いてコンピューティング装置１２０の誤認証を誘発し、コンピューティング装置１２０のロック解除を試みる。例えば、許可されていないユーザは、誤認証を誘発するために、許可されたユーザの顔が印刷された写真又は許可されたユーザの顔の形状を有する模型を、カメラ１３０に提示することかもしれない。ライブネス検査装置は、このような偽造技術による誤認証を防止する役割を果たす。ライブネス検査装置は、偽造として疑われる認証の試みを検出し、偽造に基づいた誤認証を効率よく防止する。ライブネス検査装置は、カメラ１３０によってキャプチャーされた顔映像に示されたオブジェクトのライブネスを検査する。
一実施形態によると、ライブネス検査装置は、ライブネスの検査において、カメラ１３０によりキャプチャーされた映像の全体領域ではない重要であると判断した一部領域の情報を用いてライブネスを検査し得る。例えば、ライブネス検査装置は、顔領域１４０内から目、鼻、及び唇などの関心領域を抽出し、関心領域のテクスチャ情報に基づいてオブジェクトのライブネスを検査する。ライブネス検査装置は、一部領域に関する情報のみを用いることで、検査に必要なリソース及び演算量を低減させ、ライブネスをより迅速に検査できる。
他の実施形態によると、ライブネス検査装置は、関心領域のテクスチャ情報だけではなく、顔映像に示されたオブジェクトの全域的な形状情報に基づいてライブネスを検査してもよい。例えば、オブジェクトの全域的な形状情報は、関心領域に示されたオブジェクトの形状情報にフォーカスされた情報であってもよいが、実施形態はこれに限定されることはない。ライブネス検査装置は、テクスチャ情報及び形状情報に基づいてライブネスをより正確に検査できる。
更なる実施形態によると、ライブネス検査装置は、顔映像に示されたテクスチャ、形状、時間の流れに伴ったオブジェクトの動き特性に基づいて、ライブネスを検査し得る。ライブネス検査装置は、顔映像から１つ以上の関心領域を抽出し、関心領域のテクスチャ情報、顔映像に示された形状情報、時間によるオブジェクトの動き情報を考慮してライブネスを検査する。このような様々な形態の情報を考慮することによって、ライブネス検査装置は、オブジェクトの偽造の有無を応じて正確に検査することができる。偽造オブジェクトとライブオブジェクトとの間には、テクスチャ、形状、及び時間の流れに伴った動きで差が存在し、ライブネス検査装置は、このような差を区分してオブジェクトのライブネスをより正確に判断することができる。
オブジェクトのライブネスの検査において、ライブネス検査装置は、ニューラルネットワークに基づくライブネス検査モデルを用いてもよい。ライブネス検査モデルは、入力された情報に基づいてオブジェクトのライブネスを決定するための基準値を提供するモデルとして、学習データに基づいて予め学習される。ライブネス検査装置は、直観的にオブジェクトのライブネスを決定する。ライブネス検査装置は、ライブネス検査モデルで出力された基準値に基づいて、オブジェクトが偽造されたオブジェクトであるか、ライブのオブジェクトであるかを決定する。例えば、出力された基準値は、オブジェクトが偽造又はライブのオブジェクトであるかに対する確率を示す確率値、又は、単にオブジェクトが偽造又はライブのオブジェクトであるか否かに対応する２進分類指示値であってもよい。
一実施形態によると、ライブネス検査装置がカメラ１３０によってキャプチャーされたユーザ１１０の顔が偽造されたものではない本物（ｇｅｎｕｉｎｅ）と決定した場合、コンピューティング装置１２０は、予め登録された登録映像とキャプチャーされた映像とを比較し、ユーザ１１０が登録されたユーザであるか否かを決定する認証過程を行う。ユーザ認証が成功した場合、ユーザ１１０は、コンピューティング装置１２０を成功的にロック解除する。反対に、ユーザ認証が失敗した場合、ユーザ１１０は、コンピューティング装置１２０をロック解除できず、コンピューティング装置１２０は続けてロックモードとして動作する。ライブネス検査装置がカメラ１３０によってキャプチャーされたユーザ１１０の顔が偽造されたものと決定した場合、コンピューティング装置１２０は、顔認証を行うステップに移動せず、コンピューティング装置１２０に対するユーザ１１０のアクセスを拒否する。
実施形態によると、オブジェクトのライブネスをより正確に検査することによって、偽造による誤認証を誘発する機会を減少させる有利な効果を提供する。また、実施形態によると、ライブネス検査結果によりユーザ認証を行うか否かを決定し、これによってユーザの認証過程で必要なリソースを節約し、電力消費を減少させることができる。
図１Ｂは、紅彩認識を行う実施形態を示す。図１Ｂを参照すると、コンピューティング装置１２０は、紅彩認識によってコンピューティング装置１２０にアクセスしようとするユーザ１１０を認証する。ユーザ１１０の紅彩領域は、カメラ１３０又は紅彩認識センサによりキャプチャーされ、コンピューティング装置１２０は、キャプチャーされた映像に示された紅彩領域の生体情報を分析してユーザ１１０の認証を許容する又は拒否する。この過程で、ライブネス検査装置は、例えば、キャプチャーされた映像から１つ以上の目の領域１５０、１６０を検出し、瞳孔領域を含む関心領域を抽出し、関心領域の情報に基づいてユーザ１１０のライブネスを検査する。
図１Ｃは、指紋認識を行う実施形態を示す。図１Ｃを参照すると、コンピューティング装置１２０は、指紋認識によってコンピューティング装置１２０にアクセスしようとするユーザ１１０を認証する。ユーザ１１０の指紋は、カメラ又は指紋認識センサを用いてキャプチャーされる。例えば、ユーザ１１０がディスプレイ１２５をタッチした状態で指紋がキャプチャーされてもよいし、又は、ホームボタン１７０に内蔵されている指紋認識センサを用いて指紋がキャプチャーされる。コンピューティング装置１２０は、キャプチャーされた指紋映像に示された指紋パターンの生体情報を分析してユーザ１１０を認証するか否かを決定する。この過程で、ライブネス検査装置は、キャプチャーされた指紋映像から指紋パターンの特徴が目立つ関心領域を抽出し、抽出された関心領域の情報に基づいてユーザ１１０のライブネスを検査する。
図１Ｄは、静脈認識（Ｖｅｉｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ；ＶＰＲ）を行う実施形態を示す。図１Ｄを参照すると、時計タイプのウェアラブル機器であるコンピューティング装置１８０は、静脈認識によってコンピューティング装置１８０にアクセスしようとするユーザ１１０を認証する。ユーザ１１０が手首にコンピューティング装置１８０を着用し、コンピューティング装置１８０にアクセスするために認証を試みる場合、例えば、コンピューティング装置１８０に内蔵された光源からユーザ１１０の皮膚に向かって赤外線が放射され、ユーザ１１０の静脈にあるヘモグロビンに反射した赤外線がコンピューティング装置１８０に内蔵されたＣＣＤカメラ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ ｃａｍｅｒａ）によって記録される。コンピューティング装置１８０は、ＣＣＤカメラによってキャプチャーされた静脈映像に示された血管パターンの生体情報を分析してユーザ１１０を認証するか否かを決定する。この過程で、ライブネス検査装置は、静脈映像から血管パターンの特徴が目立つ関心領域を抽出し、抽出された関心領域の情報に基づいて認証を試みたユーザ１１０のライブネスを検査する。
以下、図面を参照してライブネス検査装置がオブジェクトのライブネスを検査する過程をより詳細に説明する。
図２は、一実施形態に係るライブネス検査方法の動作を説明するためのフローチャートである。
図２を参照すると、ステップＳ２１０において、ライブネス検査装置は、入力映像を受信する。入力映像は、スチール映像及び複数の映像フレームを含むビデオ映像のうちの１つ以上を含む。入力映像は、カラー映像、白黒映像、又は赤外線映像の形態を有する。入力映像は、顔、紅彩、指紋又は静脈などの生体情報を含む。紅彩認識の場合、実施形態によって紅彩領域の撮影された赤外線映像がライブネス検査装置に入力される。
ステップＳ２２０において、ライブネス検査装置は入力映像を正規化する。ライブネス検査装置は、入力映像を受信した後、入力映像を回転、スケーリング（拡張又は縮小）又は切断（ｃｒｏｐｐｉｎｇ）する。その他に、ライブネス検査装置は、入力映像に対して様々な映像前処理過程を行ってもよい。映像前処理過程は、例えば、明度変換、カラー変換、アーチファクト除去、ブラー（ｂｌｕｒ）除去などを含み得る。実施形態によっては、ステップＳ２２０は行われなくてもよい。
ステップＳ２３０において、ライブネス検査装置は、入力映像（又は、正規化された入力映像）からオブジェクトの関心領域を抽出する。ここで、抽出される関心領域の形態及び大きさは制限されることない。関心領域は、生体情報のタイプに応じるオブジェクトのライブネス検査に有利な領域として、ライブネスを決定するために重要な特徴を含む領域である。例えば、顔認識の場合、ライブネス検査装置は、入力映像に示されたユーザの顔領域から、目、鼻、及び唇のうちの１つ以上を含む部分領域を関心領域として抽出する。顔認識において、ユーザの鼻、目、及び唇領域は、ユーザのライブネスを決定するために重要な手がかりを提供する領域である。
異なる例として、紅彩認識の場合、ライブネス検査装置は、入力映像に示されたユーザの目の領域から瞳孔領域を含む部分領域を関心領域として抽出してもよい。紅彩認識において、瞳孔領域に示された角膜反射光（ｃｏｒｎｅａｌ ｒｅｆｌｅｘ）と角膜反射光の周辺領域の映像情報は、ライブネスを決定するために重要な手がかりを提供する。
一実施形態によると、ライブネス検査装置は、入力映像で顔のランドマークのような特徴点を検出し、特徴点に基づいて関心領域を決定する。ライブネス検査装置は、特徴点に基づいて入力映像から全域領域を検出し、全域領域で検出された特徴点に基づいて関心領域を抽出する。全域領域は、入力映像の全体領域よりも小さいが、関心領域よりも大きい領域である。例えば、顔認識の場合、背景領域を除いた顔領域が全域領域として検出され、紅彩認識の場合、他の顔コンポーネント領域（例えば、鼻、口、表面眉毛）を除いた目の領域が全域領域として検出される。その他に、ライブネス検査装置は、視覚的集中領域検出（ｓａｌｉｅｎｃｙ ｒｅｇｉｏｎ ｄｅｔｅｃｔｉｏｎ）方式などを用いて入力映像で関心領域を決定することもできるが、実施形態の範囲がそれに限定されることはない。以下の実施形態において、「全域領域」とは「入力映像」に置換えられることが可能である。
他の例として、指紋認識の場合、ライブネス検査装置は、指紋パターンが示された入力映像から指紋領域を含んでいる部分領域を関心領域として抽出する。例えば、ライブネス検査装置は、指紋パターンの変化が著しい部分を関心領域として抽出する。例えば、ライブネス検査装置は、入力映像に示された指紋全体の領域から隆線（ｒｉｄｇｅ）の終点（ｅｎｄｉｎｇ ｐｏｉｎｔ）、分岐点（ｂｉｆｕｒｃａｔｉｏｎ ｐｏｉｎｔ）、中心点（ｃｏｒｅ ｐｏｉｎｔ）及び三角州（ｄｅｌｔａ ｐｏｉｎｔ）などの特徴点が集中している領域を関心領域として抽出する。
他の例として、静脈認識の場合、ライブネス検査装置は、静脈分布パターンが示された入力映像から静脈領域を含む部分領域を関心領域として抽出する。例えば、ライブネス検査装置は、入力映像に示された手の全体の領域から手首の静脈パターンを含む領域を関心領域として抽出してもよいし、又は静脈分布パターンで血管の終わり部分及び血管の分岐点のいずれか１つが著しく分布している領域を関心領域として抽出してもよい。
ステップＳ２４０において、ライブネス検査装置は、関心領域に基づいてオブジェクトのライブネスを検査する。ライブネス検査装置は、関心領域の映像情報を入力にするニューラルネットワークモデルに基づくライブネス検査モデルを用いてオブジェクトのライブネスを検査する。関心領域の映像情報は、例えば、関心領域に含まれたピクセルのピクセル値（例えば、カラー値及び／又は明度値）として、テクスチャ情報を含んでもよい。ライブネス検査モデルは、監督学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）方式によって予め学習され、非線型マッピングを行うためにライブネス検査において優れた区別能力を提供し得る。
一実施形態によると、ライブネス検査モデルは、関心領域の映像情報を入力にし、ライブネス検査装置は、ライブネス検査モデルの出力値に基づいてオブジェクトのライブネスを検査する。ライブネス検査装置は、入力映像の全体領域ではない部分的な関心領域に基づいてライブネスを検査することによって、算出量及びリソース消耗を減らし得る。ライブネス検査モデルは、関心領域に示された局所なテクスチャ情報に基づいてライブネスの判断のための基準値を出力する。
他の実施形態によると、ライブネス検査モデルは、関心領域の映像情報を第１入力にして、大きさの調整された入力映像の映像情報を第２入力にしてもよい。例えば、入力映像は、関心領域の大きさと同一に調整されてもよく、関心領域の解像度は大さの調整された入力映像の解像度よりも高くてもよい。大きさの調整された入力情報の映像情報は、ライブネス検査に必要な形状情報を含む。ライブネス検査モデルは、関心領域に示された局所なテクスチャ情報と大きさの調整された入力映像に示された全域的な形状情報に基づいて、ライブネスの判断のための基準値を出力できる。
ライブネス検査モデルは、例えば、入力映像に示されたオブジェクトが偽造されたオブジェクトである第１確率値、及び入力映像に示されたオブジェクトがライブのオブジェクトである第２確率値のうちの１つ以上を基準値として出力する。ライブネス検査装置は、当該の基準値に基づいて入力映像のオブジェクトがライブのものであるか、偽造のものであるかの如何を決定する。例えば、ライブネス検査モデルから第１確率値が提供される場合、ライブネス検査装置は、第１確率値が閾値より大きければオブジェクトが偽造オブジェクトであると決定し、閾値以下であればオブジェクトがライブオブジェクトであると決定する。異なる例として、ライブネス検査モデルから第２確率値が提供される場合、ライブネス検査装置は、第２確率値が閾値よりも大きければオブジェクトがライブオブジェクトであると決定し、閾値以下であればオブジェクトが偽造オブジェクトであると決定する。ライブネス検査モデルから第１確率値及び第２確率値の全てが提供される場合、ライブネス検査装置は、第１確率値及び第２確率値に基づいた関係式により最終確率値を決定し、最終確率値と閾値とを比較してオブジェクトが偽造オブジェクトであるか、ライブオブジェクトであるかを決定する。
更なる実施形態によると、ライブネス検査装置は、以前の時間で算出されたライブネス検査モデルの算出結果に基づいて、現在の時間でのオブジェクトのライブネスを検査する。ライブネス検査モデルは、ニューラルネットワークモデルのレイヤの間に形成される１つ以上の再帰的接続構造を有し、このような再帰的な接続構造によって以前の時間で算出されたレイヤの出力値が現在の時間における入力値になって以前の時間における出力が現在の時間における出力に影響を及ぼすことがある。このような再帰的な接続構造を有するライブネス検査モデルは、連続する映像フレームに対してライブネスを検査するために適合である。各映像フレームに対してライブネスを検査するごとに、ライブネス検査モデルに映像フレームから抽出された関心領域の映像情報及び大きさの調整された映像フレームの映像情報が個別的に入力され、以前の映像フレームのライブネス検査過程で導き出されたライブネス検査モデルの算出値が、現在の映像フレームに対するライブネス検査結果に影響を及ぼす。この場合、ライブネス検査装置は、関心領域に示された局所なテクスチャ情報と映像フレームに示された全域的な形状情報のみならず、時間的に連続する映像フレームに示されたオブジェクトの動き特徴を考慮してオブジェクトのライブネスを検査できる。
図３Ａは、一実施形態に係るライブネス検査装置に顔映像３１０が入力される場合に関心領域を抽出する過程を説明するための図である。ライブネス検査装置は、顔映像３１０から顔領域３２０を検出する。例えば、ライブネス検査装置は、顔映像３１０からランドマークを検出し、検出されたランドマークを含むバウンディング（ｂｏｕｎｄｉｎｇ）領域を顔領域３２０として検出する。又は、ライブネス検査装置は、Ｖｉｏｌａ－Ｊｏｎｅｓ検出器を用いて顔領域３２０を検出することもできるが、実施形態の範囲がこれに限定されることはない。その後、ライブネス検査装置は、顔領域３２０からライブネス検査のための関心領域３２２、３２４、３２６、３２８を抽出する。例えば、関心領域は、目の領域３２２、３２４、鼻領域３２６、唇領域３２８を含む。ライブネス検査装置は、ランドマークの位置に基づいて関心領域３２２、３２４、３２６、３２８を抽出してもよいし、又は視覚的集中領域検出方式などを用いて関心領域３２２、３２４、３２６、３２８を抽出する。他の実施形態によると、ライブネス検査装置は、顔映像３１０から顔領域３２０を検出する過程なしに、関心領域３２２、３２４、３２６、３２８を抽出してもよい。
図３Ｂは、一実施形態に係るライブネス検査装置に目の映像３３０が入力される場合、関心領域を抽出する過程を説明するための図である。ライブネス検査装置は、目の映像３３０から目の領域３３５を検出する。例えば、ライブネス検査装置は、目及び目の周辺領域から検出されたランドマークに基づいて目の領域３３５を検出する。その後、ライブネス検査装置は、目の領域３３５から瞳孔領域３４０を含むローカルパッチ（ｌｏｃａｌ ｐａｔｃｈ）形態の関心領域３４５を抽出する。例えば、ライブネス検査装置は、ランドマークや円形境界検出器などを用いて瞳孔領域３４０を検出し、検出された瞳孔領域３４０を含む関心領域３４５を決定する。瞳孔領域３４０は、自然的又は人工的に作られた光源によって引き起こされた角膜反射光３５０を含む。角膜反射光３５０及び角膜反射光３５０の周辺領域の情報は、オブジェクトのライブネスを判断することにおいて重要な情報を提供する。
図３Ｃは、一実施形態に係るライブネス検査装置に指紋映像３６０が入力される場合に関心領域を抽出する過程を説明するための図である。ライブネス検査装置は、指紋映像３６０に示された指紋の隆線パターンから、終わり点３６２、分岐点３６４、中心点３６６及び三角州３６８などの特徴点を抽出する。このような特徴点の分布パターン及び形態がオブジェクトのライブネスを判断するために重要な情報を提供する。ライブネス検査装置は、指紋映像３６０で特徴点が他の領域に比べて相対的に密集している部分領域を関心領域３７０として決定する。
図３Ｄは、一実施形態に係るライブネス検査装置に静脈映像３８０が入力される場合に関心領域を抽出する過程を説明するための図である。まず、ライブネス検査装置は、静脈映像３８０に示された静脈パターンを抽出する。ライブネス検査装置は、例えば、静脈パターンに示された血管の終点及び分岐点などの特徴点を抽出し、全体領域で特徴点が密集している部分領域を関心領域３９０として決定する。
図４Ａは、一実施形態に係るライブネス検査過程を説明するための図である。
図４Ａを参照すると、ライブネス検査装置は、入力映像から全域領域４１０を検出し、全域領域４１０からローカルパッチ形態の関心領域４２０を抽出する。紅彩認識の場合、ライブネス検査装置は、入力映像から目の領域を示す全域領域４１０を検出し、全域領域４１０から瞳孔領域を含んでいる関心領域４２０を抽出する。例えば、全域領域４１０が２００×２００ピクセルの大きさであれば、ライブネス検査装置は、全域領域４１０から瞳孔領域を含んでいる６４×６４ピクセルの大きさの関心領域４２０を抽出する。他の実施形態によると、ライブネス検査装置は、全域領域４１０を検出する過程なしに、入力映像から直ちに関心領域４２０を抽出してもよい。
ライブネス検査装置は、学習された深さ畳み込みニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＤＣＮＮ）モデルに基づくライブネス検査モデル４３０を用いて、関心領域４２０の映像情報からオブジェクトのライブネス検査結果を取得し得る。ＤＣＮＮモデルを形成するレイヤを各レイヤの機能に応じて分類すると、ＤＣＮＮモデルは、入力された映像に対してコンボリュージョン演算によって特徴を抽出する畳み込みレイヤ、数個のピクセルを１つのピクセルにマッピングさせる抽象化を行うプーリングレイヤ（ｐｏｏｌｉｎｇ ｌａｙｅｒ）、及び下位レイヤで伝達された特徴を分類する完全接続レイヤ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）を含む。ＤＣＮＮモデルに基づいたライブネス検査モデル４３０は、畳み込みレイヤ、プーリングレイヤ、及び完全接続レイヤを通した演算過程によって、ライブネス検査モデル４３０に入力された映像情報からライブネスの判断のための情報を提供する。ＤＣＮＮモデルの構造及び機能に対する詳細な説明は本明細書の範囲から離れているため、その内容は省略することにする。ここで、ＤＣＮＮモデルは一実施形態に過ぎず、ライブネス検査モデル４３０は、ＤＣＮＮモデル以外の他の構造のニューラルネットワークモデルに基づいてもよい。
図４Ｂは、他の実施形態に係るライブネス検査過程を説明するための図である。
図４Ｂを参照すると、ライブネス検査装置は、図４Ａと同様に、入力映像から全域領域４１０を検出し、全域領域４１０から関心領域４２０を抽出する。追加的に、ライブネス検査装置は、全域領域４１０の大きさが縮小した縮小映像４４０を生成する。例えば、全域領域４１０が２００×２００ピクセルの大きさであれば、ライブネス検査装置は、映像クロップ（ｉｍａｇｅ ｃｒｏｐ）を用いて全域領域４１０から６４×６４ピクセルの大きさの関心領域４２０を抽出し、サブサンプリングを用いて全域領域４１０から６４×６４ピクセルの大きさの縮小映像４４０を生成する。そのため、関心領域４２０の解像度は、全域領域４１０の解像度と同一であり、縮小映像４４０の解像度は全域領域４１０の解像度よりも小さい。関心領域４２０は、演算量を低減させながら精巧なテクスチャの差を区分するために利用され、縮小映像４４０は、演算量を低減させながら全体的な形状差を区分するために用いられる。他の実施形態によると、ライブネス検査装置は、全域領域４１０を検出する過程なしに、入力映像から直ちに関心領域４２０を抽出し、入力映像を縮小することによって縮小映像４４０を生成してもよい。
ライブネス検査モデル４５０の互いに異なる入力レイヤを介して関心領域４２０の映像情報と縮小映像４４０の映像情報がＤＣＮＮモデルに基づくライブネス検査モデル４５０に入力される。ライブネス検査装置は、ライブネス関心領域４２０の映像情報と縮小映像４４０の映像情報が入力されたライブネス検査モデル４５０の出力値に基づいてオブジェクトのライブネスを決定する。
他の実施形態によると、ライブネス検査モデル４５０の一入力により縮小されていない全域領域４１０又は入力映像の映像情報が入力され、他の入力により関心領域４２０の映像情報が入力されてもよい。ライブネス検査モデル４５０は、入力された映像情報に基づいてオブジェクトのライブネスに関する検査結果を出力し得る。
図５は、更なる実施形態に係るライブネス検査過程を説明するためのフローチャートである。
ライブネス検査装置は、時間的に連続する映像フレームに対してライブネス検査を行う。ここで、ライブネス検査装置は、各映像フレームに示されたテクスチャ及び形状特徴だけではなく、映像フレームに示された時間の流れるに伴ったオブジェクトの動き特徴を追加的に考慮してオブジェクトのライブネスを検査する。ライブネス検査装置は、テクスチャ及び形状特徴のような映像フレームの空間的な特徴だけではなく、オブジェクトの動き特徴のような時間的特徴に基づいてライブネスを判断することで、ライブネスをより正確に検査できる。
図５を参照すると、ステップＳ５１２において、ライブネス検査装置は、第１映像フレームを受信する。ステップＳ５１４において、ライブネス検査装置は全域領域を検出し、ステップＳ５１６において、ライブネス検査装置は全域領域から関心領域を抽出する。ステップＳ５４０において、ライブネス検査装置は、ライブネス検査モデルに基づいて第１映像フレームに示されたオブジェクトのライブネスを検査する。ここで、ライブネス検査モデルに関心領域の映像情報及び全域領域を縮小した縮小映像の映像情報が入力される。
その後、ライブネス検査装置に第１映像フレームの次の映像フレームである第２映像フレームが入力され、ライブネス検査装置は、第２映像フレームに示されたオブジェクトに対してライブネスを検査する。ライブネス検査装置は、ステップＳ５２２～ステップＳ５２６の過程を経て第２映像フレームから全域領域を検出し、全域領域から関心領域を抽出する。ステップＳ５４０において、ライブネス検査装置は、関心領域の映像情報及び全域領域を縮小した縮小映像の映像情報だけではなく、第１映像フレームに対して算出されたライブネス検査モデルの算出結果に基づいて、第２映像フレームに示されたオブジェクトのライブネスを検査する。ライブネス検査装置は、以後の各映像フレームに対してこのような過程を繰り返し行って第Ｎ映像フレームについてもステップＳ５３２～ステップＳ５４０の過程を経てライブネスを検査する。
一実施形態によると、ライブネス検査モデルは、以前の時間における算出結果が任意のレイヤに入力される再帰的な接続構造を有し、このような再帰的な接続構造によって以前の映像フレームのライブネス検査過程で導き出されたライブネス検査モデルの算出値が、現在の映像フレームのライブネス検査に影響を与えることもある。ライブネス検査モデルの再帰的な接続構造は、実施形態に応じて様々である。例えば、再帰的な接続構造の形態に応じて、現在の映像フレームのライブネス検査結果は、以前の映像フレームのライブネス検査結果のみに影響を受けてもよいし、又は以前の時間に存在する全ての映像フレームのライブネス検査結果に影響を受けてもよい。
図６は、図５を参照して説明されたライブネス検査過程の一例を示す図である。
図６を参照すると、図４Ｂを参照して説明したように、ライブネス検査装置は、入力映像（いずれか１つの映像フレーム）から全域領域４１０を検出し、全域領域４１０から関心領域４２０を抽出する。また、ライブネス検査装置は、全域領域４１０の大きさが縮小された縮小映像４４０を生成する。他の実施形態によると、ライブネス検査装置は、全域領域４１０を検出する過程なしに、入力映像から直ちに関心領域４２０を抽出し、入力映像を縮小して縮小映像４４０を生成し得る。
ライブネス検査モデル６１０の互いに異なる入力レイヤを介して関心領域４２０の映像情報と縮小映像４４０の映像情報がライブネス検査モデル６１０に入力される。ライブネス検査装置は、ライブネス検査モデル６１０を用いて関心領域４２０の映像情報と縮小映像４４０の映像情報からオブジェクトのライブネス検査結果を取得する。ライブネス検査モデル６１０は、過去に導き出されたライブネス検査モデル６１０の算出値が現在の時間でライブネス検査モデル６１０の任意のレイヤに入力される再帰的な接続構造を有する。ニューラルネットワーク構造のライブネス検査モデル６１０は、各映像フレームに対する空間的な映像特徴を抽出するレイヤと時間によるオブジェクトの変化特徴を抽出するレイヤを含み、当該のレイヤから導き出された特徴に基づいて、時空間の特性を全て考慮したライブネス検査が実行される。
図７は、一実施形態に係るライブネス検査装置の構成を示す図である。ライブネス検査装置７００は、入力映像に示されたオブジェクトのライブネスを検査して検査結果を出力する。図７を参照すると、ライブネス検査装置７００は、プロセッサ７１０及びメモリ７２０を含む。
プロセッサ７１０は、図１Ａ～図６を参照して前述した１つ以上の動作を行う。例えば、プロセッサ７１０は、入力映像で関心領域を抽出し、関心領域の情報を第１入力にするライブネス検査モデルを用いて入力映像に示されたオブジェクトのライブネスを検査する。実施形態により、ライブネス検査モデルは、関心領域だけではなく、全域領域（又は、全域領域の縮小映像）の映像情報を第２入力にしてもよい。また、ライブネス検査モデルは、過去の算出結果に影響を受ける再帰的な接続構造を有してもよい。
プロセッサ７１０は、入力映像に示されたオブジェクトが偽造オブジェクトであると決定する場合、検査失敗に対応する信号を生成する。この場合、オブジェクトの認識／認証過程を行うことなく直ちにオブジェクトの認識／認証が失敗したと決定される。反対に、入力映像に示されたオブジェクトがライブオブジェクトであると決定した場合、プロセッサ７１０は、検査成功に対応する信号を生成する。この場合、オブジェクトの認識／認証過程が次に実行される。このように、オブジェクトのライブネスが認められた場合には、オブジェクトの認証／認識のための一連の過程が実行されるものの、オブジェクトのライブネスが認められていない場合にはオブジェクトの認証／認識過程が実行されることなくその手続が終了する。
このようなプロセッサ７１０は複数の論理ゲートのアレイで実現されるが、別の形態のハードウェアで実現さ得ることは本実施形態が属する技術分野で通常の知識を有する者であれば理解できる。
メモリ７２０は、図１Ａ～図６を参照して前述した１つ以上の動作を行うための命令（ｉｎｓｔｒｕｃｔｉｏｎｓ）を格納し、又はライブネス検査装置７００が算出した結果を格納する。メモリ７２０は、非一時的なコンピュータで読み出し可能な記録媒体、例えば、高速ランダムアクセスメモリ及び／又は不揮発性コンピュータで読み出し可能な格納媒体（例えば、１つ以上のディスク格納装置、フラッシュメモリ装置、又は、その他の不揮発性固体メモリ装置）を含む。
図８は、一実施形態に係るコンピューティング装置の構成を示す図である。
コンピューティング装置８００は、入力映像に示されたオブジェクトのライブネスを検査してユーザ認証過程を行う。コンピューティング装置８００は、機能的に図７に示すライブネス検査装置７００の機能を含み得る。図８を参照すると、コンピューティング装置８００は、プロセッサ８１０、メモリ８２０、カメラ８３０、格納装置８４０、入力装置８５０、出力装置８６０、及びネットワークインターフェース８７０を含む。
プロセッサ８１０は、コンピューティング装置８００内で実行するための機能及び命令を実行する。例えば、プロセッサ８１０は、メモリ８２０又は格納装置８４０に格納された命令を処理する。プロセッサ８１０は、図１Ａ～図６を参照して前述した１つ以上の動作を行う。
メモリ８２０は、コンピューティング装置８００内に情報を格納する。メモリ８２０は、コンピュータで読み出し可能な格納媒体又はコンピュータで読み出し可能な格納装置を含む。例えば、メモリ８２０は、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｉｅｓ）、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｉｅｓ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｉｅｓ）又は技術分野で知られた他の形態の不揮発性メモリを含む。メモリ８２０は、プロセッサ８１０によって実行するための命令を格納し、コンピューティング装置８００によってソフトウェア又はアプリケーションが実行される間に関連情報を格納する。
カメラ８３０は、静止画、ビデオ映像、又は、これらの全てをキャプチャーする。一実施形態に係るカメラ８３０は、ユーザが認証を試みるために入力する顔領域又は紅彩領域をキャプチャーする。
格納装置８４０は、コンピュータで読み出し可能な格納媒体又はコンピュータで読み出し可能な格納装置を含む。一実施形態によると、格納装置８４０は、メモリ８２０よりもさらに多い量の情報を格納し、情報を長期間格納する。例えば、格納装置８４０は、磁気ハードディスク、光ディスク、フラッシュメモリ、電気的にプログラミング可能なメモリ（ＥＰＲＯＭ）、フロッピーディスク又は技術分野で知られた異なる形態の不揮発性メモリを含む。
入力装置８５０は、触覚、ビデオ、オーディオ又はタッチ入力によってユーザから入力を受信する。例えば、入力装置８５０は、キーボード、マウス、タッチスクリーン、マイクロホン、指紋リーダー、網膜スキャナ又はユーザから入力を検出し、検出された入力をコンピューティング装置８００に伝達できる任意の他の装置を含む。
出力装置８６０は、視覚的、聴覚的、又は触覚的なチャネルを介してユーザにコンピューティング装置８００の出力を提供する。例えば、出力装置８６０は、液晶ディスプレイ、ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、タッチスクリーン、スピーカ、振動発生装置又はユーザに出力を提供できる任意の他の装置を含む。
ネットワークインターフェース８７０は、有線又は無線ネットワークを介して外部装置と通信する。例えば、ネットワークインターフェース８７０は、イーサネット（登録商標（Ｅｔｈｅｒｎｅｔ））カード、光学トランシーバー、無線周波数トランシーバー又は情報を送受信できる任意の他のネットワークインターフェースカードを含む。ネットワークインターフェース８７０は、ブルートゥース（登録商標）、ワイファイ（ＷｉＦｉ）、３Ｇ又は４Ｇなどの通信方式を用いて外部装置と無線で通信する。
以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。
本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当該技術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、適切な結果を達成することができるように、説明された技術が説明された方法と異なる順序で実行され、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられ、他の構成要素又は均等物によって置換されることができる。
７００：ライブネス検査装置
７１０、８１０：プロセッサ
７２０、８２０：メモリ
１２０、８００：コンピューティング装置
８３０：カメラ
８４０：格納装置
８５０：入力装置
８６０：出力装置
８７０：ネットワークインターフェース

Claims (20)

  1. 入力映像から、オブジェクトを特徴付ける特徴点を含む関心領域を抽出するステップと、
    ニューラルネットワークモデルに基づくライブネス検査モデルを用いて前記オブジェクトのライブネスを検査するステップと、
    を含み、前記ライブネス検査モデルは、入力される情報に基づいて、オブジェクトのライブネスを決定するための基準値を提供するように学習されたモデルであり、
    前記ライブネス検査モデルに入力される情報は、前記入力映像から抽出される関心領域の映像情報である第１入力と、前記入力映像の大きさを調整した映像情報である第２入力とを含む、ライブネス検査方法。
  2. 前記第２入力は前記入力映像を縮小した映像情報である、請求項１に記載のライブネス検査方法。
  3. 前記入力映像の大きさを調整するステップをさらに含む請求項２に記載のライブネス検査方法。
  4. 前記関心領域の解像度は、前記の大きさの調整された入力映像の解像度よりも高い、請求項３に記載のライブネス検査方法。
  5. 前記関心領域の大きさと前記の大きさの調整された入力映像の大きさは同一である、請求項３に記載のライブネス検査方法。
  6. 前記第１入力及び前記第２入力は、それぞれ前記ライブネス検査モデルの互いに異なる入力レイヤを介して前記ライブネス検査モデルに入力される、請求項２に記載のライブネス検査方法。
  7. 前記検査するステップは、以前の時間で算出された前記ライブネス検査モデルの算出結果に基づいて、現在の時間での前記オブジェクトのライブネスを検査する、請求項２に記載のライブネス検査方法。
  8. 前記ライブネス検査モデルは、前記ニューラルネットワークモデルのレイヤの間に形成される少なくとも１つの再帰的な接続構造を有する、請求項７に記載のライブネス検査方法。
  9. 前記抽出するステップは、前記入力映像で瞳孔領域を含む部分領域を前記関心領域として抽出する、請求項１に記載のライブネス検査方法。
  10. 前記抽出するステップは、前記入力映像から目、鼻、又は唇のうち少なくとも１つを含む部分領域を前記関心領域として抽出する、請求項１に記載のライブネス検査方法。
  11. 前記抽出するステップは、前記入力映像で指紋領域を含む部分領域を前記関心領域として抽出する、請求項１に記載のライブネス検査方法。
  12. 前記抽出するステップは、前記入力映像で静脈領域を含む部分領域を前記関心領域として抽出する、請求項１に記載のライブネス検査方法。
  13. 前記入力映像を正規化するステップをさらに含み、
    前記抽出するステップは、前記正規化された入力映像から前記オブジェクトの関心領域を抽出する、請求項１ないし１２のうちの何れか一項に記載のライブネス検査方法。
  14. 前記抽出するステップは、
    前記入力映像から特徴点を検出するステップと、
    前記検出された特徴点に基づいて前記関心領域を決定するステップと、
    を含む、請求項１ないし１３のうちの何れか一項に記載のライブネス検査方法。
  15. 前記関心領域の位置は、ライブネスを検査しようとする生体情報のタイプに基づいて決定される、請求項１ないし１４のうちの何れか一項に記載のライブネス検査方法。
  16. コンピューティング装置に請求項１に記載のライブネス検査方法を実行させるコンピュータプログラム。
  17. メモリと、
    前記メモリに接続した少なくとも１つのプロセッサと、を含み、
    前記プロセッサは、
    入力映像から、オブジェクトを特徴付ける特徴点を含む関心領域を抽出し、
    ニューラルネットワークモデルに基づくライブネス検査モデルを用いて前記オブジェクトのライブネスを検査するように構成されており、
    前記ライブネス検査モデルは、入力される情報に基づいて、オブジェクトのライブネスを決定するための基準値を提供するように学習されたモデルであり、
    前記ライブネス検査モデルに入力される情報は、前記入力映像から抽出される関心領域の映像情報である第１入力と、前記入力映像の大きさを調整した映像情報である第２入力とを含む、ライブネス検査装置。
  18. 前記第２入力は前記入力映像を縮小した映像情報である、請求項１７に記載のライブネス検査装置。
  19. 前記ライブネス検査モデルは、以前の時間で導き出された前記ライブネス検査モデルの算出結果に基づいて、現在の時間での前記オブジェクトのライブネスを検査する、請求項１７又は１８に記載のライブネス検査装置。
  20. 前記ライブネス検査モデルは、前記ニューラルネットワークモデルのレイヤの間に形成される少なくとも１つの再帰的な接続構造を有する、請求項１９に記載のライブネス検査装置。
JP2017148957A 2016-08-23 2017-08-01 ライブネス検査方法及び装置 Active JP7004522B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160106763A KR102483642B1 (ko) 2016-08-23 2016-08-23 라이브니스 검사 방법 및 장치
KR10-2016-0106763 2016-08-23

Publications (2)

Publication Number Publication Date
JP2018032391A JP2018032391A (ja) 2018-03-01
JP7004522B2 true JP7004522B2 (ja) 2022-01-21

Family

ID=59631524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017148957A Active JP7004522B2 (ja) 2016-08-23 2017-08-01 ライブネス検査方法及び装置

Country Status (5)

Country Link
US (3) US10121059B2 (ja)
EP (2) EP3998551A1 (ja)
JP (1) JP7004522B2 (ja)
KR (1) KR102483642B1 (ja)
CN (1) CN107766786B (ja)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11531743B2 (en) * 2011-01-14 2022-12-20 Flash Seats, Llc Systems and methods for enhancing biometric matching accuracy
KR102468133B1 (ko) * 2016-02-29 2022-11-18 엘지전자 주식회사 발 정맥 인증 장치
KR102483642B1 (ko) * 2016-08-23 2023-01-02 삼성전자주식회사 라이브니스 검사 방법 및 장치
US11017269B2 (en) * 2016-09-30 2021-05-25 General Electric Company System and method for optimization of deep learning architecture
US10635894B1 (en) * 2016-10-13 2020-04-28 T Stamp Inc. Systems and methods for passive-subject liveness verification in digital media
US11373449B1 (en) * 2016-10-13 2022-06-28 T Stamp Inc. Systems and methods for passive-subject liveness verification in digital media
US10262187B1 (en) * 2016-11-10 2019-04-16 Synaptics Incorporated Systems and methods for spoof detection based on local binary patterns
US10430638B2 (en) * 2016-11-10 2019-10-01 Synaptics Incorporated Systems and methods for spoof detection relative to a template instead of on an absolute scale
CN108229325A (zh) * 2017-03-16 2018-06-29 北京市商汤科技开发有限公司 人脸检测方法和系统、电子设备、程序和介质
CN107609463B (zh) * 2017-07-20 2021-11-23 百度在线网络技术（北京）有限公司 活体检测方法、装置、设备及存储介质
US10740607B2 (en) * 2017-08-18 2020-08-11 Autel Robotics Co., Ltd. Method for determining target through intelligent following of unmanned aerial vehicle, unmanned aerial vehicle and remote control
KR101882281B1 (ko) * 2017-09-15 2018-08-24 엘지전자 주식회사 디지털 디바이스 및 그의 생체 인증 방법
CN107679466B (zh) * 2017-09-21 2021-06-15 百度在线网络技术（北京）有限公司 信息输出方法和装置
KR101882282B1 (ko) * 2017-09-22 2018-08-24 엘지전자 주식회사 디지털 디바이스 및 그의 생체 인증 방법
CN109600400A (zh) * 2017-09-29 2019-04-09 索尼公司 无线通信系统中的电子设备、方法和无线通信系统
US10223610B1 (en) * 2017-10-15 2019-03-05 International Business Machines Corporation System and method for detection and classification of findings in images
KR102374747B1 (ko) * 2017-12-15 2022-03-15 삼성전자주식회사 객체를 인식하는 장치 및 방법
EP3540635B1 (en) 2018-03-16 2020-08-26 Identy Inc. Method for identifying an object within an image and mobile device for executing the method
US11093771B1 (en) 2018-05-04 2021-08-17 T Stamp Inc. Systems and methods for liveness-verified, biometric-based encryption
US11496315B1 (en) 2018-05-08 2022-11-08 T Stamp Inc. Systems and methods for enhanced hash transforms
CN110335269A (zh) * 2018-05-16 2019-10-15 腾讯医疗健康(深圳)有限公司 眼底图像的类别识别方法和装置
US20210056292A1 (en) * 2018-05-17 2021-02-25 Hewlett-Packard Development Company, L.P. Image location identification
CN108710857B (zh) * 2018-05-22 2022-05-17 深圳前海华夏智信数据科技有限公司 基于红外补光的人车识别方法及装置
WO2019231042A1 (ko) * 2018-06-01 2019-12-05 엘지전자 주식회사 생체 인증 장치
EP3807792B1 (en) * 2018-06-13 2024-05-15 Veridas Digital Authentication Solutions, S.L. Authenticating an identity of a person
US10818398B2 (en) * 2018-07-27 2020-10-27 University Of Miami System and method for AI-based eye condition determinations
US10468142B1 (en) * 2018-07-27 2019-11-05 University Of Miami Artificial intelligence-based system and methods for corneal diagnosis
CN109271863B (zh) * 2018-08-15 2022-03-18 北京小米移动软件有限公司 人脸活体检测方法及装置
CN110147703B (zh) * 2018-08-20 2023-10-31 腾讯科技（深圳）有限公司 人脸关键点检测方法、装置及存储介质
CN109345253A (zh) * 2018-09-04 2019-02-15 阿里巴巴集团控股有限公司 资源转移方法、装置及系统
CN110889312B (zh) * 2018-09-07 2022-09-02 北京市商汤科技开发有限公司 活体检测方法和装置、电子设备、计算机可读存储介质
GB2579583B (en) * 2018-12-04 2021-01-06 Yoti Holding Ltd Anti-spoofing
US11200438B2 (en) 2018-12-07 2021-12-14 Dus Operating Inc. Sequential training method for heterogeneous convolutional neural network
US10325179B1 (en) * 2019-01-23 2019-06-18 StradVision, Inc. Learning method and learning device for pooling ROI by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same
CN111488756B (zh) * 2019-01-25 2023-10-03 杭州海康威视数字技术股份有限公司 基于面部识别的活体检测的方法、电子设备和存储介质
US11068069B2 (en) * 2019-02-04 2021-07-20 Dus Operating Inc. Vehicle control with facial and gesture recognition using a convolutional neural network
US11200313B2 (en) 2019-03-18 2021-12-14 Visa International Service Association Defense mechanism against component wise hill climbing using synthetic face generators
US11495041B2 (en) 2019-03-29 2022-11-08 Jumio Corporation Biometric identification using composite hand images
US11301586B1 (en) 2019-04-05 2022-04-12 T Stamp Inc. Systems and processes for lossy biometric representations
KR102570071B1 (ko) * 2019-05-02 2023-08-25 삼성전자주식회사 라이브니스 검사 방법 및 장치, 얼굴 인증 방법 및 장치
US11804070B2 (en) 2019-05-02 2023-10-31 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection
US11216638B2 (en) * 2019-05-09 2022-01-04 Qeexo, Co. Method and system to prevent identity theft for fingerprint recognition enabled touch screen devices
US20200394289A1 (en) * 2019-06-14 2020-12-17 Microsoft Technology Licensing, Llc Biometric verification framework that utilizes a convolutional neural network for feature matching
US11636577B2 (en) * 2019-06-27 2023-04-25 Samsung Electronics Co., Ltd. Method and apparatus with blur estimation
KR20210009458A (ko) * 2019-07-16 2021-01-27 삼성전자주식회사 객체 검출 방법 및 객체 검출 장치
US11263634B2 (en) * 2019-08-16 2022-03-01 Advanced New Technologies Co., Ltd. Payment method and device
US11244150B2 (en) * 2019-09-10 2022-02-08 Bharti Airtel Limited Facial liveness detection
CN110738174B (zh) * 2019-10-17 2023-06-16 五邑大学 手指静脉识别方法、装置、设备和存储介质
WO2021080815A1 (en) 2019-10-21 2021-04-29 Sony Interactive Entertainment Inc. Fake video detection
KR20210062477A (ko) * 2019-11-21 2021-05-31 삼성전자주식회사 전자 장치 및 그 제어 방법
CN112883758B (zh) * 2019-11-29 2023-08-25 杭州海康威视数字技术股份有限公司 一种活体检测方法、装置
KR20210069404A (ko) * 2019-12-03 2021-06-11 삼성전자주식회사 라이브니스 검사 방법 및 라이브니스 검사 장치
KR102284155B1 (ko) * 2020-01-22 2021-07-29 에스케이 주식회사 멀티뷰 이미지 학습을 이용한 인삼 분류 방법 및 시스템
FR3107376B1 (fr) * 2020-02-14 2022-01-28 Idemia Identity & Security France Procédé d’authentification ou d’identification d’un individu
KR20210106790A (ko) * 2020-02-21 2021-08-31 삼성전자주식회사 서버, 전자 장치 및 그들의 제어 방법
CN111507262B (zh) * 2020-04-17 2023-12-08 北京百度网讯科技有限公司 用于检测活体的方法和装置
AU2020101743B4 (en) * 2020-05-18 2021-03-04 Ri Pty Ltd Contactless Biometric Authentication Systems and Methods Thereof
US11277265B2 (en) * 2020-07-17 2022-03-15 The Government of the United States of America, as represented by the Secretary of Homeland Security Verified base image in photo gallery
US11694480B2 (en) * 2020-07-27 2023-07-04 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection
US10970064B1 (en) * 2020-07-28 2021-04-06 Bank Of America Corporation Dynamically updating a software program to resolve errors
KR102471124B1 (ko) * 2020-09-16 2022-11-25 주식회사 크래비스 인쇄회로기판 인식마크 검출 장치 및 방법
EP4318386A4 (en) * 2021-03-30 2024-04-03 Nec Corp INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND RECORDING MEDIUM
FR3123739B1 (fr) * 2021-06-02 2024-02-02 Idemia Identity & Security France Procede et dispositif d’identification et/ou d’authentification biometrique
CN113343889A (zh) * 2021-06-23 2021-09-03 的卢技术有限公司 基于静默活体检测的人脸识别系统
CN115700840A (zh) * 2021-07-30 2023-02-07 脸萌有限公司 图像属性分类方法、装置、电子设备、介质和程序产品
US20230084760A1 (en) * 2021-09-10 2023-03-16 Jumio Corporation Spoof detection using catadioptric spatiotemporal corneal reflection dynamics
US20230091381A1 (en) * 2021-09-17 2023-03-23 Jumio Corporation Spoof detection using eye boundary analysis
KR102509134B1 (ko) * 2021-11-30 2023-03-14 주식회사 풀스택 얼굴 라이브니스 판단 방법 및 장치
US11776323B2 (en) * 2022-02-15 2023-10-03 Ford Global Technologies, Llc Biometric task network
WO2024072457A1 (en) * 2022-09-30 2024-04-04 Privacy Check, Inc. Technologies for privacy search and remediation
CN117037221B (zh) * 2023-10-08 2023-12-29 腾讯科技（深圳）有限公司 活体检测方法、装置、计算机设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080253625A1 (en) 2006-10-10 2008-10-16 Stephanie Schuckers Multi-Resolutional Texture Analysis Fingerprint Liveness Systems and Methods

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668350B2 (en) * 2003-04-04 2010-02-23 Lumidigm, Inc. Comparative texture analysis of tissue for biometric spoof detection
US7848566B2 (en) 2004-10-22 2010-12-07 Carnegie Mellon University Object recognizer and detector for two-dimensional images using bayesian network based classifier
KR100842258B1 (ko) 2006-10-26 2008-06-30 한국전자통신연구원 얼굴 영상의 위조 여부를 판별하는 방법 및 그 장치
US7508960B1 (en) 2008-05-06 2009-03-24 International Business Machines Corporation Projection of light patterns for liveness verification of biometrics
KR20100073191A (ko) 2008-12-22 2010-07-01 한국전자통신연구원 거리 정보를 이용한 위조 얼굴 검출 방법 및 장치
KR101172898B1 (ko) 2010-03-10 2012-08-09 홍익대학교 산학협력단 얼굴 인식 시스템에서의 위조 검출 방법
US9082011B2 (en) 2012-03-28 2015-07-14 Texas State University—San Marcos Person identification using ocular biometrics with liveness detection
KR101884337B1 (ko) 2012-04-26 2018-08-01 삼성전자주식회사 영상 인식 방법 및 장치
US8542879B1 (en) 2012-06-26 2013-09-24 Google Inc. Facial recognition
US8437513B1 (en) * 2012-08-10 2013-05-07 EyeVerify LLC Spoof detection for biometric authentication
US8856541B1 (en) 2013-01-10 2014-10-07 Google Inc. Liveness detection
WO2014129887A1 (en) 2013-02-22 2014-08-28 N.V. Nutricia Thermoformed container with lid
US9495526B2 (en) 2013-03-15 2016-11-15 Eyelock Llc Efficient prevention of fraud
FR3007553B1 (fr) 2013-06-25 2015-07-17 Morpho Procede de detection d'un vrai visage
KR102257897B1 (ko) * 2014-05-09 2021-05-28 삼성전자주식회사 라이브니스 검사 방법과 장치，및 영상 처리 방법과 장치
US9679212B2 (en) * 2014-05-09 2017-06-13 Samsung Electronics Co., Ltd. Liveness testing methods and apparatuses and image processing methods and apparatuses
US20160019421A1 (en) * 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
KR102226177B1 (ko) 2014-09-24 2021-03-10 삼성전자주식회사 사용자 인증 방법 및 그 전자 장치
US9767358B2 (en) * 2014-10-22 2017-09-19 Veridium Ip Limited Systems and methods for performing iris identification and verification using mobile devices
KR102277212B1 (ko) * 2015-01-23 2021-07-15 삼성전자주식회사 디스플레이 정보를 이용한 홍채 인증 방법 및 장치
US10210464B2 (en) * 2015-03-11 2019-02-19 Qualcomm Incorporated Online training for object recognition system
CN107451510B (zh) * 2016-05-30 2023-07-21 北京旷视科技有限公司 活体检测方法和活体检测系统
US9965610B2 (en) * 2016-07-22 2018-05-08 Nec Corporation Physical system access control
KR102483642B1 (ko) * 2016-08-23 2023-01-02 삼성전자주식회사 라이브니스 검사 방법 및 장치
KR102387571B1 (ko) * 2017-03-27 2022-04-18 삼성전자주식회사 라이브니스 검사 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080253625A1 (en) 2006-10-10 2008-10-16 Stephanie Schuckers Multi-Resolutional Texture Analysis Fingerprint Liveness Systems and Methods

Also Published As

Publication number Publication date
KR20180022019A (ko) 2018-03-06
US20180060648A1 (en) 2018-03-01
KR102483642B1 (ko) 2023-01-02
EP3287943B1 (en) 2022-01-12
CN107766786B (zh) 2023-11-24
US20190034708A1 (en) 2019-01-31
EP3287943A1 (en) 2018-02-28
JP2018032391A (ja) 2018-03-01
US10121059B2 (en) 2018-11-06
EP3998551A1 (en) 2022-05-18
CN107766786A (zh) 2018-03-06
US20200410215A1 (en) 2020-12-31
US11783639B2 (en) 2023-10-10
US10789455B2 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
JP7004522B2 (ja) ライブネス検査方法及び装置
KR102455633B1 (ko) 라이브니스 검사 방법 및 장치
KR102387571B1 (ko) 라이브니스 검사 방법 및 장치
JP7046625B2 (ja) 顔認証方法及び装置
CN108664782B (zh) 面部验证方法和设备
US11580203B2 (en) Method and apparatus for authenticating a user of a computing device
JP6650946B2 (ja) モバイル・デバイスを用いてキャプチャしたイメージを使用する指紋ベースのユーザ認証を実行するためのシステムおよび方法
KR20190001066A (ko) 얼굴 인증 방법 및 장치
KR20180053108A (ko) 홍채 영역 추출 방법 및 장치
EP3734503B1 (en) Method and apparatus with liveness detection
US10395112B2 (en) Device and method of recognizing iris
KR20210062381A (ko) 라이브니스 검사 방법 및 장치, 생체 인증 방법 및 장치
US11568681B2 (en) Iris authentication device, iris authentication method and recording medium
Garg et al. Biometric authentication using soft biometric traits
US11195009B1 (en) Infrared-based spoof detection
Bremananth A Robust Eyelashes and Eyelid Detection in Transformation Invariant Iris Recognition: In Application with LRC Security System
Liashenko et al. Investigation of the influence of image quality on the work of biometric authentication methods
Al-Rashid Biometrics Authentication: Issues and Solutions
Murshed et al. Deep Learning-Based Approaches for Contactless Fingerprints Segmentation and Extraction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220104

R150 Certificate of patent or registration of utility model

Ref document number: 7004522

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150