KR20230169104A - 기계 학습 및 등록 데이터를 사용한 개인화된 생체인식 안티-스푸핑 보호 - Google Patents
기계 학습 및 등록 데이터를 사용한 개인화된 생체인식 안티-스푸핑 보호 Download PDFInfo
- Publication number
- KR20230169104A KR20230169104A KR1020237033025A KR20237033025A KR20230169104A KR 20230169104 A KR20230169104 A KR 20230169104A KR 1020237033025 A KR1020237033025 A KR 1020237033025A KR 20237033025 A KR20237033025 A KR 20237033025A KR 20230169104 A KR20230169104 A KR 20230169104A
- Authority
- KR
- South Korea
- Prior art keywords
- biometric data
- data source
- received image
- features
- image
- Prior art date
Links
- 238000010801 machine learning Methods 0.000 title description 10
- 238000000034 method Methods 0.000 claims abstract description 107
- 238000013528 artificial neural network Methods 0.000 claims abstract description 67
- 230000009471 action Effects 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 68
- 238000012545 processing Methods 0.000 claims description 51
- 239000013598 vector Substances 0.000 claims description 48
- 230000009466 transformation Effects 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 16
- 230000004931 aggregating effect Effects 0.000 claims description 11
- 230000001143 conditioned effect Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 description 24
- 238000000605 extraction Methods 0.000 description 21
- 230000001815 facial effect Effects 0.000 description 14
- 238000012549 training Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 210000000554 iris Anatomy 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000002776 aggregation Effects 0.000 description 8
- 238000004220 aggregation Methods 0.000 description 8
- 238000002347 injection Methods 0.000 description 7
- 239000007924 injection Substances 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 3
- 206010013786 Dry skin Diseases 0.000 description 2
- 206010039792 Seborrhoea Diseases 0.000 description 2
- 206010040954 Skin wrinkling Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000037336 dry skin Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000037312 oily skin Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 108010010803 Gelatin Proteins 0.000 description 1
- 241000288105 Grus Species 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 229920000159 gelatin Polymers 0.000 description 1
- 239000008273 gelatin Substances 0.000 description 1
- 235000019322 gelatine Nutrition 0.000 description 1
- 235000011852 gelatine desserts Nutrition 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/45—Structures or tools for the administration of authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
- G06V40/1388—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger using image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/50—Maintenance of biometric data or enrolment thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
- H04L63/1466—Active attacks involving interception, injection, modification, spoofing of data unit addresses, e.g. hijacking, packet injection or TCP sequence number attacks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Collating Specific Patterns (AREA)
Abstract
본 개시의 특정 양태들은 신경망-기반 안티-스푸핑 보호 메커니즘들을 사용하여 생체인식 인증을 위한 기술들 및 장치를 제공한다. 예시적인 방법은 일반적으로, 사용자에 대한 생체인식 데이터 소스의 이미지를 수신하는 단계; 제 1 인공 신경망을 통해, 적어도 상기 수신된 이미지에 대한 특징들을 추출하는 단계; 상기 적어도 수신된 이미지에 대한 추출된 상기 특징들과, 복수의 등록 생체인식 데이터 소스 이미지들의 조합된 특징 표현을 조합하는 단계; 상기 적어도 수신된 이미지에 대한 조합된 상기 추출된 특징들 및 제 2 인공 신경망 내로의 입력으로서 상기 조합된 특징 표현을 사용하여, 상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하는 단계; 및 상기 결정에 기초하여 보호된 리소스에 대한 사용자 액세스를 허용하거나 거부하는 하나 이상의 액션들을 취하는 단계를 포함한다.
Description
관련 출원에 대한 상호 참조
본 출원은 발명의 명칭이 "Personalized Biometric Anti-Spoofing Protection Using Machine Learning and Enrollment Data" 인 2022년 4월 8일에 출원된 미국 특허 출원 제 17/658,573호에 대한 우선권을 주장하며, 이는 발명의 명칭이 "Personalized Biometric Anti-Spoofing Protection Using Machine Learning and Enrollment Data" 인 2021년 4월 9일에 출원되고 양수인에게 양도된, 미국 가특허 출원 일련 번호 제63/173,267호의 이점 및 우선권을 주장하며, 그 내용은 본 명세서에 그 전체가 참고로 포함된다.
본 개시의 양태들은 기계 학습에 관한 것으로, 보다 구체적으로는, 생체인식 인증 시스템들에서 생체인식 크리덴셜 스푸핑 (biometric credential spoofing) 으로부터 보호하기 위해 인공 신경망들을 사용하는 것에 관한 것이다.
스마트폰, 태블릿 컴퓨터 등과 같은 다양한 컴퓨팅 시스템에서, 사용자는 단독으로 (단일 팩터 인증) 또는 서로 조합하여(다팩터 인증) 다양한 기술을 사용하여 이들 컴퓨팅 시스템에 대한 인증 및 액세스를 얻을 수 있다. 이러한 기술들 중 하나는 사용자를 인증하기 위한 생체인식 데이터의 사용을 포함한다. 생체인식 데이터는 일반적으로 지문 데이터, 홍채 스캔 데이터, 얼굴 이미지 (예를 들어, 3차원 깊이 데이터를 갖거나 갖지 않는) 등과 같은 생체인식 데이터와 연관된 사용자의 물리적 특성으로부터 도출된 정보를 포함한다.
생체인식 인증 시스템에서, 사용자는 전형적으로 기준 데이터 소스로서 사용될 수 있는 인증 서비스에 관련 신체 부분의 하나 이상의 스캔을 제공함으로써 (예를 들어, 디바이스 상에서 국부적으로 또는 별개의 컴퓨팅 디바이스 상에서 원격으로 실행되는) 인증 서비스를 등록한다. 예를 들어, 지문들이 사용자를 인증하기 위해 사용되는 생체인식 인증 시스템에서, 다수의 지문 스캔들은 사용자가 디바이스를 유지하는 방식의 차이들을 고려하고, 손가락의 상이한 영역들 사이의 차이들을 고려하고, 사용자를 인증하는데 사용될 수 있는 상이한 손가락들을 고려하기 위해 제공될 수 있다. 다른 예에서, 얼굴 이미지들이 사용자를 인증하기 위해 사용되는 생체인식 인증 시스템에서, 다수의 각도들로부터 캡처된 다수의 얼굴 이미지들 (예를 들어, 정면을 보는 것, 위를 보는 것, 아래를 보는 것, 측면들을 보는 것 등) 은 사용자가 디바이스를 보는 방식의 차이들을 고려하기 위해 제공될 수 있다. 사용자가 디바이스에 액세스하려고 시도할 때, 사용자는 관련 신체 부분을 스캔할 수 있고, 캡처된 이미지 (또는 그의 표현) 는 기준 (예를 들어, 기준 이미지 또는 그의 표현) 과 비교될 수 있다. 캡처된 이미지가 기준 이미지에 충분히 매칭되는 경우, 디바이스 또는 애플리케이션에 대한 액세스가 사용자에게 승인될 수 있다. 그렇지 않으면, 불충분한 매칭은 인가되지 않은 또는 알려지지 않은 사용자가 디바이스 또는 애플리케이션에 액세스하려고 시도하고 있음을 나타낼 수 있기 때문에, 디바이스 또는 애플리케이션에 대한 액세스가 거부될 수 있다.
생체인식 인증 시스템들이 패스워드들 또는 패스코드들에 비해 액세스 제어된 시스템들에 추가적인 보안 계층들을 추가하지만, 이들 생체인식 인증 시스템들을 회피하기 위한 기술들이 존재한다. 예를 들어, 지문 기반 생체인식 인증 시스템들에서, 지문은 쿼리 이미지에서 캡처되고 하나 이상의 등록 이미지에서 (예를 들어, 초음파 센서, 광학 센서 등을 통해) 캡처되는 리지와 밸리 사이의 유사성에 기초하여 인증될 수 있다. 이들 생체인식 인증 시스템들이 사용자들을 인증하는 일반적인 기술들이 알려져 있기 때문에, 이러한 인증 시스템들을 공격하고 사용자의 지문의 재생을 사용하여 보호된 리소스들에 대한 인가되지 않은 액세스를 얻는 것이 가능할 수 있다. 이러한 유형의 공격들은 지문 "스푸핑 (spoofing)" 으로 지칭될 수 있다. 다른 예에서, 얼굴 이미지들이 (예를 들어, 인터넷 상에서) 광범위하게 이용가능하기 때문에, 이들 이미지들은 또한 얼굴 인식 시스템들을 공격하기 위해 사용될 수 있다.
따라서, 생체인식 인증 시스템을 통해 사용자를 인증하기 위한 개선된 기술이 필요하다.
특정 양태들은 생체인식 인증을 위한 방법을 제공한다. 방법은 일반적으로, 사용자에 대한 생체인식 데이터 소스의 이미지를 수신하는 단계; 제 1 인공 신경망을 통해, 적어도 상기 수신된 이미지에 대한 특징들을 추출하는 단계; 상기 적어도 수신된 이미지에 대한 추출된 상기 특징들과, 복수의 등록 생체인식 데이터 소스 이미지들의 조합된 특징 표현을 조합하는 단계; 상기 적어도 수신된 이미지에 대한 조합된 상기 추출된 특징들 및 제 2 인공 신경망 내로의 입력으로서 상기 복수의 등록 생체인식 데이터 소스 이미지들의 상기 조합된 특징 표현을 사용하여, 상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하는 단계; 및 상기 결정에 기초하여 보호된 리소스에 대한 사용자 액세스를 허용하거나 거부하는 하나 이상의 액션들을 취하는 단계를 포함한다.
다른 양태들은 전술한 방법 및 여기에 설명된 것들을 수행하도록 구성된 프로세싱 시스템; 프로세싱 시스템의 하나 이상의 프로세서에 의해 실행될 때, 프로세싱 시스템으로 하여금 전술한 방법 및 여기에 설명된 것들을 수행하게 하는 명령들을 포함하는 비일시적 컴퓨터 판독 가능 매체; 전술한 방법 및 여기에 추가로 설명된 것들을 수행하기 위한 코드를 포함하는 컴퓨터 판독 가능 저장 매체에 구체화된 컴퓨터 프로그램 제품; 및 전술한 방법 및 여기에 추가로 설명된 것들을 수행하는 수단을 포함하는 프로세싱 시스템을 제공한다.
이하의 설명 및 관련된 도면들은 하나 이상의 실시예들의 특정 예시적인 특징들을 상세하게 제시한다.
첨부된 도면은 하나 이상의 실시예의 특정 양태들을 도시하고 따라서 본 개시의 범위를 제한하는 것으로 간주되어서는 안된다.
도 1 은 예시적인 지문 인증 파이프라인을 도시한다.
도 2 는 지문 인증 파이프라인에서 예시적인 안티-스푸핑 시스템들을 예시한다.
도 3 은 본 개시의 양태들에 따른, 지문 인증을 위한 예시적인 동작들을 예시한다.
도 4 는 본 개시의 양태들에 따라, 쿼리 이미지가 실제 손가락으로부터 온 것인 지를 결정하기 위해 쿼리 이미지 및 등록 데이터가 사용되는 지문 안티-스푸핑 보호 파이프라인을 예시한다.
도 5 는 본 개시의 양태들에 따른, 쿼리 이미지들 및 등록 이미지들로부터 지문 특징들을 추출하기 위한 예시적인 특징 추출 파이프라인들을 예시한다.
도 6 은 본 개시의 양태들에 따라, 등록 이미지들의 표현들로부터 추출된 지문 특징들을 통합된 특징 세트로 집성하기 위한 예시적인 특징 집성 파이프라인들을 예시한다.
도 7 은 본 개시의 양태들에 따라, 복수의 등록 이미지들로부터 추출된 특징들을 집성하는 데 사용될 수 있는 신경망들의 예시적인 아키텍처들을 예시한다.
도 8a 내지 도 8c 는 본 개시의 양태들에 따라, 쿼리 이미지가 실제 손가락으로부터의 것인 지를 결정하는데 사용하기 위해 쿼리 이미지들로부터 추출된 특징들과 등록 이미지들을 조합하기 위한 예시적인 특징 주입 파이프라인들을 예시한다.
도 8 은 본 개시의 양태들에 따라, 쿼리 이미지가 실제 손가락으로부터 온 것인 지를 결정하기 전에 쿼리 이미지 또는 하나 이상의 등록 이미지들에 대해 수행될 수 있는 예시적인 정렬 사전프로세싱을 도시한다.
도 9 는 본 개시의 양태들에 따라, 지문 인증 파이프라인 내의 지문 인증 및 안티-스푸핑 보호가 수행될 수 있는 프로세싱 시스템의 예시적인 구현을 예시한다.
도 2 는 지문 인증 파이프라인에서 예시적인 안티-스푸핑 시스템들을 예시한다.
도 3 은 본 개시의 양태들에 따른, 지문 인증을 위한 예시적인 동작들을 예시한다.
도 4 는 본 개시의 양태들에 따라, 쿼리 이미지가 실제 손가락으로부터 온 것인 지를 결정하기 위해 쿼리 이미지 및 등록 데이터가 사용되는 지문 안티-스푸핑 보호 파이프라인을 예시한다.
도 5 는 본 개시의 양태들에 따른, 쿼리 이미지들 및 등록 이미지들로부터 지문 특징들을 추출하기 위한 예시적인 특징 추출 파이프라인들을 예시한다.
도 6 은 본 개시의 양태들에 따라, 등록 이미지들의 표현들로부터 추출된 지문 특징들을 통합된 특징 세트로 집성하기 위한 예시적인 특징 집성 파이프라인들을 예시한다.
도 7 은 본 개시의 양태들에 따라, 복수의 등록 이미지들로부터 추출된 특징들을 집성하는 데 사용될 수 있는 신경망들의 예시적인 아키텍처들을 예시한다.
도 8a 내지 도 8c 는 본 개시의 양태들에 따라, 쿼리 이미지가 실제 손가락으로부터의 것인 지를 결정하는데 사용하기 위해 쿼리 이미지들로부터 추출된 특징들과 등록 이미지들을 조합하기 위한 예시적인 특징 주입 파이프라인들을 예시한다.
도 8 은 본 개시의 양태들에 따라, 쿼리 이미지가 실제 손가락으로부터 온 것인 지를 결정하기 전에 쿼리 이미지 또는 하나 이상의 등록 이미지들에 대해 수행될 수 있는 예시적인 정렬 사전프로세싱을 도시한다.
도 9 는 본 개시의 양태들에 따라, 지문 인증 파이프라인 내의 지문 인증 및 안티-스푸핑 보호가 수행될 수 있는 프로세싱 시스템의 예시적인 구현을 예시한다.
이해를 용이하게 하기 위해, 동일한 참조 부호들은, 가능할 경우, 도면들에 공통인 동일한 엘리먼트들을 지정하도록 사용되었다. 일 실시예의 엘리먼트들 및 특징들이 추가적인 열거 없이도 다른 실시예에 유익하게 통합될 수도 있다고 생각된다.
본 개시의 양태들은 생체인식 인증 파이프라인 내에서 안티-스푸핑 (anti-spoofing protection) 를 위한 기술들을 제공한다.
많은 생체인식 보안 시스템들에서, 사용자를 인증하는 데 사용하기 위한 사용자의 생체인식 특성 (예를 들어, 이미지 스캔으로부터 획득된 지문 이미지 또는 지문의 리지 및 밸리로부터의 반사들에 기초하여 이미지를 생성하도록 구성된 초음파 센서, 얼굴 스캔으로부터 도출된 얼굴 구조, 홍채 스캔으로부터 도출된 홍채 구조 등) 의 이미지들이 일반적으로 캡처된다. 캡처된 이미지와 기준 이미지 사이의 허용가능한 유사도는 FAR (false acceptance rate) 및 FRR (false rejection rate) 메트릭들을 충족시키도록 조정될 수 있다. FAR 은 생체인식 보안 시스템이 시스템 또는 애플리케이션에 대한 (예를 들어, 생체인식 보안 시스템에서 기준 이미지(들) 와 연관된 사용자(들) 이외의 사용자에 대한) 액세스를 부정확하게 허용하는 레이트를 나타낼 수 있고, FRR 은 생체인식 보안 시스템이 시스템 또는 애플리케이션에 대한 액세스를 부정확하게 블로킹하는 레이트를 나타낼 수 있다. 일반적으로, 허위 승인은 보안 위반을 구성할 수 있는 반면, 허위 거절은 밸리칫거리일 수 있다. 생체인식 보안 시스템은 잠재적으로 민감한 정보 또는 시스템에 대한 액세스를 허용하거나 허용하지 않는 데 빈번하게 사용되기 때문에, 그리고 허위 승인은 일반적으로 위험하기 때문에, 생체인식 보안 시스템은 일반적으로 증가된 FRR 의 트레이드오프와 함께, 가능한 한 0 에 가깝게 FAR 을 최소화하도록 구성될 수 있다.
일부 경우들에서, 생체인식 보안 시스템들은 스푸핑된 생체인식 크리덴셜들을 허위로 승인하는 것으로 기만될 수 있으며, 이는 컴퓨팅 시스템 내에서 보호된 리소스들에 대한 인가되지 않은 액세스 및 다른 보안 침해들을 허용할 수 있다. 예를 들어, 일부 지문 인증 시스템들에서, 다른 위치로부터 리프트된 지문으로 생성된 가짜 손가락은 보호된 컴퓨팅 리소스에 대한 인가되지 않은 액세스를 얻기 위해 사용될 수 있다. 이러한 가짜 손가락들은 예를 들어, 3차원 프린팅 또는 다른 적층 가공 프로세스들, 젤라틴 성형, 또는 다른 프로세스들을 사용하여 쉽게 생성될 수 있다. 다른 경우들에서, 사용자의 얼굴의 이미지들 또는 모델들은 얼굴 인식 시스템에 의해 보호되는 보호된 컴퓨팅 리소스에 대한 인가되지 않은 액세스를 얻기 위해 사용될 수 있다. 가짜 생체인식 데이터 소스들은 쉽게 생성될 수 있기 때문에, 생체인식 인증 시스템들은 일반적으로 생체인식 데이터를 실제 또는 가짜 소스들과 구별하려고 시도하는 안티-스푸핑 보호 시스템들 (anti-spoofing protection systems) 을 포함한다.
예시적인 지문 인증 파이프라인
도 1 은 본 개시의 특정 양태들에 따른, 예시적인 생체인식 인증 파이프라인 (100) 을 예시한다. 생체인식 인증 파이프라인 (100) 이 지문 인증 파이프라인으로서 도시되어 있지만, 생체인식 인증 파이프라인 (100) 은 또한 또는 대안적으로 얼굴 스캔, 홍채 스캔, 및 다른 유형의 생체인식 데이터와 같은 다른 생체인식 데이터를 캡처하고 인증하는 데 사용될 수 있다는 것이 인식되어야 한다.
예시된 바와 같이, 지문의 이미지와 같은 생체인식 데이터는 센서 (110) 에 의해 캡처되고 비교기 (120) 에 제공되며, 이 비교기는 센서 (110) 에 의해 캡처된 생체인식 데이터가 생체인식 데이터의 복수의 알려진 세트들 중 하나에 대응하는 지 (예를 들어, 지문의 캡처된 이미지가 알려진 지문에 대응하는 지) 를 결정한다. 센서 (110) 에 의해 캡처된 생체인식 데이터가 생체인식 데이터의 복수의 알려진 세트들 중 하나에 대응하는지 여부를 결정하기 위해, 비교기 (120) 는 사용자를 인증하는 데 사용하기 위해 사용자가 하나 이상의 생체인식 데이터 소스들 (예를 들어, 손가락들) 을 등록할 때 캡처된 등록 샘플 세트 (또는 그로부터 유도된 특징들) 내의 샘플들과 캡처된 생체인식 데이터 (또는 그로부터 유도된 특징들) 를 비교할 수 있다. 일반적으로, 등록 이미지 세트는 지문 인증 시스템에 등록된 각각의 생체인식 데이터 소스에 대한 복수의 이미지들을 포함한다. 그러나, 보안 목적들을 위해, 실제 등록 이미지들은 메모리 내의 보안 영역에 저장될 수 있거나, 등록 이미지들의 표현은 등록 이미지들의 추출 및 악의적인 사용으로부터 보호하기 위해 실제 등록 이미지들 대신에 저장될 수 있다.
일반적으로, 비교기 (120) 는 캡처된 생체인식 데이터 내의 고유한 물리적 특징들을 식별하고 이러한 고유한 물리적 특징들을 등록 샘플들 중 하나(예를 들어, 등록 이미지) 의 유사한 물리적 특징들에 매칭시키려고 시도할 수 있다. 예를 들어, 지문 인증 시스템에서, 비교기 (120) 는 캡처된 지문을 등록 이미지에 매칭시키려고 시도하기 위해 리지/밸리 분기들 또는 종단들과 같은 지문 및/또는 지문 특징부들에서 리지들 및 밸리들의 패턴들을 식별할 수 있다. 다른 예에서, 얼굴 인식 시스템에서, 비교기 (120) 는 얼굴 상의 다양한 포인트들을 식별하고, 사용자의 얼굴의 캡처된 이미지를 등록 이미지에 매칭시키기 위한 시도로 이들 포인트들에 위치된 시각적 패턴들 (예를 들어, 눈 영역, 딤플들, 주름들 등 주위에 “눈가 잔주름") 을 식별할 수 있다. 일부 경우들에서, 비교기 (120) 는 등록 이미지 세트 내의 이미지들 중 하나 이상에서 유사한 특징들과 캡처된 생체인식 데이터 내의 특징들을 정렬하려고 시도하기 위해 캡처된 생체인식 데이터에 다양한 변환들을 적용할 수 있다. 이러한 변환들은, 예를 들어, 캡처된 생체인식 데이터에 대한 회전 변환들을 적용 (즉, 회전) 하는 것, 캡처된 생체인식 데이터를 측방향으로 시프트 (즉, 병진) 하는 것, 캡처된 생체인식 데이터를 정의된 해상도로 스케일링하는 것, 캡처된 생체인식 데이터를 등록 이미지 세트 내의 등록 이미지들 중 하나 이상과 조합하여 복합 이미지를 생성하는 것 등을 포함할 수 있다. 캡처된 생체인식 데이터가 등록 이미지 세트 내의 이미지들 중 어느 것과도 매칭하지 않는다고 비교기 (120) 가 결정하면, 비교기 (120) 는 캡처된 생체인식 데이터가 등록된 사용자로부터 온 것이 아니라고 결정할 수 있고 보호된 컴퓨팅 리소스들에 대한 액세스를 거부할 수 있다.
그렇지 않다면, 캡처된 생체인식 데이터가 등록 이미지 세트 내의 이미지들 중 적어도 하나와 매칭한다고 비교기 (120) 가 결정하면, 안티-스푸핑 보호 엔진 (130) 은 캡처된 생체인식 데이터가 실제 소스로부터 온 것인 지 또는 가짜 소스로부터 온 것인 지를 결정할 수 있다. 캡처된 생체인식 데이터가 실제 소스로부터 온 경우, 안티-스푸핑 보호 엔진 (130) 은 보호된 컴퓨팅 리소스들에 대한 액세스를 허용할 수 있고; 그렇지 않으면, 안티-스푸핑 보호 엔진 (130) 은 보호된 컴퓨팅 리소스들에 대한 액세스를 거부할 수 있다. 다양한 기술이 캡처된 생체인식 데이터가 실제 소스로부터 온 것인 지 또는 가짜 소스로부터 온 것인 지를 결정하기 위해 사용될 수 있다. 예를 들어, 지문 인증 시스템에서, 표면 전도성은 지문 이미지가 실제 손가락으로부터 온 것인 지 또는 가짜 손가락으로부터 온 것인 지를 결정하는 데 사용될 수 있다. 인간 피부는 소정 알려진 전도성 특성들을 갖기 때문에, 이러한 전도성 특성들을 갖지 않는 소스들로부터 캡처된 이미지들은 가짜 손가락으로부터 공급된 것으로 결정될 수 있다. 그러나, 이들 기술들은 통상적으로 등록 이미지 세트 및/또는 캡처된 지문 이미지를 참조하지 않고 수행되기 때문에, 안티-스푸핑 시스템들은, 그렇지 않다면, 스푸핑 공격들에 대해 방지하기 위해 사용될 수 있는 실제 생체인식 데이터 소스의 알려진 해부학적 특성들을 복제하는 다양한 재료들 또는 다른 기술적 수단의 사용을 통해 극복될 수 있다. 다른 예에서, 얼굴 인식 시스템에서, 깊이 맵들, 온도 판독들, 및 다른 정보는, 실제 소스가 (상당한 양의 3차원 데이터를 갖지 않을 프린팅된 이미지와 대조적으로) 상당한 양의 3차원 데이터를 가질 것이고 가정된 정상 신체 온도(예를 들어, 98.6°F 또는 37°C) 에서 또는 그 근처에서 온도를 방출할 수 있다는 가정에 기초하여, 소스가 진짜인지 가짜인지를 결정하기 위해 사용될 수 있다.
도 1 은 캡처된 생체인식 데이터 (예를 들어, 지문의 캡처된 이미지) 가 실제 소스로부터 온 것인 지 또는 가짜 소스로부터 온 것인 지를 결정하기 전에 비교가 수행되는 생체인식 인증 파이프라인을 예시하지만, 이러한 동작들은 임의의 순서로 또는 동시에 수행될 수 있다는 것이 당업자에 의해 인식되어야 한다. 즉, 생체인식 인증 파이프라인 내에서, 안티-스푸핑 보호 엔진 (130) 은 비교기 (120) 가 센서 (110) 에 의해 캡처된 생체인식 데이터와 등록 이미지 세트 내의 하나 이상의 이미지 사이에 매칭이 존재하는 지를 결정하기 전에 캡처된 생체인식 데이터가 실제 소스로부터 온 것인 지 가짜 소스로부터 온 것인 지를 결정할 수 있다.
지문 인증 파이프라인에서의 예시적인 안티-스푸핑 시스템들
도 2 는 지문 인증 파이프라인에서 예시적인 안티-스푸핑 시스템들을 예시한다. 안티-스푸핑 시스템 (200) 에서, 지문 센서 (예를 들어, 초음파 센서, 광학 센서 등) 에 의해 캡처된 샘플 (202) 은 안티-스푸핑 (ASP) 모델 (204) 내에 입력으로서 제공될 수 있다. 이러한 안티-스푸핑 모델은 캡처된 샘플 (202) 이 실제 손가락으로부터 온 것인 지 또는 가짜 손가락으로부터 온 것인 지를 결정하기 위해 (예를 들어, 보호된 컴퓨팅 리소스들에 대한 사용자 액세스를 승인할 지를 결정하기 위해 지문 인증 파이프라인에서 사용될 수 있는 라이브 또는 스푸핑 결정을 하기 위해) 미리 정의된 트레이닝 데이터 세트에 기초하여 일반적으로 트레이닝될 수 있다. 그러나, 안티-스푸핑 보호 모델 (204) 을 트레이닝하기 위해 사용되는 트레이닝 데이터 세트가 상이한 사용자들에 대해 캡처된 샘플 (202) 의 특성들을 변경할 수 있는 사용자들 사이의 자연적인 변화을 고려하지 않을 수 있기 때문에, 안티-스푸핑 보호 모델 (204) 은 부정확할 수 있다. 예를 들어, 사용자는 건성 피부, 지성 피부 등과 같이 샘플 (202) 에 캡처된 데이터에 영향을 미칠 수 있는 다양한 피부 특성을 가질 수 있다. 건성 피부를 갖는 사용자는, 예를 들어 지성 피부를 갖는 사용자보다 더 작은 시각적 예민성을 갖는 샘플 (202) 의 생성을 야기할 수 있다. 부가적으로, 안티-스푸핑 모델 (204) 은 샘플 (202) 을 캡처하는데 사용되는 센서에 대한 표면 커버링들 및/또는 센서들 사이의 차이들을 고려하지 않을 수 있다. 예를 들어, 센서들은 상이한 레벨들의 예민성을 가질 수 있거나, 상이한 두께들, 굴절률 등의 커버 유리 아래에 배치될 수 있다. 또한, 센서의 동일한 모델의 상이한 인스턴스들은 제조 가변성 (예를 들어, 정렬, 센서 두께, 유리 커버 두께 등) 및 그로부터 초래되는 교정 차이들로 인해 상이한 특성들을 가질 수 있다. 또한 추가로, 일부 사용자는 샘플 (202) 을 캡처하는 데 사용되는 센서를 센서에 의해 캡처된 이미지에 영향을 줄 수 있는 보호 필름으로 커버할 수 있다. 그럼에도 불구하고, 상이한 센서들은 상이한 공간 해상도를 가질 수 있다.
지문 인증 파이프라인에서 안티-스푸핑 (anti-spoofing protection) 의 정확도를 개선하기 위해, 본 개시의 양태들은 안티-스푸핑 모델 (216) 내에 대상 및 센서 정보의 통합을 허용한다. 예시된 바와 같이, 안티-스푸핑 시스템 (210) 에서, 지문 센서에 의해 캡처된 샘플 (212) 및 대상 및/또는 센서에 대한 정보(214) 는 샘플 (212) 에서 캡처된 지문이 실제 손가락으로부터 온 것인 지 또는 가짜 손가락으로부터 온 것인 지를 예측하도록 트레이닝된 안티-스푸핑 보호 모델 (216) 에 입력될 수 있다. 대상 및/또는 센서에 관한 정보는, 아래에서 더 상세히 논의되는 바와 같이, 등록 이미지 세트로부터 도출되거나 등록 이미지 세트 내의 이미지들로부터 도출되는 정보일 수 있다. 등록 이미지 세트 내의 이미지들이 일반적으로 사용자 및 디바이스 변동을 캡처할 수 있기 때문에, 안티-스푸핑 보호 모델 (216) 은 일반 트레이닝 데이터 세트에서 캡처되지 않을 수 있는 사용자 및 디바이스 특성들에 기초하여 샘플 (212) 이 실제 손가락으로부터 온 것인 지 또는 가짜 손가락으로부터 온 것인 지를 식별하도록 트레이닝될 수 있다. 따라서, 스푸핑 공격들을 식별함에 있어서 지문 인증 시스템들의 정확도가 증가될 수 있으며, 이는 지문 인증 시스템들에 의해 보호되는 컴퓨팅 리소스들의 보안을 증가시킬 수 있다.
안티-스푸핑 모델들은 또한 홍채 스캐닝, 얼굴 인식, 또는 다른 생체인식 데이터를 사용하는 인증 시스템들과 같은 다른 생체인식 인증 시스템들에서 사용될 수 있다. 위에서 논의된 지문 인증 파이프라인에 대한 안티-스푸핑 모델에서와 같이, 안티-스푸핑 모델들은 부정확할 수 있는데, 이는 이들 모델들을 트레이닝하기 위해 사용되는 트레이닝 데이터 세트가 상이한 사용자들에 대해 캡처된 샘플의 특성들을 변경할 수 있는 사용자들 사이의 자연적인 변동을 고려하지 않을 수 있기 때문이다. 예를 들어, 사용자들은 상이한 시각적 예민성의 레벨들을 갖는 샘플들의 생성을 야기할 수 있는 홍채 컬러에서의 다양한 레벨들의 콘트라스트를 가질 수 있고, 샘플 내에 캡처된 상세들에 영향을 주는 안경 또는 다른 광학계를 착용할 수 있거나, 기타 등등일 수 있다. 또한, 안티-스푸핑 모델들은 홍채 또는 얼굴 인식 시스템들에서 사용되는 샘플들을 캡처하는데 사용될 수 있는 해상도, 광학 공식들 등과 같은 카메라들에서의 차이들을 고려하지 않을 수 있다.
일부 양태들에서, 안티-스푸핑 시스템들은 (예를 들어, 데이터 수집을 위한 센서들 및 사용자들에 대한 액세스가 이용 가능하지 않은 시나리오들에서) 대규모 안티-스푸핑 데이터 세트로부터 생성된 트레이닝 데이터 세트를 사용하여 트레이닝될 수 있다. 개인화된 데이터 세트는 다수의 상이한 사용자들에 대한 데이터를 포함할 수 있으며, 각각의 사용자는 일정한 수의 등록 이미지들을 갖는다. 예를 들어, 정지-이미지-기반 안티-스푸핑 데이터 세트에서, 제 1 N 개의 라이브 샘플들은 안티-스푸핑 데이터 세트 내의 각각의 사용자에 대한 등록 데이터 세트로서 선택될 수 있고, 나머지 라이브 샘플들 및 다른 데이터 소스들 (예를 들어, 이미지 저장소들, 인터넷 상의 데이터 소스들 등) 로부터 랜덤하게 획득된 스푸핑 샘플들의 수는 안티-스푸핑 보호 시스템들을 트레이닝하기 위한 퀴리 샘플들의 세트로서 선택될 수 있다. 비디오 데이터를 포함하는 안티-스푸핑 데이터 세트에서, 등록 데이터로서 사용되는 N 개의 이미지들은 대상 포즈에서의 변화와 함께 그리고 (예를 들어, 생체인식 데이터 소스가 조명에서의 최소 변화들 및 그에 따라 비디오에서 캡처된 데이터의 품질에서의 변화들로 비디오에서 캡처되도록) 임계값 미만의 조명 변화들을 갖고 선택된 비디오 클립으로부터 등거리로 샘플링될 수도 있다. 선택된 비디오 클립과 동일한 공간 해상도를 갖는 사용자에 대한 다른 비디오들은 안티-스푸핑 보호 시스템이 트레이닝될 수 있는 연관된 쿼리 데이터로서 프로세싱될 수 있다.
기계 학습 기반 안티-스푸핑 보호를 사용하는 생체인식 인증을 위한 예시적인 방법들
도 3 은 본 개시의 특정 양태들에 따른, 생체인식 인증을 위해 수행될 수 있는 예시적인 동작들 (300) 을 예시한다.
예시된 바와 같이, 동작들 (300) 은 블록 (310) 에서 시작하며, 여기서 컴퓨팅 시스템은 사용자에 대한 생체인식 데이터 소스의 이미지를 수신한다. 수신된 이미지는, 컴퓨팅 시스템의 사용자를 인증하는 데 사용하기 위해, 손가락, 홍채, 사용자의 얼굴 등과 같은 생체인식 데이터 소스의 고유한 특징들을 캡처할 수 있는 초음파 센서들, 광학 센서들, 또는 다른 디바이스들과 같은 다양한 센서들 중 하나에 의해 생성된 이미지일 수 있다. 일부 양태들에서, 수신된 이미지는 이진 컬러 공간에서의 이미지일 수 있다. 예를 들어, 지문의 이미지들이 캡처되는 이진 컬러 공간에서, 제 1 컬러는 캡처된 지문의 리지 (ridge) 들을 나타내고 제 2 컬러는 캡처된 지문의 밸리 (valley) 를 나타낸다. 일부 양태들에서, 수신된 이미지는, 제 1 컬러가 캡처된 지문의 리지들을 나타내고, 제 2 컬러가 캡처된 지문의 밸리들을 나타내고, 제 1 컬러와 제 2 컬러 사이의 컬러들이 캡처된 지문의 리지들과 밸리들 사이의 전이들을 나타내는 낮은 비트 깊이 단색 컬러 공간 내의 이미지일 수 있다.
블록 (320) 에서, 컴퓨팅 시스템은 제 1 인공 신경망을 통해 적어도 수신된 이미지에 대한 특징들을 추출한다. 제 1 인공 신경망은, 예를 들어, 컨볼루션 신경망 (convolutional neural network, CNN), 변환기 신경망, 순환 신경망 (recurrent neural network, RNN), 또는 이미지 또는 그 표현으로부터 특징을 추출하는 데 사용될 수 있는 다양한 다른 적합한 인공 신경망 중 임의의 것을 포함할 수 있다. 특징들은 신경망들을 사용하여 상이한 가중치들을 사용하여 또는 동일한 가중치들을 사용하여 수신된 이미지 및 등록 이미지 세트 내의 이미지들에 대해 추출될 수 있다. 일부 양태들에서, 특징들은 (예를 들어, 사용자가 지문 인증에 사용하기 위해 손가락을 등록하고, 홍채 인증에 사용하기 위해 홍채를 등록하고, 얼굴 인식 기반 인증에 사용하기 위해 얼굴을 등록하는 등) 선험적으로 (a priori) 설정된 등록 이미지 내의 이미지들에 대해 추출될 수 있다. 다른 양태들에서, 특징들은 사용자가 생체인식 인증 파이프라인을 통해 인증을 시도할 때 수신된 이미지 (쿼리 이미지로서도 지칭됨) 의 비-이미지 표현에 기초하여 설정된 등록 이미지 세트 내의 이미지들에 대해 추출될 수 있다.
블록 (330) 에서, 컴퓨팅 시스템은 적어도 수신된 이미지에 대한 추출된 상기 특징들과, 복수의 등록 생체인식 데이터 소스 이미지들의 조합된 특징 표현을 조합한다. 복수의 등록 생체인식 데이터 소스 이미지들의 조합된 특징 표현은, 예를 들어, 복수의 등록 생체인식 데이터 소스 이미지들의 개별 이미지들로부터 추출된 특징들을 조합된 특징 표현으로 집성함으로써 생성될 수 있다. 본 명세서에서 더 상세히 논의되는 바와 같이, 수신된 이미지에 대해 추출된 특징들 및 복수의 등록 생체인식 데이터 소스 이미지들의 조합된 특징 표현은 특징들의 조합된 세트를 생성할 수 있는 다양한 특징 주입 기술들을 사용하여 조합될 수 있고, 이는 그후 사용자에 대한 생체인식 데이터 소스의 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 실제 생체인식 데이터 소스의 카피인 가짜 생체인식 데이터 소스 (예를 들어, 실제 지문 또는 실제 지문의 카피인 가짜) 로부터 온 것인 지를 결정하는데 사용될 수 있다.
블록 (340) 에서, 컴퓨팅 시스템은 적어도 수신된 이미지에 대한 조합된 상기 추출된 특징들 및 제 2 인공 신경망 내로의 입력으로서 상기 복수의 등록 생체인식 데이터 소스 이미지들의 상기 조합된 특징 표현을 사용하여, 상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정한다. 본 명세서에서 사용되는 바와 같이, 실제 생체인식 데이터 소스의 카피는 실제 생체인식 데이터 소스의 복제본 (예를 들어, 가짜 손가락 상에 구현된 실제 지문의 복제본), 다른 소스들로부터 캡처된 미뉴셔 (minutiae) 로부터 생성된 합성 입력, 생체인식 데이터 소스의 합성적으로 생성되고 정제된 이미지, 또는 지문 인증 시스템의 많은 사용자들과 매칭하도록 설계된 (예를 들어, 이미지들의 집합으로부터의) 생체인식 데이터 소스의 이미지를 포함할 수 있다. 실제 생체인식 데이터 소스의 카피는 또한 또는 대안적으로 비-생체인식 소스들로부터의 데이터를 포함할 수 있다. 일부 양태들에서, 시스템은 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하기 위해 수신된 이미지로부터 추출된 특징들 및 복수의 등록 생체인식 데이터 소스 이미지들의 조합된 특징 표현을 사용할 수 있는 멀티-계층 퍼셉트론 (multilayer perceptron; MLP) 신경망 또는 다른 신경망들을 사용하여 사용자에 대한 생체인식 데이터 소스의 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정할 수 있다.
블록 (350) 에서, 컴퓨팅 시스템은 결정에 기초하여 보호된 리소스에 대한 사용자 액세스를 허용하거나 거부하는 하나 이상의 액션들을 취한다. 일부 양태들에서, 생체인식 데이터 소스의 수신된 이미지가 등록 이미지들 중 하나 이상과 매칭한다고 결정한 후에 결정이 수행되는 경우, 컴퓨팅 시스템은 생체인식 데이터 소스의 이미지가 실제 생체인식 데이터 소스로부터 온 것이라고 결정한다면 보호된 컴퓨팅 리소스에 대한 사용자 액세스를 허용할 수 있고, 생체인식 데이터 소스의 이미지가 실제 생체인식 데이터 소스의 카피로부터 온 것이라고 결정한다면 보호된 컴퓨팅 리소스에 대한 사용자 액세스를 거부할 수 있다. 생체인식 데이터 소스의 수신된 이미지가 등록 이미지들 중 하나 이상과 매칭하는 지를 결정하기 전에 결정이 수행되는 경우, 컴퓨팅 시스템은 지문의 이미지가 실제 지문으로부터 온 것이라고 결정되면 등록 이미지들에 대해 생체인식 매칭을 수행하도록 진행할 수 있고, 생체인식 데이터 소스의 이미지가 등록 이미지들에 대해 생체인식 매칭을 수행하지 않고 실제 생체인식 데이터 소스의 카피로부터 온 것이라고 결정되면 보호된 컴퓨팅 리소스에 대한 사용자 액세스를 거부할 수 있다.
예시적인 지문 안티-스푸핑 파이프라인
도 4 는 본 개시의 양태들에 따라, 쿼리 이미지가 실제 생체인식 소스로부터 온 것인 지를 결정하기 위해 쿼리 및 등록 데이터를 사용하는 안티-스푸핑 파이프라인 (400) 을 예시한다. 이 예에서, 안티-스푸핑 파이프라인 (400) 은 쿼리 이미지가 실제 지문으로부터 온 것인 지를 결정하기 위해 지문 인증 시스템에서 사용될 수 있다. 그러나, 안티-스푸핑 파이프라인 (400) 은 홍채의 이미지들, 사용자의 얼굴의 이미지들, 사용자의 음성의 그래픽 표현들, 또는 사용자에 대한 생체인식 데이터 소스의 이미지들이 사용자를 인증하기 위해 사용되는 다른 이미지 기반 인증과 같은 임의의 다양한 생체인식 데이터 소스들로부터 획득된 데이터에 대한 등록 및 쿼리 이미지들에 적용될 수 있다는 것이 인식되어야 한다. 지문 안티-스푸핑 보호 파이프라인 (400) 은 특징 추출 단계 (410), 특징 집성 단계 (420) 및 특징 주입 단계 (430) 를 포함할 수 있다.
예시된 바와 같이, 안티-스푸핑 파이프라인 (400) 은 특징 추출 단계 (410) 로 시작할 수 있다. 특징 추출 단계 (410) 에서, 컨볼루션 신경망들은 사용자 지문의 수신된 쿼리 이미지 및 하나 이상의 이전에 생성된 등록 이미지들로부터 특징들을 추출하는 데 사용될 수 있다. 논의된 바와 같이, 등록 이미지들은 사용자가 지문 인증에 사용하기 위해 손가락을 등록할 때 지문 인증 시스템에 제공한 이미지들일 수 있고, 이들 이미지들은 수신된 쿼리 이미지가 등록된 지문의 이미지에 대응하는 지를 결정하고 지문 인증 시스템에 의해 보호되는 컴퓨팅 리소스들에 대한 액세스를 승인할지 여부를 결정하는 데 사용될 수 있다. 일부 양태들에서, 특징 추출 단계 (410) 는 사용자 지문의 수신된 쿼리 이미지로부터 특징들을 추출할 수 있고, 등록 이미지들 자체보다는 복수의 등록 이미지들 각각의 표현에 기초하여 복수의 등록 이미지들 각각과 연관된 특징들을 추출할 수 있다. 특징들은 일반적으로 컨볼루션 신경망들을 사용하여 수신된 쿼리 이미지 및 하나 이상의 이전에 생성된 등록 이미지들로부터 추출될 수 있다. 일반적으로, 이러한 특징들은 특정 분류 작업 (예를 들어, 본 명세서에서 논의된 지문 스푸핑) 에 유용할 수 있는 특징들로서 컨볼루션 신경망들에 의해 학습되는 특징들일 수 있다. 예를 들어, 컨볼루션 신경망의 최종 계층에 의해 추출된 특징들은 입력 이미지 또는 그 부분들의 구체적인 품질들, 예컨대 이미지 내의 밝기, 블롭들 (blobs) 에 관련된 통계들, 점들, 분기점들 등을 나타낼 수 있다. 컨볼루션 신경망들에 의해 추출된 특징들은 또한 또는 대안적으로 수신된 쿼리 이미지 및 등록 이미지들에서 식별된 특징들 및 형상들의 추상적인 하이-레벨 조합들을 포함할 수 있다. 컨볼루션 신경망들은 가중치들 및 바이어스들과 같은 파라미터들을 공유할 수 있거나, 또는 상이한 파라미터들을 사용할 수 있다. 도 5 와 관련하여 아래에서 더 상세히 논의되는 바와 같이, 지문 이미지들 또는 이들 지문 이미지들로부터 도출된 데이터로부터 특징들을 추출하기 위해 다양한 기술들이 사용될 수 있다.
일부 양태들에서, 쿼리 이미지 
및 를 갖는 N 등록 이미지들 
은 특징 추출 단계 (410) 에서 수신될 수 있다. 쿼리 이미지 Iq 는 쿼리 이미지를 특징들의 세트 
로 인코딩하기 위해 특징 추출기 
를 통해 프로세싱될 수 있고, 여기서
이다. 유사하게, N 개의 등록 이미지들 은 특징들의 세트 를 생성하기 위해 특징 추출기 를 통해 프로세싱될 수도 있으며, 여기서 
이고 D 는 각각의 이미지로부터 추출된 특징들을 설명하는 값들의 수 (이미지로부터 추출된 특징들의 차원도라고도 지칭됨) 를 나타낸다.
특징 집성 단계 (420) 는 일반적으로 복수의 등록 지문 이미지들에 대한 특징 추출 단계 (410) 에서 추출된 특징들로부터 복수의 등록 지문 이미지들의 조합된 특징 표현을 생성한다. 조합된 특징 표현은, 예를 들어, 복수의 등록 지문 이미지들로부터 추출된 특징들을 단일 세트의 특징들로 연결함으로써 생성될 수 있다. 도 6 과 관련하여 아래에서 더 상세히 논의되는 바와 같이, 조합된 특징 표현을 생성하기 위해 다양한 기술들이 사용될 수 있다.
일부 양태들에서, 특징 집성 단계 (420) 는 도 5 내지 도 7 과 관련하여 이하에서 더 상세히 논의되는 바와 같이, 다양한 기술들을 사용하여 등록 특징들 
을 단일 특징 
으로 조합할 수 있다. 일반적으로, 로의 특징들의 집성은 벡터 연결(vector concatenation), 산술 평균(arithmetic mean) 의 계산, 또는 특징들을 단일 집성된 특징으로 집성하기 위해 사용될 수 있는 다른 기술들에 기초하여 수행될 수 있다. 벡터 연결에서, 등록 특징들은 주어진 축을 따라 연결되어 N * D 의 차원들을 갖는 1차원 벡터를 획득할 수 있다. 특징들이 산술 평균에 기초하여 집성될 때, 집성 특징 벡터는 다음 식에 따라 계산될 수 있다.
이 경우, 이미지들 을 갖는 로부터 추출된 등록 특징들은 D 값들로 압축될 수 있다.
특징 주입 단계 (430) 는 일반적으로 특징 추출 단계 (410) 에서 생성된 수신된 이미지에 대한 추출된 특징들 및 특징 집성 단계 (420) 에서 생성된 복수의 등록 이미지들의 조합된 특징 표현을, 수신된 쿼리 이미지가 실제 지문으로부터 온 것인 지 또는 실제 지문의 카피로부터 온 것인 지를 결정하기 위해 MLP (440) 에 의해 사용될 수 있는 데이터로 조합한다. 특징 주입 단계 (430) 는 수신된 이미지에 대한 추출된 특징들 및 복수의 등록 지문 이미지들의 조합된 특징 표현을 시각적 특징들의 조합된 세트로 조합하기 위해 하나 이상의 인공 신경망을 사용할 수 있다. 수신된 이미지에 대한 추출된 특징들 및 복수의 등록 지문 이미지들의 조합된 특징 표현을 조합하는데 사용되는 기술들은 도 7a 내지 도 7c 와 관련하여 아래에서 더 상세히 논의된다.
수신된 지문 이미지들 및 등록 지문 이미지들로부터의 예시적인 특징 추출
일반적으로, 수신된 지문 이미지들 및 등록 지문 이미지들로부터 특징들을 추출하기 위해, 이들 이미지들은 하나 이상의 컨볼루션 신경망들을 통해 프로세싱될 수 있다. 이들 컨볼루션 신경망들의 출력은 수신된 지문 이미지들을 설명하는 저차원 시각적 특징들일 수 있다. 도 5 는 수신된 지문 이미지들 및 등록 지문 이미지들로부터 특징들을 추출하기 위한 특징 추출 단계 (410) 에서 구현될 수 있는 다양한 기술들을 예시한다. 또한, 도 5 는 지문 이미지들의 맥락에서 이들 기술들을 도시하지만, 본 명세서에서 논의된 특징 추출 기술들은 임의의 다양한 생체인식 데이터 소스들로부터 획득된 데이터에 대한 등록 및 쿼리 이미지들에 적용될 수 있다는 것이 인식되어야 한다.
예 (500A) 는 가중치 공유 컨볼루션 신경망들을 사용하는 특징 추출을 예시한다. 이 예에서, 동일한 파라미터들 (예를 들어, 가중치들, 바이어스들 등) 을 사용하는 2개의 CNN들 (502) 은 등록 이미지들 및 쿼리 이미지로부터 특징들을 추출하는 데 사용될 수 있다. 조합된 특징 표현 (510) 은 CNN (502) 의 출력으로부터 생성될 수 있다. 조합된 특징 표현 (510) 이 생성된 후, MLP(520) 와 같은 인공 신경망은 조합된 특징 표현 (510) 을 사용하여 수신된 쿼리 지문 이미지가 실제 지문으로부터 온 것인 지 또는 실제 지문의 카피로부터 온 것인 지를 결정할 수 있다. 인공 신경망의 출력 (예를 들어, 수신된 쿼리 지문 이미지가 실제 지문으로부터 온 것인 지 또는 실제 지문의 카피로부터 온 것인 지의 결정) 은 보호된 컴퓨팅 리소스에 대한 액세스를 허용하거나 블로킹하기 위한 하나 이상의 동작들을 취하기 위해 사용될 수 있다. 이 예에서, 수신된 쿼리 이미지 및 등록 이미지들로부터 추출된 특징들은 동일하거나 상이한 차원을 가질 수 있고, 동일한 신경망 또는 상이한 신경망으로부터 획득될 수 있고, 시각적 특징들은 공간적 특징들 또는 비공간적 특징들일 수 있다. CNN (502) 은, 일부 양태들에서, 다수의 계층들로 구현될 수 있으며, CNN (502) 의 마지막 계층은 글로벌 공간 풀링 연산자이다. CNN (502) 은 일부 양태들에서, 엔드-투-엔드 안티-스푸핑 보호 모델의 일부로서 트레이닝될 수 있다. 다른 양태에서, CNN (502) 은 안티-스푸핑 보호 모델의 일부로서 쿼리 이미지에 대해 사전 트레이닝될 수 있다. 가중치들은 후속하여 컴퓨팅 디바이스 상에서 로컬로 캡처된 등록 이미지들로부터 추출된 특징들로 수정될 수 있다.
예 (500B) 는 가중치 분리된 컨볼루션 신경망들을 사용하는 특징 추출을 예시한다. 이 예에서, 제 1 파라미터 세트 (예를 들어, 가중치, 바이어스 등) 를 사용하는 CNN (502) 은 쿼리 이미지로부터 특징을 추출하는 데 사용될 수 있고, 제 2 파라미터 세트를 사용하는 제 2 CNN (504) 은 복수의 등록 이미지로부터 특징을 추출하는 데 사용될 수 있다. 이 예에서, CNN들 (502 및 504) 은 쿼리 및 등록 이미지들로부터 시각적 특징들을 추출하기 위해 상이한 가중치들 및 동일하거나 상이한 모델 아키텍처들을 사용할 수 있다. CNN들 (502 및 504) 에서 사용되는 가중치들이 상이하기 때문에, CNN들은 상이한 정보를 추출하도록 트레이닝될 수 있다. 예를 들어, CNN (502) 은 스푸핑 방지 작업에 대해 구별되는 이미지들을 추출하도록 트레이닝될 수 있고, CNN (504) 은 사용자 및/또는 쿼리 및 등록 이미지들을 캡처하는 데 사용되는 센서 (들) 를 나타내는 데 유용할 수 있는 등록 이미지들로부터 정보를 추출하도록 트레이닝될 수 있다. CNN들 (502 및 504) 은 예를 들어, 엔드-투-엔드 안티-스푸핑 보호 모델의 일부로서 공동으로 트레이닝될 수 있다.
예 (500C) 는 가중치-하이브리드 컨볼루션 신경망을 사용하는 특징 추출을 예시한다. 예 (500C) 는 예 (500A) 및 예 (500B) 의 하이브리드로 간주될 수 있다. 가중치-하이브리드 CNN 을 사용하는 특징 추출의 일 예에서, 가중치-분리된 CNN들 (502 및 504) 은 예 (500B) 와 관련하여 위에서 논의된 바와 같이, 각각 쿼리 이미지 및 복수의 등록 이미지들로부터 특징들의 제 1 세트를 추출하는 데 사용될 수 있다. CNN들 (502 및 504) 에 의해 추출된 특징들의 제 1 세트는, 논의된 바와 같이, 각각 쿼리 이미지 및 등록 이미지 도메인들에 특정한 낮은-레벨 특징들일 수 있다. 특징들의 이 제 1 세트는 가중치 공유 CNN (506) 에 입력될 수 있으며, 이는 공유 특징 공간에서 쿼리 이미지 및 등록 이미지들에 대한 하이 레벨 특징들을 출력하도록 트레이닝될 수 있다. 즉, 가중치 공유 CNN (506) 에 의해 생성된 조합된 특징 표현 (510) 은 등록 및 쿼리 이미지들에 대한 상이한 특징 공간들에서의 저레벨 특징들로부터 생성된 공통 특징 공간 내의 특징들을 포함할 수 있다.
가중치 하이브리드 CNN 을 사용하는 특징 추출의 다른 예에서, CNN들 (502 및 504) 에 의해 추출된 시각적 특징들은 시각적 특징들의 스택으로 조합될 수 있다. 시각적 특징들의 스택은 조합된 특징 표현 (510) 을 생성하기 위해 가중치 공유 CNN (506) 에 입력될 수 있다. 이 예에서, CNN들 (502 및 504) 에 의해 추출된 시각적 툭장들은 이들 특징들이 스태킹되도록 허용하기 위해 동일한 공간 형상을 가질 수 있다. 쿼리 이미지들 및 등록 이미지들로부터 추출된 시각적 특징들을 스태킹함으로써, 가중치 공유 CNN (506) 의 컨볼루션 계층들은 공간 차원들에서 입력들을 비교하는 필터들을 학습할 수 있다. 그러나, 등록 이미지 특징들이 가중치 공유 CNN (506) 으로의 입력까지만 미리 컴퓨팅될 수 있기 때문에, 추론은 덜 효율적일 수 있다.
예 (500D) 는 쿼리 이미지 및 복수의 등록 이미지를 포함하는 이미지들의 스택으로부터의 특징 추출을 도시한다. 이 예에서, 쿼리 이미지 및 등록 이미지들은 하나 이상의 차원들에 기초하여 스태킹되고 특징 추출을 위해 단일 CNN (502) 에 공급될 수 있다. 이미지들을 스태킹하기 위해, 시각적 특징부들 (예를 들어, 지문 이미지에서 캡처된 리지들 및 밸리들) 이 이미지들의 스택 내의 각각의 이미지에서 유사하게 정렬되도록 이미지들이 공간적으로 정렬될 수 있다. (예를 들어, 이미지들의 스택으로부터의 시각적 특징들의) 특징 표현 (510) 의 조합된 세트는 CNN (502) 에 의해 추출될 수 있고, 시각적 특징들의 조합된 세트는 수신된 쿼리 지문 이미지가 실제 지문으로부터 온 것인 지 또는 실제 지문의 카피로부터 온 것인 지를 결정하기 위해 MLP(520) 와 같은 인공 신경망에 공급될 수 있다. 이 예에서, CNN (502) 은 엔드-투-엔드 안티-스푸핑 보호 모델의 일부로서 트레이닝되고 지문 인증 및 안티-스푸핑 보호 동작들이 수행되는 컴퓨팅 디바이스에 배치될 수 있다.
일부 양태들에서, 수신된 지문 이미지들 및 등록 지문 이미지들로부터 추출된 특징들은 하나 이상의 미리 컴퓨팅된 특징들을 포함할 수 있다. 이러한 미리 컴퓨팅된 특징들은 안티-스푸핑 시스템 내의 다른 컴포넌트들 (예를 들어, 온도, 임피던스, 시간 등) 을 포함하거나 이로부터 도출될 수 있다. 일부 양태들에서, 사전 계산된 프로세스들은 지문 이미지 내의 리지 또는 밸리들의 수, 신호 강도 등과 같은 수신된 이미지들로부터 생성될 수 있다. 이들 미리 컴퓨팅된 특징들은 쿼리 및 등록 지문 이미지들로부터 유사하게 추출될 수 있고, 쿼리 및 등록 지문 이미지들로부터의 시각적 특징들 및 센서 또는 컴퓨팅 시스템이 동작하는 환경에 관한 메타데이터와 연관된 특징들을 포함할 수 있다. 일부 양태들에서, 미리 컴퓨팅된 특징들은 쿼리 지문 이미지가 실제 지문으로부터 온 것인 지 또는 실제 지문의 카피로부터 온 것인 지를 결정하는 데 사용되는 인공 신경망의 입력이도록 하나 이상의 CNN들 (502, 504 및/또는 506) 에 의해 추출된 시각적 특징들과 연결될 수 있다. 다른 양태에서, 미리 컴퓨팅된 특징들은 쿼리 및 등록 지문 이미지들로부터의 시각적 특징들의 추출을 컨디셔닝하기 위해 하나 이상의 CNN들에 주입될 수 있다.
예들 (500A-500D) 이 쿼리 이미지 및 복수의 등록 이미지들로부터 특징들을 추출하기 위한 CNN들의 사용을 예시하지만, 쿼리 이미지 및 복수의 등록 이미지들로부터 특징들을 추출하기 위해 임의의 다양한 인공 신경망들이 사용될 수 있다는 것이 이해되어야 한다. 예를 들어, 전술한 바와 같이, 순환 신경망, 변환 신경망 등을 사용하여 쿼리 이미지 및 복수의 등록 이미지로부터 특징들이 추출될 수 있다.
등록 지문 이미지로부터의 예시적인 특징 집성
전술한 바와 같이, 수신된 쿼리 이미지로부터 추출된 특징들은 복수의 등록 지문 이미지들의 조합된 특징 표현과 조합되어, 수신된 쿼리 이미지가 실제 지문으로부터 온 것인 지 또는 실제 지문의 카피로로부터 온 것인 지를 결정하기 위해 인공 신경망에 의해 프로세싱될 수 있는 조합된 표현을 생성할 수 있다. 등록 지문 이미지들은 일반적으로 각각의 등록된 손가락에 대한 다수의 이미지들을 포함하기 때문에, 특징들은 각각의 손가락에 대한 이미지들로부터 추출되고 단일 등록 특징 표현으로 집성될 수 있다. 특징들이 연결되거나 컴퓨팅되는 비-파라메트릭 (non-parametric) 기술들뿐만 아니라, 각각의 등록 지문 이미지로부터 추출된 특징들을 조합하기 위한 최적의 기술을 학습하는 파라메트릭 기술들을 포함하여, 각각의 등록 지문 이미지로부터 추출된 특징들을 조합하기 위해 특징 집합 단계 (420) 에서 다양한 기술들이 사용될 수 있다. 도 6 은 복수의 등록 지문 이미지들의 조합된 특징 표현을 생성하기 위한 다양한 기술들을 예시한다.
예 (600A) 는 이미지 스태킹 기술들에 기초하여 복수의 등록 지문 이미지들의 조합된 특징 표현을 생성하는 예를 예시한다. 예 (600A) 에서, 쿼리 이미지 및 등록 지문 이미지들은 채널, 폭 및 높이의 3차원 공간에서 표현될 수 있다. 쿼리 이미지 및 하나 이상의 등록 지문 이미지들은 채널 차원들 상에 스태킹될 수 있고, 쿼리 지문 이미지 및 등록 지문 이미지들로부터 시각적 특징들 (604) 을 추출하기 위해 컨볼루션 신경망 (602) 에 입력으로서 공급될 수 있다. 일반적으로, CNN (602) 은 쿼리 지문 이미지 및 스택 내의 등록 지문 이미지들로부터의 정보를 단일 시각적 표현으로 조합하도록 구성될 수 있다. CNN (602) 이 다수의 채널들에 걸쳐 동일한 공간 영역을 프로세싱할 수 있기 때문에, 이미지 스태킹에 기초하여 조합된 특징 표현을 생성하는 것은 쿼리 및 등록 이미지들이 동일한 좌표 시스템을 공유할 때 (예를 들어, 동일한 높이, 폭 및 채널 차원들을 가질 때) 효과적일 수 있다.
예 (600B) 는 연결된 특징 출력 (612) 으로의 특징 스태킹 또는 연결의 예를 예시한다. 예시된 바와 같이, 각각의 등록 이미지 1 내지 N 은 위에서 논의된 바와 같이, CNN 을 사용하여 (예를 들어, 선험적, 지문 등록 동안 등) 추출된 특징들 1 내지 N 과 연관될 수도 있다. 일부 양태들에서, 등록 지문 이미지 세트로부터 이미지가 누락되는 경우, 제로 벡터가 그 위치에 사용될 수 있다. 예시된 바와 같이, 등록 이미지와 연관된 각각의 특징은 차원들 M x 1 을 가질 수 있고, N개의 이미지들의 등록 지문 이미지 세트에 대한 연결된 특징 출력 (612) 은 차원들 M * N x 1 을 가질 수 있다. 일부 양태들에서, 도시되지는 않았지만, 수신된 쿼리 이미지로부터 추출된 특징들은 또한 연결된 특징 출력 (612) 과 연결되어, 수신된 쿼리 이미지로부터 추출된 특징들의 조합 및 복수의 등록 지문 이미지들의 조합된 특징 표현을 생성할 수 있다.
일부 양태들에서, 복수의 등록 지문 이미지들의 조합된 특징 표현은 특징들이 집성되는 컴팩트한 표현으로 압축될 수 있다. 예 (600C) 는 평균 및 표준 편차 정보에 기초하여 이 컴팩트 표현을 생성하는 예를 예시한다. 이 예에서, 예 (600B) 에서와 같이, 각각의 등록 지문 이미지로부터 추출된 특징들은 차원 M x 1 을 가질 수 있다. 컴퓨팅 시스템은 N 개의 등록 지문 이미지들로부터 추출된 특징들에 걸친 평균을 계산할 수 있고, 표준 편차, 고차 모멘트, 또는 다른 통계 정보와 같은 추가 정보가 또한 N 개의 등록 지문 이미지들로부터 추출된 특징들의 값들로부터 계산될 수 있다. 이 예에서, 사이즈 M x 2 를 갖는 벡터는 평균 특징 벡터 (622) 및 표준 편차 특징 벡터 (624) 의 연결로서 생성될 수 있다. 조합된 특징 표현이 사이즈 M x 2 의 벡터로서 표현될 수 있기 때문에, 조합된 특징 표현을 저장하는데 필요한 메모리는 등록 지문 이미지들의 수와의 선형 관계에 기초하는 것으로부터 상수로 감소될 수 있으며, 이는 집성된 특징들을 프로세싱하는 신경망의 계층에서 입력되는 파라미터들의 수를 감소시킬 수 있다. 또한, 평균 및 표준 편차와 같은 통계적 측정들이 다수의 데이터 포인트들에 대해 불변일 수 있기 때문에, 이러한 통계적 측정들에 기초한 등록 손가락 집성은 데이터 세트 내의 누락된 등록 이미지들에 더 강력할 수 있다.
예들 (600A 내지 600C) 은 등록 지문 이미지 특징들을 집성하고 이들 등록 지문 이미지 특징들에 수신된 쿼리 지문 이미지로부터 추출된 특징들을 주입하기 위한 비-파라메트릭 기술들을 예시한다. 비-파라메트릭 특징들의 사용은 모델의 표현성 및 특징들을 프로세싱하고 조합하는 그 능력을 제약할 수 있다. 특징들을 프로세싱하고 조합하는 증가된 능력들을 허용하기 위해, 예 (600D) 에 예시된 바와 같이, 다양한 자기회귀 모델들이 복수의 등록 지문 이미지들의 조합된 특징 표현을 생성하는데 사용될 수도 있다. 예 (600D) 에서, 등록 지문 이미지들로부터 추출된 특징들은 자동회귀 모델 (632) 을 통해 프로세싱되어, 차원들 M x 1 을 갖는 조합된 특징 출력 (634) 을 생성할 수도 있다.
예 (600D) 에서, 자기회귀 모델 (632) 은, 예를 들어, 순환 신경망 (RNN), 게이트 순환 유닛 (GRU), LSTM (long-short term memory) 모델, 변환기 모델 등을 포함할 수 있다. RNN들은 비교적 간단하고, 콤팩트하며, 리소스 효율적일 수 있지만; GRU들 또는 LSTM 모델들과 같은 자기회귀 모델들의 변형들은 (추가적인 MAC (multiply-and-accumulate) 연산들 및 다수의 파라미터들을 희생하여) 모델의 표현성을 증가시킬 수 있다. 트랜스포머 모델들은 등록 지문 이미지들의 시퀀스에서 서로 멀리 있는 요소들 사이에서 관계들이 캡처되는 것을 허용할 수 있고, 또한 등록 지문 이미지들이 트랜스포머 모델들에 제시되는 순서에 관한 불변성을 허용할 수 있다. 일반적으로, 이러한 자기회귀 모델들은 임의의 길이를 갖는 이미지들의 시퀀스가 M x 1 특징 출력 (634) 으로 프로세싱되게 할 수 있어서, 지문들은 임의의 수의 등록 이미지들을 사용하여 등록될 수 있다. 또한, 자기회귀 모델들은 등록 지문 이미지들이 지문 등록 동안 캡처된 순서와 같이 순차적으로 프로세싱되게 할 수 있다. 이러한 자기회귀 모델들은, 예를 들어, 등록 지문 이미지들을 생성하는 데 사용되는 센서에서의 습도 및/또는 온도의 증가와 같은 이미지들의 시퀀스로부터 패턴들이 학습되게 할 수 있으며, 이는 차례로, 센서가 사용자의 지문을 캡처할 때 존재할 수 있는 환경 팩터들을 고려하는 데 사용될 수 있다.
예를 들어, 도 7 에 예시된 바와 같은 GRU(710) 가 등록 이미지 세트에 대한 집성된 특징들을 생성하기 위해 사용되는 경우, GRU 의 입력들 및 출력들은 다음 수학식에 따라 정의될 수 있다:
여기서 는 계층 l 에서 i번째 에서 잠재적 특징을 나타내고, 는 계층 l 에 대한 이전 활성화를 나타내고, 는 계층 l 에 대한 현쟈 활성화를 나타낸다. 이 예에서, 제 1 계층에 대한 입력은 등록 특징들 
일 수 있다. 최종 GRU 계층의 최종 활성화는 등록 세트에 대한 집성된 특징으로서 선택될 수 있으므로, 
이다.
일부 양태들에서, 쿼리 및 등록 특징들 사이의 키-쿼리-값 주의 메커니즘들은 등록 데이터 세트 및 쿼리 이미지에 대한 집성된 특징들을 생성하는 데 사용될 수 있다. 집성된 특징들을 생성하기 위해 주의 메커니즘들을 사용함으로써, 모델은 도 8b 와 관련하여 아래에서 더 상세히 논의되는 바와 같이, 특정 쿼리 이미지에 대한 등록 데이터 세트 내의 각각의 이미지의 중요도를 학습할 수 있다.
일부 양태들에서, 등록 이미지들의 특징들은 등록 특징들과 쿼리 특징들 사이의 복잡한 관계들을 모델링할 수 있는 도 7 에 예시된 GNN (720) 과 같은 그래프 신경망 (GNN)들을 사용하여 집성될 수 있다. 이러한 경우, 등록 및 쿼리 특징들은 그래프 내의 노드들로서 표현될 수 있다. GNN 은 그래프를 프로세싱하기 위해 계층별로 동작할 수 있다. 예를 들어, 예시된 바와 같이, GNN (720) 은 GNN (720) 의 제 1 계층에 대한 인접성 컴퓨테이션 블록 (722) 및 그래프 컴퓨테이션 블록 (724) 및 GNN (720) 의 제 2 계층에 대한 인접성 컴퓨테이션 블록 (726) 및 그래프 컴퓨테이션 블록 (728) 을 포함하며, 여기서 제 2 계층은 GNN (720) 에서 제 1 계층의 그래프 컴퓨테이션 블록 (724) 에 의해 컴퓨팅된 그래프를 입력으로서 취한다. GNN (720) 은 인접 컴퓨테이션 블록 및 그래프 컴퓨테이션 블록을 포함하는 2개의 계층을 예시하지만, GNN (720) 은 임의의 수의 계층을 포함할 수 있다는 것을 인식해야 한다.
임의의 주어진 계층에서, 다수의 인접 행렬들은 주어진 노드에서의 특징들에 기초하여 계산될 수 있고, 인접 행렬들은 다양한 그래프 컨볼루션 연산들에서 적용될 수 있다.
인접 행렬 A 는 노드 특징들 
와 
사이의 거리 함수 
를 사용하여 획득된 복수의 요소들을 포함할 수 있고, 따라서 
이다. 일부 양태들에서, 신경망은 거리 함수 를 파라미터화할 수 있어서 스칼라 값이 노드 특징들 와 을 나타내는 벡터들로부터 출력된다. 인접 행렬 A 를 생성한 후, 그래프 컨볼루션 연산이 다음 수학식에 따라 수행될 수 있다:
이 식에서, 
는 인접 행렬 
의 세트로부터 생성된 학습된 인접 행렬을 나타내고, 
는 GNN 에서 l 번째 계층의 특징 행렬을 나타낸다. 특징 행렬은 차원 d l 의 N 개의 등록 특징들 및 하나의 쿼리 특징을 포함할 수 있다. 
은 차원들 d l 을 갖는 특징 공간으로부터 차원들 d l+1 을 갖는 특징 공간으로 맵핑하는 계층 l 과 연관된 맵핑 행렬일 수 있다. 마지막으로, ρ 는 비선형 함수를 나타낸다.
이 예에서, GNN 의 제 1 계층에 대한 입력들은 N개의 등록 특징들 및 쿼리 특징을 포함하는 N + 1 개의 노드들을 포함할 수 있다. 쿼리 모드에 대한 출력 특징들은 쿼리 이미지가 인증되는 사용자에 대한 실제 생체인식 소스의 이미지인지 또는 실제 생체인식 소스의 카피인지에 대한 예측으로서 사용될 수 있다.
예시적인 쿼리 이미지 특징 및 등록 이미지 특징 주입
특징들 (또는 일부 다른 표현) 이 등록 및 쿼리 이미지들로부터 추출된 후, 특징들은 신경망들을 사용하여 조합될 수 있다. 논의된 바와 같이, 조합된 특징들은 그후 MLP 와 같은 인공 신경망을 통해 프로세싱될 수 있으며, 이는 수신된 쿼리 이미지가 실제 지문의 이미지인지 또는 실제 지문의 카피인 지를 나타내는 출력을 생성할 수 있다. 비-파라메트릭 기술들 및 파라메트릭 기술들을 포함하여, 특징 주입 단계 (430) 에서 쿼리 및 등록 지문 이미지 특징들을 조합하기 위해 다양한 기술들이 사용될 수 있다. 일반적으로, 쿼리 및 등록 지문 이미지들로부터의 특징들을 조합하기 위한 비-파라메트릭 기술들은 쿼리 및 등록 이미지들을 비교하기 위한 거리 메트릭들의 사용을 포함할 수 있다. 파라메트릭 기술들은, 예를 들어, 쿼리 및 등록 지문 이미지들로부터 추출된 특징들이 조합될 수 있는 기술들을 학습하기 위해 자기-주의 및/또는 게이팅 메커니즘들을 사용할 수 있다. 도 8a 내지 도 8c 는 이러한 다양한 기술들의 예들을 예시한다
도 8a 는, 등록 지문 이미지들로부터 추출된 특징들에 기초하여 계산된 평균 및 표준 편차가 주어지면, 수신된 쿼리 이미지가 실제 지문으로부터 올 가능성에 기초하여 쿼리 및 등록 지문 이미지들로부터 추출된 특징들이 조합되는 예 (800A) 를 예시한다. 예시된 바와 같이, 수신된 쿼리 이미지로부터 추출된 특징들의 M x 1 특징 벡터 (802) (x 로 지정됨) 및 평균 특징 벡터 (804) 를 포함하는 M x 2 특징 벡터 (μ 로서 지정됨), 표준 분산 특징 벡터 (σ 로서 지정됨) 이 주어지면, 조합된 벡터 (808) 내의 각각의 값과, 차원 M x 1 을 갖는 조합된 벡터 (808) 는 x 가 μ 및 σ 에 대해 컨디셔닝된 (즉, logp(x|μ,σ) 로서) 실제 지문으로부터 온 확률의 로그 가능성으로서 계산된다. 평균 특징 벡터 (804) 및 표준 편차 벡터 (806) 는 라이브 데이터포인트의 예상된 특징들의 표현으로서 해석될 수 있다(예를 들어, 실제 지문의 카피와 대조적으로 실제 지문의 캡처된 이미지). 일부 양태들에서, M 개의 가우시안 분포들이 M 차원 특징들을 모델링하는데 사용될 수 있다고 가정될 수 있고, 따라서, 쿼리 특징들의 각각의 차원의 로그-가능성은 다음의 수학식에 따라 계산될 수 있다:
이는 등록 및 쿼리 특징들을 조합하는 M-차원 표현인 조합된 벡터 (808) 를 초래한다. 조합된 벡터 (808) 는 후속적으로 MLP 와 같은 인공 신경망을 통해 프로세싱되어, x 가 실제 지문으로부터 캡처된 이미지에 대응하는지 또는 실제 지문의 카피에 대응하는 지를 결정할 수 있다.
수신된 쿼리 이미지가 실제 지문으로부터 올 가능성에 기초한 조합을 사용하는 다른 예에서, 등록 지문 이미지들로부터 추출된 특징들에 기초하여 계산된 평균 및 표준 편차가 주어지면, 독립적인 차원들을 갖는 단일 M-차원 가우시안 분포가 특징 표현을 모델링할 수 있다고 가정될 수 있다. 이 경우, 차원들은 대각 공분산 행렬(diagonal covariance matrix) 로 표현될 수 있다. 등록 이미지 아래의 쿼리의 로그 가능성 μ 및 등록 이미지 표준 편차 σ 는 스칼라 값으로 출력될 수 있고, 이는 이어서 x 가 실제 지문으로부터 캡처된 이미지에 대응하는지 또는 실제 지문의 카피에 대응하는지를 결정하기 위해 (직접) 사용될 수 있다.
파라메트릭 모델들 중에서, 주의 기반 모델들은 쿼리 지문 이미지 특징들에 컨디셔닝된 등록 지문 이미지 특징들을 조합하는데 유용할 수 있다. 도 8b 는 쿼리 및 등록 지문 이미지들로부터 추출된 특징들이 주의 기반 모델들을 사용하여(예를 들어, 자기 주의를 사용하여) 조합되는 예 (800B) 를 예시한다. 이 경우, 자기 주의 계층은 복수의 MLP들을 포함할 수 있다. MLP_Q(812) 는 쿼리 지문 이미지로부터 추출된 특징들을 쿼리 벡터 (822) 에 임베딩할 수 있다. MLP_K(814) 는 쿼리 벡터 (822) 와 동일한 차원으로 키 벡터 (824) 에 등록 특징을 임베딩할 수 있다. MLP_V (816) 는 각각의 등록 지문 이미지 특징을 값 벡터 (826) 에 임베딩할 수도 있다.
키 벡터 (824) 내의 정보는 쿼리 벡터 (822) 내의 특징들에 대한 값 벡터 (826) 내의 각각의 시각적 특징의 중요도를 컴퓨팅하는 데 사용될 수 있다. 중요도 계산 계층 (832) 을 통해 이 중요도를 컴퓨팅하기 위해, 내적이 쿼리 벡터 (822) 와 키 벡터 (824) 사이에서 계산될 수 있고, 그후 스케일 및 소프트맥스 계층들이 중요도 스코어들을 확률 값들로 변환할 수 있다. 확률 값은 다음 수학식에 따라 표현될 수 있다:
보다 구체적으로, 주의 쿼리는 다음 수학식에 따라 정의될 수 있다:
그리고 주의 키들 및 값들은 수식들에 따라 등록 이미지들로부터 생성될 수 있다:
및
여기서, A Q , A K , 및 A V 는 각각 D-차원 특징 공간으로부터 M-차원 특징 공간으로 맵핑하는 선형 계층들이다. 이 경우, 
및 
로부터 획득된 주의 가중치들은 집성된 특징 
을 획득하기 위해 값 벡터들 
에 적용될 수 있다. 집성된 특징은 다음과 같은 수학식으로 표현될 수 있다.
여기서, Q 는 쿼리 이미지에 대응하고, K T 는 등록 이미지들의 세트로부터의 키 이미지에 대응하고, V 는 Q 및 K T 의 페어링과 연관된 값에 대응한다.
중요도 계산 계층 (832) 으로부터 출력된 확률 값들은 조합 계층 (834) 에서 값들 벡터 (826) 와 선형적으로 조합될 수 있다. 이는 일반적으로, 쿼리 특징들에 대해 컨티셔닝되는, 등록 지문 이미지 특징들의 집성된 표현을 포함하는 값들 벡터 (826) 의 선형 조합을 초래한다. 스킵 연결은 CNN 또는 MLP 분류기 (836) 의 다음 계층의 입력에 쿼리 특징을 포함하기 위해 사용될 수 있다.
도 8c 에 예시된 다른 예 (800C) 에서, 쿼리 및 등록 지문 이미지들로부터 추출된 특징들은 스퀴즈-익사이트 게이팅을 사용하여 조합될 수 있다. 800B 에 예시된 자기-주의 메커니즘들과 같이, 쿼리 특징들이 주어지면 등록 정보를 집성하고 주입(조합)하기 위해 스퀴즈-익사이트 게이팅이 사용될 수 있다. 이 예에서, 스퀴즈-익사이트 게이팅은 등록 특징들에 대해 컨디셔닝된 쿼리 특징들을 게이팅하는 데 사용될 수 있다.
쿼리 이미지를 입력으로 취하는 컨볼루션 신경망 (840) 은 복수의 스퀴즈-익사이트 모듈을 포함할 수 있다. 스퀴즈-익사이트 모듈 내에서, 폭, 높이, 및 채널 치수들 W x H x C 를 갖는 중간 쿼리 시각적 특징들의 스택 (842) 은 C x 1 표현 (844) 으로 스퀴징될 수도 있고, 이는 등록 지문 이미지 특징들과 조합되고 MLP (846) 를 통해 프로세싱되어 사이즈 C x 1 표현 (848) 을 생성할 수 있다. 스택(842) 과 C x 1 표현 (848) 의 곱은 특징들 (850) 의 스택을 생성하도록 계산될 수 있으며, 이는 또한 폭, 높이 및 채널 차원들 W x H x C 를 가질 수 있다. 게이팅은 시각적 특징들의 채널 차원에 대해 수행될 수 있고, 쿼리 이미지를 파싱하는 CNN (840) 의 임의의 계층에서 수행될 수 있다.
쿼리 지문 이미지들의 예시적인 지오메트리 변환
일부 양태들에서, 안티-스푸핑 모델은 지문 매칭 시스템의 출력들에 액세스할 수 있으며, 이는 주어진 손가락에 대해 가장 유익한 등록 이미지(들) 를 사용하도록 스푸핑 방지 모델을 컨디셔닝하는 데 사용될 수 있다. 예를 들어, 안티-스푸핑 모델은 지문 매칭 시스템으로부터, 쿼리 지문 이미지와 매칭되는 등록 지문 이미지를 식별하는 정보를 수신할 수 있다. 또한, 안티-스푸핑 이미지는 매칭되는 등록 이미지를 찾기 위해 쿼리 또는 등록 이미지에 적용되는 변환에 관한 정보를 지문 매칭 시스템으로부터 수신할 수 있다. 일반적으로 변환에 대한 정보는 변환 행렬과 원본 이미지의 곱으로 계산되도록 행렬로 표현될 수 있다. 즉, 임의의 주어진 변환에 대해, 변환된 이미지는 하기 수학식으로 표현될 수 있다:
도 9 는 본 개시의 양태들에 따라, 쿼리 이미지가 실제 지문으로부터 온 것인 지를 결정하기 전에 쿼리 이미지 또는 하나 이상의 등록 이미지들에 대해 수행될 수 있는 정렬 사전프로세싱의 예를 도시한다. 예시된 바와 같이, 주어진 쿼리 이미지 (902) 및 매칭 등록 이미지 (904) 에 대해, 조합된 이미지 (906) 를 생성하기 위해 매칭 등록 이미지 (904) 에 변환이 적용될 수도 있다. 조합된 이미지 (906) 는 쿼리 이미지의 좌표계로의 등록 이미지의 변환을 포함할 수 있고, 조합된 이미지 (906) 는 입력 이미지 (908) 를 생성하기 위해 패딩될 수 있다. 쿼리 이미지 (902) 및 매칭 등록 이미지 (904) 의 패딩된 조합을 포함하는 입력 이미지 (908) 는, CNN (910) 이 쿼리 이미지 (902) 및 매칭 등록 이미지 (904) 의 조합으로부터 시각적 특징들 (912) 을 추출하고, 시각적 특징들 (912) 은 쿼리 이미지 (902) 가 실제 지문으로부터 온 것인 지 또는 실제 지문의 카피로부터 온 것인 지를 결정하기 위해 MLP (914) 와 같은 신경망을 통해 프로세싱되는 안티-스푸핑 보호 모델에 입력될 수 있다. 쿼리 및 등록 이미지들을 공간적으로 정렬함으로써, 매처 (matcher) 알고리즘의 출력은 쿼리 이미지 (902) 가 등록 지문 이미지들의 특징들에 기초하여 실제 지문으로부터 온 것인 지 또는 실제 지문의 카피로부터 온 것인 지를 결정하는데 사용되는 개인화된 안티-스푸핑 보호 모델의 성능을 개선할 수 있다.
안티-스푸핑 모델에서 공간 정렬 정보를 활용하기 위해 다양한 기술이 사용될 수 있다. 일 예에서, 쿼리 이미지 및 정렬된 등록 이미지는 채널 차원에서 스태킹될 수 있고, CNN 은 공간적으로 정렬된 입력들에 걸쳐 특징들을 비교하는 필터들을 학습할 수 있다. 다른 예에서, 쿼리 이미지로부터 등록 이미지를 빼는 차이 기술들은 오버랩핑 영역들에서 등록 이미지와 쿼리 이미지 사이에서 변화하는 특징들을 강조하기 위해 사용될 수 있다. 또 다른 예에서, 오버레이 기술들은 CNN 이 형상들이 (예를 들어, 이미지들의 에지들에서) 어떻게 조합하는지를 관찰하게 할 수 있다. 쿼리 및 등록 이미지들의 교집합만이 CNN 에 존재하는 교차 기술들 (Intersection techniques) 은 비교될 수 있는 특징들을 검사하기 위해 CNN 을 제약할 수 있고 CNN 이 참조를 갖지 않는 콘텐츠를 배제할 수 있다. 마지막으로, 이미지 스티칭 기술들은 기하학적 변환 계수들이 복수의 등록 지문 이미지들에 대해 이용가능한 경우에 사용될 수 있다. 이러한 경우, 복수의 등록 지문 이미지들의 각각의 이미지는 동일한 공간 좌표들로 송신되고 함께 스티칭될 수 있으며, 이는 등록된 손가락의 더 큰 영역이 복구되게 하고 단일 캡처된 쿼리 지문 이미지에 대한 등록 지문 정보의 커버리지를 증가시킬 수 있다.
얼굴 인식 시스템들에서 사용되는 얼굴 스캔들과 같은 3차원 이미지들을 공간적으로 정렬하기 위해 유사한 기술들이 사용될 수 있다. 이러한 경우, 쿼리 및 등록 이미지는 3차원 변환을 통해 공간적으로 정렬될 수 있다. 예를 들어, 쿼리 이미지 및 등록 이미지를 정렬하기 위해, 등록 이미지들은 쿼리 이미지 및 정렬된 등록 이미지들이 하나 이상의 채널 차원으로 스태킹될 수 있도록 3차원 회전 및 시프트를 사용하여 변환될 수 있다.
기계 학습 기반 안티-스푸핑 보호를 사용하는 생체인식 인증을 위한 시스템의 예시적인 아키텍처
일반적으로, 본 명세서에 설명된 안티-스푸핑 보호 모델들의 성능은 도메인, 작업, 데이터 세트, 및 고려 중인 하드웨어에 기초할 수 있다. 일 예에서, 성능을 최적화하거나 적어도 향상시키기 위해, 본 명세서에 설명된 안티-스푸핑 보호 모델 아키텍처는 CNN 및 MLP 컴포넌트들에 기초할 수 있다. 예로서, CNN 은 2차원 배치 정규화 계층들 및 정류된 선형 유닛 (ReLU) 활성화 함수들과 교번되는 11개의 2차원 컨볼루션 계층들을 가질 수 있다. 개인화를 허용하기 위해, 수신된 쿼리 지문 이미지 및 복수의 등록 지문 이미지들로부터 특징들을 추출하는데 사용되는 CNN들에 대해 동일한 아키텍처가 유지될 수 있다. 하이브리드 가중치들이 사용되는 경우 (예를 들어, 도 5 의 예 (500C) 에 대해 논의된 바와 같이), CNN 은 대략 CNN 의 중간에 있는 컨볼루션 계층 이후에 분리된 부분과 공유된 부분 사이에서 분할될 수 있다. CNN 커널들은 3 x 3 차원들을 갖는 수용 필드를 가질 수 있고, 원래 이미지들을 다운샘플링하기 위해 스트라이드들 사이에서 교번할 수 있다. 네트워크의 입력은, 예를 들어, (180, 80, 2) 의 3 차원(즉, 폭, 높이, 및 채널 차원) 을 가질 수 있다. 출력 시각적 특징들은 (3, 2, 32) 의 폭, 높이, 및 채널 차원들의 형상을 가질 수 있으며, 이는 CNN 이 채널 차원 상의 상이한 특징들을 캡처하고 3 x 2 공간 좌표들 내의 일부 공간 정보를 보유할 수 있게 한다.
MLP 는 배치 정규화 및 ReLU 활성화 함수들 사이에서 교번하는 4개의 선형 계층들을 가질 수 있고, 드롭아웃 함수를 생략할 수 있다. 대략 200개의 특징을 포함하는 입력 어레이는 압축이 2차원 출력을 초래할 때까지 MLP 를 통해 점진적으로 압축될 수 있다. 출력은 일반적으로 (예를 들어, 실제 생체인식 데이터 소스로부터의) 라이브 샘플인 입력 및 (예를 들어, 실제 생체인식 데이터 소스의 카피로부터의) 스푸핑 샘플인 입력에 대한 스코어들을 포함한다. 소프트맥스 함수는 이들 값들을 확률들에 맵핑할 수 있다. MLP 는, 예를 들어, 크로스-엔트로피 손실을 활용하는 지도 학습 (supervised learning) 기술들을 사용하여 트레이닝될 수 있다.
비-개인화된 안티-스푸핑 보호 모델들과 대조적으로, 본 개시의 양태들은 등록 데이터를 활용하여 쿼리 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정한다. 본 명세서에 설명된 안티-스푸핑 모델들은 등록 데이터를 기준으로서 취함으로써 등록 데이터로부터 센서-특정 정보를 추출할 수 있고, 등록 데이터로부터 대상-특정 정보를 추출할 수 있다. 등록 데이터에 대한 액세스가 필요하지만, 본 개시의 양태들은 센서 교정 및 등록 동안 등록 데이터를 추출된 특징들로 사전-프로세싱할 수도 있고, 이는 본원의 안티-스푸핑 보호 모델들이 등록 지문 이미지들의 추상적 표현에 액세스하게 할 수도 있다. 또한, 등록 이미지들로부터 추출된 특징들은 미리 컴퓨팅될 수 있으며, 이는 메모리를 감소시키고 지문 인증 및 안티-스푸핑 보호를 위한 비용을 컴퓨팅할 수 있다.
일반적으로, 트레이닝 시간에, 쿼리 이미지들 및 등록 이미지들은 신경망(들) 을 통해 프로세싱될 수 있다. 트레이닝은 모델들이 트레이닝되는 하드웨어에 기초하여, 예를 들어, 신경망의 크기를 제한함으로써, 또는 신경망(들) 을 트레이닝하는데 사용되는 메모리 및 프로세서에 부분 데이터 세트들을 로딩함으로써 최적화될 수 있다. 추론시, 신경망(들) 의 파라미터들이 정적으로 유지될 수 있기 때문에, 등록 이미지들로부터의 특징들은 특징들이 쿼리 특징들과 조합되는 지점까지 적어도 부분적으로 미리 컴퓨팅되고 저장될 수 있으며, 이는 쿼리 이미지들이 실제 생체인식 데이터 소스로부터 온 것인 지 또는 실제 생체인식 데이터 소스의 카프로부터 온 것인 지에 관한 추론을 수행하는 데 사용되는 컴퓨트 시간 및 메모리를 감소시킬 수 있다. 마지막으로, 본 명세서에 설명된 안티-스푸핑 보호 모델들의 거동은 손가락 및 사용자 애그노스틱일 수 있는데, 이는 안티-스푸핑 보호 모델들이 인증되는 사용자 및 생체인식 데이터 소스에 대한 관련 등록 이미지 세트에 초점을 맞추도록 구성될 수 있기 때문이다.
일반적으로, 본 명세서에 설명된 개인화된 안티-스푸핑 보호 모델은 비-개인화된 안티-스푸핑 보호 모델들과 비교하여 안티-스푸핑 보호의 개선된 정확도를 제공할 수 있다. 스푸핑 공격들은 일반적으로 비-개인화된 안티-스푸핑 보호 모델들을 통해 프로세싱될 때보다 본 명세서에 설명된 개인화된 안티-스푸핑 보호 모델들을 통해 프로세싱될 때 더 높은 레이트로 실패한다. 스푸핑 공격들은 일반적으로 개인화된 안티-스푸핑 보호 모델들을 사용하여 더 높은 레이트로 실패하기 때문에 (그 양태들은 본 명세서에 설명됨), 컴퓨팅 시스템들은 가짜 생체인식 데이터 소스들 및/또는 그로부터 도출된 이미지들을 사용하여 보호된 컴퓨팅 리소스들에 대한 인가되지 않은 액세스를 획득하려는 시도들에 대해 더 안전하게 될 수 있다.
기계 학습 기반의 안티-스푸핑 보호를 이용한 생체인식 인증을 위한 예시적인 프로세싱 시스템
도 10 은 예를 들어 도 3 과 관련하여 본 명세서에 설명된 바와 같은 기계 학습 기반 안티-스푸핑 보호를 사용하여 생체인식 인증을 위한 예시적인 프로세싱 시스템 (1000) 을 도시한다.
프로세싱 시스템 (1000) 은 일부 예에서 멀티 코어 CPU일 수도 있는 중앙 프로세싱 유닛 (CPU) (1002) 을 포함한다. CPU (1002) 에서 실행된 명령들은, 예를 들어, CPU (1002) 와 연관된 프로그램 메모리로부터 로딩될 수도 있거나, 또는 메모리 (1024) 의 파티션으로부터 로딩될 수도 있다.
프로세싱 시스템 (1000) 은 또한 그래픽 프로세싱 유닛 (GPU)(1004), 디지털 신호 프로세서 (DSP)(1006), 신경 프로세싱 유닛 (NPU)(1008), 멀티미디어 프로세싱 유닛 (1010), 멀티미디어 프로세싱 유닛 (1010) 및 무선 연결성 컴포넌트 (1012) 와 같은 특정 기능에 맞춰진 추가 프로세싱 블록을 포함한다.
1008 과 같은 NPU 는 일반적으로 인공 신경망 (ANN), 심층 신경망 (DNN), 랜덤 포레스트 (RF) 등과 같은 기계 학습 알고리즘을 실행하기 위한 모든 필요한 제어 및 산술 로직을 구현하도록 구성된 전문적인 회로이다. NPU 는 때때로 대안적으로 신경 신호 프로세서 (NSP), 텐서 프로세싱 유닛 (TPU), 신경망 프로세서 (NNP), 지능 프로세싱 유닛 (IPU), 비전 프로세싱 유닛 (VPU) 또는 그래프 프로세싱 유닛으로 지칭될 수 있다.
1008 과 같은 NPU는 이미지 분류, 기계 번역, 대상 검출 및 기타 다양한 예측 모델과 같은 일반적인 기계 학습 작업의 성능을 가속화하도록 구성된다. 일부 예에서, 복수의 NPU는 SoC (system on chip) 와 같은 단일 칩에서 인스턴스화될 수 있는 반면, 다른 예에서는 전용 신경망 가속기의 일부일 수 있다.
NPU 는 트레이닝 또는 추론에 최적화되거나 또는 일부 경우에 둘 사이의 성능을 균형잡도록 구성될 수 있다. 트레이닝과 추론 양자 모두를 수행할 수 있는 NPU의 경우, 두 작업은 여전히 일반적으로 독립적으로 수행될 수 있다.
트레이닝을 가속화하도록 설계된 NPU 는 일반적으로, 새로운 모델의 최적화를 가속화하도록 구성되고, 이는 기존 데이터 세트 (종종 레이블화 또는 태그화됨) 를 입력하고, 데이터 세트에 대해 반복한 다음, 모델 성능을 향상시키기 위해 가중치 (weight) 와 바이어스 (bias) 와 같은 모델 파라미터를 조정하는 것을 수반하는 고도로 계산 집약적인 작업이다. 일반적으로, 잘못된 예측을 기반으로 하는 최적화에는 모델의 계층을 통해 다시 전파하고 예측 에러를 줄이기 위해 기울기를 결정하는 것을 수반한다.
추론을 가속화하도록 설계된 NPU는 일반적으로 완전한 모델 상에서 작동하도록 구성된다. 따라서 이러한 NPU 는 새로운 데이터 조각을 입력하고 이를 이미 트레이닝된 모델을 통해 빠르게 프로세싱하여 모델 출력 (예: 추론) 을 생성하도록 구성될 수 있다.
일 구현에서, NPU (1008) 는 CPU (1002), GPU (1004), 및/또는 DSP (1006) 중 하나 이상의 일부이다.
일부 실시예에서, 무선 접속성 구성 요소 (1012) 은 예를 들어, 3세대(3G) 접속성, 4세대(4G) 접속성 (예를 들어, 4G LTE), 5세대 접속성 (예를 들어, 5G 또는 NR), Wi-Fi 접속성, Bluetooth 접속성 및 기타 무선 데이터 송신 표준을 위한 하위 구성 요소를 포함할 수 있다. 무선 접속성 컴포넌트 (1012) 는 하나 이상의 안테나 (1014) 에 추가로 접속된다.
프로세싱 시스템 (1000) 은 또한 임의의 방식의 센서와 연관된 하나 이상의 센서 프로세싱 유닛 (1016), 임의의 방식의 이미지 센서와 연관된 하나 이상의 이미지 신호 프로세서 (ISP) (1018), 및/또는 위성 기반 포지셔닝 시스템 컴포넌트 (예: GPS 또는 GLONASS) 및 관성 포지셔닝 시스템 컴포넌트를 포함할 수도 있는 내비게이션 프로세서 (1020) 를 포함할 수도 있다.
프로세싱 시스템 (1000) 은 또한, 스크린들, 터치 감응형 표면들 (터치 감응형 디스플레이들을 포함함), 물리적 버튼들, 스피커들, 마이크로폰들 등과 같은 하나 이상의 입력 및/또는 출력 디바이스들 (1022) 을 포함할 수도 있다.
일부 예들에서, 프로세싱 시스템 (1000) 의 프로세서들 중 하나 이상은 ARM 또는 RISC-V 명령 세트에 기반할 수도 있다.
프로세싱 시스템 (1000) 은 또한 동적 랜덤 액세스 메모리, 플래시 기반 정적 메모리 등과 같은 하나 이상의 정적 및/또는 동적 메모리를 나타내는 메모리 (1024) 를 포함한다. 이 예에서, 메모리 (1024) 는 프로세싱 시스템 (1000) 의 전술한 프로세서들 중 하나 이상에 의해 실행될 수 있는 컴퓨터 실행 가능 구성 요소를 포함한다.
특히, 이 예에서, 메모리 (1024) 는 이미지 특징 추출 컴포넌트 (1024A), 특징 표현 조합 컴포넌트 (1024B), 생체인식 인증 결정 컴포넌트 (1024C), 및 사용자 액세스 제어 컴포넌트 (1024D) 를 포함한다. 도시된 컴포넌트들 및 도시되지 않은 다른 컴포넌트들은 본 명세서에서 설명된 방법들의 다양한 양태들을 수행하도록 구성될 수도 있다.
일반적으로, 프로세싱 시스템 (1000) 및/또는 그의 컴포넌트는 본 명세서에 기재된 방법을 수행하도록 구성될 수도 있다.
특히, 다른 실시형태에서, 프로세싱 시스템 (1000) 이 서버 컴퓨터 등인 경우와 같은, 프로세싱 시스템 (1000) 의 양태는 생략될 수 있다. 예를 들어, 멀티미디어 프로세싱 유닛 (1010), 무선 접속성 컴포넌트 (1012), 센서 프로세싱 유닛들 (1016), ISP들 (1018), 및/또는 내비게이션 프로세서 (1020) 는 다른 실시예들에서 생략될 수도 있다. 또한, 프로세싱 시스템 (1000) 의 양태들은 모델을 트레이닝하고 모델을 사용하여 사용자 확인 예측과 같은 추론을 생성하는 것과 같이 분산될 수도 있다.
예시적인 조항들
본 개시내용의 다양한 양태들의 구현 상세들은 다음의 넘버링된 조항들에서 설명된다.
조항 1: 생체인식 인증 방법으로서, 사용자에 대한 생체인식 데이터 소스의 이미지를 수신하는 단계; 제 1 인공 신경망을 통해, 적어도 상기 수신된 이미지에 대한 특징들을 추출하는 단계; 상기 적어도 수신된 이미지에 대한 추출된 상기 특징들과, 복수의 등록 생체인식 데이터 소스 이미지들의 조합된 특징 표현을 조합하는 단계; 상기 적어도 수신된 이미지에 대한 조합된 상기 추출된 특징들 및 제 2 인공 신경망 내로의 입력으로서 상기 복수의 등록 생체인식 데이터 소스 이미지들의 상기 조합된 특징 표현을 사용하여, 상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하는 단계; 및 상기 결정에 기초하여 보호된 리소스에 대한 사용자 액세스를 허용하거나 거부하는 하나 이상의 액션들을 취하는 단계를 포함한다.
조항 2: 조항 1 의 방법에 있어서, 복수의 등록 생체인식 데이터 소스 이미지들로부터 도출된 정보로부터 신경망에 의해 추출된 특징들을 상기 복수의 등록 생체인식 데이터 소스 이미지들의 상기 조합된 특징 표현으로 집성하는 단계를 추가로 포함한다.
조항 3: 조항 2 의 방법에 있어서, 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 도출된 상기 정보로부터 추출된 특징들은 사용자 지문 등록 동안 추출된다.
조항 4: 조항 2 또는 조항 3 의 방법에 있어서, 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 도출된 상기 정보로부터 추출된 상기 특징들은 상기 복수의 등록 생체인식 데이터 소스 이미지들 각각으로부터 도출된 표현으로부터 추출된 특징들을 포함한다.
조항 5: 조항 2 내지 조항 4 의 방법 중 어느 하나의 방법에 있어서, 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 도출된 상기 정보로부터 추출된 특징들을 상기 조합된 특징 표현으로 집성하는 단계는 상기 복수의 등록 생체인식 데이터 소스 이미지들 각각으로부터 추출된 특징들을 특징들의 단일 세트로 연결하는 단계를 포함한다.
조항 6: 조항 2 내지 조항 4 의 방법 중 어느 하나의 방법에 있어서, 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 도출된 상기 정보로부터 추출된 특징들을 상기 조합된 특징 표현으로 집성하는 단계는, 상기 복수의 등록 생체인식 데이터 소스 이미지들 각각으로부터 추출된 특징들 및 자동회귀 모델에 기초하여 특징 출력을 생성하는 단계를 포함한다.
조항 7: 조항 2 내지 조항 4 의 방법 중 어느 하나의 방법에 있어서, 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 도출된 상기 정보로부터 추출된 특징들을 상기 조합된 특징 표현으로 집성하는 단계는, 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 추출된 상기 특징들로부터, 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 추출된 상기 특징들과 연관된 평균 및 표준 편차를 생성하는 단계를 포함한다.
조항 8: 조항 2 내지 조항 7 중 어느 하나의 방법에 있어서, 상기 제 1 신경망 및 상기 제 2 신경망은 합성곱 신경망 (convolutional neural network) 을 포함하고, 상기 제 1 인공 신경망은 상기 제 2 인공 신경망과 연관된 가중치들의 적어도 서브세트를 공유한다.
조항 9: 조항 2 내지 조항 8 중 어느 하나의 방법에 있어서, 가중치-공유된 합성곱 신경망, 상기 수신된 이미지에 대해 추출된 특징들, 및 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 추출된 특징들을 사용하여, 상기 수신된 이미지 및 상기 복수의 등록 이미지들로부터 추가적인 특징들을 추출하는 단계를 추가로 포함한다.
조항 10: 조항 1 내지 조항 9 중 어느 하나의 방법에 있어서, 상기 적어도 수신된 이미지에 대한 특징들을 추출하는 단계는: 상기 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지들을 이미지들의 스택 내에 조합하는 단계; 및 상기 제 1 인공 신경망을 통해 이미지들의 상기 스택을 프로세싱함으로써 상기 수신된 이미지에 대한 특징들 및 상기 복수의 등록 생체인식 데이터 소스 이미지들 각각에 대한 특징들을 추출하는 단계를 포함한다.
조항 11: 조항 10 의 방법에 있어서, 상기 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지들을 상기 이미지들의 스택 내에 조합하는 단계는: 상기 복수의 등록 생체인식 데이터 소스 이미지들 중 적어도 하나의 이미지에 대해, 상기 수신된 이미지가 상기 복수의 등록 생체인식 데이터 소스 이미지 중 적어도 하나의 이미지의 적어도 일부와 정렬되도록 상기 수신된 이미지에 적용할 변환을 식별하는 단계; 식별된 상기 변환에 기초하여 상기 수신된 이미지를 수정하는 단계; 및 수정된 상기 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지들 중 적어도 하나의 이미지를 포함하는 스택을 생성하는 단계를 포함한다.
조항 12: 조항 11 의 방법에 있어서, 상기 수정된 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지들을 포함하는 스택을 생성하는 단계는, 상기 수정된 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지 중 적어도 하나의 이미지를 채널 차원 상에 스태킹하는 단계, 상기 복수의 등록 생체인식 데이터 소스 이미지 중 적어도 하나의 이미지로부터 상기 수정된 수신된 이미지를 빼는 단계, 상기 복수의 등록 생체인식 데이터 소스 이미지 중 상기 적어도 하나의 이미지 상에 상기 수신된 이미지를 오버레이하는 단계, 상기 수정된 수신된 이미지와 상기 복수의 등록 생체인식 데이터 소스 이미지들 중 상기 적어도 하나의 이미지의 교집합을 출력하는 단계, 또는 상기 복수의 등록 생체인식 데이터 소스 이미지들의 스티칭된 버전에 기초하여 상기 수정된 수신된 이미지를 변환하는 단계 중 하나 이상을 포함한다.
조항 13: 조항 10 의 방법에 있어서, 상기 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지들을 상기 이미지들의 스택 내에 조합하는 단계는: 상기 수신된 이미지에 대해, 상기 수신된 이미지가 상기 복수의 등록 생체인식 데이터 소스 이미지들 중 상기 하나의 이미지의 적어도 일부와 정렬되도록 상기 복수의 등록 생체인식 데이터 소스 이미지 중 적어도 하나의 이미지를 적용할 변환을 식별하는 단계; 식별된 상기 변환에 기초하여 상기 복수의 등록 생체인식 데이터 소스 이미지 중 상기 적어도 하나의 이미지를 수정하는 단계; 및 상기 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지들 중 수정된 적어도 하나의 이미지를 포함하는 스택을 생성하는 단계를 포함한다.
조항 14: 조항 13 의 방법에 있어서, 상기 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지들 중 상기 수정된 적어도 하나의 이미지를 포함하는 스택을 생성하는 단계는: 상기 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지 중 상기 수정된 적어도 하나의 이미지를 채널 차원 상에 스태킹하는 단계, 상기 복수의 등록 생체인식 데이터 소스 이미지 중 상기 수정된 적어도 하나의 이미지로부터 상기 수신된 이미지를 빼는 단계, 상기 복수의 등록 생체인식 데이터 소스 이미지 중 상기 수정된 적어도 하나의 이미지 상에 상기 수신된 이미지를 오버레이하는 단계, 또는 상기 수신된 이미지와 상기 복수의 등록 생체인식 데이터 소스 이미지들 중 상기 적어도 하나의 이미지의 교집합을 출력하는 단계를 포함한다.
조항 15: 조항 1 내지 조항 14 중 어느 하나의 방법에 있어서 상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하는 단계는 상기 수신된 이미지와 상기 복수의 등록 생체인식 데이터 소스 이미지들을 비교하는 거리 메트릭을 계산하는 단계를 포함한다.
조항 16: 조항 1 내지 조항 14 중 어느 하나의 방법에 있어서, 상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하는 단계는, 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 추출된 상기 특징들과 연관된 평균 및 표준 편차가 주어지면, 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 일 로그 가능성을 계산하는 단계를 포함한다.
조항 17: 조항 1 내지 조항 14 중 어느 하나의 방법에 있어서, 상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하는 단계는, 키-쿼리-값 주의 계층 (key-query-value attention layer) 을 사용하여 상기 수신된 이미지에 대한 상기 추출된 특징들 및 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 추출된 특징들에 가중치를 부여하는 단계를 포함한다.
조항 18: 조항 1 내지 조항 14 중 어느 하나의 방법에 있어서, 상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하는 단계는: 제 1 멀티-계층 퍼셉트론을 사용하여 상기 수신된 이미지에 대한 상기 추출된 특징들을 쿼리 벡터 내에 임베딩하는 단계; 제 2 멀티-계층 퍼셉트론을 사용하여 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 상기 추출된 특징들을 키 벡터 내에 임베딩하는 단계; 제 3 멀티-계층 퍼셉트론을 사용하여 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 상기 추출된 특징들을 값 벡터 내에 임베딩하는 단계; 및 상기 수신된 이미지가, 상기 쿼리 벡터 내에 임베딩된 특징들 상에 컨디셔닝된, 상기 쿼리 벡터와 상기 키 벡터 사이의 내적 (inner product) 에 기초하여, 실제 생체인식 데이터 소스로부터 온 것일 가능성에 대응하는 값을 생성하는 단계를 포함한다.
조항 19: 조항 1 내지 조항 14 중 어느 하나의 방법에 있어서, 상기 사용자로부터의 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하는 단계는 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 추출된 특징들에 기초하여, 상기 수신된 이미지에 대한 상기 추출된 특징들 중 하나 이상을 게이팅하는 단계를 포함한다.
조항 20: 조항 1 내지 조항 14 중 어느 하나의 방법에 있어서, 상기 사용자로부터의 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하는 단계는 상기 복수의 등록 측정 데이터 소스 이미지들로부터 추출된 특징들에 기초하여 스퀴즈-익사이트 (squeeze-excite) 네트워크에서 상기 수신된 이미지에 대해 상기 추출된 특징들을 게이팅하는 단계를 포함하고; 상기 추출된 특징들은 높이 차원, 폭 차원, 및 채널 차원으로 표현되고; 상기 게이팅은 채널 차원 상에서 수행된다.
조항 21: 조항 1 내지 조항 20 중 어느 하나의 방법에 있어서, 상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지는 상기 사용자의 지문의 이미지를 포함한다.
조항 22: 조항 1 내지 조항 21 중 어느 하나의 방법에 있어서, 상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지는 상기 사용자의 얼굴의 이미지를 포함한다.
조항 23: 프로세싱 시스템으로서, 컴퓨터 실행가능 명령들을 포함하는 메모리; 및 컴퓨터 실행가능 명령들을 실행하고 프로세싱 시스템으로 하여금 조항 1 내지 조항 22 중 어느 하나에 따른 방법을 수행하게 하도록 구성된 하나 이상의 프로세서들을 포함한다.
조항 24: 조항 1 내지 조항 22 중 어느 하나에 따른 방법을 수행하기 위한 수단을 포함하는, 프로세싱 시스템.
조항 25: 프로세싱 시스템의 하나 이상의 프로세서에 의해 실행될 때, 프로세싱 시스템으로 하여금 조항 1 내지 조항 22 중 어느 하나에 따른 방법을 수행하게 하는 컴퓨터 실행가능 명령들을 포함하는 비일시적 컴퓨터 판독가능 매체.
조항 26: 조항 1 내지 조항 22 중 어느 하나에 따른 방법을 수행하기 위한 코드를 포함하는 컴퓨터 판독가능 저장 매체 상에 구현된 컴퓨터 프로그램 제품.
추가적인 고려사항들
이전의 설명은 당업자가 본 명세서에서 설명된 다양한 실시예들을 실시하는 것을 가능하게 하기 위해 제공된다. 여기에 논의된 예들은 청구항들에 기재된 범위, 적용가능성, 또는 실시예들을 한정하는 것은 아니다. 이들 실시예들에 대한 다양한 수정들은 당업자에게 쉽게 자명할 것이며, 본 명세서에 정의된 일반적인 원리들은 다른 실시예들에 적용될 수도 있다. 예를 들어, 본 개시의 범위로부터 벗어나지 않으면서 논의된 요소들의 기능 및 배열에서 변경들이 이루어질 수도 있다. 다양한 예들은 다양한 절차들 또는 컴포넌트들을 적절하게 생략, 치환, 또는 부가할 수도 있다. 실례로, 설명된 방법들은 설명된 것과 상이한 순서로 수행될 수도 있으며, 다양한 단계들이 부가, 생략, 또는 결합될 수도 있다. 또한, 일부 예들에 관하여 설명된 특징들은 일부 다른 예들에서 조합될 수도 있다. 예를 들어, 본 명세서에 기술된 임의의 수의 양태들을 이용하여 장치가 구현될 수도 있거나 또는 방법이 실시될 수도 있다. 추가로, 본 개시의 범위는 본 명세서에 기재된 본 개시의 다양한 양태들에 더하여 또는 그 외에 다른 구조, 기능, 또는 구조 및 기능을 사용하여 실시되는 그러한 장치 또는 방법을 커버하도록 의도된다. 본 명세서에 개시된 개시의 임의의 양태는 청구항의 하나 이상의 요소에 의해 구체화될 수도 있다는 것이 이해되어야 한다.
본 명세서에서 사용된 바와 같이, 단어 "예시적인" 은 "예, 실례, 또는 예시로서 작용함" 을 의미하도록 사용된다. 본 명세서에서 "예시적인" 것으로서 설명된 임의의 양태가 반드시 다른 양태들에 비해 유리하거나 또는 바람직한 것으로서 해석되어야 하는 것은 아니다.
본원에 사용된, 항목들의 리스트 "중 적어도 하나" 를 나타내는 어구는, 단일 멤버들을 포함한 그러한 아이템들의 임의의 조합을 나타낸다. 예로서, "a, b, 또는 c 중 적어도 하나" 는 a, b, c, a-b, a-c, b-c, 및 a-b-c 뿐만 아니라 동일한 요소의 배수들과의 임의의 조합 (예컨대, a-a, a-a-a, a-a-b, a-a-c, a-b-b, a-c-c, b-b, b-b-b, b-b-c, c-c, 및 c-c-c 또는 a, b, 및 c 의 임의의 다른 순서화) 을 커버하도록 의도된다.
본 명세서에서 사용된 바와 같이, 용어 "결정하는 것" 은 광범위하게 다양한 액션들을 포괄한다. 예를 들어, "결정하는 것" 은 계산하는 것, 컴퓨팅하는 것, 프로세싱하는 것, 도출하는 것, 조사하는 것, 찾아보는 것 (예를 들어, 표, 데이터베이스 또는 다른 데이터 구조에서 찾아보는 것), 확인하는 것 등을 포함할 수도 있다. 또한, "결정하는 것" 은 수신하는 것 (예를 들어, 정보를 수신하는 것), 액세스하는 것 (예를 들어, 메모리 내의 데이터에 액세스하는 것) 등을 포함할 수도 있다. 또한, "결정하는 것" 은 해결하는 것, 선택하는 것, 선출하는 것, 확립하는 것 등을 포함할 수도 있다.
본원에서 개시된 방법들은 그 방법들을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 그 방법 단계들 및/또는 액션들은 청구항들의 범위로부터 일탈함없이 서로 상호교환될 수도 있다. 즉, 단계들 또는 액션들의 특정 순서가 명시되지 않으면, 특정 단계들 및/또는 액션들의 순서 및/또는 사용은 청구항들의 범위로부터 벗어남이 없이 수정될 수도 있다. 추가로, 상기 설명된 방법들의 다양한 동작들은 대응하는 기능들을 수행 가능한 임의의 적합한 수단들에 의해 수행될 수도 있다. 그 수단들은 회로, 주문형 집적 회로 (ASIC), 또는 프로세서를 포함하지만 이에 한정되지 않는 다양한 하드웨어 및/또는 소프트웨어 컴포넌트(들) 및/또는 모듈(들) 을 포함할 수도 있다. 일반적으로, 도면들에 예시된 동작들이 존재하는 경우, 그 동작들은 유사한 넘버링을 갖는 대응하는 상대의 수단-플러스-기능 컴포넌트들을 가질 수도 있다.
다음의 청구항들은 본 명세서에 나타낸 실시예들에 제한되도록 의도되지 않으며, 청구항들의 표현과 일치하는 전체 범위에 따라야 한다. 청구항 내에서, 단수의 요소에 대한 언급은 특별히 그렇게 언급되지 않는 한 "하나 및 하나만" 을 의미하는 것이 아니라 오히려 "하나 이상" 을 의미하는 것으로 의도된다. 명확하게 달리 언급되지 않으면, 용어 "일부"는 하나 이상을 나타낸다. 어떠한 청구항 요소도 구절 "하는 수단" 을 사용하여 명시적으로 기재되지 않으면, 또는 방법 청구항의 경우, 그 요소가 구절 "하는 단계" 를 사용하여 기재되지 않으면, 35 U.S.C.§112(f) 의 규정 하에서 해석되지 않아야 한다. 당업자에게 알려져 있거나 나중에 알려지게 될 본 개시 전반에 걸쳐 설명된 다양한 양태들의 요소들에 대한 모든 구조적 및 기능적 균등물들은 참조에 의해 본 명세서에 명시적으로 원용되며 청구항들에 의해 포괄되는 것으로 의도된다. 또한, 본 명세서에서 개시된 어떤 것도, 그러한 개시가 청구항들에 명시적으로 기재되는지 여부에 관계 없이 공중에 제공되도록 의도되지 않는다.
Claims (30)
- 생체인식 인증 방법으로서,
사용자에 대한 생체인식 데이터 소스의 이미지를 수신하는 단계;
제 1 인공 신경망을 통해, 적어도 수신된 이미지에 대한 특징들을 추출하는 단계;
상기 적어도 수신된 이미지에 대한 추출된 상기 특징들과, 복수의 등록 생체인식 데이터 소스 이미지들의 조합된 특징 표현을 조합하는 단계;
상기 적어도 수신된 이미지에 대한 조합된 상기 추출된 특징들 및 제 2 인공 신경망 내로의 입력으로서 상기 복수의 등록 생체인식 데이터 소스 이미지들의 상기 조합된 특징 표현을 사용하여, 상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하는 단계; 및
상기 결정에 기초하여 보호된 리소스에 대한 사용자 액세스를 허용하거나 거부하는 하나 이상의 액션들을 취하는 단계를 포함하는, 생체인식 인증 방법. - 제 1 항에 있어서,
복수의 등록 생체인식 데이터 소스 이미지들로부터 도출된 정보로부터 신경망에 의해 추출된 특징들을 상기 복수의 등록 생체인식 데이터 소스 이미지들의 상기 조합된 특징 표현으로 집성하는 (aggregating) 단계를 추가로 포함하는, 생체인식 인증 방법. - 제 2 항에 있어서,
상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 도출된 상기 정보로부터 추출된 특징들은 사용자 생체인식 인증 등록 동안 추출되는, 생체인식 인증 방법. - 제 2 항에 있어서,
상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 도출된 상기 정보로부터 추출된 상기 특징들은 상기 복수의 등록 생체인식 데이터 소스 이미지들 각각으로부터 도출된 표현으로부터 추출된 특징들을 포함하는, 생체인식 인증 방법. - 제 2 항에 있어서,
상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 도출된 상기 정보로부터 추출된 특징들을 상기 조합된 특징 표현으로 집성하는 단계는 상기 복수의 등록 생체인식 데이터 소스 이미지들 각각으로부터 추출된 특징들을 특징들의 단일 세트로 연결하는 (concatenating) 단계를 포함하는, 생체인식 인증 방법. - 제 2 항에 있어서,
상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 도출된 상기 정보로부터 추출된 특징들을 상기 조합된 특징 표현으로 집성하는 단계는, 상기 복수의 등록 생체인식 데이터 소스 이미지들 각각으로부터 추출된 특징들 및 자동회귀 모델에 기초하여 특징 출력을 생성하는 단계를 포함하는, 생체인식 인증 방법. - 제 2 항에 있어서,
상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 도출된 상기 정보로부터 추출된 특징들을 상기 조합된 특징 표현으로 집성하는 단계는, 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 추출된 상기 특징들로부터, 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 추출된 상기 특징들과 연관된 평균 및 표준 편차를 생성하는 단계를 포함하는, 생체인식 인증 방법. - 제 2 항에 있어서,
상기 제 1 인공 신경망 및 상기 제 2 인공 신경망은 합성곱 신경망 (convolutional neural network) 을 포함하고,
상기 제 1 인공 신경망은 상기 제 2 인공 신경망과 연관된 가중치들의 적어도 서브세트를 공유하는, 생체인식 인증 방법. - 제 2 항에 있어서,
가중치-공유된 합성곱 신경망, 상기 수신된 이미지에 대해 추출된 특징들, 및 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 추출된 특징들을 사용하여, 상기 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 추가적인 특징들을 추출하는 단계를 추가로 포함하는, 생체인식 인증 방법. - 제 1 항에 있어서,
상기 적어도 수신된 이미지에 대한 특징을 추출하는 단계는,
상기 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지들을 이미지들의 스택 내에 조합하는 단계; 및
상기 제 1 인공 신경망을 통해 이미지들의 상기 스택을 프로세싱함으로써 상기 수신된 이미지에 대한 특징들 및 상기 복수의 등록 생체인식 데이터 소스 이미지들 각각에 대한 특징들을 추출하는 단계를 포함하는, 생체인식 인증 방법. - 제 10 항에 있어서,
상기 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지들을 상기 이미지들의 스택 내에 조합하는 단계는:
상기 복수의 등록 생체인식 데이터 소스 이미지들 중 적어도 하나의 이미지에 대해, 상기 수신된 이미지가 상기 복수의 등록 생체인식 데이터 소스 이미지 중 적어도 하나의 이미지의 적어도 일부와 정렬되도록 상기 수신된 이미지에 적용할 변환을 식별하는 단계;
식별된 상기 변환에 기초하여 상기 수신된 이미지를 수정하는 단계; 및
수정된 상기 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지들 중 적어도 하나의 이미지를 포함하는 스택을 생성하는 단계를 포함하는, 생체인식 인증 방법. - 제 11 항에 있어서,
상기 수정된 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지들을 포함하는 스택을 생성하는 단계는,
상기 수정된 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지 중 적어도 하나의 이미지를 채널 차원 상에 스태킹하는 단계,
상기 복수의 등록 생체인식 데이터 소스 이미지 중 적어도 하나의 이미지로부터 상기 수정된 수신된 이미지를 빼는 단계,
상기 복수의 등록 생체인식 데이터 소스 이미지 중 상기 적어도 하나의 이미지 상에 상기 수신된 이미지를 오버레이하는 단계,
상기 수정된 수신된 이미지와 상기 복수의 등록 생체인식 데이터 소스 이미지들 중 상기 적어도 하나의 이미지의 교집합을 출력하는 단계, 또는
상기 복수의 등록 생체인식 데이터 소스 이미지들의 스티칭된 버전에 기초하여 상기 수정된 수신된 이미지를 변환하는 단계 중 하나 이상을 포함하는, 생체인식 인증 방법. - 제 10 항에 있어서,
상기 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지들을 상기 이미지들의 스택 내에 조합하는 단계는:
상기 수신된 이미지에 대해, 상기 수신된 이미지가 상기 복수의 등록 생체인식 데이터 소스 이미지들 중 상기 적어도 하나의 이미지의 적어도 일부와 정렬되도록 상기 복수의 등록 생체인식 데이터 소스 이미지 중 적어도 하나의 이미지를 적용할 변환을 식별하는 단계;
식별된 상기 변환에 기초하여 상기 복수의 등록 생체인식 데이터 소스 이미지 중 상기 적어도 하나의 이미지를 수정하는 단계; 및
상기 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지들 중 수정된 상기 적어도 하나의 이미지를 포함하는 스택을 생성하는 단계를 포함하는, 생체인식 인증 방법. - 제 13 항에 있어서,
상기 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지들 중 상기 수정된 적어도 하나의 이미지를 포함하는 스택을 생성하는 단계는:
상기 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지 중 상기 수정된 적어도 하나의 이미지를 채널 차원 상에 스태킹하는 단계,
상기 복수의 등록 생체인식 데이터 소스 이미지 중 상기 수정된 적어도 하나의 이미지로부터 상기 수신된 이미지를 빼는 단계,
상기 복수의 등록 생체인식 데이터 소스 이미지 중 상기 수정된 적어도 하나의 이미지 상에 상기 수신된 이미지를 오버레이하는 단계, 또는
상기 수신된 이미지와 상기 복수의 등록 생체인식 데이터 소스 이미지들 중 상기 적어도 하나의 이미지의 교집합을 출력하는 단계를 포함하는, 생체인식 인증 방법. - 제 1 항에 있어서,
상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하는 단계는 상기 수신된 이미지와 상기 복수의 등록 생체인식 데이터 소스 이미지들을 비교하는 거리 메트릭을 계산하는 단계를 포함하는, 생체인식 인증 방법. - 제 1 항에 있어서,
상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하는 단계는, 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 추출된 상기 특징들과 연관된 평균 및 표준 편차가 주어지면, 상기 수신된 이미지가 실제 생체인식 데이터 소스일 로그 가능성을 계산하는 단계를 포함하는, 생체인식 인증 방법. - 제 1 항에 있어서,
상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하는 단계는, 키-쿼리-값 주의 계층 (key-query-value attention layer) 을 사용하여 상기 수신된 이미지에 대한 상기 추출된 특징들 및 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 추출된 특징들에 가중치를 부여하는 단계를 포함하는, 생체인식 인증 방법. - 제 1 항에 있어서,
상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하는 단계는:
제 1 멀티-계층 퍼셉트론을 사용하여 상기 수신된 이미지에 대한 상기 추출된 특징들을 쿼리 벡터 내에 임베딩하는 단계;
제 2 멀티-계층 퍼셉트론을 사용하여 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 상기 추출된 특징들을 키 벡터 내에 임베딩하는 단계;
제 3 멀티-계층 퍼셉트론을 사용하여 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 상기 추출된 특징들을 값 벡터 내에 임베딩하는 단계; 및
상기 수신된 이미지가, 상기 쿼리 벡터 내에 임베딩된 특징들 상에 컨디셔닝된, 상기 쿼리 벡터와 상기 키 벡터 사이의 내적 (inner product) 에 기초하여, 실제 생체인식 데이터 소스로부터 온 것일 가능성에 대응하는 값을 생성하는 단계를 포함하는, 생체인식 인증 방법. - 제 1 항에 있어서,
상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하는 단계는 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 추출된 특징들에 기초하여, 상기 수신된 이미지에 대한 상기 추출된 특징들 중 하나 이상을 게이팅하는 단계를 포함하는, 생체인식 인증 방법. - 제 1 항에 있어서,
상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하는 단계는 상기 복수의 등록 측정 데이터 소스 이미지들로부터 추출된 특징들에 기초하여 스퀴즈-익사이트 (squeeze-excite) 네트워크에서 상기 수신된 이미지에 대해 상기 추출된 특징들을 게이팅하는 단계를 포함하고;
상기 추출된 특징들은 높이 차원, 폭 차원, 및 채널 차원으로 표현되고;
상기 게이팅은 채널 차원 상에서 수행되는, 생체인식 인증 방법. - 제 1 항에 있어서,
상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지는 상기 사용자의 지문의 이미지를 포함하는, 생체인식 인증 방법. - 제 1 항에 있어서,
상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지는 상기 사용자의 얼굴의 이미지를 포함하는, 생체인식 인증 방법. - 프로세싱 시스템으로서,
컴퓨터 실행가능 명령들을 포함하는 메모리; 및
상기 컴퓨터 실행가능 명령들을 실행하도록 구성된 프로세서를 포함하고,
상기 프로세서는 상기 프로세싱 시스템으로 하여금,
사용자에 대한 생체인식 데이터 소스의 이미지를 수신하는 것;
제 1 인공 신경망을 통해, 적어도 수신된 이미지에 대한 특징들을 추출하는 것;
상기 적어도 수신된 이미지에 대한 추출된 상기 특징들과, 복수의 등록 생체인식 데이터 소스 이미지들의 조합된 특징 표현을 조합하는 것;
상기 적어도 수신된 이미지에 대한 조합된 상기 추출된 특징들 및 제 2 인공 신경망 내로의 입력으로서 상기 복수의 등록 생체인식 데이터 소스 이미지들의 상기 조합된 특징 표현을 사용하여, 상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하는 것; 및
상기 결정에 기초하여 보호된 리소스에 대한 사용자 액세스를 허용하거나 거부하는 하나 이상의 액션들을 취하는 것을 행하게 하는, 프로세싱 시스템. - 제 23 항에 있어서,
상기 프로세서는 상기 프로세싱 시스템으로 하여금, 복수의 등록 생체인식 데이터 소스 이미지들로부터 도출된 정보로부터 신경망에 의해 추출된 특징들을 상기 복수의 등록 생체인식 데이터 소스 이미지들의 상기 조합된 특징 표현으로 집성하는 것을 행하게 하도록 추가로 구성되는, 프로세싱 시스템. - 제 23 항에 있어서,
상기 적어도 수신된 이미지에 대한 특징들을 추출하기 위해, 상기 프로세서는 상기 프로세싱 시스템으로 하여금,
상기 수신된 이미지 및 상기 복수의 등록 생체인식 데이터 소스 이미지들을 이미지들의 스택 내에 조합하는 것; 및
상기 제 1 인공 신경망을 통해 이미지들의 상기 스택을 프로세싱함으로써 상기 수신된 이미지에 대한 특징들 및 상기 복수의 등록 생체인식 데이터 소스 이미지들 각각에 대한 특징들을 추출하는 것을 행하게 하도록 구성되는, 프로세싱 시스템. - 제 23 항에 있어서,
상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하기 위해, 상기 프로세서는 상기 프로세싱 시스템으로 하여금, 상기 수신된 이미지와 상기 복수의 등록 생체인식 데이터 소스 이미지들을 비교하는 거리 메트릭을 계산하는 것을 행하게 하도록 구성되는, 프로세싱 시스템. - 제 23 항에 있어서,
상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하기 위해, 상기 프로세서는 상기 프로세싱 시스템으로 하여금, 키-쿼리-값 주의 계층을 사용하여 상기 수신된 이미지에 대한 상기 추출된 특징들 및 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 추출된 특징들에 가중치를 부여하는 것을 행하게 하도록 구성되는, 프로세싱 시스템. - 제 23 항에 있어서,
상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하기 위해, 상기 프로세서는 상기 프로세싱 시스템으로 하여금,
제 1 멀티-계층 퍼셉트론을 사용하여 상기 수신된 이미지에 대한 상기 추출된 특징들을 쿼리 벡터 내에 임베딩하는 것;
제 2 멀티-계층 퍼셉트론을 사용하여 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 상기 추출된 특징들을 키 벡터 내에 임베딩하는 것;
제 3 멀티-계층 퍼셉트론을 사용하여 상기 복수의 등록 생체인식 데이터 소스 이미지들로부터 상기 추출된 특징들을 값 벡터 내에 임베딩하는 것; 및
상기 수신된 이미지가, 상기 쿼리 벡터 내에 임베딩된 특징들 상에 컨디셔닝된, 상기 쿼리 벡터와 상기 키 벡터 사이의 내적 (inner product) 에 기초하여, 실제 생체인식 데이터 소스로부터 온 것일 가능성에 대응하는 값을 생성하는 것을 행하게 하도록 구성되는, 프로세싱 시스템. - 지문 인증을 위한 장치로서,
사용자에 대한 생체인식 데이터 소스의 이미지를 수신하기 위한 수단;
제 1 인공 신경망을 통해, 적어도 수신된 이미지에 대한 특징들을 추출하기 위한 수단;
상기 적어도 수신된 이미지에 대한 추출된 상기 특징들과, 복수의 등록 생체인식 데이터 소스 이미지들의 조합된 특징 표현을 조합하기 위한 수단;
상기 적어도 수신된 이미지에 대한 조합된 상기 추출된 특징들 및 제 2 인공 신경망 내로의 입력으로서 상기 복수의 등록 생체인식 데이터 소스 이미지들의 상기 조합된 특징 표현을 사용하여, 상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하기 위한 수단; 및
상기 결정에 기초하여 보호된 리소스에 대한 사용자 액세스를 허용하거나 거부하는 하나 이상의 액션들을 취하기 위한 수단을 포함하는, 지문 인증을 위한 장치. - 명령들이 내부에 저장된 비일시적 컴퓨터 판독가능 저장 매체로서,
상기 명령들은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 동작을 실행시켜,
사용자에 대한 생체인식 데이터 소스의 이미지를 수신하는 것;
제 1 인공 신경망을 통해, 적어도 수신된 이미지에 대한 특징들을 추출하는 것;
상기 적어도 수신된 이미지에 대한 추출된 상기 특징들과, 복수의 등록 생체인식 데이터 소스 이미지들의 조합된 특징 표현을 조합하는 것;
상기 적어도 수신된 이미지에 대한 조합된 상기 추출된 특징들 및 제 2 인공 신경망 내로의 입력으로서 상기 복수의 등록 생체인식 데이터 소스 이미지들의 상기 조합된 특징 표현을 사용하여, 상기 사용자에 대한 상기 생체인식 데이터 소스의 상기 수신된 이미지가 실제 생체인식 데이터 소스로부터 온 것인 지 또는 상기 실제 생체인식 데이터 소스의 카피로부터 온 것인 지를 결정하는 것; 및
상기 결정에 기초하여 보호된 리소스에 대한 사용자 액세스를 허용하거나 거부하는 하나 이상의 액션들을 취하는 것을 행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163173267P | 2021-04-09 | 2021-04-09 | |
| US63/173,267 | 2021-04-09 | ||
| US17/658,573 US20220327189A1 (en) | 2021-04-09 | 2022-04-08 | Personalized biometric anti-spoofing protection using machine learning and enrollment data |
| US17/658,573 | 2022-04-08 | ||
| PCT/US2022/071653 WO2022217294A1 (en) | 2021-04-09 | 2022-04-09 | Personalized biometric anti-spoofing protection using machine learning and enrollment data |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230169104A true KR20230169104A (ko) | 2023-12-15 |
Family
ID=83510261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237033025A KR20230169104A (ko) | 2021-04-09 | 2022-04-09 | 기계 학습 및 등록 데이터를 사용한 개인화된 생체인식 안티-스푸핑 보호 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220327189A1 (ko) |
| EP (1) | EP4320606A1 (ko) |
| KR (1) | KR20230169104A (ko) |
| CN (1) | CN117121068A (ko) |
| BR (1) | BR112023019936A2 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022205685A1 (zh) * | 2021-03-29 | 2022-10-06 | 泉州装备制造研究所 | 一种基于轻量化网络的交通标志识别方法 |
| US20220318351A1 (en) * | 2021-03-31 | 2022-10-06 | Samsung Electronics Co., Ltd. | Method and apparatus with input data classification |
| US12086225B1 (en) * | 2021-09-22 | 2024-09-10 | Amazon Technologies, Inc. | System to reduce data retention |
| US20230104839A1 (en) * | 2021-10-01 | 2023-04-06 | NEC Laboratories Europe GmbH | Partial planar point cloud matching using machine learning with applications in biometric systems |
| US20240169041A1 (en) * | 2022-11-22 | 2024-05-23 | Bank Of America Corporation | System and method for generating user identity based encrypted data files using capsule neural networks to prevent identity misappropriation |
| CN115690920B (zh) * | 2023-01-03 | 2023-04-14 | 智慧眼科技股份有限公司 | 医疗身份认证的可信活体检测方法及相关设备 |
| US12033422B1 (en) | 2023-03-20 | 2024-07-09 | Qualcomm Incorporated | Ultrasonic fingerprint anti-spoofing based on A-line data |
| US11983955B1 (en) * | 2023-08-16 | 2024-05-14 | Netskope, Inc. | Image matching using deep learning image fingerprinting models and embeddings |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106415632A (zh) * | 2014-02-24 | 2017-02-15 | 汉索知识产权私人有限公司 | 便携式基于生物特征的身份设备 |
| US9578024B2 (en) * | 2014-12-18 | 2017-02-21 | Sri International | Continuous authentic of mobile device users |
| JP7011152B2 (ja) * | 2017-08-30 | 2022-01-26 | 富士通株式会社 | 生体画像処理装置、生体画像処理方法、及び生体画像処理プログラム |
| US11049275B2 (en) * | 2018-11-21 | 2021-06-29 | Samsung Electronics Co., Ltd. | Method of predicting depth values of lines, method of outputting three-dimensional (3D) lines, and apparatus thereof |
| KR20200116763A (ko) * | 2019-04-02 | 2020-10-13 | 삼성전자주식회사 | 키-밸류 커플링을 이용한 유사성 처리 방법 및 장치 |
| EP3987380B1 (en) * | 2019-06-18 | 2024-10-16 | Pupil Labs GmbH | Systems and methods for determining one or more parameters of a user's eye |
| US11080833B2 (en) * | 2019-11-22 | 2021-08-03 | Adobe Inc. | Image manipulation using deep learning techniques in a patch matching operation |
| JP7414531B2 (ja) * | 2020-01-06 | 2024-01-16 | 株式会社東芝 | 学習装置、学習方法及びプログラム |
| US20220272084A1 (en) * | 2021-02-19 | 2022-08-25 | Lenworth Alexander Hyatt | 5G-WiFi inside secure iris biometrics' login |
-
2022
- 2022-04-08 US US17/658,573 patent/US20220327189A1/en active Pending
- 2022-04-09 BR BR112023019936A patent/BR112023019936A2/pt unknown
- 2022-04-09 CN CN202280025687.7A patent/CN117121068A/zh active Pending
- 2022-04-09 EP EP22719496.6A patent/EP4320606A1/en active Pending
- 2022-04-09 KR KR1020237033025A patent/KR20230169104A/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| EP4320606A1 (en) | 2024-02-14 |
| US20220327189A1 (en) | 2022-10-13 |
| CN117121068A (zh) | 2023-11-24 |
| BR112023019936A2 (pt) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220327189A1 (en) | Personalized biometric anti-spoofing protection using machine learning and enrollment data | |
| US20210082136A1 (en) | Extracting information from images | |
| Yuan et al. | Difference co-occurrence matrix using BP neural network for fingerprint liveness detection | |
| US11941918B2 (en) | Extracting information from images | |
| US20200082062A1 (en) | User adaptation for biometric authentication | |
| KR102294574B1 (ko) | 딥러닝 기반의 얼굴인식모델을 이용하여 실물이미지를 판단할 수 있는 안면인식시스템 | |
| Arora et al. | A robust framework for spoofing detection in faces using deep learning | |
| Lakshmi et al. | Off-line signature verification using Neural Networks | |
| Arora et al. | Presentation attack detection for iris recognition using deep learning | |
| Saied et al. | A novel approach for improving dynamic biometric authentication and verification of human using eye blinking movement | |
| Choras | Multimodal biometrics for person authentication | |
| Zhang et al. | 2D fake fingerprint detection based on improved CNN and local descriptors for smart phone | |
| Diarra et al. | Study of deep learning methods for fingerprint recognition | |
| Podder et al. | Iris feature extraction using three-level Haar wavelet transform and modified local binary pattern | |
| Jadhav et al. | HDL-PI: hybrid DeepLearning technique for person identification using multimodal finger print, iris and face biometric features | |
| Kavitha et al. | Fuzzy local ternary pattern and skin texture properties based countermeasure against face spoofing in biometric systems | |
| Kuznetsov et al. | Biometric authentication using convolutional neural networks | |
| WO2022217294A1 (en) | Personalized biometric anti-spoofing protection using machine learning and enrollment data | |
| Gupta et al. | Biometric iris identifier recognition with privacy preserving phenomenon: A federated learning approach | |
| Kumar et al. | An empirical evaluation of rotation invariance of LDP feature for fingerprint matching using neural networks | |
| ALAMRI et al. | Face recognition based on convolution neural network and scale invariant feature transform | |
| Berriche | Comparative Study of Fingerprint‐Based Gender Identification | |
| de Souza et al. | Efficient width-extended convolutional neural network for robust face spoofing detection | |
| Majeed et al. | A novel method to enhance color spatial feature extraction using evolutionary time-frequency decomposition for presentation-attack detection | |
| Gomaa et al. | Biometric OAuth service based on finger-knuckles |