KR102061434B1 - 스푸프 검출 및 라이브니스 분석을 위한 시스템들 및 방법들 - Google Patents
스푸프 검출 및 라이브니스 분석을 위한 시스템들 및 방법들 Download PDFInfo
- Publication number
- KR102061434B1 KR102061434B1 KR1020187000950A KR20187000950A KR102061434B1 KR 102061434 B1 KR102061434 B1 KR 102061434B1 KR 1020187000950 A KR1020187000950 A KR 1020187000950A KR 20187000950 A KR20187000950 A KR 20187000950A KR 102061434 B1 KR102061434 B1 KR 102061434B1
- Authority
- KR
- South Korea
- Prior art keywords
- target
- pulse
- classifier
- face
- spoof
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 61
- 238000001514 detection method Methods 0.000 title abstract description 33
- 238000004458 analytical method Methods 0.000 title abstract description 12
- 230000005236 sound signal Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 5
- 238000013186 photoplethysmography Methods 0.000 claims 1
- 239000000523 sample Substances 0.000 description 34
- 238000005259 measurement Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 13
- 238000002592 echocardiography Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 230000000747 cardiac effect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 238000009532 heart rate measurement Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000000876 cardiodynamic effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000005086 pumping Methods 0.000 description 3
- 238000010408 sweeping Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013211 curve analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 125000005842 heteroatom Chemical group 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1176—Recognition of faces
-
- G06K9/00255—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1102—Ballistocardiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/06—Systems determining the position data of a target
- G01S15/08—Systems for measuring distance only
- G01S15/10—Systems for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G06K9/00228—
-
- G06K9/00892—
-
- G06K9/00906—
-
- G06K9/6293—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/06—Systems determining the position data of a target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Cardiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physiology (AREA)
- Data Mining & Analysis (AREA)
- Dentistry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
스푸프-검출 및 라이브니스 분석은 카메라, 오디오 출력 컴포넌트(예를 들어, 이어피스), 및 오디오 입력 컴포넌트(예를 들어, 마이크로폰)를 갖는 스마트폰과 같은 사용자 디바이스 상의 소프트웨어-기반 솔루션을 사용하여 수행된다. 하나 이상의 오디오 신호들이 사용자 디바이스의 오디오 출력 컴포넌트로부터 방출되고, 타겟으로부터 반사되고, 디바이스의 오디오 입력 컴포넌트에서 역수신된다. 반사들에 기초하여, 타겟이 3-차원 얼굴-유사 구조 및/또는 얼굴-유사 조직으로 구성되는지에 대한 결정이 이루어진다. 적어도 이러한 결정을 사용하여, 타겟이 적법한, 살아있는 사람이기보다는, 스푸프될 가능성이 있는지에 대한 발견이 이루어진다.
Description
관련 출원에 대한 교차 참조
이 출원은, 2015년 6월 16일에 "Liveness Analysis Using Vitals Detection"라는 명칭으로 출원되었으며 그 전체가 본원에 참조로 포함되는 미국 가 특허 출원 제62/180,481호를 우선권 주장하며 그 이익을 청구한다.
기술분야
본 개시내용은 일반적으로 이미지, 소닉 신호 및 진동 신호 분석에 관한 것이며, 특히 이미지 내에 묘사된 대상이 살아있는지의 여부를 검출하기 위한 이미지 및 신호 프로세싱 기법들에 관한 것이다.
재산(property) 또는 리소스들에 대한 액세스를 특정 개인들로 제한하는 것이 종종 바람직하다. 생체인식 시스템들이 사용되어 개인의 신원을 인증하여 리소스에 대한 액세스를 승인하거나 거부할 수 있다. 예를 들어, 개인의 홍채 내의 고유한 구조들에 기초하여 개인을 식별하도록 홍채 스캐너가 생체인식 보안 시스템에 의해 사용될 수 있다. 이러한 시스템은, 그러나, 허가된 사람의 얼굴의 미리-레코딩된 이미지 또는 비디오를 스캐닝하는 사기꾼이 존재하는 경우, 그 사기꾼을 잘못 허가할 수 있다. 이러한 가짜 이미지 또는 비디오는, 스캐닝에 사용되는 카메라의 앞에 걸리는, 유광 사진들(glossy photographs) 등에서, 음극선관(CRT) 또는 액정 디스플레이(LCD) 스크린과 같은 모니터 상에 디스플레이될 수 있다. 다른 스푸핑 기법들은 적법한 사용자의 얼굴의 사진상으로 정확한 3-차원 마스크(photographically accurate three-dimensional mask)의 사용을 포함한다.
기존의 스푸핑-방지 수단들(anti-spoofing measures)의 한 가지 카테고리는 주로 정적 영상(imagery)(예를 들어, 사진 기반) 공격들에 중점을 두었다. 이러한 수단들은, 정적 스푸프 공격이, 주로 얼굴 내의, 자연스럽게 발생하는 그리고 이미지의 상이한 부분들의 다른(disparate) 움직임들을 재생하는데 실패한다고 가정한다. 이들은 또한, 라이브 스캔에서의 전술된 모션들 각각이 연관된 근육 그룹들의 자연스러운 민첩성 및 빈도수의 견지에서 상이한 스케일로 발생한다고 가정한다. 그러나, 이러한 수단들은 단지 정적(예를 들어 픽처-기반) 스푸프 공격만을 검출할 수 있으며, 만약 존재한다면, 전술된 모션 벡터들을 이들의 요구되는 속력 및 주파수 프로파일들로 분석(resolve)할 수 있을 만큼 충분히 높은 프레임 레이트에서 관측의 특정 시간 윈도우를 필요로 한다. 이들은 또한, 예를 들어, 특정 방식들로 스푸핑 사진들을 구부리거나 흔듦으로써, 스캔 동안 매우 정적으로 유지하는 살아있는 대상들을 잘못 거부하거나, 또는 추가된 모션을 가지는 정적 재생들을 잘못 수락할 수 있다.
기존의 스푸핑-방지 수단들의 제2 카테고리는 생체인식 샘플의 사진 또는 비디오 재생이 충분한 품질이 아니며 따라서 이미지 텍스쳐 분석 방법들이 스푸프의 식별을 제공할 수 있다고 가정한다. 그러나, 구별가능하게 낮은 품질의 스푸프 재생의 가정은, 특히 현대의 스마트폰 및 태블릿들에서조차 발견될 수 있는 진보된 고품질 및 매우 흔한 고해상도 레코딩 및 디스플레이 기술들이 출현하면서, 신뢰가능한 것이 아니다. 놀랄 것도 없이, 특정한 그리고 기술-종속적 스푸프 재생 결함들에 의존함으로써, 이러한 기술들은 데이터세트 종속적인 것으로 보여지며, 보통 이하의 일반화 능력들을 보여주었다. 기준 또는 기준-없음 이미지 품질 메트릭들에 기초하는, 제2에 관련된, 스푸핑-방지 수단들의 또다른 카테고리는 동일한 결점들을 겪는다.
본원에 기술된 다양한 구현예들에서, 살아 있는 사람의 존재를 나타내는 물리적 특징들의 검출이 사용되어, 살아있는, 진짜 얼굴들을, 협박하에서, 그리고 다른 스푸프된 그리고 사기성의 인증 방법들하에서 이루어진 이미지들/비디오들, 검증들과 구별하고, 그리고/또는 예컨대, 생체인식 시스템을 스푸핑하기 위해 적법한 사용자의 레코딩된 이미지들/비디오들/다른 물리적 재구성들을 재생하기 위해 사용되는 디바이스들의 존재를 검출함으로써, 스푸프들을 식별한다. 이는 부분적으로, (a) 스푸프들의 서명들을 검출하고, 그리고 (b) 3-차원 얼굴 검출 및 2-인자 펄스 식별을 사용하여 개인의 라이브니스 및 물리적 존재를 검증함으로써, 달성된다.
따라서, 일 양태에서, 컴퓨터-구현형 방법은: 사용자 디바이스의 오디오 출력 컴포넌트를 사용하여, 하나 이상의 오디오 신호를 방출하는 단계; 사용자 디바이스의 오디오 입력 컴포넌트를 사용하여, 타겟으로부터의 오디오 신호들의 하나 이상의 반사들을 수신하는 단계; 하나 이상의 반사에 기초하여 타겟이 얼굴-유사 구조 및 얼굴-유사 조직 중 적어도 하나를 포함하는지를 결정하는 단계; 및 타겟이 얼굴-유사 구조 및 얼굴-유사 조직 중 적어도 하나를 포함하는지에 대한 결정에 적어도 부분적으로 기초하여 타겟이 스푸프인지를 결정하는 단계를 포함한다. 사용자 디바이스는, 예를 들어, 스마트폰, 태블릿, 또는 랩톱을 포함하는 모바일 디바이스일 수 있다. 하나 이상의 오디오 신호는 짧은 코딩된 펄스 핑들(short coded pulse pings), 단기 처프들(short term chirps), 또는 CTFM 핑들을 포함할 수 있다. 하나 이상의 오디오 신호의 하나 이상의 특성은 랜덤화될 수 있다.
일 구현예에서, 방법은: 타겟의 물리적 특징들을 식별하도록 분류자를 트레이닝하는 단계; 및 타겟으로부터의 오디오 신호들의 하나 이상의 반사에 기초하는 정보를 분류자에 대한 입력으로서 제공하는 단계를 더 포함하고, 타겟이 스푸프인지에 대한 결정은 추가로, 제공되는 입력에 응답하여 수신되는 분류자의 출력에 적어도 부분적으로 기초한다.
또다른 구현예에서, 방법은: 타겟의 복수의 이미지를 수신하는 단계; 및 이미지들 내의 검출된 광 반사들에 기초하여, 타겟이 3-차원 얼굴-유사 구조를 포함하는지를 결정하는 단계를 더 포함한다.
추가적인 구현예에서, 방법은 타겟의 복수의 이미지를 수신하는 단계; 및 이미지들에 기초하여, 타겟이 제1 펄스를 가지는지를 식별하는 단계를 더 포함하고, 타겟이 스푸프인지에 대한 결정은 추가로 타겟이 펄스를 가지는지에 대한 식별에 적어도 부분적으로 기초한다. 제1 펄스는 원격 광혈류측정을 사용하여 식별될 수 있다.
또다른 구현예에서, 타겟의 제2 펄스는 타겟과의 물리적 접촉을 통해 식별되고, 타겟이 스푸프인지에 대한 결정은 추가로 제2 펄스의 측정에 적어도 부분적으로 기초한다. 제2 펄스가 제1 펄스에 상관되는지에 대한 결정이 이루어질 수 있고, 타겟이 스푸프인지에 대한 결정은 추가로 상관에 적어도 부분적으로 기초한다. 제2 펄스를 측정하는 것은 사용자 디바이스 또는 또다른 핸드헬드 또는 웨어러블 디바이스로부터의 제2 펄스와 연관된 정보를 수신하는 것을 포함할 수 있다. 제2 펄스와 연관된 정보는 심탄동계(ballistocardiographic) 신호를 포함할 수 있다.
이 명세서에 기술된 발명 대상의 하나 이상의 실시예들의 상세항목들은 첨부 도면들 및 하기 기재에서 설명된다. 발명 대상의 다른 특징들, 양태들 및 장점들은 기재, 도면들 및 청구항들로부터 명백해질 것이다.
도 1a-1c는 스푸핑-방지 및 라이브니스 검출에 대한 다양한 사용 경우들을 도시한다.
도 2는 구현예에 따른 스푸핑-방지 및 라이브니스 검출을 위한 방법을 도시한다.
도 3은 폰 이어피스와 마이크로폰 사이의 음향 프로브 펄스에 대한 예시적인 직접 및 간접 음향 경로들을 도시한다.
도 4 및 도 5는 각자, 모니터 스크린 및 실제 얼굴에 대한 반사들을 보여주는 예시적인 정합-필터 복조된 에코들을 도시한다.
도 6 및 도 7은 각자, 얼굴 및 모니터 스크린의 상이한 면들로부터의 반사들을 도시한다.
여러 도면에서의 동일한 참조 번호들 및 표기들은 동일한 엘리먼트들을 나타낸다.
도 2는 구현예에 따른 스푸핑-방지 및 라이브니스 검출을 위한 방법을 도시한다.
도 3은 폰 이어피스와 마이크로폰 사이의 음향 프로브 펄스에 대한 예시적인 직접 및 간접 음향 경로들을 도시한다.
도 4 및 도 5는 각자, 모니터 스크린 및 실제 얼굴에 대한 반사들을 보여주는 예시적인 정합-필터 복조된 에코들을 도시한다.
도 6 및 도 7은 각자, 얼굴 및 모니터 스크린의 상이한 면들로부터의 반사들을 도시한다.
여러 도면에서의 동일한 참조 번호들 및 표기들은 동일한 엘리먼트들을 나타낸다.
얼굴-변조된 사운드 반사들을 사용하는 음향 3-차원(3D) "페이스니스(faceness)"를 멀티-소스/멀티-경로 바이탈 검출과 조합시키는 멀티-스테이지, 소프트웨어-기반 스푸핑-방지 및 "라이브니스" 검출 기술을 제공하기 위한 시스템들 및 수반되는 방법들이 여기서 다양한 구현예들에서, 기술된다. 본원에 사용되는 바와 같이, "라이브니스"는 살아있는 사람(눈 또는 얼굴의 이미지 또는 미리 레코딩된 비디오, 3-차원 모델링된 머리 등과 같은, 살아 있는 사람의 스푸프 또는 모방이 아닌)의 존재를 나타내도록 의도되는 특성들을 지칭한다. 이러한 특성들은, 예를 들어, 얼굴, 펄스, 호흡 패턴 등과 같은 인지가능한 물리적 특징들을 포함할 수 있다. "페이스니스"는 눈, 코, 입, 뺨, 및/또는 인지가능한 패턴으로 배열되는 다른 얼굴 특징들 및 티슈의 실제(재생되는 것에 반대로) 존재와 같은 실제 얼굴의 존재를 나타내는 경향이 있는 특성들을 지칭한다. 페이스니스의 이러한 정의는 (스푸프 얼굴들이 아니라) 실제 얼굴들의 수동적 또는 능동적 음향, 사진, 및/또는 전자기 서명들을 포함함으로써 증강될 수 있다.
본 개시내용은 전적으로 소프트웨어에서 구현될 수 있는 새로운 물리학-기반 솔루션들을 제공하고, 특히, 이들의 품질과는 무관하게 스푸핑 스크린 재생을 검출한다. 그것은 실제 3D 얼굴이 그것의 음향(및/또는 측광) 서명의 조사를 통해 사용자 디바이스에, 모두 사용자에게 투명한 방식으로, 제시되는 가능성의 평가를 통해 기존의 비전 기반 스푸핑-방지 솔루션들의 결점들을 해소한다. 유리하게는, 이러한 기법은 다양한 매일의 환경들에서 통상적인 모바일 폰 이어피스들/사운드 트랜스듀서들 및 마이크로폰들만을 사용하여 생체인식 인증을 위한 스푸프들을 검출한다. 모바일 디바이스들의 기존의 하드웨어를 사용하는 결과적인 소닉 서명들은 약하며, 다수의 혼란 인자들에 의해 도전받는데, 이는 기술된 방법론이 해소한다. 전술된 열악한 소닉 신호 대 잡음 비에 대한 소스들은 원치 않는 에코들, 뿐만 아니라 음향 경로 비선형성들 및 대역폭 제한들(트랜스듀서들의 제한들을 포함함), 마이크로폰/이어피스 지향성 및 감도, 및 디바이스의 내부 잔향들을 포함한다. 또한, 이용되는 오디오 대역들의 더 긴 파장들이 주어지면, 공간 분해능이 기존의 초음파 소나 시스템들에 비해 감소되며, 타겟 반사들의 많은 부분이 대신 산란을 통해 소실되어, 본원에서 상술되는 바와 같이, 내장된 소닉 서명들의 간접적 검출을 제공한다.
일 구현예에서, 스푸핑-방지 및 라이브니스 검출 기술은 3-차원 얼굴-유사 구조의 존재를 검증하는 것 및 다수의 소스를 사용하여 타겟의 펄스를 측정하는 것을 포함한다. 3-차원 얼굴 감지는 얼굴-변조 사운드 반사들(예를 들어, 폰 마이크로폰 또는 다른 오디오 입력을 수신한 신호들의 반사들과 함께, 소나와 유사한, 폰 이어피스 또는 다른 사운드 트랜스듀서로부터 방출되는 코딩된 하이-피치 프로브 신호로부터) 및/또는 구성된 광 측광 스테레오를 사용하여 (예를 들어, 폰 스크린으로부터의 빠른 패터닝된 조도들로부터) 수행될 수 있다. 사용자의 펄스의 검출과 같은, 바이탈 검출은 얼굴색 변경들 및/또는 손/몸 진동을 유도하는 심장 펌핑 동작으로부터 측정될 수 있다. 심박수 검출은 다수의 경로들: 또한 심탄동도로서 알려진 몸의 심박-유도된 기계적 진동들, 및 원격 광혈류측정(photoplethysmogram)(원격 PPG, 또는 rPPG)으로서 알려진, 레드-그린-블루(RGB) 카메라에 의해 레코딩된 피부색 변경들로부터의 펄스의 검출을 통해 달성될 수 있다. 사용자의 펄스는 또한 심박수 센서들을 이용하여 다른 웨어러블/모바일 디바이스들을 통해 검출될 수 있다.
도 1a-1c는 본원에 기술된 바와 같은 스푸핑-방지 및 라이브니스 분석 기술에 대한 다양한 사용 경우들을 예시한다. 예를 들어, 도 1a에서, 타겟 사용자(104)는 자신의 모바일 디바이스(102)(예를 들어, 스마트폰, 태블릿 등)를 사용하여 모바일 디바이스 카메라에 의해 캡처되는 생체인식 판독(예를 들어, 눈 스캔)을 사용하여 스스로 인증한다. 카메라뿐만 아니라, 모바일 디바이스(102)는, 본원에 기술되는 기법들을 사용하여, 사용자의 물리적 존재를 검증하기 위해 가속도계, 자이로스코프, 손끝 심박 센서, 진동 센서, 오디오 출력 컴포넌트(예를 들어, 스피커, 이어피스, 또는 다른 사운드 트랜스듀서), 오디오 입력 컴포넌트(예를 들어, 마이크로폰) 등과 같은 다른 센서들을 이용할 수 있다. 도 1b에서, 모바일 디바이스(106)는 LCD 모니터(106) 또는 다른 디스플레이 스크린 상의 타겟의 이미지 또는 비디오를 캡처한다. 모바일 디바이스(102) 상에서 실행하는 소프트웨어는 본 기법들, 예를 들어, 3-차원 얼굴 검출, 반사되는 광 및/또는 사운드 신호들의 평가, 및 펄스 검출을 사용하여 타겟이 물리적으로 존재하지 않는다고 결정할 수 있다. 도 1c는 제2 사용자(110)가 모바일 디바이스(102)를 잡고 그것을 타겟 사용자(104)에서 지향시키는 것을 도시한다. 이러한 경우, 타겟 사용자(104)의 물리적 존재가 (예를 들어, 3-차원 얼굴 구조 및 시각적 펄스 인지에 의해) 설정되지만, 디바이스(102)와 제2 사용자(110) 사이의 물리적 접촉을 통해 모바일 디바이스(102)에 의해 취해지는 세컨더리 펄스 판독은 타겟 사용자(104)에 대해 식별되는 시각적 펄스에 대응하지 않으며, 따라서, 사용자의 신원의 검증이 실패할 것이다.
스푸핑-방지 및 라이브니스 분석을 위한 다른 기법들은 본원에 기술되는 기술과 함께 사용될 수 있다. 이러한 기법들은 "Systems and Methods for Liveness Analysis"라는 제목으로 2014년 9월 9일에 출원된 미국 특허 출원 제14/480,802호, 및 "Bio Leash for User Authentication"라는 명칭으로 2015년 3월 30일에 출원된 미국 특허 출원 제14/672,629호에 기술된 것을 포함하며, 그 전체는 본원에 참조로 포함된다.
스푸프 및 라이브 검출을 위한 방법의 일 구현예가 도 2에 도시된다. 단계(202)에서 시작하여, 사용자 디바이스(예를 들어, 모바일 디바이스(102), 또는 다른 셀 폰, 스마트폰, 태블릿, 가상 현실 디바이스, 또는 생체인식 눈 검증을 사용하는 동안 뱅킹 앱에 로그인하는 것과 같은, 생체인식방식으로-향상된 사용자 상호작용에서 사용되는 다른 디바이스)는, 얼굴-유사 3-차원(3D) 오브젝트가 디바이스의 앞에 위치되는지, 그리고 평판 디스플레이 상의 미리-레코딩된 비디오와 같은 스푸프가 아닌지를 검출한다.
단계(202)에서의 3D 얼굴 검출은 다양한 방법들 또는 그 조합들을 사용하여 달성될 수 있고, 사용자의 디바이스 상의 특정 센서들 및 송신기들의 가용성에 기초할 수 있다. 일 구현예에서, 음파들(예를 들어, 고주파수 음파들)이 사용되어 3-차원 얼굴 또는, 대안적으로, 평판 디스플레이 또는 비-얼굴-유사 3D 오브젝트가 생체인식 센서에 제시되는지를 결정한다(얼굴 또는 안구 서브-영역을 포함하는 그것의 서브-영역들 중 임의의 것을 사용하는 이미지-기반 생체인식들을 위해, 생체인식 센서는, 예를 들어, 모바일 디바이스 카메라를 포함할 수 있다). 음향(음파) 기반 기법의 일 예는 연속 전송 주파수 변조(CTFM)이고, 여기서 얼굴의 상이한 면들/표면들에 대한 거리는 측정 디바이스(예를 들어, 동일한 또는 상이한 디바이스의 오디오 입력 컴포넌트(마이크로폰)와 함께 디바이스의 오디오 출력 컴포넌트(이어피스, 스피커, 사운드 트랜스듀서))에 의해 전송되는 소닉 프로브의 시변 주파수에 기초하여 측정된다. 생체인식 인증의 경우, 소닉 거리 측정은 또한 측정된 미간 거리가 타겟의 등록 시점에 결정된 예상되는 미간 거리에 대응함을 확인하기 위해 사용될 수 있다. 이전내용은 실제 스케일 측정 체크의 일 예이지만, 카메라의 포커스 메커니즘으로부터 오는 것과 같은 다른 디바이스-대-면 거리 측정들이 또한 사용될 수 있다는 것이 인지될 것이다. 3D 얼굴 검출을 위한 기법들은 하기에, 더 상세히 기술된다.
또다른 구현예에서, 측광 스테레오의 존재 및 범위가 3-차원 얼굴-유사 오브젝트의 존재를 나타내려는 경향이 있는 특성들에 대해 분석된다. 측광 효과들의 유효성은 전술된 소닉-측정된 거리들과 조합되고, 선택적으로, 생체인식 등록 단계 동안 수집되는 측광 스테레오 데이터와 비교될 수 있다. 광 측정들은, 디바이스 스크린이 더 높은 프레임 레이트로 구동되는 경우 더 낮은 프레임 레이트를 가지는 카메라와 함께 작업하도록 에일리어싱을 사용하여, 스크린-유도 광 프로브의 시간적 변경들을 사용자에 대해 더욱 인지불가하도록 만들 수 있다. 전술된 3-차원 특성들이 더 높은 정확성을 가지고 측정되는 경우, 사용자 얼굴의 3D 프로파일들이, 유효 등록 시간에서의 소닉 및/또는 측광 측정들을 사용하여 결정되는 것과 같이, 특정 범위에 대해 사용자-특정적이 될 수 있으며, 본원에 기술되는 스푸핑-방지 수단으로 더 많은 특정성(소프트 생체인식으로서)을 유도할 수 있다는 것에 유의한다.
얼굴-유사 3D 구조가 검출되는 경우, 디바이스는 선택적으로, 얼굴-유사 구조가 존재하는 그리고 예상 범위 내에 있는 펄스를 가지는지를 (예를 들어, 디바이스 카메라에 의해 캡처되는 이미지들에 기초하는 얼굴 rPPG를 사용하여) 검출함으로써 라이브니스를 추가로 검증할 수 있다(단계 208). 그렇지 않고, 3D 얼굴 구조가 검출되지 않는 경우, 라이브니스 거부가 실패하고 타겟이 거부된다(단계 230). 유효 펄스가 검출되는 경우, 명백한 순환을 가지는 3D 얼굴-유사 오브젝트는 라이브니스 검출 및 스푸핑-방지의 제1 페이즈(phase)로서 설정된다. 이러한 페이즈는 rPPG의 바이패스를 받아들일 수 있는 맥동성 피부를 가지는 얼굴-유사 3D 구조들에 대한 스푸프 공격들을 제한하는데, 이는 높은 장애물(bar)이다.
세컨더리 페이즈에서, 시스템은 선택적으로 얼굴-유사 구조로부터의 프라이머리 검출된 펄스(예를 들어, 소닉 및/또는 측광 3D 얼굴 체크 이후 얼굴 rPPG)를 더 강한 라이브니스 검출/스푸핑-방지를 위한 상이한 방법을 통해 획득되는 제2 펄스 측정과 상관시키도록 시도할 수 있다(단계 212 및 216). 세컨더리 펄스 측정은 예를 들어, 심장-펌핑 동작에 의해 유도되는 핸드헬드 디바이스 흔들림에 기초하여 캡처되며, 디바이스 모션 센서들, 또는 이용가능한 경우, 펄스-감지 웨어러블, 또는 심박수 또는 그 고조파를 체크하기 위한 다른 적절한 세컨더리 경로에 의해 측정될 수 있는, 예를 들어, 심탄동도 신호들을 통해, 달성될 수 있다. 세컨더리 펄스가 검출되지 않거나 세컨더리 펄스가 다른 방식으로 비유효한(예를 들어, 예상 범위의 밖에 있는) 경우, 또는 상관이 실패하는 경우(예를 들어, 시스템은 펄스들이 레이트 또는 다른 특성들에서 매치하지 않음을 검출함), 타겟이 거부된다(단계 230). 반대로, 이전 단계들이 라이브니스를 검증하는 경우, 타겟은 살아 있는, 적법한 사용자로서 수락될 수 있다(단계 220). 이 구현예에서 기술되는 검증 페이즈들이 기술되는 순서로 수행될 필요가 없으며; 오히려 단계들의 대안적인 순서가 또한 참작된다는 것이 인지되어야 한다. 예를 들어, 하나 이상의 펄스 측정들은, 펄스 측정들에 기초하여 결정되는 3D 얼굴 검출 대 스푸프의 판단을 강화하기 위해 사용되는 3D 얼굴 검출을 이용하여, 먼저 취해질 수 있다. 또한, 단계들 모두가 수행될 필요는 없다(예를 들어, 스푸프가 존재하는지에 대한 결정은 3D 얼굴 검출에 대해서만 이루어질 수 있다).
소닉
3D
페이스니스
측정
이러한 소닉 기법은 (적법한 디바이스-대향 눈 또는 얼굴 생체인식 스캐닝을 위해 예상되는) 얼굴 또는 생체인식 센서(예를 들어, 모바일 폰의 전방 카메라)에 디스플레이되는 다른 구조상 비-얼굴 유사 오브젝트(예를 들어, 평판 스크린 또는 다른 스푸핑 시나리오)가 존재하는지를 검출한다. 기법은 얼굴 또는 안구 서브-영역들을 포함하는 그것의 서브-영역들을 사용하는 이미지-기반 생체인식들에 대해 사용된다. 3D 페이스니스 측정을 위해 사용될 수 있는 소닉 핑들의 예들은, 짧은 코딩된 펄스 핑들, 단기 처프들, 및 CTFM을 포함하지만, 이에 제한되지 않는다.
짧은 코딩된 펄스 핑들은 최대 상관 코드들(예를 들어, Barker 2 내지 Barker 13 패턴들, 원래 형태이거나 또는 바이너리 위상 시프트 키잉 코딩되어야 함) 및/또는 단기 처프들(예를 들어, Kaiser 윈도우와 같은 포락선을 가지는 선형 주파수 스위프들)이 폰 이어피스 또는 다른 온보드 사운드 트랜스듀서와 같은 오디오 출력 컴포넌트를 통해 송신된다. 다수의 오디오 출력 컴포넌트들이 존재하는 경우, 음향 빔 형성이 사용되어 소닉 핑을 공간적으로 더 잘 포커싱할 수 있다. 전술된 펄스 압축 기법들로부터의 에코들의 정합 필터 또는 자기상관 디코딩은 타겟의 거친 3D 서명의 재구성을 허용한다(이는 또한 충돌된 면들의 음향 임피던스로 인해 그것의 텍스쳐 및 재료 구조를 반영한다). 이러한 정보는 소나 및 레이더 시스템들에서 보여지는 것과 유사하게, 수신된 에코의 비행 시간(time of flight) 및 형태학을 통해 사용자 디바이스에게 제시된다. 정합 필터는 수신된 에코와 원래 핑 신호와의 교차 상관을 수반한다. 에코와 자신과의 자기 상관이 대신 사용될 수 있으며, 여기서 진행중인 신호의 즉시 수신된 카피가 실제로 검출 템플릿이 된다. 어느 경우든, 디코딩된 신호의 분석 버전의 진폭의 계산과 같은 추가적인 후처리가 특징 선택 및 분류 이전에 수행된다.
CTFM 핑들에 대해, 타겟의 상이한 면들/표면들(여기서, 사용자의 얼굴 또는 스푸핑 스크린)로부터의 거리는 디바이스에 의해(예를 들어, 폰의 이어피스를 통해) 전송되는 높게 피칭된 소닉 프로브의 시변 주파수에 기초하여 측정된다.
일부 구현예들에서, 소닉 거리 측정은 또한 생체인식 등록(실제 스케일 측정 체크) 시의 이미징을 통해 측정되는 예상되는 미간 거리에 대한 적절한 대응성을 보장하도록 전체 얼굴 거리를 체크하기 위해 사용된다. 일부 구현예들에서, 에코의 낮은 신호 대 잡음비는 다수의 핑들 및/또는 멀티-마이크로폰 빔 형성 및 잡음 소거를 평균화함으로써 추가로 해소될 수 있다.
이 기법의 2가지 양태: (i) 비-얼굴 오브젝트들(예를 들어, 스푸핑 스크린들)의 거부, 및 (ii) 얼굴-유사 3D 소닉 프로파일들, 특히 등록된 사용자의 프로파일과 유사한 프로파일들(예를 들어, 등록 동안 생성되는 사용자-특정적 소닉 얼굴 템플릿들)의 수락이 존재하여, 대상-특정성(subject-specificity)을 고려함으로써 스푸핑-방지 정확성을 증가시킨다는 것에 유의해야 한다. 후자의 양태는 소닉 반사들로부터의 얼굴 서명들이 학습(프리젠테이션 학습)을 이용하는데, 이는 분류자 앙상블(ensemble)들 및 심화 학습과 같은, 널리-알려진 머신 학습 기법들을 사용하여 수행할 수 있다. 소닉 3D 얼굴 프로파일 인식의 정확성은 이미지 센서로부터의 보조 신호들을 포함시킴으로써 추가로 증가할 수 있다. 예를 들어, 에코 프로파일들은 사용자가 안경을 끼고 있거나 자신의 얼굴 일부를 스카프로 커버하는 경우 변경될 수 있다. 이미지 분석은 이러한 이미지들을 노출시키고, 그에 따라, 예를 들어, 그러한 환경들에 대한 적절한 템플릿들 및 임계들을 사용함으로써 분류 모듈들을 조정할 수 있다.
측광 3D
페이스니스
측정
일부 구현예들에서, 소닉 얼굴 구조 검출에 후속하여(또는 소닉 얼굴 구조 검출 이전에 또는 이와 동시에), 3D 페이스니스 측정은 조명 강도, 위상 및 주파수, 및 색(구조화된 스크린 조명)을 가지고 코딩된 모바일 디바이스 스크린의 고주파수 패턴들에 의해 유도되는 바와 같은 측광 스테레오와 같이, 조명 변경들에 질의하는 것으로부터 얼굴 3D 구조의 존재 및 범위를 조사함으로써 추가로 보강된다. 측광 스테레오 효과들은 일반적으로 광원 거리에 종속적이며, 따라서 전술된 소나 측정된 거리들과 조합될 수 있다.
추가적인 구현예들에서, 검증 측광 서명들은, 더 높은 감도 및 특수성을 위해 이러한 측정들을 대상-특정적으로 만들기 위해, 사용자의 등록 동안 유도되는 하나 이상의 측광 서명들과 비교될 수 있다. 개선된 소닉 및 측광 3D 얼굴 프로파일링을 조합시킴으로써, 조합은 실제 사용자들에 대한 거부를 계속 회피하는 동시에 더 양호한 정확성을 가지고 스푸프들을 검출할 수 있을 뿐만 아니라, 소프트 생체인식으로서 사용자-특정적 소닉-측광 얼굴 서명들을 검출할 수 있으며, 따라서, 추가된 소프트 식별 양상(modality)으로서 프라이머리 생체인식 양상의 성능을 더 증가시킨다.
광 측정들은 또한, 예를 들어, 디바이스 스크린이 더 높은 프레임 레이트로 구동되어 스크린-유도된 광 프로브의 시간적 변형들을 더 인지불가능하게 만들 수 있는 경우, 더 양호한 사용자 경험을 위해 이미징 센서 에일리어싱을 사용할 수 있다. 즉, 카메라가 스크린보다 더 낮은 프레임 레이트로 구동되는 경우, 구조화된 광의 에일리어싱된 주파수 컴포넌트를 사용하여 정상적으로 진행할 수 있다.
심장 측정
일부 구현예들에서, 페이스니스가 음향적으로 그리고/또는 측광적으로 유효화되는 경우, 얼굴 펄스의 존재(및, 일부 경우들에서, 값)는 전체 rPPG 펄스 레이트 계산에 필요한 것보다 더 짧은 관측 시간 주기 내에 모바일 디바이스의 전방 카메라로부터 검출/측정될 수 있다. 이러한 빠른 체크는 맥동 피부를 가지는 얼굴-유사 3D 구조들에 대한 스푸프 공격들을 제한하는데, 이는 매우 높은 장애물이다. 이러한 펄스 식별 단계는 소닉(및, 선택적으로, 측광) 페이스니스 측정 이후 스푸핑-방지 보호의 보충층으로서의 역할을 한다.
추가적인 구현예들에서, 심지어 더 강한 라이브니스 체크를 위해, 제안되는 방법은 사용자의 멀티-경로 심장 바이탈들을 측정하고 교차-유효화시킨다. 하나의 심장 신호는, 예를 들어, 전술된 3D-유효화된-얼굴 rPPG에 기초하여 결정될 수 있다. 추가적인 심장 신호들(또는 이들의 주요 고조파들)(예를 들어, 심장의 기계적 펌핑 동작에 의해 유도되고 디바이스 모션 센서들에 의해 측정되는, 그리고 선택적으로 엄격한 신호 프로세싱 및 모션 증폭 이후 디바이스 카메라 피드들로부터 검출되는 상관된 작은 진동들에 의해 제공되는(corroborate) 바와 같은 핸드헬드 디바이스 진동들 및 이들의 고조파들)이 심탄동도 신호들로부터 복원될 수 있다. 이러한 추가적인 심장 신호들은 이용가능할 때, 건강 모니터링 웨어러블들 또는 사용자의 모바일 디바이스에 내장되는 다른 심박수 센서들과 같은, 다른 심박수 센서들에 의해 취득될 수 있다. 일부 구현예들에서, 모션 센서 신호들은 타겟화되는 심박수 주파수 범위들 및 이들의 고조파들 내에서 대역-통과 필터링함으로써 전처리된다. 다른 구현예들에서, 심박수 고조파들은 프라이머리 심탄동도 신호들로서 사용된다. 추가적인 구현예들에서, 심탄동도는 예를 들어, 모바일 디바이스의 카메라에 의해 보여지는 바와 같이 증폭된 상관된 심장-유도 모션에 의해 증분된다.
펄스 및 다수의 심장 신호들 간의 중요한 실시간 상관의 검출 시(예를 들어, rPPG 및 심탄동도 펄스 측정들), 라이브니스의 더 강한 확률이 보장될 수 있다. 이러한 심장-루프 라이브니스 스코어는, 예를 들어, 2개의 심장 신호들(심탄동도 및 rPPG) 사이의 실시간 상관/유사성 강도일 수 있다. 스푸핑-방지의 이러한 추가적인 층은 생체인식 검증을 구하는 사용자의 심박을 사용하여 잡고 있는 손(기계적 경로)으로부터 인지된 유효화된 얼굴/눈(광학 및 음향 경로들)까지의, 심장 라이브니스 검증 루프를 폐쇄한다.
본 기재된 기술은, 본 기술분야에 공지되고 예를 들어, "Cardiac Performance Monitoring System for Use with Mobile Communications Devices"라는 명칭으로 2014년 4월 14일에 발행된 미국 특허 제8,700,137호; "Biophone: Physiology Monitoring from Peripheral Smartphone Motions"(Hernandez, McDuff, and Picard, Engineering in Medicine and Biology Society, 2015 37th Annual International Conference of the IEEE, 2015); 및 "Exploiting Spatial Redundancy of Image Sensor for Motion Robust rPPG"(Wang, Stuijk, and de Haan, IEEE Transactions on Biomedical Engineering, vol.62, no.2, Feb. 2015)에 기술되는 심박수 검출을 위한 다양한 기법들을 포함할 수 있으며, 이들 전체는 본원에 참조로 포함된다.
추가적인
구현예들
이제 도 3을 참조하면, 전방 카메라를 이용한 사용자의 얼굴 및/또는 안구 영역들의 생체인식 스캔 동안, 본원에 기술되는 기법들에 따라, 폰 이어피스(302)(및/또는 타겟화된 얼굴 영역들 상에 포커싱되는 빔 형성 배열에서의 다수의 스피커들을 포함하는, 다른 음향 트랜스듀서들)는 일련의 신호들을 방출하여 인지된 상호작용하는 사용자의 페이스니스에 음향적으로 질의한다. 폰 마이크로폰(들)(304)은 라이브 인증의 경우, 대부분 얼굴로부터, 신호의 반사들을 수집한다. 그러나, 스푸프 공격 동안 얼굴의 스크린 또는 다른 재생이 대신 제시되는 것이 가능하다. 일부 구현예들에서, 디바이스의 바닥 마이크로폰(304)이 사용되는 경우, 핑이 폰 바디를 통해/걸쳐 이동함에 따라 사운드의 속도 및 음향 임피던스가 주어지면, 음향 프로브의 제1 및 가장 소리가 큰 수신된 카피로서 마이크로폰(304)에 의해 들리는 제1 전송의 타임 스탬핑을 통해 프로브 신호 방출의 시작이 검출된다(루트 0). 오리지널 신호가 정합 필터링을 위해 폰의 마이크로폰(304)에 의해 수신되는 것으로서 그것의 에코와 함께 사용된다(이어피스(302)로부터 마이크로폰으로 공기를 통해 신호가 전파되는 외부 루트 1, 및 신호가 타겟에서 반사되어 마이크로폰(304)에 의해 수신되는 외부 루트 2를 통해 수신되는 신호/에코를 포함할 수 있다). 음향 핑의 예들은 짧은 처프들 또는 Barker/M-시퀀스 코드들과 같은 펄스 압축 및/또는 최대 상관 시퀀스들을 포함한다.
일부 구현예들에서, 이용가능한 경우, 전방 마이크로폰이 개선된 지향성, 배경 잡음 억제, 및 프로브 신호 출발 시작 검출을 위해 사용된다. Cardioid와 같은 디바이스 마이크로폰의 지향성 극성 패턴들이 더 양호한 지향성 수신을 위해 선택될 수 있다. 디바이스 상의 다수의 마이크로폰들은, 이용가능한 경우, 더 양호한 지향성을 위한 빔 형성을 위해, 그리고 따라서 페이스니스 에코의 더 양호한 수신을 위해 사용될 수 있다.
일부 구현예들에서, 반사되는 사운드의 자기상관이 반사되는 사운드의 얼굴/스푸프 에코 컴포넌트를 디코딩하기 위해 사용된다. 이러한 방법은, 정합 필터 커널이 본질적으로 여기서 프로브 파 패턴의 실제 전송된 버전임에 따라, 더 양호한 복조를 산출할 수 있다. 추가적인 구현예들에서, 프로빙 신호는 CTFM 타입이며, 따라서, 헤테로다인법이 타겟 구조의 공간 프로파일 및 거리를 분석하기 위해 사용된다. 궁극적으로, 분류자는 전술된 방법들 중 임의의 개수의 방법들로부터 복조된 에코들로부터 추출되는 특징들에 기초하여 인지되는 페이스니스를 결정할 수 있다.
디바이스의 마이크로폰(들)에 의해 레코딩되는 것으로서의 에코의 특성들에 기초하여, 사운드가 스푸핑 스크린 또는 다른 스푸핑 오브젝트가 아니라 사용자의 얼굴에서 반사되었는지를 결정하기 위한 상이한 방식들이 존재하며, 이는 얼굴의 특정 다면형 3D 형상 및 그것의 흡수/반사 특징들 대 관심 있는 얼굴 또는 안구 영역들의 LCD 재생과 같은, 예를 들어, 2-차원 스푸프의 흡수/반사 특징들을 통지한다.
도 4 및 5는 음향 경로 비행의 처음 20 cm 동안 Barker-2 코드 시퀀스를 사용하는 예시적인 정합-필터 복조된 에코들을 도시하며, 여기서 루트 0, 1 및 2(도 3 참조)를 통한 다양한 음향 반사들이 명확하게 관측된다. 더 특별하게는, 도 4는 펄스를 방출하는 폰으로부터 대략 10-12 cm 떨어진 모니터 스크린에 의해 야기되는 반사를 도시하는 반면, 도 5는 폰 앞의 대략 10-14 cm에서 실제 사람 얼굴에 의해 야기되는 상이한 에코 서명을 도시한다.
일부 구현예들에서, 소닉 프로브 신호는 2 내지 13의 순의 Barker 코드들(그것의 원래 형태이거나 이진 위상-시프트 키잉(BPSK) 변조를 이용하며, 여기서, 캐리어 주파수는 각각의 비트 레벨 변경에 대해 180도만큼 위상을 시프트함), 또는 의사 랜덤 M-시퀀스들과 같은, 최대 상관 신호이다. 일부 구현예들에서, 소닉 프로브 신호는 (다양한 주파수 범위들, 및 스위핑 및 진폭 포락선들의) 짧은 처프들로 구성된다. 프로빙 신호는, 예를 들어, CTFM 신호일 수 있다. 이러한 짧은, 고주파수 신호들은 (스마트폰 또는 태블릿의 경우, 예를 들어, 그것이 캡처를 위해 전방 카메라를 사용할 때 타겟을 자연스럽게 대향함에 따라) 이어피스와 같은 오디오 출력 컴포넌트로부터 전송된다. 그러나, 일부 구현예들에서, 다른 또는 다수의 디바이스 사운드 트랜스듀서들은 생체인식 타겟 상에 소닉 프로브를 더 양호하게 집중시키기 위한 빔형성을 위해 사용된다.
소닉 프로브 신호는 개시되는 기법들의 구현예들 중 다양한 형태들을 취할 수 있다. 예를 들어, 일 구현예에서, 소닉 프로브 신호는 16 kHz 내지 20 kHz를 스위핑하는 Hanning-윈도우형 선형 처프들을 가지는 CTFM 신호이다. 또다른 구현예에서, 프로브 신호는 44100 Hz에서 샘플링된 11.25 kHz 캐리어 주파수에서 180도 시프트 사인 BPSK를 가지는 Barker-2 시퀀스와 같은, 최대 상관 시퀀스이다. 추가적인 구현예에서, 프로브 신호는 윈도우화된 처프 신호이다. 처프는, 예를 들어, 11.25 kHz의 시작 주파수를 가지고, 10 ms 내에서 22.5kHz까지 스위핑하며 44100 Hz에서 샘플링되는 코사인 신호일 수 있다. 윈도우 함수는 6의 베타 값을 가지는, 길이 440개 샘플들(44.1 kHz 샘플링 레이트에서 10 ms)의 Kaiser 윈도우일 수 있다. 이전 값들은 적절하게 정확한 결과들을 제공하는 프로브 신호 파라미터들을 나타낸다. 그러나, 정확한 결과들을 제공하는 프로브 신호 파라미터들이 디바이스 및 오디오 입력/출력 컴포넌트 특성들에 기초하여 달라질 수 있다는 것이 이해될 것이다. 따라서, 다른 값들의 범위들이 본 기법들과 함께 사용하기 위해 참작된다.
일부 구현예들에서, 방출되는 프로브 신호의 초기 위상, 주파수, 및 정확한 재생 시작, 또는 심지어 코드 타입 자체는 모바일 생체인식 모듈에 의해 (예를 들어, PSK 코딩된 Barker 프로브 펄스 트레인에 대해) 랜덤화될 수 있다. 이러한 랜덤화는 재생된 가짜 에코가 폰에 대해 재생되어 제안된 소닉 페이스니스 체크기를 무산시키는(defeat) 가정된(그러나, 멀리 도달하며 정교한) 공격들을 막을 수 있다. 아웃고잉(outgoing) 프로브의 코딩된 소닉 시퀀스 또는 다른 동작 속성들의 PSK 변조의 온-더-플라이 랜덤화된 위상/타입/시작/주파수를 공격자가 모를 수 있기 때문에, 가상의 주입된 에코들이 정합 필터에 의해 복조되지도 않고, 정확하게 예상된 패턴들을 따르지도 않을 것이다.
기본 Barker 코드/처프/CTFM 절차 동안, 그것의 왕복 거리에 기초하여 시간 상(그리고 따라서 CTFM에 대한 주파수 상) 지연되는, 프로브 신호의 반사는 디바이스의 마이크로폰(들) 또는 다른 오디오 입력 컴포넌트(들)에 의해 레코딩된다. 오리지널 처프 또는 다른 방식으로 코딩되는 음향 프로브는 (Barker 및 짧은 처프에 대해) 정합 필터 또는 자기-상관에 의해 검출되거나, 또는 에코를 오리지널 주파수 램프로 곱하여 더 낮은 주파수 부산물(byproduct)을 취함으로써(헤테로다인법) 검출될 수 있다. 타겟의 각각의 충돌된 면은 그것의 텍스처 및 구조상의 특징들(예를 들어, 공기와 충돌된 표면 사이의 음향 임피던스 차이, 뿐만 아니라 그것의 크기 및 형상), 및 음원으로부터의 거리(사운드 왕복 지연)에 관련된 방식으로 프로브 펄스를 반사시킨다. 따라서, 그것의 단순한 형태로(잡음 및 원치 않는 배경 에코들이 없다고 가정하여), 얼굴은 (공기-스킨 및 소프트 조직-뼈 인터페이스들에서의 그것의 다수의 주요 면들에 의해 반사되는 바와 같이) 더 낮은 크기들로 다수의 반사들을 가질 반면, 예를 들어, 스푸핑 모니터 스크린은 단일의 더 강한 반사를 가질 것이다(도 4 및 5를 비교).
각각의 반사의 왕복 지연이 주어지면, 각각의 반사 타겟 면의 거리는 정합된 필터/자기-상관 응답에서의 시간 지연, 또는 전력 스펙트럼 밀도 또는 PSD에서의 주파수 델타(도 6 및 7 참조, 하기에 추가로 기술됨)로 변환되어, 타겟-특정적 에코 형태학을 제공한다. CTFM 신호들로부터의 PSD 특징들을 계산하기 위해, 상이한 방법들이 사용될 수 있다. 일부 구현예들에서, 멀티테이퍼 방법이 복조된 에코의 0-200 Hz 스팬에 적용되고, 빈 형식의(binned) 출력이, 예를 들어, 선형 또는 가우시안 커널 지원 벡터 머신이거나, 또는 유사할 수 있는 분류자에 대한 입력으로서 사용된다.
보다 구체적으로, 다양한 구현예들에서, 후속하는 단계들 중 하나 이상이 처프/코딩된 펄스 변조 및 타겟 분류를 위해 취해진다. 한 경우에서, 소닉 프로브는 마이크로폰 판독들을 빈번하게(예를 들어, 100ms마다, 500ms마다, 1s마다 등) 체크하고, 잠재적으로 방해하는 잡음을 청취함으로써 소리가 큰 음향 환경을 회피한다. 이러한 체크는 상관 처프/코딩된-펄스 프로브 신호(시간 역전된 것과의 컨볼루션)를 계산하는 것, 및 적당히 조용한 환경에서 획득되는 것으로 트리거 임계를 설정하는 것을 포함할 수 있다. 일부 구현예들에서, 방해 잡음이 소닉 핑 직후에 발생하는지를 결정하기 위해 음향 프로브 신호를 재생한 이후 금방 추가적인 유사한 체크가 수행된다. 그러한 경우, 세션이 폐기될 수 있다. 다수의 처프들은 또한 신호 또는 결정 스코어 레벨에서 평균화(또는 중앙-프로세싱)되어 결과들을 개선시킬 수 있다.
일 구현예에서, 전처리는 전송된 처프/코딩된 신호에 관련된 주파수들만을 허용하도록 수신된 신호의 하이 패스 필터링을 수반한다. 이러한 하이 패스 필터는, 예를 들어, 9300 Hz의 스톱밴드 주파수, 11750 Hz의 패스밴드 주파수, 0.015848931925의 스톱밴드 감쇠, 0.037399555859의 패스밴드 리플, 및 20의 밀도 인자를 가지는 균등리플(equiripple) 유한 임펄스 응답 필터일 수 있다.
일부 구현예들에서, 복조는 (소닉 프로브의 시간 역전된 버전과의 정규화된 컨볼루션과 등가인) 원래 소닉 처프/코딩된 신호와의 하이-패스 수신된 에코의 정규화된 교차-상관을 포함한다. 최대 응답은 디코딩된 신호의 시작/원점으로 간주된다. 복조는, 예를 들어, 위에서 언급된 시작 이전의 신호 0.227ms, 내지 2.27ms까지의 부분의 자기-상관 + 시작 마커 다음의, 처프/코딩된 신호의 시간 길이를 포함할 수 있다. 복조된 신호의 후처리는 그것의 분석 신호의 크기(실수 신호 더하기 허수인, 그것의 90도 위상 시프트된 버전으로 구성되는 복소 나선 시퀀스)를 계산하여, 복조된 에코의 포락선을 추가로 명료화시키는 것을 포함할 수 있다. 일 구현예에서, 44100 Hz 샘플링 레이트를 가정하면, 위의 크기의 분석 신호의 처음 100개 샘플들은, 처음 20개 샘플들에 대해 1이며 샘플들 21-100에 대해 5로 선형적으로 상승하는 구분적 선형 가중 인자로 추가로 곱해져서, 이동 거리로 인한 사운드 감쇠를 보상한다. 2차 체제(second-order regime)에 따르는 것과 같은, 다른 가중 인자들이 사용될 수 있다.
도 6은 얼굴의 상이한 면들로부터의 다수의 반사들을 도시한다(3개의 샘플들이, CTFM 기법을 사용하여, 도시된다). 이러한 에코들은 (스푸프 서명들이 아니라) 특정 공간 얼굴 구조들을 노출시킨다. 이는 복조된 소닉 프로브 에코들에 의해 검출되는 바와 같이 상이한 음향 경로들의 상이한 지연들(및 크기들)로 인한 것이다. 반면, 도 7에 도시된 스푸핑 디스플레이는 대부분, 복조 동안 단일의, 큰 피크를 야기한다. 특정 폰들의 오디오 회로들에 의해 부과되는 20 KHz 주파수 상한으로 인해 통상적인 얼굴의 낮은 공간적 분해능 및 높은 산란으로부터 도전들이 발생할 수 있다. 다른 도전들은 제어되지 않은 환경에 의해 유도되는 사용자 행동 및 배경 잡음 및 모션/반사 결함들, 및 디바이스 오디오 회로 제한들로 인한 전체의 낮은 SNR에 의해 야기되는 변형들을 포함하며, 모두 본원에 기술되는 기법들에 의해 다루어진다.
일부 구현예들에서, 전술된 분류자에 대해 설정된 특징은 랜덤 서브세트 앙상블 분류 기법을 사용하여 최상의 분류 성능을 위해 선택되는 서브세트들의 집합이다. 랜덤 부분공간 분류자 앙상블은, 예를 들어, k-최근접 이웃 분류자들의 합산-규칙-유합형(sum-rule-fused) 집합, 또는 디코딩된 분석 신호들의 특성 벡터들의 세트 상에서 동작하는 지원 벡터 머신들의 합산-규칙-유합형 집합일 수 있다. 부록 A 및 B는 랜덤 부분공간 앙상블 구축 방법론을 사용하여 실험적으로 유도되는 분류자들 및 입력 공간들을 제공한다. 부록 A는, kNN개 앙상블 분류자들과 함께 랜덤 부분공간 샘플링을 사용하여, 실제 사용자들로부터 레코딩되는 18,000개 초과의 에코들, 뿐만 아니라, 다양한 스푸핑 스크린들로 구성되는 큰 트레이닝/테스팅 데이터세트를 사용하여 선택되는 80개 특성 벡터들의 예시적인 세트를 열거한다. 부분공간들은 상이한 부분공간 구성들(즉, 입력 샘플 위치들 및 디멘젼들, 뿐만 아니라 참여 분류자들의 번호)의 (ROC 곡선 분석을 통해 측정되는) 평균 교차 유효화 성능에 기초하여 획득되었다. 각각의 번호의 열 위치는 44100 Hz의 샘플링 레이트를 사용하여, 처프/코딩된 신호 전송의 디코딩된 시작으로부터의 디지털 신호 샘플 번호를 도시한다. 또다른 구현예에서, 부분공간 앙상블은 부록 B에 열거되는 디코딩된 분석 신호들의 40개의 특성 벡터들의 세트를 수신하는 Gaussian 커널들을 가지는 지원 벡터 머신 분류자들의 집합이며, 이들의 피셔 판별비(Fisher Discriminant Ratio)들에 기초하여(더 큰 데이터 세트를 사용하는 피셔 판별 선형 분류로부터) 부록 A 내의 80개 특징들의 서브세트로서 선택된다. 다시, 각각의 번호의 열 위치는 44100 Hz의 샘플링 레이트를 사용하여, 처프/디코딩된 신호 전송의 디코딩된 시작으로부터의 디지털 신호 샘플 번호를 도시한다.
에코 공간 내에서 특정 얼굴들의 표현들(및 단지 포괄적인 얼굴들 대 스푸프들이 아닌)을 정학하게 식별하기 위해, 일부 구현예들에서, 소나 분류자는 대상-특정적이도록(그리고, 가능하게는, 후속하는 방법이 조합된 사용자-디바이스 특색들을 수용함에 따라, 디바이스-특정적이도록) 트레이닝된다. 이러한 기능성은 대표적인 사기꾼 인구(impostor population)(그리고, 대상 특수성에 대해, 단지 스푸프들이 아닌)의 특징들에 대해, 생체인식 등록 동안 획득된, 사용자의 음향 특징들을 구별하도록 분류자를 트레이닝함으로써 달성될 수 있다. 이 방법의 또다른 장점은, 등록 동안 획득된 특징들이 또한 등록을 위해 사용되는 디바이스의 세부사항들을 반영하는 것이며, 따라서, 분류자들은 특정 디바이스의 음향 특색들에 대해 적응된다. 결과적인 사용자(및 디바이스) 특정적 소닉 패턴 검출자는 더 정확한, 사용자(및 디바이스)-튜닝된 스푸핑-방지 분류자의 일부로서 사용될 수 있으며, 여기서 이러한 대상-특정적 분류는 전술된 스푸프-검출 분류자와 조합된다. 일부 구현예들에서, 사용자-특정적 소닉 프로파일 검출자 자체는 소프트 생체인식으로서 사용될 수 있다.
안구/얼굴 생체인식 타겟의 위의 음향 질의들은 더 양호한 스푸핑-방지를 위해, 장면 질의 모바일 디바이스에 의해 전달되는 구조화된 광에 대한 얼굴 측광 응답들에 의해 향상될 수 있다. 일부 구현예들에서, 구조화된 광은 코딩된 강도, 코딩된 색 변경들, 코딩된 공간 분포, 및/또는 예를 들어, 내장된 LCD 또는 LED 광원들을 통해 디바이스에 의해 전달되는 광의 코딩된 위상 변경들의 형태이다. 전술된 코드들은 Barker 또는 M-시퀀스들과 같은 주파수 체제들 및 특정 최대 상관 시퀀스들의 견지에서 정의될 수 있다. 다른 구현예들에서, 사용자의 얼굴의 측광 프로파일들은 사용자들 대 스푸프들(사용자에 구속받지 않는(user-agnostic) 측광 페이스니스)의 포괄적 인구 프로파일들에 기초하여 미리 계산된다.
또한, 일부 구현예들에서, 유효화된 등록 시 사용자의 측광 반사들에 의해 검출되는 바와 같은, 사용자의 얼굴의 3D 프로파일들은 사용자-특수성에 대해 분류자들에 의해 학습된다. 소닉 양상과 함께 또는 스스로, 이러한 사용자 특정적 포트폴리오들은, 또한 더 큰 대상-특수성, 및 따라서 이러한 스푸핑-방지 수단들 내에 정확성을 유도하는 소프트 생체인식들로서 사용될 수 있다.
본원에 기술되는 시스템들 및 기법들은 백 엔드 컴포넌트를 (예를 들어, 데이터 서버로서) 포함하는, 또는 미들웨어 컴포넌트를 (예를 들어, 응용 서버) 포함하는, 또는 프론트 엔드 컴포넌트(예를 들어, 사용자가 본원에 기술되는 시스템들 및 기법들의 구현예와 상호작용할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저를 가지는 클라이언트 컴퓨터), 또는 이러한 백 엔드 미들웨어, 또는 프론트 엔드 컴포넌트들의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 상호접속될 수 있다. 통신 네트워크들의 예들은 로컬 영역 네트워크("LAN"), 광역 네트워크("WAN"), 및 인터넷을 포함한다.
컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 원격이며, 통신 네트워크를 통해 상호작용할 수 있다. 클라이언트와 서버의 관계는 각자의 컴퓨터들 상에서 실행하며, 서로에 대해 클라이언트-서버 관계를 가지는 컴퓨터 프로그램들에 의해 발생한다. 다수의 실시예들이 기술되었다. 그럼에도, 발명의 사상 및 범위로부터 벗어나지 않고 다양한 수정들이 이루어질 수 잇다는 것이 이해될 것이다.
이 명세서에 기술되는 발명 대상 및 동작들의 실시예들은 디지털 전자 회로에서, 또는 이 명세서 및 이들의 구조적 등가물들에서 개시되는 구조들을 포함하는, 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어에서, 이 명세서에 개시된 구조들 및 이들의 구조적 등가물들을 포함하는, 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어에서, 또는 이들 중 하나 이상의 조합들에서 구현될 수 있다. 이 명세서에 기술되는 발명 대상의 실시예들은 데이터 프로세싱 장치에 의해 실행하기 위한 컴퓨터 저장 매체 상에서 인코딩된, 또는 데이터 프로세싱 장치의 동작을 제어하기 위한 하나 이상의 컴퓨터 프로그램들, 즉, 컴퓨터 프로그램 명령들의 하나 이상의 모듈들로서 구현될 수 있다. 대안적으로 또는 추가로, 프로그램 명령들은 데이터 프로세싱 장치에 의한 실행을 위해 적절한 수신 장치로의 전송을 위해 정보를 인코딩하도록 생성되는, 인위로-생성된 전파 신호, 예를 들어, 머신-생성된 전기적, 광학적, 또는 전자기적 신호 상에서 인코딩될 수 있다. 컴퓨터 저장 매체는, 컴퓨터-판독가능한 저장 디바이스, 컴퓨터-판독가능한 저장 기판, 랜덤 또는 직렬 액세스 메모리 어레이 또는 디바이스, 또는 이들 중 하나 이상의 조합일 수 있거나, 이들 내에 포함될 수 있다. 또한, 컴퓨터 저장 매체가 전파 신호가 아니지만, 컴퓨터 저장 매체는 인위적으로-생성된 전파 신호 내에 인코딩된 컴퓨터 프로그램 명령들의 소스 또는 목적지일 수 있다. 또한, 컴퓨터 저장 매체는 또한, 하나 이상의 별도의 물리적 컴포넌트들 또는 매체들(예를 들어, 다수의 CD들, 디스크들, 또는 다른 저장 디바이스들)일 수 있거나, 또는 그 내에 포함될 수 있다.
이 명세서에 기술되는 동작들은 하나 이상의 컴퓨터-판독가능한 저장 디바이스 상에 저장되는 또는 다른 소스들로부터 수신되는 데이터에 대해 데이터 프로세싱 장치에 의해 수행되는 동작들로서 구현될 수 있다.
용어 "데이터 프로세싱 장치"는 예시에 의해 프로그래밍가능한 프로세서, 컴퓨터, 시스템 온 어 칩, 또는 이전 항목들 중 다수의 것들, 또는 그 조합들을 포함하는, 데이터를 프로세싱하기 위한 모든 종류의 장치, 디바이스들, 및 머신들을 포함한다. 장치는 특수 목적 논리 회로, 예를 들어, FPGA(field programmable gate array)(필드 프로그래밍가능 게이트 어레이) 또는 ASIC(application-specific integrated circuit)(응용-특정적 집적 회로)을 포함할 수 있다. 장치는 하드웨어 뿐만 아니라, 질문에서 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들어, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 교차-플랫폼 런타임 환경, 가상 머신, 또는 이들 중 하나 이상의 조합을 구성하는 코드를 또한 포함할 수 있다. 장치 및 실행 환경은 다양한 상이한 컴퓨팅 모델 인프라구조들, 예컨대, 웹 서비스들, 분산형 컴퓨팅 및 그리드 컴퓨팅 인프라 구조들을 구현할 수 있다.
컴퓨터 프로그램(또한 프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트, 또는 코드로서 알려짐)은 컴파일 언어 또는 해석된 언어, 선언 언어 또는 절차 언어를 포함하는, 임의의 형태의 프로그래밍 언어로 기입될 수 있고, 그것은, 독립형 프로그램으로서 또는 모듈, 컴포넌트, 서브루틴, 오브젝트, 또는 컴퓨팅 환경에서 사용하기에 적합한 다른 유닛으로 배치될 수 있다. 컴퓨터 프로그램은 파일 시스템 내의 파일에 대응할 수 있지만, 그럴 필요는 없다. 프로그램은 다른 프로그램들 또는 데이터를 보유하는 파일의 일부분(예를 들어, 마크업 언어 리소스에 저장되는 하나 이상의 스크립트들)에, 질의 시 프로그램에 전용되는 단일 파일에, 또는 다수의 조정된 파일들(예를 들어, 하나 이상의 모듈들, 서브-프로그램들, 또는 코드의 일부분들을 저장하는 파일들)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 상에서 또는 하나의 사이트에 위치되거나 다수의 사이트에 걸쳐 분산되고 통신 네트워크에 의해 상호접속되는 다수의 컴퓨터 상에서 실행되도록 배치될 수 있다.
이 명세서에 기술되는 발명 대상의 실시예들은, 예를 들어, 데이터 서버로서, 백-엔드 컴포넌트를 포함하는, 또는 미들웨어 컴포넌트, 예를 들어, 응용 서버를 포함하는, 또는 프론트-엔드 컴포넌트, 예를 들어, 사용자가 이 명세서에 기술되는 발명 대상의 구현예와 상호작용할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저를 가지는 클라이언트 컴퓨터를 포함하는, 또는 하나 이상의 이러한 백-엔드, 미들웨어, 또는 프론트-엔드 컴포넌트들의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은 임의의 형태 또는 매체의 디지털 데이터 통신, 예를 들어, 통신 네트워크에 의해 상호작용될 수 있다. 통신 네트워크들의 예들은 로컬 영역 네트워크("LAN") 및 광역 네트워크("WAN"), 인터-네트워크(예를 들어, 인터넷), 및 피어-투-피어 네트워크들(예를 들어, 애드 혹 피어-투-피어 네트워크들)을 포함한다.
컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 원격이며, 통신 네트워크를 통해 상호작용할 수 있다. 클라이언트와 서버의 관계는 각자의 컴퓨터들 상에서 실행하는 그리고 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램들에 의해 발생한다. 일부 실시예들에서, 서버는 데이터(예를 들어, HTML 페이지)를 클라이언트 디바이스에 (예를 들어, 클라이언트 디바이스와 상호작용하는 사용자에게 데이터를 디스플레이하고, 이로부터 사용자 입력을 수신할 목적으로) 전송한다. 클라이언트 디바이스에서 생성된 데이터(예를 들어, 사용자 상호작용의 결과)는 서버에서 클라이언트 디바이스로부터 수신될 수 있다.
하나 이상의 컴퓨터들의 시스템은 소프트웨어, 펌웨어, 하드웨어, 또는 동작 시 시스템이 액션들을 수행하게 하는 시스템 상에 설치된 이들의 조합에 의해, 특정 동작들 또는 액션들을 수행하도록 구성될 수 있다. 하나 이상의 컴퓨터 프로그램들은, 데이터 프로세싱 장치에 의해 실행될 때, 장치가 액션들을 수행하게 하는 명령들을 포함시킴으로써, 특정 동작들 또는 액션들을 수행하도록 구성될 수 있다.
부록 A
특성 벡터 세트 1:
분류자 1: 7, 9, 14, 15, 18, 20, 24, 27, 35, 37, 40, 45, 55, 58, 60, 64, 65, 70, 80, 81, 98, 100
분류자 2: 6, 12, 13, 23, 26, 36, 44, 47, 50, 52, 58, 59, 63, 64, 67, 76, 77, 85, 86, 87, 89, 92
분류자 3: 10, 21, 22, 25, 31, 32, 34, 37, 38, 46, 49, 62, 72, 73, 80, 82, 83, 84, 86, 90, 93, 95
분류자 4: 1, 2, 5, 8, 15, 17, 20, 22, 23, 28, 29, 30, 41, 42, 51, 56, 61, 78, 83, 94, 96, 99
분류자 5: 3, 4, 12, 16, 28, 30, 32, 37, 39, 43, 45, 54, 57, 60, 63, 66, 76, 78, 84, 87, 88, 97
분류자 6: 4, 11, 13, 19, 27, 31, 39, 44, 47, 48, 49, 53, 58, 69, 71, 74, 75, 91, 93, 94, 99, 100
분류자 7: 1, 2, 4, 6, 8, 9, 11, 13, 26, 33, 36, 41, 50, 51, 54, 67, 68, 69, 73, 79, 85, 90
분류자 8: 10, 14, 17, 18, 19, 24, 33, 34, 36, 38, 41, 43, 52, 55, 59, 60, 68, 92, 93, 96, 98, 100
분류자 9: 8, 17, 22, 23, 24, 25, 27, 30, 35, 40, 46, 56, 57, 62, 63, 70, 71, 72, 79, 88, 89, 99
분류자 10: 3, 5, 9, 11, 29, 42, 58, 61, 62, 63, 66, 71, 75, 77, 80, 81, 82, 90, 94, 95, 96, 97
분류자 11: 1, 3, 6, 14, 16, 21, 25, 32, 34, 35, 38, 39, 48, 49, 53, 55, 66, 70, 75, 78, 80, 97
분류자 12: 7, 10, 15, 20, 24, 31, 33, 36, 40, 43, 44, 50, 52, 65, 67, 74, 76, 85, 91, 96, 98, 99
분류자 13: 9, 16, 19, 20, 26, 41, 46, 47, 48, 49, 51, 68, 69, 73, 77, 82, 83, 84, 87, 89, 91, 95
분류자 14: 2, 6, 8, 11, 18, 23, 26, 28, 29, 35, 38, 42, 45, 57, 61, 62, 64, 72, 88, 93, 96, 100
분류자 15: 6, 12, 19, 20, 21, 37, 42, 43, 53, 54, 58, 59, 61, 70, 73, 74, 77, 78, 79, 83, 86, 93
분류자 16: 3, 5, 6, 7, 18, 28, 30, 35, 39, 47, 51, 54, 55, 56, 65, 72, 82, 85, 86, 89, 90, 92
분류자 17: 1, 2, 7, 31, 33, 34, 36, 39, 46, 56, 59, 64, 65, 66, 67, 69, 75, 79, 81, 86, 87, 92
분류자 18: 9, 12, 13, 14, 15, 16, 17, 21, 27, 41, 44, 45, 49, 52, 57, 74, 76, 77, 81, 88, 91, 95
분류자 19: 5, 17, 26, 29, 30, 45, 46, 48, 63, 65, 67, 68, 71, 72, 74, 75, 76, 88, 92, 96, 97, 98
분류자 20: 1, 9, 13, 19, 21, 22, 25, 27, 37, 47, 50, 51, 53, 60, 61, 66, 70, 78, 79, 84, 95, 98
분류자 21: 1, 2, 11, 12, 16, 18, 29, 32, 40, 42, 48, 50, 57, 62, 71, 73, 83, 84, 87, 90, 94, 100
분류자 22: 3, 4, 7, 10, 15, 23, 25, 26, 31, 32, 33, 41, 43, 52, 56, 58, 76, 82, 88, 91, 92, 99
분류자 23: 3, 4, 5, 7, 8, 12, 13, 22, 23, 33, 34, 38, 40, 44, 54, 60, 62, 63, 64, 89, 94, 97
분류자 24: 10, 14, 15, 16, 20, 21, 27, 30, 42, 45, 47, 53, 68, 69, 72, 74, 79, 80, 81, 84, 89, 97
분류자 25: 10, 11, 24, 28, 29, 32, 43, 44, 52, 64, 65, 66, 70, 71, 75, 77, 85, 87, 90, 94, 95, 100
분류자 26: 5, 8, 16, 29, 33, 36, 37, 40, 52, 53, 54, 55, 56, 57, 59, 60, 69, 73, 82, 86, 91, 97
분류자 27: 2, 5, 6, 12, 17, 22, 25, 34, 35, 39, 46, 48, 55, 59, 61, 64, 73, 75, 78, 79, 90, 99
분류자 28: 2, 4, 9, 18, 24, 27, 31, 34, 36, 37, 42, 43, 44, 66, 78, 80, 81, 83, 85, 93, 96, 98
분류자 29: 4, 5, 8, 13, 14, 17, 18, 19, 22, 26, 28, 38, 45, 46, 49, 51, 58, 60, 61, 72, 89, 93
분류자 30: 20, 21, 27, 29, 31, 38, 40, 41, 50, 54, 58, 64, 65, 67, 68, 69, 81, 82, 92, 94, 98, 100
분류자 31: 3, 4, 7, 9, 11, 19, 25, 26, 28, 30, 33, 53, 54, 55, 57, 65, 67, 71, 76, 80, 83, 86
분류자 32: 2, 8, 10, 12, 14, 21, 23, 32, 35, 36, 47, 49, 56, 62, 69, 70, 77, 82, 84, 91, 95, 99
분류자 33: 1, 14, 17, 18, 24, 28, 34, 39, 48, 51, 53, 59, 63, 67, 74, 85, 87, 88, 89, 95, 97, 100
분류자 34: 3, 10, 11, 13, 15, 23, 28, 31, 35, 43, 46, 50, 51, 55, 60, 63, 68, 71, 77, 85, 88, 98
분류자 35: 1, 6, 19, 38, 41, 42, 44, 45, 46, 47, 56, 57, 58, 61, 70, 73, 79, 81, 84, 90, 92, 100
분류자 36: 16, 24, 25, 30, 32, 35, 37, 40, 48, 50, 52, 56, 64, 65, 66, 68, 72, 75, 76, 80, 87, 94
분류자 37: 6, 7, 8, 39, 48, 54, 55, 57, 59, 63, 67, 74, 78, 79, 82, 86, 87, 89, 91, 93, 96, 99
분류자 38: 4, 13, 15, 20, 23, 29, 31, 39, 40, 41, 42, 43, 47, 49, 50, 53, 59, 72, 73, 75, 82, 84
분류자 39: 7, 15, 16, 17, 20, 22, 25, 27, 49, 51, 60, 62, 65, 76, 77, 80, 86, 91, 92, 93, 95, 97
분류자 40: 1, 11, 14, 22, 24, 26, 28, 30, 35, 36, 38, 41, 49, 52, 56, 61, 78, 83, 90, 92, 96, 99
분류자 41: 2, 9, 12, 18, 21, 30, 33, 34, 44, 47, 49, 61, 69, 71, 74, 76, 77, 81, 84, 85, 93, 94
분류자 42: 3, 8, 12, 19, 22, 26, 31, 32, 42, 48, 50, 51, 64, 66, 67, 70, 79, 83, 87, 91, 98, 100
분류자 43: 4, 6, 10, 21, 23, 34, 37, 44, 45, 46, 52, 55, 57, 58, 59, 60, 63, 68, 75, 78, 79, 94
분류자 44: 2, 5, 7, 11, 13, 23, 24, 39, 41, 43, 57, 62, 70, 72, 74, 77, 80, 84, 88, 94, 97, 100
분류자 45: 3, 5, 10, 14, 16, 21, 32, 33, 34, 39, 45, 64, 70, 73, 74, 83, 87, 88, 89, 90, 96, 99
분류자 46: 10, 15, 18, 19, 20, 25, 26, 29, 40, 52, 55, 58, 62, 68, 78, 81, 85, 86, 89, 93, 96, 98
분류자 47: 1, 8, 10, 15, 27, 30, 32, 33, 36, 38, 48, 53, 54, 66, 67, 69, 70, 71, 85, 95, 97, 98
분류자 48: 2, 3, 5, 7, 9, 14, 22, 28, 43, 47, 50, 51, 53, 54, 65, 71, 73, 76, 81, 82, 83, 92
분류자 49: 4, 6, 16, 17, 25, 31, 35, 41, 42, 45, 50, 51, 55, 62, 68, 77, 79, 80, 83, 86, 87, 95
분류자 50: 1, 5, 9, 12, 13, 17, 18, 21, 24, 28, 37, 38, 39, 40, 61, 63, 69, 70, 73, 75, 82, 91
분류자 51: 2, 3, 11, 15, 19, 26, 27, 29, 32, 34, 36, 37, 44, 48, 56, 59, 62, 66, 69, 71, 90, 93
분류자 52: 8, 12, 14, 20, 22, 35, 47, 52, 54, 57, 60, 63, 64, 65, 69, 72, 78, 81, 84, 88, 91, 96
분류자 53: 4, 8, 17, 29, 31, 42, 43, 46, 48, 53, 56, 58, 60, 61, 62, 65, 66, 68, 75, 76, 86, 94
분류자 54: 7, 13, 15, 16, 19, 20, 21, 24, 25, 33, 36, 49, 70, 80, 86, 89, 90, 94, 95, 98, 99, 100
분류자 55: 2, 6, 7, 10, 13, 18, 19, 22, 23, 29, 30, 40, 57, 58, 65, 66, 67, 72, 73, 88, 92, 99
분류자 56: 1, 6, 9, 11, 18, 20, 27, 30, 38, 44, 59, 74, 75, 78, 82, 84, 85, 86, 89, 91, 92, 97
분류자 57: 5, 12, 26, 33, 37, 38, 39, 42, 45, 46, 49, 52, 54, 56, 60, 66, 71, 73, 77, 90, 91, 94
분류자 58: 6, 8, 16, 26, 28, 34, 35, 41, 44, 45, 46, 49, 50, 63, 68, 72, 79, 83, 87, 96, 97, 99
분류자 59: 1, 4, 17, 23, 27, 29, 30, 31, 40, 43, 50, 51, 61, 64, 67, 68, 74, 76, 81, 93, 95, 100
분류자 60: 2, 3, 11, 13, 23, 24, 25, 35, 47, 49, 52, 56, 57, 59, 71, 74, 75, 79, 81, 88, 96, 98
분류자 61: 1, 7, 9, 12, 16, 17, 22, 32, 34, 36, 37, 46, 53, 72, 76, 77, 82, 85, 87, 88, 92, 95
분류자 62: 3, 4, 11, 14, 17, 18, 22, 24, 25, 31, 50, 51, 54, 55, 57, 63, 78, 80, 87, 89, 92, 97
분류자 63: 5, 6, 20, 21, 24, 32, 33, 36, 37, 38, 39, 43, 44, 46, 47, 60, 64, 66, 67, 69, 83, 90
분류자 64: 7, 10, 14, 15, 19, 27, 28, 35, 40, 45, 48, 53, 54, 59, 61, 78, 82, 84, 85, 96, 98, 100
분류자 65: 1, 8, 12, 15, 27, 29, 34, 40, 41, 44, 47, 52, 53, 55, 58, 59, 66, 70, 80, 89, 93, 97
분류자 66: 2, 5, 6, 9, 10, 14, 26, 28, 31, 42, 43, 56, 60, 62, 63, 74, 80, 81, 90, 95, 98, 99
분류자 67: 11, 13, 18, 20, 21, 27, 37, 38, 41, 42, 45, 51, 61, 62, 70, 76, 77, 82, 83, 88, 91, 93
분류자 68: 2, 3, 9, 11, 12, 15, 19, 25, 27, 32, 36, 40, 49, 68, 69, 71, 72, 75, 85, 90, 98, 99
분류자 69: 13, 16, 17, 18, 26, 29, 30, 32, 36, 39, 41, 46, 48, 55, 58, 61, 64, 65, 67, 79, 86, 100
분류자 70: 1, 4, 23, 25, 30, 33, 34, 44, 45, 54, 60, 73, 77, 79, 84, 86, 89, 93, 94, 96, 98, 100
분류자 71: 2, 4, 10, 13, 20, 22, 28, 34, 37, 38, 44, 45, 50, 58, 67, 69, 73, 81, 87, 91, 92, 94
분류자 72: 8, 9, 11, 18, 19, 31, 47, 48, 54, 56, 57, 58, 62, 64, 68, 72, 74, 75, 84, 88, 97, 99
분류자 73: 3, 4, 5, 21, 24, 33, 35, 40, 42, 43, 53, 55, 59, 63, 64, 65, 78, 83, 84, 85, 95, 97
분류자 74: 7, 9, 16, 17, 20, 29, 32, 36, 39, 47, 51, 52, 53, 58, 59, 70, 71, 76, 80, 89, 93, 94
분류자 75: 5, 10, 12, 14, 19, 23, 26, 33, 41, 44, 56, 57, 59, 60, 62, 69, 72, 75, 91, 92, 95, 99
분류자 76: 22, 25, 31, 35, 38, 42, 43, 46, 50, 65, 66, 67, 78, 81, 83, 85, 86, 87, 89, 90, 97, 99
분류자 77: 1, 2, 3, 8, 10, 11, 37, 49, 54, 61, 63, 66, 68, 69, 71, 75, 76, 77, 78, 79, 83, 100
분류자 78: 1, 5, 8, 14, 20, 23, 24, 26, 28, 32, 35, 39, 46, 48, 52, 53, 55, 73, 80, 84, 88, 93
분류자 79: 3, 6, 7, 14, 16, 21, 29, 30, 37, 47, 52, 55, 60, 61, 62, 70, 74, 79, 81, 82, 92, 100
분류자 80: 7, 15, 22, 25, 31, 34, 35, 36, 41, 44, 45, 48, 49, 51, 53, 56, 72, 73, 77, 80, 81, 82
부록 B
특성 벡터 세트 2:
분류자 1: 7, 9, 14, 15, 18, 20, 24, 27, 35, 37, 40, 45, 55, 58, 60, 64, 65, 70, 80, 81, 98, 100
분류자 2: 1, 2, 5, 8, 15, 17, 20, 22, 23, 28, 29, 30, 41, 42, 51, 56, 61, 78, 83, 94, 96, 99
분류자 3: 3, 4, 12, 16, 28, 30, 32, 37, 39, 43, 45, 54, 57, 60, 63, 66, 76, 78, 84, 87, 88, 97
분류자 4: 4, 11, 13, 19, 27, 31, 39, 44, 47, 48, 49, 53, 58, 69, 71, 74, 75, 91, 93, 94, 99, 100
분류자 5: 1, 2, 4, 6, 8, 9, 11, 13, 26, 33, 36, 41, 50, 51, 54, 67, 68, 69, 73, 79, 85, 90
분류자 6: 3, 5, 9, 11, 29, 42, 58, 61, 62, 63, 66, 71, 75, 77, 80, 81, 82, 90, 94, 95, 96, 97
분류자 7: 7, 10, 15, 20, 24, 31, 33, 36, 40, 43, 44, 50, 52, 65, 67, 74, 76, 85, 91, 96, 98, 99
분류자 8: 2, 6, 8, 11, 18, 23, 26, 28, 29, 35, 38, 42, 45, 57, 61, 62, 64, 72, 88, 93, 96, 100
분류자 9: 3, 5, 6, 7, 18, 28, 30, 35, 39, 47, 51, 54, 55, 56, 65, 72, 82, 85, 86, 89, 90, 92
분류자 10: 5, 17, 26, 29, 30, 45, 46, 48, 63, 65, 67, 68, 71, 72, 74, 75, 76, 88, 92, 96, 97, 98
분류자 11: 3, 4, 7, 10, 15, 23, 25, 26, 31, 32, 33, 41, 43, 52, 56, 58, 76, 82, 88, 91, 92, 99
분류자 12: 3, 4, 5, 7, 8, 12, 13, 22, 23, 33, 34, 38, 40, 44, 54, 60, 62, 63, 64, 89, 94, 97
분류자 13: 5, 8, 16, 29, 33, 36, 37, 40, 52, 53, 54, 55, 56, 57, 59, 60, 69, 73, 82, 86, 91, 97
분류자 14: 2, 5, 6, 12, 17, 22, 25, 34, 35, 39, 46, 48, 55, 59, 61, 64, 73, 75, 78, 79, 90, 99
분류자 15: 2, 4, 9, 18, 24, 27, 31, 34, 36, 37, 42, 43, 44, 66, 78, 80, 81, 83, 85, 93, 96, 98
분류자 16: 4, 5, 8, 13, 14, 17, 18, 19, 22, 26, 28, 38, 45, 46, 49, 51, 58, 60, 61, 72, 89, 93
분류자 17: 3, 4, 7, 9, 11, 19, 25, 26, 28, 30, 33, 53, 54, 55, 57, 65, 67, 71, 76, 80, 83, 86
분류자 18: 4, 13, 15, 20, 23, 29, 31, 39, 40, 41, 42, 43, 47, 49, 50, 53, 59, 72, 73, 75, 82, 84
분류자 19: 4, 6, 10, 21, 23, 34, 37, 44, 45, 46, 52, 55, 57, 58, 59, 60, 63, 68, 75, 78, 79, 94
분류자 20: 2, 5, 7, 11, 13, 23, 24, 39, 41, 43, 57, 62, 70, 72, 74, 77, 80, 84, 88, 94, 97, 100
분류자 21: 3, 5, 10, 14, 16, 21, 32, 33, 34, 39, 45, 64, 70, 73, 74, 83, 87, 88, 89, 90, 96, 99
분류자 22: 2, 3, 5, 7, 9, 14, 22, 28, 43, 47, 50, 51, 53, 54, 65, 71, 73, 76, 81, 82, 83, 92
분류자 23: 4, 6, 16, 17, 25, 31, 35, 41, 42, 45, 50, 51, 55, 62, 68, 77, 79, 80, 83, 86, 87, 95
분류자 24: 1, 5, 9, 12, 13, 17, 18, 21, 24, 28, 37, 38, 39, 40, 61, 63, 69, 70, 73, 75, 82, 91
분류자 25: 4, 8, 17, 29, 31, 42, 43, 46, 48, 53, 56, 58, 60, 61, 62, 65, 66, 68, 75, 76, 86, 94
분류자 26: 2, 6, 7, 10, 13, 18, 19, 22, 23, 29, 30, 40, 57, 58, 65, 66, 67, 72, 73, 88, 92, 99
분류자 27: 5, 12, 26, 33, 37, 38, 39, 42, 45, 46, 49, 52, 54, 56, 60, 66, 71, 73, 77, 90, 91, 94
분류자 28: 1, 4, 17, 23, 27, 29, 30, 31, 40, 43, 50, 51, 61, 64, 67, 68, 74, 76, 81, 93, 95, 100
분류자 29: 1, 7, 9, 12, 16, 17, 22, 32, 34, 36, 37, 46, 53, 72, 76, 77, 82, 85, 87, 88, 92, 95
분류자 30: 3, 4, 11, 14, 17, 18, 22, 24, 25, 31, 50, 51, 54, 55, 57, 63, 78, 80, 87, 89, 92, 97
분류자 31: 5, 6, 20, 21, 24, 32, 33, 36, 37, 38, 39, 43, 44, 46, 47, 60, 64, 66, 67, 69, 83, 90
분류자 32: 7, 10, 14, 15, 19, 27, 28, 35, 40, 45, 48, 53, 54, 59, 61, 78, 82, 84, 85, 96, 98, 100
분류자 33: 2, 5, 6, 9, 10, 14, 26, 28, 31, 42, 43, 56, 60, 62, 63, 74, 80, 81, 90, 95, 98, 99
분류자 34: 2, 3, 9, 11, 12, 15, 19, 25, 27, 32, 36, 40, 49, 68, 69, 71, 72, 75, 85, 90, 98, 99
분류자 35: 1, 4, 23, 25, 30, 33, 34, 44, 45, 54, 60, 73, 77, 79, 84, 86, 89, 93, 94, 96, 98, 100
분류자 36: 2, 4, 10, 13, 20, 22, 28, 34, 37, 38, 44, 45, 50, 58, 67, 69, 73, 81, 87, 91, 92, 94
분류자 37: 3, 4, 5, 21, 24, 33, 35, 40, 42, 43, 53, 55, 59, 63, 64, 65, 78, 83, 84, 85, 95, 97
분류자 38: 7, 9, 16, 17, 20, 29, 32, 36, 39, 47, 51, 52, 53, 58, 59, 70, 71, 76, 80, 89, 93, 94
분류자 39: 5, 10, 12, 14, 19, 23, 26, 33, 41, 44, 56, 57, 59, 60, 62, 69, 72, 75, 91, 92, 95, 99
분류자 40: 1, 5, 8, 14, 20, 23, 24, 26, 28, 32, 35, 39, 46, 48, 52, 53, 55, 73, 80, 84, 88, 93
이 명세서가 많은 특정 구현 상세항목들을 포함하지만, 이들은 임의의 발명들의 또는 청구될 수 있는 것의 범위에 대한 제한들로서가 아니라, 오히려 특정 발명들의 특정 실시예들에 대해 특정적인 특징들의 기재들로서 해석되어야 한다. 별도의 실시예들의 상황에서 이 명세서에서 기술되는 특정 특징들은 또한 단일 실시예서 조합으로 구현될 수 있다. 반대로, 단일 실시예의 상황에서 기술되는 다양한 특징들은 또한 별도로 또는 임의의 적절한 하위 조합으로 다수의 실시예들에서 구현될 수 있다. 또한, 특징들이 특정 조합들에서 작용하는 것으로서 기술되고, 그리고 따라서 심지어 초기에 청구될 수 있지만, 청구되는 조합으로부터의 하나 이상의 특징들은, 일부 경우들에서, 조합으로부터 구현될 수 있고, 청구되는 조합은 하위 조합 또는 하위조합의 변형에 관련될 수 있다.
유사하게, 동작들이 특정 순서로 도면들에 도시되지만, 이는, 바람직한 결과들을 달성하기 위해, 이러한 동작들이 도시된 특정 순서로 또는 순차적 순서로 수행되는 것, 또는 모든 예시된 동작들이 수행되는 것을 요구하는 것으로서 이해되지 않아야 한다. 특정 환경들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 또한, 전술된 실시예들에서의 다양한 시스템 컴포넌트들의 분리는, 모든 실시예들에서 이러한 분리를 요구하는 것으로서 이해되지 않아야 하며, 기술된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품들로 패키지화될 수 있다는 것이 이해되어야 한다.
따라서, 발명 대상의 특정 실시예들이 기술되었다. 다른 실시예들이 후속하는 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에서 인용되는 액션들은 상이한 순서로 수행될 수 있으며, 여전히 바람직한 결과들을 달성할 수 있다. 추가로, 첨부 도면들에 도시되는 프로세스들은, 바람직한 결과들을 달성하기 위해, 반드시 도시된 특정 순서, 또는 순차적 순서를 요구하지는 않는다. 특정 구현예들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다.
Claims (25)
- 컴퓨터-구현형 방법으로서,
사용자 디바이스의 오디오 출력 컴포넌트를 사용하여, 하나 이상의 오디오 신호를 방출하는 단계;
상기 사용자 디바이스의 오디오 입력 컴포넌트를 사용하여, 타겟으로부터의 상기 오디오 신호들의 하나 이상의 반사를 수신하는 단계;
상기 하나 이상의 반사에 기초하여, 상기 타겟이 얼굴-유사 구조(face-like structure) 및 얼굴-유사 조직(face-like tissue) 중 적어도 하나를 포함하는지를 결정하는 단계;
상기 타겟의 복수의 이미지를 수신하는 단계;
상기 이미지에 기초하여, 상기 타겟이 제1 펄스를 가지는지를 식별하는 단계;
상기 타겟과의 물리적 접촉을 통해 상기 타겟의 제2 펄스를 측정하는 단계; 및
(i) 상기 타겟이 얼굴-유사 구조 및 얼굴-유사 조직 중 적어도 하나를 포함하는지에 대한 결정, (ii) 상기 타겟이 펄스를 갖는지에 대한 식별, 및 (iii) 상기 제2 펄스의 측정에 적어도 부분적으로 기초하여 상기 타겟이 스푸프(spoof)인지를 결정하는 단계
를 포함하는 방법. - 제1항에 있어서, 상기 사용자 디바이스는 스마트폰, 태블릿, 또는 랩톱을 포함하는 모바일 디바이스인 방법.
- 제1항에 있어서, 상기 하나 이상의 오디오 신호는 짧은 코딩된 펄스 핑들(short coded pulse pings), 단기 처프들(short term chirps), 또는 CTFM 핑들을 포함하는 방법.
- 제1항에 있어서,
상기 타겟의 물리적 특징들(physical features)을 식별하도록 분류자(classifier)를 트레이닝(training)하는 단계; 및
상기 분류자에 대한 입력으로서, 상기 타겟으로부터의 상기 오디오 신호들의 하나 이상의 반사에 기초하는 정보를 제공하는 단계
를 더 포함하고,
상기 타겟이 스푸프인지에 대한 결정은 추가로 상기 제공되는 입력에 응답하여 수신되는 상기 분류자의 출력에 적어도 부분적으로 기초하는 방법. - 제1항에 있어서, 상기 하나 이상의 오디오 신호의 하나 이상의 특성을 랜덤화(randomizing)하는 단계를 더 포함하는 방법.
- 제1항에 있어서,
상기 타겟의 복수의 이미지를 수신하는 단계; 및
상기 이미지들 내의 검출된 광 반사들에 기초하여, 상기 타겟이 3-차원 얼굴-유사 구조를 포함하는지를 결정하는 단계
를 더 포함하는 방법. - 제1항에 있어서, 상기 제1 펄스는 원격 광혈류측정(remote photoplethysmography)을 사용하여 식별되는 방법.
- 제1항에 있어서, 상기 제2 펄스가 상기 제1 펄스와 상관되는지를 결정하는 단계를 더 포함하고, 상기 타겟이 스푸프인지에 대한 결정은 추가로 상기 상관에 적어도 부분적으로 기초하는 방법.
- 제1항에 있어서, 상기 제2 펄스를 측정하는 단계는 상기 사용자 디바이스 또는 또다른 핸드헬드 또는 웨어러블 디바이스로부터 상기 제2 펄스와 연관된 정보를 수신하는 단계를 포함하는 방법.
- 제9항에 있어서, 상기 제2 펄스와 연관된 정보는 심탄동계(ballistocardiographic) 신호를 포함하는 방법.
- 시스템으로서,
컴퓨터-실행가능한 명령들을 저장하는 적어도 하나의 메모리;
상기 메모리에 저장되는 명령들을 실행하는 적어도 하나의 프로세싱 유닛
을 포함하고, 상기 명령들의 실행은:
사용자 디바이스의 오디오 출력 컴포넌트를 사용하여, 하나 이상의 오디오 신호를 방출하는 것;
상기 사용자 디바이스의 오디오 입력 컴포넌트를 사용하여, 타겟으로부터의 상기 오디오 신호들의 하나 이상의 반사를 수신하는 것;
상기 하나 이상의 반사에 기초하여, 상기 타겟이 얼굴-유사 구조 및 얼굴-유사 조직 중 적어도 하나를 포함하는지를 결정하는 것;
상기 타겟의 복수의 이미지를 수신하는 것;
상기 이미지에 기초하여, 상기 타겟이 제1 펄스를 가지는지를 식별하는 것;
상기 타겟과의 물리적 접촉을 통해 상기 타겟의 제2 펄스를 측정하는 것; 및
(i) 상기 타겟이 얼굴-유사 구조 및 얼굴-유사 조직 중 적어도 하나를 포함하는지에 대한 결정, (ii) 상기 타겟이 펄스를 갖는지에 대한 식별, 및 (iii) 상기 제2 펄스의 측정에 적어도 부분적으로 기초하여 상기 타겟이 스푸프인지를 결정하는 것
을 포함하는 동작들을 수행하도록 상기 적어도 하나의 프로세싱 유닛을 프로그래밍하는 시스템. - 제11항에 있어서, 상기 사용자 디바이스는 스마트폰, 태블릿, 또는 랩톱을 포함하는 모바일 디바이스인 시스템.
- 제11항에 있어서, 상기 하나 이상의 오디오 신호는 짧은 코딩된 펄스 핑들, 단기 처프들, 또는 CTFM 핑들을 포함하는 시스템.
- 제11항에 있어서, 상기 동작들은:
상기 타겟의 물리적 특징들을 식별하도록 분류자를 트레이닝하는 것; 및
상기 분류자에 대한 입력으로서, 상기 타겟으로부터의 상기 오디오 신호들의 하나 이상의 반사에 기초하는 정보를 제공하는 것
을 더 포함하고,
상기 타겟이 스푸프인지에 대한 결정은 추가로 상기 제공되는 입력에 응답하여 수신되는 상기 분류자의 출력에 적어도 부분적으로 기초하는 시스템. - 제11항에 있어서, 상기 동작들은 상기 하나 이상의 오디오 신호의 하나 이상의 특성을 랜덤화하는 것을 더 포함하는 시스템.
- 제11항에 있어서, 상기 동작들은:
상기 타겟의 복수의 이미지를 수신하는 것; 및
상기 이미지들 내의 검출된 광 반사들에 기초하여, 상기 타겟이 3-차원 얼굴-유사 구조를 포함하는지를 결정하는 것
을 더 포함하는 시스템. - 제11항에 있어서, 상기 제1 펄스는 원격 광혈류측정을 사용하여 식별되는 시스템.
- 제11항에 있어서, 상기 동작들은 상기 제2 펄스가 상기 제1 펄스와 상관되는지를 결정하는 것을 더 포함하고, 상기 타겟이 스푸프인지에 대한 결정은 추가로 상기 상관에 적어도 부분적으로 기초하는 시스템.
- 제11항에 있어서, 상기 제2 펄스를 측정하는 것은 상기 사용자 디바이스 또는 또다른 핸드헬드 또는 웨어러블 디바이스로부터 상기 제2 펄스와 연관된 정보를 수신하는 것을 포함하는 시스템.
- 제19항에 있어서, 상기 제2 펄스와 연관된 정보는 심탄동계 신호를 포함하는 시스템.
- 명령들을 저장하는 비-일시적 컴퓨터-판독가능한 매체로서, 상기 명령들은, 실행될 때:
사용자 디바이스의 오디오 출력 컴포넌트를 사용하여, 하나 이상의 오디오 신호를 방출하는 것;
상기 사용자 디바이스의 오디오 입력 컴포넌트를 사용하여, 타겟으로부터의 상기 오디오 신호들의 하나 이상의 반사를 수신하는 것;
상기 하나 이상의 반사에 기초하여, 상기 타겟이 얼굴-유사 구조 및 얼굴-유사 조직 중 적어도 하나를 포함하는지를 결정하는 것;
상기 타겟의 복수의 이미지를 수신하는 것;
상기 이미지에 기초하여, 상기 타겟이 제1 펄스를 가지는지를 식별하는 것;
상기 타겟과의 물리적 접촉을 통해 상기 타겟의 제2 펄스를 측정하는 것; 및
(i) 상기 타겟이 얼굴-유사 구조 및 얼굴-유사 조직 중 적어도 하나를 포함하는지에 대한 결정, (ii) 상기 타겟이 펄스를 갖는지에 대한 식별, 및 (iii) 상기 제2 펄스의 측정에 적어도 부분적으로 기초하여 상기 타겟이 스푸프인지를 결정하는 것
을 포함하는 동작들을 수행하도록 적어도 하나의 프로세서를 프로그래밍하는 비-일시적 컴퓨터-판독가능한 매체. - 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562180481P | 2015-06-16 | 2015-06-16 | |
| US62/180,481 | 2015-06-16 | ||
| PCT/US2016/035007 WO2016204968A1 (en) | 2015-06-16 | 2016-05-31 | Systems and methods for spoof detection and liveness analysis |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197037958A Division KR102131103B1 (ko) | 2015-06-16 | 2016-05-31 | 스푸프 검출 및 라이브니스 분석을 위한 시스템들 및 방법들 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180019654A KR20180019654A (ko) | 2018-02-26 |
| KR102061434B1 true KR102061434B1 (ko) | 2019-12-31 |
Family
ID=56121218
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197037958A KR102131103B1 (ko) | 2015-06-16 | 2016-05-31 | 스푸프 검출 및 라이브니스 분석을 위한 시스템들 및 방법들 |
| KR1020187000950A KR102061434B1 (ko) | 2015-06-16 | 2016-05-31 | 스푸프 검출 및 라이브니스 분석을 위한 시스템들 및 방법들 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197037958A KR102131103B1 (ko) | 2015-06-16 | 2016-05-31 | 스푸프 검출 및 라이브니스 분석을 위한 시스템들 및 방법들 |
Country Status (16)
| Country | Link |
|---|---|
| US (2) | US9665784B2 (ko) |
| EP (1) | EP3311330B1 (ko) |
| JP (1) | JP6735778B2 (ko) |
| KR (2) | KR102131103B1 (ko) |
| CN (2) | CN110110591B (ko) |
| AU (1) | AU2016278859B2 (ko) |
| BR (1) | BR112017027057B1 (ko) |
| CA (1) | CA2989575C (ko) |
| HK (1) | HK1251691B (ko) |
| MX (1) | MX2017016718A (ko) |
| MY (1) | MY182294A (ko) |
| PH (1) | PH12017502353A1 (ko) |
| RU (2) | RU2725413C2 (ko) |
| SG (1) | SG10201906574VA (ko) |
| TW (1) | TWI695182B (ko) |
| WO (1) | WO2016204968A1 (ko) |
Families Citing this family (99)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2791776T3 (es) | 2012-09-05 | 2020-11-05 | Element Inc | Sistema y método para la autenticación biométrica en conexión con dispositivos equipados con cámara |
| KR102137981B1 (ko) | 2014-04-07 | 2020-07-27 | 아이베리파이 인크. | 사용자 인증을 위한 바이오 리쉬 |
| US20160005050A1 (en) * | 2014-07-03 | 2016-01-07 | Ari Teman | Method and system for authenticating user identity and detecting fraudulent content associated with online activities |
| KR102258696B1 (ko) * | 2015-02-02 | 2021-06-01 | 한국전자통신연구원 | 위성 항법해를 생성하는 장치 및 방법 |
| CN107135348A (zh) * | 2016-02-26 | 2017-09-05 | 阿里巴巴集团控股有限公司 | 拍摄对象的识别方法、装置、移动终端和照相机 |
| US10111103B2 (en) | 2016-03-02 | 2018-10-23 | EyeVerify Inc. | Spoof detection using proximity sensors |
| CN105912986B (zh) * | 2016-04-01 | 2019-06-07 | 北京旷视科技有限公司 | 一种活体检测方法和系统 |
| US10311219B2 (en) * | 2016-06-07 | 2019-06-04 | Vocalzoom Systems Ltd. | Device, system, and method of user authentication utilizing an optical microphone |
| US10335045B2 (en) | 2016-06-24 | 2019-07-02 | Universita Degli Studi Di Trento | Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions |
| JP6932150B2 (ja) * | 2016-06-30 | 2021-09-08 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 顔検出／認識システム用の方法及び装置 |
| US10289824B2 (en) * | 2016-07-22 | 2019-05-14 | Nec Corporation | Security system for facility access control |
| US9905104B1 (en) * | 2016-08-15 | 2018-02-27 | Nec Corporation | Baby detection for electronic-gate environments |
| CN107066079A (zh) * | 2016-11-29 | 2017-08-18 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的业务实现方法及装置 |
| CN108263338B (zh) | 2016-12-30 | 2021-06-15 | 华为技术有限公司 | 汽车、方向盘以及驾驶员身份识别方法 |
| CN107122642A (zh) | 2017-03-15 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 基于虚拟现实环境的身份认证方法及装置 |
| US11301703B2 (en) * | 2017-03-21 | 2022-04-12 | Sri International | Robust biometric access control based on dynamic structural changes in tissue |
| WO2019002831A1 (en) | 2017-06-27 | 2019-01-03 | Cirrus Logic International Semiconductor Limited | REPRODUCTIVE ATTACK DETECTION |
| GB201713697D0 (en) | 2017-06-28 | 2017-10-11 | Cirrus Logic Int Semiconductor Ltd | Magnetic detection of replay attack |
| GB2563953A (en) | 2017-06-28 | 2019-01-02 | Cirrus Logic Int Semiconductor Ltd | Detection of replay attack |
| GB201710560D0 (en) | 2017-06-30 | 2017-08-16 | Norwegian Univ Of Science And Tech (Ntnu) | Detection of manipulated images |
| GB201801530D0 (en) | 2017-07-07 | 2018-03-14 | Cirrus Logic Int Semiconductor Ltd | Methods, apparatus and systems for authentication |
| GB201801532D0 (en) | 2017-07-07 | 2018-03-14 | Cirrus Logic Int Semiconductor Ltd | Methods, apparatus and systems for audio playback |
| GB201801528D0 (en) | 2017-07-07 | 2018-03-14 | Cirrus Logic Int Semiconductor Ltd | Method, apparatus and systems for biometric processes |
| GB201801527D0 (en) | 2017-07-07 | 2018-03-14 | Cirrus Logic Int Semiconductor Ltd | Method, apparatus and systems for biometric processes |
| GB201801526D0 (en) | 2017-07-07 | 2018-03-14 | Cirrus Logic Int Semiconductor Ltd | Methods, apparatus and systems for authentication |
| US11250489B2 (en) * | 2017-07-28 | 2022-02-15 | Nuro, Inc. | Flexible compartment design on autonomous and semi-autonomous vehicle |
| GB2567798A (en) * | 2017-08-22 | 2019-05-01 | Eyn Ltd | Verification method and system |
| EP3447684A1 (en) * | 2017-08-22 | 2019-02-27 | Eyn Limited | Verification method and system |
| TWI781226B (zh) * | 2017-09-18 | 2022-10-21 | 美商艾勒門公司 | 用於偵測行動認證中之欺騙之方法、系統及媒體 |
| CN107808115A (zh) * | 2017-09-27 | 2018-03-16 | 联想(北京)有限公司 | 一种活体检测方法、装置及存储介质 |
| GB201801664D0 (en) | 2017-10-13 | 2018-03-21 | Cirrus Logic Int Semiconductor Ltd | Detection of liveness |
| GB201801874D0 (en) | 2017-10-13 | 2018-03-21 | Cirrus Logic Int Semiconductor Ltd | Improving robustness of speech processing system against ultrasound and dolphin attacks |
| GB201804843D0 (en) | 2017-11-14 | 2018-05-09 | Cirrus Logic Int Semiconductor Ltd | Detection of replay attack |
| GB201801663D0 (en) * | 2017-10-13 | 2018-03-21 | Cirrus Logic Int Semiconductor Ltd | Detection of liveness |
| GB2567503A (en) | 2017-10-13 | 2019-04-17 | Cirrus Logic Int Semiconductor Ltd | Analysing speech signals |
| GB201803570D0 (en) | 2017-10-13 | 2018-04-18 | Cirrus Logic Int Semiconductor Ltd | Detection of replay attack |
| GB201801661D0 (en) * | 2017-10-13 | 2018-03-21 | Cirrus Logic International Uk Ltd | Detection of liveness |
| CN111492373A (zh) * | 2017-10-30 | 2020-08-04 | 纽约州州立大学研究基金会 | 与基于声学的回声签名的用户认证相关联的系统和方法 |
| AU2018361801B2 (en) * | 2017-10-31 | 2023-07-06 | Bae Systems Plc | Improvements in and relating to sonar |
| GB201801659D0 (en) | 2017-11-14 | 2018-03-21 | Cirrus Logic Int Semiconductor Ltd | Detection of loudspeaker playback |
| US10951613B2 (en) * | 2017-12-28 | 2021-03-16 | iProov Ltd. | Biometric methods for online user authentication |
| US11475899B2 (en) | 2018-01-23 | 2022-10-18 | Cirrus Logic, Inc. | Speaker identification |
| US11735189B2 (en) | 2018-01-23 | 2023-08-22 | Cirrus Logic, Inc. | Speaker identification |
| US11264037B2 (en) | 2018-01-23 | 2022-03-01 | Cirrus Logic, Inc. | Speaker identification |
| WO2019152983A2 (en) * | 2018-02-05 | 2019-08-08 | Board Of Trustees Of Michigan State University | System and apparatus for face anti-spoofing via auxiliary supervision |
| CN108445643B (zh) * | 2018-03-12 | 2021-05-14 | Oppo广东移动通信有限公司 | 结构光投射模组及其检测方法与装置、图像获取结构和电子装置 |
| ES2828358T3 (es) * | 2018-03-16 | 2021-05-26 | Identy Inc | Procedimiento para identificar un objeto dentro de una imagen y dispositivo móvil para ejecutar el procedimiento |
| CN108652635A (zh) * | 2018-03-27 | 2018-10-16 | 余海波 | 医疗监护装置、方法及系统 |
| WO2019205009A1 (en) | 2018-04-25 | 2019-10-31 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for identifying a body motion |
| KR102522415B1 (ko) * | 2018-05-15 | 2023-04-17 | 삼성전자주식회사 | 전자 장치의 객체 인증 장치 및 방법 |
| US10692490B2 (en) | 2018-07-31 | 2020-06-23 | Cirrus Logic, Inc. | Detection of replay attack |
| US10915614B2 (en) | 2018-08-31 | 2021-02-09 | Cirrus Logic, Inc. | Biometric authentication |
| US11037574B2 (en) | 2018-09-05 | 2021-06-15 | Cirrus Logic, Inc. | Speaker recognition and speaker change detection |
| JP7204077B2 (ja) * | 2018-09-07 | 2023-01-16 | 株式会社アイシン | 脈波検出装置、車両装置、及び脈波検出プログラム |
| CN112639802A (zh) * | 2018-09-18 | 2021-04-09 | Oppo广东移动通信有限公司 | 用于生成伪结构光照射面部的方法、系统及存储介质 |
| US10740637B2 (en) * | 2018-09-18 | 2020-08-11 | Yoti Holding Limited | Anti-spoofing |
| WO2020070808A1 (ja) * | 2018-10-02 | 2020-04-09 | 富士通株式会社 | 脈波算出装置、脈波算出方法及び脈波算出プログラム |
| US10929516B2 (en) * | 2018-10-08 | 2021-02-23 | Advanced New Technologies Co., Ltd. | Dynamic grip signature for personal authentication |
| US10885363B2 (en) * | 2018-10-25 | 2021-01-05 | Advanced New Technologies Co., Ltd. | Spoof detection using structured light illumination |
| US10783388B2 (en) * | 2018-10-26 | 2020-09-22 | Alibaba Group Holding Limited | Spoof detection using multiple image acquisition devices |
| FR3089036B1 (fr) | 2018-11-28 | 2020-10-30 | In Idt | dispositif et procédé d’authentification d’un individu |
| US11030292B2 (en) * | 2018-12-11 | 2021-06-08 | Advanced New Technologies Co., Ltd. | Authentication using sound based monitor detection |
| US11120111B2 (en) | 2018-12-11 | 2021-09-14 | Advanced New Technologies Co., Ltd. | Authentication based on correlation of multiple pulse signals |
| US11170242B2 (en) | 2018-12-26 | 2021-11-09 | Advanced New Technologies Co., Ltd. | Spoof detection using dual-band fluorescence |
| US10970574B2 (en) | 2019-02-06 | 2021-04-06 | Advanced New Technologies Co., Ltd. | Spoof detection using dual-band near-infrared (NIR) imaging |
| US11138302B2 (en) | 2019-02-27 | 2021-10-05 | International Business Machines Corporation | Access control using multi-authentication factors |
| WO2020185948A1 (en) | 2019-03-12 | 2020-09-17 | Element Inc. | Detecting spoofing of facial recognition with mobile devices |
| US11328043B2 (en) | 2019-03-15 | 2022-05-10 | Advanced New Technologies Co., Ltd. | Spoof detection by comparing images captured using visible-range and infrared (IR) illuminations |
| US11551475B2 (en) * | 2019-03-21 | 2023-01-10 | Purdue Research Foundation | System architecture and method of authenticating a 3-D object |
| CN111860079B (zh) * | 2019-04-30 | 2024-05-14 | 北京嘀嘀无限科技发展有限公司 | 活体图像检测方法、装置以及电子设备 |
| CN110099324B (zh) * | 2019-05-23 | 2021-04-20 | 歌尔科技有限公司 | 一种耳机佩戴状态的检测方法、检测装置及耳机 |
| SG10201906721SA (en) * | 2019-07-19 | 2021-02-25 | Nec Corp | Method and system for chrominance-based face liveness detection |
| US10929677B1 (en) | 2019-08-07 | 2021-02-23 | Zerofox, Inc. | Methods and systems for detecting deepfakes |
| WO2021038298A2 (en) | 2019-08-29 | 2021-03-04 | PXL Vision AG | Id verification with a mobile device |
| TWI750504B (zh) | 2019-08-29 | 2021-12-21 | 鉅怡智慧股份有限公司 | 活體偵測的方法及相關裝置 |
| WO2021086370A1 (en) | 2019-10-31 | 2021-05-06 | Visa International Service Association | Systems and methods to identify an entity using a 3d layout |
| TWI743593B (zh) * | 2019-11-18 | 2021-10-21 | 緯創資通股份有限公司 | 活體臉部辨識系統與方法 |
| KR20210074749A (ko) * | 2019-12-12 | 2021-06-22 | 삼성전자주식회사 | 라이브니스 검사 방법 및 라이브니스 검사 장치 |
| US11507248B2 (en) | 2019-12-16 | 2022-11-22 | Element Inc. | Methods, systems, and media for anti-spoofing using eye-tracking |
| KR102307671B1 (ko) * | 2020-01-02 | 2021-10-01 | 주식회사 블루프린트랩 | 얼굴 인증을 수행하기 위한 방법 |
| US11874906B1 (en) * | 2020-01-15 | 2024-01-16 | Robert William Kocher | Skin personal identification (Skin-PIN) |
| TWI772751B (zh) * | 2020-02-19 | 2022-08-01 | 鉅怡智慧股份有限公司 | 活體偵測裝置及方法 |
| CN111428577B (zh) * | 2020-03-03 | 2022-05-03 | 电子科技大学 | 一种基于深度学习与视频放大技术的人脸活体判断方法 |
| CN111767788A (zh) * | 2020-05-12 | 2020-10-13 | 贵阳像树岭科技有限公司 | 一种非交互式单目活体检测方法 |
| AU2020101743B4 (en) * | 2020-05-18 | 2021-03-04 | Ri Pty Ltd | Contactless Biometric Authentication Systems and Methods Thereof |
| CN111832619A (zh) * | 2020-06-09 | 2020-10-27 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度学习的目标检测数据集voc数据格式标注方法 |
| CN111887858B (zh) * | 2020-08-04 | 2021-05-04 | 西安电子科技大学 | 基于跨模态映射的心冲击图信号心率估计方法 |
| CN112396123A (zh) * | 2020-11-30 | 2021-02-23 | 上海交通大学 | 基于卷积神经网络的图像识别方法、系统、终端和介质 |
| CN112684889B (zh) * | 2020-12-29 | 2023-06-30 | 上海掌门科技有限公司 | 一种用户互动方法及设备 |
| FR3119915B1 (fr) | 2021-02-15 | 2024-01-19 | Deepsense | Dispositif et procédé de traitement de données vidéos pour détection du vivant |
| US11126879B1 (en) * | 2021-04-08 | 2021-09-21 | EyeVerify, Inc. | Spoof detection using illumination sequence randomization |
| CN113100734B (zh) * | 2021-04-15 | 2022-11-25 | 深圳前海微众银行股份有限公司 | 活体检测方法、设备、介质及计算机程序产品 |
| US11894939B2 (en) * | 2021-05-11 | 2024-02-06 | Cisco Technology, Inc. | Validation of currency and authenticity of a conference participant's video image |
| US20220374075A1 (en) * | 2021-05-18 | 2022-11-24 | Harrow Ip, Llc | Methods and system for remotely capturing media via a user interface bidirectionally linked to a remote server |
| US11922731B1 (en) | 2021-06-30 | 2024-03-05 | Jumio Corporation | Liveness detection |
| US11564053B1 (en) | 2021-09-15 | 2023-01-24 | Qualcomm Incorportaed | Systems and methods to control spatial audio rendering |
| US20230091381A1 (en) * | 2021-09-17 | 2023-03-23 | Jumio Corporation | Spoof detection using eye boundary analysis |
| US20230334911A1 (en) * | 2022-04-13 | 2023-10-19 | Nec Corporation | Face liveness detection |
| GB202210043D0 (en) * | 2022-07-08 | 2022-08-24 | Rewire Holding Ltd | System and method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014184002A (ja) * | 2013-03-22 | 2014-10-02 | Fujitsu Ltd | 生体検知装置、顔認証装置、撮像装置、生体検知方法及び生体検知プログラム |
| JP2015054223A (ja) * | 2013-09-13 | 2015-03-23 | 旭化成株式会社 | 血圧情報出力装置、血圧情報出力プログラム、媒体、血圧情報出力方法 |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005296463A (ja) * | 2004-04-14 | 2005-10-27 | Toyota Motor Corp | 生体情報計測装置 |
| RU2296599C2 (ru) * | 2005-06-16 | 2007-04-10 | Александр Абрамович Певзнер | Способ воздействия на организм |
| RU56668U1 (ru) * | 2006-01-16 | 2006-09-10 | Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Восход" | Автоматизированная система идентификации и аутентификации граждан по биометрическим параметрам личности |
| US7886156B2 (en) * | 2006-09-18 | 2011-02-08 | John Franco Franchi | Secure universal transaction system |
| CN101396277A (zh) * | 2007-09-26 | 2009-04-01 | 中国科学院声学研究所 | 一种超声波人脸识别方法和识别装置 |
| US8978117B2 (en) | 2007-11-19 | 2015-03-10 | Avaya Inc. | Authentication frequency and challenge type based on environmental and physiological properties |
| US8150108B2 (en) | 2008-03-17 | 2012-04-03 | Ensign Holdings, Llc | Systems and methods of identification based on biometric parameters |
| US8401875B2 (en) * | 2010-03-12 | 2013-03-19 | Os - New Horizons Personal Computing Solutions Ltd. | Secured personal data handling and management system |
| US9124777B2 (en) * | 2011-01-05 | 2015-09-01 | Koninklijke Philips N.V. | Device and method for extracting information from characteristic signals |
| DE102011102202A1 (de) * | 2011-05-21 | 2012-11-22 | Volkswagen Aktiengesellschaft | Umfelderfassungsvorrichtung in einem Kraftfahrzeug und Verfahren zur Umfelderfassung unter Ausnutzung einer Korrelation |
| GB201114406D0 (en) * | 2011-08-22 | 2011-10-05 | Isis Innovation | Remote monitoring of vital signs |
| US8892461B2 (en) * | 2011-10-21 | 2014-11-18 | Alohar Mobile Inc. | Mobile device user behavior analysis and authentication |
| US9202105B1 (en) | 2012-01-13 | 2015-12-01 | Amazon Technologies, Inc. | Image analysis for user authentication |
| US8984622B1 (en) * | 2012-01-17 | 2015-03-17 | Amazon Technologies, Inc. | User authentication through video analysis |
| US8806610B2 (en) * | 2012-01-31 | 2014-08-12 | Dell Products L.P. | Multilevel passcode authentication |
| CN102622588B (zh) * | 2012-03-08 | 2013-10-09 | 无锡中科奥森科技有限公司 | 双验证人脸防伪方法及装置 |
| US8725113B2 (en) | 2012-03-12 | 2014-05-13 | Google Inc. | User proximity control of devices |
| US8831295B2 (en) | 2012-03-21 | 2014-09-09 | Authentec, Inc. | Electronic device configured to apply facial recognition based upon reflected infrared illumination and related methods |
| US8457367B1 (en) * | 2012-06-26 | 2013-06-04 | Google Inc. | Facial recognition |
| US8396265B1 (en) * | 2012-06-26 | 2013-03-12 | Google Inc. | Facial recognition |
| WO2014036436A1 (en) | 2012-08-30 | 2014-03-06 | Alivecor, Inc. | Cardiac performance monitoring system for use with mobile communications devices |
| EP2911580A2 (en) * | 2012-10-23 | 2015-09-02 | Koninklijke Philips N.V. | Device and method for obtaining vital sign information of a living being |
| US9231765B2 (en) * | 2013-06-18 | 2016-01-05 | Arm Ip Limited | Trusted device |
| CN103617419B (zh) * | 2013-12-02 | 2018-10-16 | 广州微盾科技股份有限公司 | 具有活体手指侦测功能的手指静脉识别装置和方法 |
| US9524421B2 (en) | 2013-12-09 | 2016-12-20 | Google Inc. | Differentiating real faces from representations |
| US20160007935A1 (en) * | 2014-03-19 | 2016-01-14 | Massachusetts Institute Of Technology | Methods and apparatus for measuring physiological parameters |
| KR102137981B1 (ko) | 2014-04-07 | 2020-07-27 | 아이베리파이 인크. | 사용자 인증을 위한 바이오 리쉬 |
| KR20150117543A (ko) | 2014-04-10 | 2015-10-20 | 삼성전자주식회사 | 인증 관리 방법 및 장치 |
| US9251427B1 (en) * | 2014-08-12 | 2016-02-02 | Microsoft Technology Licensing, Llc | False face representation identification |
| US9396537B2 (en) | 2014-09-09 | 2016-07-19 | EyeVerify, Inc. | Systems and methods for liveness analysis |
| JP2016131604A (ja) * | 2015-01-16 | 2016-07-25 | セイコーエプソン株式会社 | 生体情報測定システム、生体情報測定装置および生体情報測定方法 |
| US10049287B2 (en) * | 2015-05-22 | 2018-08-14 | Oath Inc. | Computerized system and method for determining authenticity of users via facial recognition |
-
2016
- 2016-05-31 CA CA2989575A patent/CA2989575C/en active Active
- 2016-05-31 MY MYPI2017001867A patent/MY182294A/en unknown
- 2016-05-31 RU RU2020106758A patent/RU2725413C2/ru active
- 2016-05-31 RU RU2018101202A patent/RU2715521C2/ru active
- 2016-05-31 KR KR1020197037958A patent/KR102131103B1/ko active IP Right Grant
- 2016-05-31 BR BR112017027057-9A patent/BR112017027057B1/pt active IP Right Grant
- 2016-05-31 SG SG10201906574VA patent/SG10201906574VA/en unknown
- 2016-05-31 CN CN201910229040.6A patent/CN110110591B/zh active Active
- 2016-05-31 KR KR1020187000950A patent/KR102061434B1/ko active IP Right Grant
- 2016-05-31 AU AU2016278859A patent/AU2016278859B2/en active Active
- 2016-05-31 WO PCT/US2016/035007 patent/WO2016204968A1/en active Application Filing
- 2016-05-31 CN CN201680041628.3A patent/CN107851182B/zh active Active
- 2016-05-31 EP EP16729154.1A patent/EP3311330B1/en active Active
- 2016-05-31 US US15/169,107 patent/US9665784B2/en active Active
- 2016-05-31 JP JP2017565178A patent/JP6735778B2/ja not_active Expired - Fee Related
- 2016-05-31 MX MX2017016718A patent/MX2017016718A/es unknown
- 2016-06-07 TW TW105118012A patent/TWI695182B/zh active
-
2017
- 2017-04-27 US US15/498,797 patent/US10108871B2/en active Active
- 2017-12-18 PH PH12017502353A patent/PH12017502353A1/en unknown
-
2018
- 2018-08-24 HK HK18110912.4A patent/HK1251691B/zh unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014184002A (ja) * | 2013-03-22 | 2014-10-02 | Fujitsu Ltd | 生体検知装置、顔認証装置、撮像装置、生体検知方法及び生体検知プログラム |
| JP2015054223A (ja) * | 2013-09-13 | 2015-03-23 | 旭化成株式会社 | 血圧情報出力装置、血圧情報出力プログラム、媒体、血圧情報出力方法 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102061434B1 (ko) | 스푸프 검출 및 라이브니스 분석을 위한 시스템들 및 방법들 | |
| TWI694347B (zh) | 使用鄰近感測器之欺騙偵測 | |
| US7708695B2 (en) | Apparatus and method for detecting blood flow | |
| KR101356358B1 (ko) | 눈의 이미지에 기초한 바이오메트릭 인증을 위한 기기 및 컴퓨터 구현 방법 | |
| CA3080399A1 (en) | System and method associated with user authentication based on an acoustic-based echo-signature | |
| KR20100076944A (ko) | 동작 검출 시스템 및 방법 | |
| WO2023199571A1 (en) | Face liveness detection | |
| Zhou et al. | Multi-modal face authentication using deep visual and acoustic features | |
| Wang et al. | Wavesdropper: Through-wall word detection of human speech via commercial mmWave devices | |
| Zhou et al. | Securing face liveness detection using unforgeable lip motion patterns | |
| US20170112383A1 (en) | Three dimensional vein imaging using photo-acoustic tomography | |
| KR102151424B1 (ko) | 위조 지정맥 탐지 장치 및 방법 | |
| Zhang et al. | Face Recognition In Harsh Conditions: An Acoustic Based Approach | |
| CN115828207A (zh) | 使用基于功率谱的方差的面部认证反欺骗 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |