KR20180067654A - 얼굴 검증 방법 및 전자 디바이스 - Google Patents
얼굴 검증 방법 및 전자 디바이스 Download PDFInfo
- Publication number
- KR20180067654A KR20180067654A KR1020187013743A KR20187013743A KR20180067654A KR 20180067654 A KR20180067654 A KR 20180067654A KR 1020187013743 A KR1020187013743 A KR 1020187013743A KR 20187013743 A KR20187013743 A KR 20187013743A KR 20180067654 A KR20180067654 A KR 20180067654A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- electronic device
- facial expression
- contents
- content
- Prior art date
Links
- 238000012795 verification Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000001815 facial effect Effects 0.000 title claims abstract description 64
- 230000008921 facial expression Effects 0.000 claims abstract description 181
- 210000001747 pupil Anatomy 0.000 claims description 78
- 230000003993 interaction Effects 0.000 abstract description 11
- 238000010146 3D printing Methods 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 25
- 230000008859 change Effects 0.000 description 13
- 238000013461 design Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 4
- 230000001788 irregular Effects 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 206010015967 Eye swelling Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 206010028735 Nasal congestion Diseases 0.000 description 1
- 206010040954 Skin wrinkling Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/36—User authentication by graphic or iconic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/45—Structures or tools for the administration of authentication
-
- G06K9/00268—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Abstract
얼굴 검증 방법이 제공된다. 전자 디바이스는 표시 스크린 상에서 하나 이상의 컨텐츠를 디스플레이할 수 있고; 컨텐츠를 디스플레이하는 동안 카메라를 사용하여 k개의 얼굴 이미지를 획득하고, 획득된 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 파라미터 값을 결정할 수 있으며; t개의 얼굴 표정 파라미터 값 및 미리 설정된 제1 기준 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작지 않고, 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 얼굴 매칭이 성공했다고 결정하면, 얼굴 검증 결과가 성공인 것으로 결정할 수 있다. 생체 검증이 프롬프트에 따라 깜빡임으로써 수행되거나 또는 단일 상호작용에 의해 수행되는 종래 기술에 비해, 본 방법은 사진, 비디오, 3D 프린팅 또는 다른 기술로 인한 공격 가능성을 감소시킨다.
Description
본 발명은 정보 처리 기술 분야에 관한 것으로, 특히 얼굴 검증 방법 및 전자 디바이스에 관한 것이다.
얼굴 매칭의 정밀도가 계속해서 높아짐에 따라, 얼굴 매칭 기술이 많은 분야에서 널리 적용되고 있다. 일반적인 얼굴 매칭 프로세스는, 먼저 얼굴 이미지를 캡쳐하고, 얼굴 이미지로부터 특징을 추출하고, 그 특징을 얼굴 이미지 템플릿으로 마킹하는 단계; 및 얼굴을 인식하는 동안, 동일한 방법을 사용하여 인식될 얼굴의 특징을 추출하고, 상기 특징을 얼굴 이미지 템플릿에 매칭시키며, 매칭 신뢰도에 따라 인식 결과를 결정하는 단계를 포함한다. 얼굴 매칭의 어려움은 생체(living body) 검증이다. 생체 검증이 수행되지 않으면, 얼굴 매칭은 사진으로부터 획득되거나 3D 인쇄 또는 다른 기술로 획득된 얼굴 이미지를 사용하여 쉽게 공격당한다.
종래 기술에서, 안드로이드 폰의 얼굴 잠금 해제와 같은 생체 검증 방법은 사용자의 깜빡임 동작이 프롬프트와 매칭하는지 여부를 확인함으로써 검증하는 것이다. 프롬프트가 5회 깜빡이고, 확인 될 대상이 소정 시간 내에 5회 깜빡였으면, 생체 검증이 성공인 것으로 결정한다. 이 방법은 비디오를 사용하여 쉽게 공격당할 수 있다. 예를 들어, 공격자는 상이한 깜빡임 횟수의 비디오를 미리 작성한 다음 프롬프트에 따라 해당 비디오를 재생하기만 하면 된다.
본 명세서는 얼굴 검증 방법 및 전자 디바이스를 제공하며, 이로써 사진, 비디오, 3D 프린팅 또는 다른 기술로 인한 공격의 기술적 문제점을 해결한다.
제1 측면은 표시 스크린 및 카메라를 포함하는 전자 디바이스에 적용되는 얼굴 검증 방법을 제공하며, 상기 방법은, 상기 표시 스크린 상에 하나 이상의 컨텐츠를 디스플레이하는 단계 - 상기 컨텐츠는 문자, 그림 또는 비디오를 포함함 -; 상기 하나 이상의 컨텐츠를 디스플레이하는 동안 상기 카메라를 사용하여 k개의 얼굴 이미지를 획득하는 단계 - 상기 k는 2 이상의 정수임 -; 상기 획득된 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 파라미터 값을 결정하는 단계 - 상기 얼굴 표정 파라미터 값은 얼굴 표정 코드 값 또는 동공 관련 값 중 적어도 하나를 포함하고, t는 2 이상의 정수이고, t≤k임 -; 및 상기 결정된 t개의 얼굴 표정 파라미터 값 및 미리 설정된 제1 기준 시퀀스의 매칭도(matching degree)가 미리 설정된 제1 임계값보다 작지 않고, 상기 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 얼굴 매칭 결과가 성공이면, 얼굴 검증 결과가 성공인 것으로 결정하는 단계를 포함한다.
가능한 설계에서, 전자 디바이스에 의해 미리 설정된 제1 기준 시퀀스는 제1 얼굴 표정 시퀀스 또는 제1 동공 시퀀스 중 적어도 하나를 포함한다.
제1 기준 시퀀스가 제1 얼굴 표정 시퀀스만을 포함하면, 전자 디바이스는 상기 획득된 k개의 얼굴 이미지에 따라, t개의 얼굴 표정 파라미터 값이 t개의 얼굴 표정 코드 값임을 결정하고; 및 결정된 t개의 얼굴 표정 코드 값 및 제1 얼굴 표정 시퀀스의 매칭도가 미리 설정된 제1 임계값 이상이고, 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 얼굴 매칭 결과가 성공이면, 얼굴 검증 결과가 성공인 것으로 결정하거나; 또는
제1 기준 시퀀스가 제1 동공 시퀀스만을 포함하면, 전자 디바이스는 획득된 k개의 얼굴 이미지에 따라, t개의 얼굴 표정 파라미터 값이 t개의 동공 관련 값임을 결정하고; 및 결정된 t개의 동공 관련 값 및 제1 동공 시퀀스의 매칭도가 미리 설정된 제1 임계값 이상이고, 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 얼굴 매칭 결과가 성공이면, 얼굴 검증 결과가 성공인 것으로 결정한다.
가능한 설계에서, 제1 기준 시퀀스가 제1 동공 시퀀스 및 제1 얼굴 표정 시퀀스를 포함하면, 구체적으로 이하의 3가지 경우가 있을 수 있다.
제1 가능한 설계에서, 전자 디바이스는 먼저, 획득된 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 코드 값을 결정하며, 결정된 t개의 얼굴 표정 코드 값 및 제1 얼굴 표정 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작으면, 획득된 k개의 얼굴 이미지에 따라 t개의 동공 관련 값을 결정한다.
제2 가능한 설계에서, 전자 디바이스는 먼저, 획득된 k개의 얼굴 이미지에 따라 t개의 동공 관련 값을 결정하고, 결정된 t개의 동공 관련 값 및 제1 동공 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작으면, 획득된 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 코드 값을 결정한다.
제3 가능한 설계에서, 전자 디바이스는 획득된 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 코드 값 및 t개의 동공 관련 값을 모두 결정하고, 제3 경우에 대해서, 결정된 t개의 동공 관련 값 및 제1 동공 시퀀스의 매칭도가 미리 설정된 제1 임계값 이상이고, 결정된 t개의 얼굴 표정 코드 값 및 제1 얼굴 표정 시퀀스의 매칭도가 미리 설정된 제1 임계값 이상이며, 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 얼굴 매칭 결과가 성공이면, 얼굴 검증 결과가 성공인 것으로 결정하거나; 또는 결정된 t개의 동공 관련 값 및 제1 동공 시퀀스의 매칭도 및 결정된 t개의 얼굴 표정 코드 값 및 제1 얼굴 표정 시퀀스의 매칭도의 곱(product)이 미리 설정된 제1 임계값 이상이고, 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 얼굴 매칭 결과가 성공이면, 얼굴 검증 결과가 성공인 것으로 결정한다.
본 기술적 해결책에서, 전자 디바이스는 표시 스크린 상에 컨텐츠를 디스플레이함으로써, 생체 검증을 수행하기 위해, 컨텐츠에 대하여 사용자에 의해 제공되는 얼굴 표정 변화 및/또는 동공 변화를 캡쳐한다. 생체 검증이 프롬프트에 따라 깜빡임으로써 수행되거나 또는 단일 상호작용에 의해 수행되는 종래 기술에 비해, 본 방법은 생체 검증의 어려움을 증가시켜, 사진, 비디오, 3D 프린팅 또는 다른 기술로 인한 공격 가능성을 감소시킨다. 또한, 생체 검증 동안, 의도적으로 사용자를 프롬프트 할 필요가 없고, 사용자와의 상호작용이 더욱 자연스러워지며, 사용자 경험이 향상된다.
가능한 설계에서, 결정된 t개의 얼굴 표정 파라미터 값 및 제1 기준 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작으면, 하나 이상의 컨텐츠가 표시 스크린 상에 디스플레이되고; 하나 이상의 컨텐츠를 디스플레이하는 동안, k개의 얼굴 이미지는 카메라를 사용하여 재획득되며; t개의 얼굴 표정 파라미터 값은 재획득된 k개의 얼굴 이미지에 따라 재결정되고; 및 재결정된 t개의 얼굴 표정 파라미터 값 및 미리 설정된 제2 기준 시퀀스의 매칭도가 미리 설정된 제2 임계값 이상이고, 재획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 얼굴 매칭 결과가 성공이면, 얼굴 검증 결과는 성공이다.
본 기술적 해결책에서, 처음으로 수행된 생체 검증이 실패하면, 몇 가지 객관적인 이유가 있을 수 있다. 예를 들어, 캡쳐된 얼굴 이미지가 불분명하거나, 또는 동일한 컨텐츠가 종종 디스플레이되기 때문에 획득된 얼굴 이미지가 실제가 아니라는 이유이다. 따라서, 부정확한 결정을 방지하기 위해, 전자 디바이스는 하나 이상의 컨텐츠를 표시 스크린 상에서 디스플레이하고, 동일한 방법을 다시 사용하여 생체 검증을 수행한다. 이러한 방식으로 전자 디바이스에 의해 생체 검증을 반복적으로 수행하는 횟수는 실제 조건에 따라 미리 설정되고 조정될 수 있음을 알아야 한다. 이는 본 발명에 한정되지 않는다.
가능한 설계에서, 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 얼굴 매칭 결과가 실패이면, 전자 디바이스는 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 얼굴 매칭을 다시 수행할 수 있다.
본 기술적 해결책에서, 처음으로 수행된 얼굴 매칭이 실패하면, 몇 가지 객관적인 이유가 있을 수 있다. 예를 들어, 사용자 검증에 대한 얼굴 이미지가 불분명하거나, 또는 검증을 위해 사용되는 얼굴 이미지에 얼굴이 없다는 이유이다. 따라서, 부정확한 결정을 방지하기 위해, 전자 디바이스는 다른 획득된 얼굴 이미지에 따라 얼굴 매칭을 수행한다. 이러한 방식으로 전자 디바이스에 의해 얼굴 매칭을 반복적으로 수행하는 횟수는 실제 조건에 따라 미리 설정되고 조정될 수 있음을 알아야 한다. 이는 본 발명에 한정되지 않는다.
가능한 설계에서, 결정된 t개의 얼굴 표정 파라미터 값 및 제1 기준 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작고 및/또는 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 얼굴 매칭 결과가 실패이면, 전자 디바이스는 얼굴 검증 결과가 실패인 것으로 결정한다.
가능한 설계에서, 결정된 t개의 얼굴 표정 파라미터 값 및 제1 기준 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작고 및/또는 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 얼굴 매칭 결과가 실패이면, 전자 디바이스는 얼굴 검증 결과가 실패인 것으로 결정한다.
가능한 설계에서, 하나 이상의 컨텐츠가 표시 스크린 상에서 동시에 디스플레이되면, 전자 디바이스는 미리 설정된 간격에 따라, 하나 이상의 컨텐츠가 디스플레이되기 시작한 후 k개의 얼굴 이미지를 획득한다.
가능한 설계에서, 다수의 컨텐츠가 표시 스크린 상에서 동시에 디스플레이되면, 전자 디바이스는 각각의 컨텐츠를 디스플레이하는 동안 적어도 하나의 얼굴 이미지를 획득하며, 여기서 획득된 얼굴 이미지의 총수량은 k개이다.
가능한 설계에서, 하나의 컨텐츠는 전자 디바이스에 저장된 다수의 컨텐츠로부터 무작위로 선택된 하나의 컨텐츠며, 여기서 각각의 컨텐츠는 기준 시퀀스에 대응하거나, 또는 다수의 컨텐츠는 전자 디바이스에 저장된 다수의 컨텐츠 세트로부터 무작위로 선택된 하나의 컨텐츠 세트이고, 여기서 각각의 컨텐츠 세트는 기준 시퀀스에 대응한다.
본 기술적 해결책에서, 전자 디바이스는 다수의 컨텐츠를 미리 저장한다. 미리 저장된 컨텐츠의 양이 많아지면서, 사진, 비디오 및 3D 인쇄 기술로 인한 공격에 어려움을 겪는다.
제2 측면은 전자 디바이스를 더 제공하고, 여기서 전자 디바이스는 적어도 표시 스크린, 카메라 및 적어도 하나의 프로세서를 포함하며, 전자 디바이스는 표시 스크린, 카메라 및 적어도 하나의 프로세서를 사용하여 제1 측면에서의 방법의 일부 또는 방법의 전부를 실행한다.
제3 측면은 전자 디바이스를 더 제공하고, 여기서 전자 디바이스는 표시 스크린, 카메라, 메모리, 버스 시스템 및 적어도 하나의 프로세서를 포함하며, 표시 스크린, 카메라, 메모리 및 적어도 하나의 프로세서는 버스 시스템을 사용하여 연결되며; 및 하나 이상의 프로그램은 메모리에 저장되고, 하나 이상의 프로그램은 명령을 포함하며, 전자 디바이스에 의해 실행될 때, 명령은 전자 디바이스가 제1 측면에서의 방법의 일부 또는 방법의 전부를 실행할 수 있게 한다.
제4 측면은 컴퓨터 저장 매체, 즉 하나 이상의 프로그램을 저장하는 컴퓨터 판독 가능 저장 매체를 더 제공하며, 여기서 하나 이상의 프로그램은 명령을 포함하고, 전자 디바이스에 의해 실행될 때, 명령은 전자 디바이스가 제1 측면에서의 방법의 일부 또는 방법의 전부를 실행할 수 있게 한다.
제5 측면은 전자 디바이스를 더 제공하며, 여기서 전자 디바이스는 표시 스크린, 카메라, 적어도 하나의 프로세서 및 메모리를 포함하고, 메모리는 하나 이상의 프로그램을 저장하며, 적어도 하나의 프로세서는 메모리에 저장된 하나 이상의 프로그램을 호출하도록 구성되어, 이로써 전자 디바이스가 제1 측면에서의 방법의 일부 또는 방법의 전부를 실행하게 된다.
본 발명의 실시예를 보다 명확하게 설명하기 위해, 이하에서는 실시예를 설명하기 위해 요구되는 첨부 도면을 간단하게 설명한다. 명확한 것은, 이하의 설명에서의 첨부 도면은 단지 본 발명의 일부 실시예를 나타내며, 통상의 기술자는 창의적인 노력 없이도 여전히 이들 도면으로부터 다른 도면을 유도할 수 있다는 것이다.
도 1은 본 발명의 일 실시예에 따른 전자 디바이스의 개략적인 구조도이다.
도 2는 본 발명의 실시예 1에 따른 얼굴 검증 방법의 개략적인 흐름도이다.
도 3a는 도 2에 도시된 실시예에서 텍스트를 디스플레이하는 개략도이다.
도 3b는 도 2에 도시된 실시예에서 텍스트를 디스플레이하는 다른 개략도이다.
도 3c는 도 2에 도시된 실시예에서 다수의 텍스트를 디스플레이하는 개략도이다.
도 3d는 도 2에 도시된 실시예에서 그림을 디스플레이하는 개략도이다.
도 4는 본 발명의 실시예 2에 따른 얼굴 검증 방법의 개략적인 흐름도이다.
도 5는 본 발명의 실시예 3에 따른 얼굴 검증 방법의 개략적인 흐름도이다.
도 6은 본 발명의 실시예 4에 따른 얼굴 검증 방법의 개략적인 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 전자 디바이스의 개략적인 구조도이다.
도 1은 본 발명의 일 실시예에 따른 전자 디바이스의 개략적인 구조도이다.
도 2는 본 발명의 실시예 1에 따른 얼굴 검증 방법의 개략적인 흐름도이다.
도 3a는 도 2에 도시된 실시예에서 텍스트를 디스플레이하는 개략도이다.
도 3b는 도 2에 도시된 실시예에서 텍스트를 디스플레이하는 다른 개략도이다.
도 3c는 도 2에 도시된 실시예에서 다수의 텍스트를 디스플레이하는 개략도이다.
도 3d는 도 2에 도시된 실시예에서 그림을 디스플레이하는 개략도이다.
도 4는 본 발명의 실시예 2에 따른 얼굴 검증 방법의 개략적인 흐름도이다.
도 5는 본 발명의 실시예 3에 따른 얼굴 검증 방법의 개략적인 흐름도이다.
도 6은 본 발명의 실시예 4에 따른 얼굴 검증 방법의 개략적인 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 전자 디바이스의 개략적인 구조도이다.
이하에서는 본 발명의 실시예에서의 첨부 도면을 참조하여 본 발명의 실시예에서의 기술적 해결책을 명확하고 완전하게 설명한다. 명확한 것은, 기술된 실시예는 본 발명의 단지 일부 실시예에 불과하지만 전부는 아니라는 것이다. 창의적인 노력 없이 본 발명의 실시예에 기초하여 통상의 기술자에 의해 획득된 다른 모든 실시예는 본 발명의 보호 범위 내에 있다.
여기서, 본 발명의 실시예와 관련된 일부 기본 개념들이 먼저 설명된다.
본 발명의 일 실시예에서 제공되는 전자 디바이스는 도 1에 도시되었을 수 있다. 전자 디바이스(1)는 입력 유닛(11), 적어도 하나의 프로세서(12), 출력 유닛(13), 메모리(14), 전원(15) 및 통신 유닛(16)과 같은 구성요소를 포함한다. 이들 구성요소는 하나 이상의 버스를 사용하여 서로 통신한다.
통상의 기술자는 도면에 도시된 전자 디바이스의 구조가 본 발명에 대한 제한으로 해석되지 않는다는 것을 이해할 수 있다. 전자 디바이스는 버스 구조이거나 스타 구조일 수 있으며, 도면에 도시된 것보다 많거나 적은 구성요소 또는 일부 구성요소의 조합 또는 다르게 배치된 구성요소를 더 포함할 수 있다. 본 발명의 본 구현에서, 전자 디바이스(1)는 모바일 폰, 모바일 컴퓨터, 태블릿 컴퓨터, PDA(Personal Digital Assistant), 미디어 플레이어, 스마트 텔레비전 또는 이들 중 둘 이상의 조합을 포함하지만 제한되지 않는 임의의 모바일 또는 휴대용 전자 디바이스일 수 있다.
입력 유닛(11)은 사용자와 전자 디바이스 사이의 상호작용 및/또는 전자 디바이스로의 입력 정보를 구현하도록 구성된다. 예를 들어, 입력 유닛(11)은 사용자에 의해 입력된 디지털 또는 문자 정보를 수신하여, 사용자 설정 또는 기능 제어와 관련된 신호 입력을 생성할 수 있다. 본 발명의 특정 구현에서, 입력 유닛(11)은 적어도 카메라(111)를 포함하고, 입력 유닛(11)은 터치 패널(112) 및/또는 물리적 엔터키 및 마이크로폰과 같은 다른 인간-컴퓨터 상호작용 인터페이스(113)를 더 포함할 수 있다.
터치스크린 또는 터치 제어 스크린으로도 지칭되는 터치 패널(112)은 터치 패널(112) 상에서 또는 터치 패널(112) 근처에서 사용자에 의해 수행된 터치 조작을 수집할 수 있다. 예를 들어, 사용자는 손가락 또는 스타일러스(stylus)와 같은 임의의 적절한 물체 또는 액세서리를 사용하여 터치 패널 상에서 또는 근처에서 조작을 수행하고, 미리 설정된 프로그램에 따라 대응하는 연결 디바이스를 구동한다. 선택적으로, 터치 패널은 두 부분, 즉 터치 검출 장치 및 터치 제어기를 포함할 수 있다. 터치 검출 장치는 사용자의 터치 조작을 검출하고, 검출된 터치 조작을 전기 신호로 변환하며, 전기 신호를 터치 제어기에 전송한다. 터치 제어기는 터치 검출 장치로부터 전기 신호를 수신하고, 전기 신호를 접촉 좌표로 변환한 후, 접촉 좌표를 프로세서에 전송한다. 터치 제어기는 프로세서에 의해 전송된 명령을 더 수신하고 실행할 수 있다. 또한, 터치 패널은 저항형, 용량형, 적외선(Infrared)형, 표면 탄성파(surface acoustic wave)형 등 다수의 유형을 사용하여 구현될 수 있다. 본 발명의 다른 구현에서, 입력 유닛(11)에 의해 사용되는 물리적 엔터키는 하나 이상의 물리적 키보드, 기능 키(예를 들어, 볼륨 제어 키 또는 온/오프 키), 트랙볼, 마우스, 조이스틱 등을 포함할 수 있지만 이에 제한되는 것은 아니다. 마이크로폰 형태의 입력 유닛(11)은 사용자 또는 환경에 의해 입력된 음성을 수집하여 그 음성을 프로세서에 의해 실행될 수 있는 전기 신호 형태의 명령으로 변환할 수 있다.
프로세서(12)는 전자 디바이스의 제어 센터이며, 다양한 인터페이스 및 라인을 사용하여 전체 전자 디바이스의 모든 부분에 연결되고, 메모리에 저장된 소프트웨어 프로그램 및/또는 모듈을 실행하고 메모리에 저장된 데이터를 호출함으로써 전자 디바이스의 다양한 기능 및/또는 데이터 처리를 실행한다. 프로세서(12)는 집적 회로(IC: Integrated Circuit)를 포함할 수 있고, 예를 들어 단일 패키지 IC를 포함할 수 있거나, 또는 동일한 기능 또는 상이한 기능을 갖는 다수의 패키지 IC를 연결함으로써 형성될 수 있다. 예를 들어, 프로세서(12)는 중앙 처리 장치(CPU: Central Processing Unit)만을 포함할 수 있거나, 또는 통신 유닛(16) 내의 GPU, 디지털 신호 프로세서(DSP: Digital Signal Processor) 및 제어 칩(예를 들어, 기저 대역 칩)의 조합일 수 있다. 본 발명의 본 구현에서, CPU는 단일 컴퓨팅 코어일 수 있거나 다수의 컴퓨팅 코어를 포함할 수 있다.
출력 유닛(13)은 이미지 출력 유닛(131) 및 음성 출력 유닛(132)을 포함하지만 이에 제한되지는 않는다. 이미지 출력 유닛은 문자, 그림 및/또는 비디오를 출력하도록 구성된다. 본 발명의 본 실시예에서, 이미지 출력 유닛(131)은 적어도 표시 스크린(1311), 예를 들어 LCD(Liquid Crystal Display), OLED(Organic Light-Emitting Diode) 및 FED(field emission display)의 형태로 구성된 표시 스크린을 포함한다. 다르게는, 이미지 출력 유닛은 전기 영동(electrophoretic) 표시 또는 광의 간섭 측정 변조(Interferometric Modulation of Light)를 사용하는 표시와 같은 반사형 표시를 포함할 수 있다. 이미지 출력 유닛은 단일 표시 또는 상이한 크기의 다중 표시를 포함할 수 있다. 본 발명의 특정 구현에서, 입력 유닛(11)에 의해 사용되는 터치 패널 및 출력 유닛(13)에 의해 사용되는 표시 스크린은 총칭하여 표시로서 지칭될 수 있다. 터치 패널 상에서의 터치 조작 또는 터치 패널 근처에서의 제스처 조작을 검출한 후, 터치 패널은 조작에 관한 정보를 프로세서(12)에 전송하여 터치 이벤트 유형을 결정한다. 그 후, 프로세서(12)는 터치 이벤트 유형에 따라 표시 스크린 상에 대응하는 시각적 출력을 제공한다. 도 1에서, 입력 유닛(11) 및 출력 유닛(13)은 전자 디바이스의 입력 및 출력 기능을 구현하기 위해 2개의 독립적인 구성요소로 사용된다. 그러나, 일부 실시예에서, 터치 패널 및 표시 스크린은 전자 디바이스의 입력 및 출력 기능를 구현하도록 통합될 수 있다. 예를 들어, 이미지 출력 유닛은, 제한되지는 않지만 가상 제어 구성요소로서 윈도우, 스크롤 바, 아이콘 및 스크랩북을 포함하는, 사용자가 터치를 통해 조작을 수행할 수 있는 가상 제어 구성요소로서 기능하는 다양한 그래픽 사용자 인터페이스(GUI: Graphical User Interface)를 디스플레이할 수 있다.
본 발명의 특정 구현에서, 이미지 출력 유닛은 프로세서에 의해 출력된 비디오를 필터링(filtering)하고 줌잉(zooming)하기 위한 필터 및 증폭기를 포함한다. 오디오 출력 유닛은 프로세서에 의해 출력된 오디오 신호를 디지털 포맷으로부터 아날로그 포맷으로 변환하도록 구성된 디지털-아날로그 변환기를 포함한다.
메모리(14)는 소프트웨어 프로그램 및 모듈을 저장하도록 구성될 수 있다. 프로세서(12)는 메모리(14)에 저장된 소프트웨어 프로그램 및 모듈을 실행하며, 이로써 전자 디바이스의 다양한 기능 응용을 실행하고 데이터 처리를 구현한다. 메모리(14)는 주로 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있다. 프로그램 저장 영역은 운영 체제 및 적어도 하나의 기능에 의해 요구되는 응용 프로그램, 예를 들어 오디오 재생 프로그램 및 이미지 재생 프로그램을 저장할 수 있다. 데이터 저장 영역은 전자 디바이스 등의 사용에 따라 생성된 데이터(예를 들어, 오디오 데이터 및 전화번호부)를 저장할 수 있다. 본 발명의 특정 구현에서, 메모리(14)는 휘발성 메모리, 예를 들어 비휘발성 랜덤 액세스 메모리(NVRAM: Nonvolatile Random Access Memory), 위상 변화 랜덤 액세스 메모리(PRAM: Phase Change RAM) 및 자기저항 랜덤 액세스 메모리(MRAM: Magetoresistive RAM)를 포함할 수 있다. 메모리(14)는 또한 비휘발성 메모리, 예를 들어 적어도 하나의 디스크 저장 디바이스, 전기적으로 소거 가능한 프로그래머블 판독 전용 메모리(EEPROM: Electrically Erasable Programmable Read-Only Memory) 및 NOR 플래시 메모리 또는 NAND 플래시 메모리와 같은 플래시 메모리를 포함할 수 있다. 비휘발성 메모리는 프로세서에 의해 실행되는 운영체제 및 응용 프로그램을 저장한다. 메모리(14)는 비휘발성 메모리로부터 실행중인 프로그램 및 데이터를 메모리에 로딩하고, 대용량 저장 장치에 디지털 컨텐츠를 저장한다. 운영체제는 메모리 관리, 저장 디바이스 제어 및 전력 관리와 같은 기존 시스템 작업을 제어 및 관리하도록 구성되며 다양한 유형의 하드웨어 및 소프트웨어 간의 통신을 용이하게 하는 다양한 구성요소 및/또는 드라이버를 포함한다. 본 발명의 본 구현에서, 운영체제는 Google의 안드로이드 시스템, Apple에 의해 개발된 iOS 시스템, Microsoft에 의해 개발된 Windows 운영체제 또는 Vxworks와 같은 임베디드 운영체제일 수 있다.
응용 프로그램은 브라우저, 이메일, 인스턴트 메시징 서비스(instant messaging service), 워드 처리, 키보드 가상화, 위젯(widget), 암호화(encryption), 디지털 저작권 관리, 음성 인식, 음성 재생, 위치 확인(예를 들어 글로벌 위치 확인 시스템에 의해 제공되는 기능), 음악 재생 등을 포함하지만 이에 제한되지 않는 전자 디바이스 상에 설치된 임의의 응용 프로그램을 포함한다.
전원(15)은 전자 디바이스의 실행을 유지하기 위해 전자 디바이스의 상이한 구성요소에 전력을 공급하도록 구성된다. 일반적으로, 전원은 공통 리튬(lithium) 이온 배터리 및 니켈(nickel) 수소 배터리와 같은 빌트인(built-in) 배터리일 수 있으며, 또한 전자 디바이스에 직접 전력을 공급하는 AC 어댑터와 같은 외부 전력 소스를 포함할 수 있다. 본 발명의 일부 구현에서, 전원은 또한 광범위하게 정의될 수 있으며, 예를 들어, 전력 관리 시스템, 충전 시스템, 정전 검출 회로, 전력 변환기 또는 인버터, 전력 상태 표시기(예를 들어, 발광 다이오드) 및 전자 디바이스의 전기 생성, 관리 및 분배와 관련된 임의의 다른 구성요소를 포함할 수 있다.
통신 유닛(16)은 통신 채널을 설정하여, 전자 디바이스가 통신 채널을 사용하여 원격 서버에 연결되고 원격 서버로부터 미디어 데이터를 다운로드하도록 구성된다. 통신 유닛(16)은 무선 로컬 영역 네트워크(wireless LAN) 통신, 블루투스 통신, 적외선 통신 및/또는 셀룰러 통신 시스템 통신, 예를 들어, W-CDMA(Wideband Code Division Multiple Access) 및/또는 고속 다운링크 패킷 액세스(HSDPA: High Speed Downlink Packet Access)를 수행하기 위한 통신 모듈에 대응하는 무선 주파수(RF: Radio Frequency) 뿐만 아니라, 무선 로컬 영역 네트워크(wireless LAN: wireless Local Area Network) 모듈, 블루투스 모듈 및 기저 대역(Base Band) 모듈과 같은 통신 모듈을 포함할 수 있다. 통신 모듈은 전자 디바이스 내의 구성요소의 통신을 제어하도록 구성되며 직접 메모리 액세스(Direct Memory Access)를 지원할 수 있다.
본 발명의 다른 구현에서, 통신 유닛(16) 내의 통신 모듈은 일반적으로 집적 회로 칩(Integrated Circuit Chip)의 형태로 제공되며 모든 통신 모듈 및 대응하는 안테나 그룹이 포함될 필요 없이 선택적으로 조합될 수 있다. 예를 들어, 통신 유닛(16)은 셀룰러 통신 시스템에서 통신 기능을 제공하기 위해 기저 대역 칩, 무선 주파수 칩 및 대응하는 안테나만을 포함할 수 있다. 전자 디바이스는 통신 유닛(16)에 의해 설정된 무선 로컬 영역 네트워크 액세스 또는 WCDMA 액세스와 같은 무선 통신 연결을 사용함으로써 셀룰러 네트워크(Cellular Network) 또는 인터넷(Internet)에 연결될 수 있다. 본 발명의 일부 선택적 구현에서, 통신 유닛(16) 내의 기저 대역 모듈과 같은 통신 모듈은 프로세서 유닛에 통합될 수 있다. 전형적인 예는 Qualcomm에 의해 제공되는 APQ+MDM 시리즈 플랫폼이다.
RF 회로는 정보를 수신 및 전송하거나, 콜 프로세스에서 신호를 수신 및 전송하도록 구성된다. 예를 들어, 기지국의 다운링크 정보를 수신한 후, RF 회로는 처리를 위해 다운링크 정보를 프로세서에 전송하고; 및 부가적으로, 업링크 데이터를 기지국에 전송한다. 일반적으로, RF 회로는 안테나 시스템, 무선 주파수 트랜시버, 하나 이상의 증폭기, 튜너, 하나 이상의 오실레이터(oscillators), 디지털 신호 프로세서, 코덱(Codec) 칩셋, 가입자 식별 모듈(SIM) 카드, 메모리 등을 포함하지만 이에 제한되지 않는 기능을 구현하기 위한 잘 알려진 회로를 포함한다. 또한, RF 회로는 무선 통신에 의해 네트워크 및 다른 디바이스와 더 통신할 수 있다. 임의의 통신 표준 또는 프로토콜은 GSM(Global System of Mobile communication, Global System for Mobile Communications), GPRS(General Packet Radio Service), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), 고속 업링크 패킷 액세스(HSUPA: High Speed Uplink Packet Access), LTE(Long Term Evolution), 이메일, SMS(Short Messaging Service) 등을 포함하지만 이에 제한되지 않는 무선 통신에 사용될 수 있다.
가능한 구현에서, 전자 디바이스(1)는 표시 스크린(1311) 상에 하나 이상의 컨텐츠를 디스플레이할 수 있고 - 여기서 컨텐츠는 문자, 그림 또는 비디오를 포함함 -; 및 하나 이상의 컨텐츠를 디스플레이하는 동안 카메라(111)를 사용하여 k개의 얼굴 이미지를 획득할 수 있으며, 여기서 k는 2 이상의 정수이다. 프로세서(12)는 메모리(14)에 저장된 코드를 호출하여 이하의 동작: 획득된 k개의 얼굴 이미지에 따라 얼굴 표정 파라미터 값을 결정하는 동작 - 상기 얼굴 표정 파라미터 값은 적어도 하나의 얼굴 표정 코드 값 또는 동공 관련 값을 포함함 -; 및 결정된 t개의 얼굴 표정 파라미터 값과 미리 설정된 제1 기준 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작지 않고, 적어도 하나의 획득된 k개의 얼굴 이미지에 따라 획득된 얼굴 매칭 결과가 성공이면, 얼굴 검증 결과가 성공인 것으로 결정하는 동작 - 상기 t는 2 이상의 정수이며, t≤k임 -;을 수행한다.
결정된 t개의 얼굴 표정 파라미터 값과 제1 기준 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작고 및/또는 적어도 하나의 획득된 k개의 얼굴 이미지에 따라 획득된 얼굴 매칭 결과가 실패이면, 프로세서(12)는 얼굴 검증 결과가 실패인 것으로 결정할 수 있다.
또한, 결정된 t개의 얼굴 표정 파라미터 값 및 제1 기준 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작으면, 표시 스크린(1311)은 하나 이상의 컨텐츠를 더 디스플레이할 수 있고; 카메라(111)는 하나 이상의 컨텐츠를 디스플레이하는 동안 k개의 얼굴 이미지를 더 재획득할 수 있으며; 및 프로세서(12)는 재획득된 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 파라미터 값을 재결정할 수 있고, 재결정된 t개의 얼굴 표정 파라미터 값과 미리 설정된 제2 기준 시퀀스의 매칭도가 미리 설정된 제2 임계값보다 작지 않고, 적어도 하나의 재획득된 k개의 얼굴 이미지에 따라 획득된 얼굴 매칭 결과가 성공이면, 얼굴 검증 결과가 성공인 것으로 결정한다.
재결정된 t개의 얼굴 표정 파라미터 값 및 제2 기준 시퀀스의 매칭도가 미리 설정된 제2 임계값보다 작고 및/또는 적어도 하나의 재획득된 k개의 얼굴 이미지에 따라 획득된 얼굴 매칭 결과가 실패이면, 프로세서(12)는 얼굴 검증 결과가 실패인 것으로 결정한다.
선택적으로, 표시 스크린(1311)이 하나 이상의 컨텐츠를 동시에 디스플레이하면, 카메라(111)는 미리 설정된 간격에 따라, 하나 이상의 컨텐츠가 디스플레이되기 시작한 후 k개의 얼굴 이미지를 획득할 수 있다.
선택적으로, 표시 스크린(1311)이 다수의 컨텐츠를 동시에 디스플레이하면, 카메라(111)는 각각의 컨텐츠를 디스플레이하는 동안 적어도 하나의 얼굴 이미지를 획득할 수 있고, 여기서 획득된 얼굴 이미지의 총수량은 k개이다.
하나의 컨텐츠는 전자 디바이스에 저장된 다수의 컨텐츠로부터 무작위로 선택된 하나의 컨텐츠고, 여기서 각각의 컨텐츠는 기준 시퀀스에 대응하거나, 또는 다수의 컨텐츠가 전자 디바이스에 저장된 다수의 컨텐츠 세트로부터 무작위로 선택된 하나의 컨텐츠 세트이고, 여기서 각각의 컨텐츠 세트는 기준 시퀀스에 대응한다.
본 구현에서, 전자 디바이스(1)의 기능 모듈의 기능은 도 2 내지 도 6에 도시된 방법 실시예에서의 방법에 따라 구체적으로 구현될 수 있으며, 도 2 내지 도 6의 관련 설명에 대응할 수 있다. 상세한 설명은 여기서 다시 설명되지 않는다.
여기서, 본 발명의 모든 실시예와 관련된 일부 용어가 설명된다.
얼굴 표정 파라미터 값은 적어도 하나의 얼굴 표정 코드 값 또는 동공 관련 값을 포함한다. 얼굴 표정 코드 값 및 동공 관련 값에 대해서는, 이하 설명을 참조한다.
인간은 주로 적어도 7개의 얼굴 표정을 가지며, 모든 얼굴 표정의 얼굴 특징이 상이하다는 연구 결과가 있다. 행복한 얼굴 특징으로는 입꼬리가 치켜 올라간 입, 주름이 잡힌 튀어 나온 볼, 좁아진 눈꺼풀, 눈의 바깥 모서리에 형성된 "까마귀의 발" 등을 포함한다. 슬픈 얼굴 특징은 실눈 뜬 눈, 눈썹이 모이고, 입꼬리가 아래로 내려가고, 턱이 당겨지거나 움츠러진 것을 포함한다. 두려운 얼굴 특징으로는 입을 벌리고 눈을 뜨는 것, 눈썹을 치켜 올리는 것, 콧구멍을 벌름거리는 것을 포함한다. 화난 얼굴 특징으로는 눈썹을 내리까는 것, 주름진 이마 및 긴장된 눈꺼풀과 긴장된 입술을 포함한다. 혐오스러운 얼굴 특징으로는 코 막힘, 치켜 올라간 윗 입술, 눈썹을 내리까는 것 및 실눈 뜬 눈을 포함한다. 놀란 얼굴 특징으로는 아래 턱을 아래로 내리고, 입술을 편안하게 하고 입을 편안하게 하며, 가로로 길어진 눈 및 약간 치켜 올라간 눈꺼풀과 눈썹을 포함한다. 경멸하는 얼굴 특징으로는 입의 한 쪽이 올라가고 비웃거나 웃으면서 만들어지는 것이다. 상기 얼굴 표정은 숫자로 인코딩될 수 있다. 행복, 슬픔, 두려움, 화남, 혐오, 놀람 및 경멸하는 얼굴 표정은 1, 2, 3, 4, 5, 6 및 7로 순차적으로 인코딩된다고 가정한다. 전자 디바이스는 표시 스크린 상에서 이미지를 디스플레이하며, 이미지를 디스플레이하는 동안 카메라를 사용하여 얼굴 이미지를 획득한다. 전자 디바이스가 얼굴 이미지의 분석을 수행하여, 사용자의 얼굴 표정이 슬프다는 것을 알 수 있으면, 전자 디바이스는 코드 2를 결정할 수 있다. 코드는 본 발명의 본 실시예에서 얼굴 표정 코드 값으로서 지칭된다.
본 연구에서는 또한, 상이한 얼굴 표정을 가질 때 사람이 상이한 크기의 동공을 갖는다는 것이 발견된다. 전자 디바이스는 동공과 눈 코너 거리의 직경을 측정할 수 있다. 동일한 기준 코너 길이에 대한 동공의 직경은 동공 관련 값이라고 지칭된다. 예를 들어, 미리 설정된 제1 순간에, 코너 길이가 28mm이고 동공의 직경이 4mm인 것으로 검출되며; 미리 설정된 제2 순간에, 코너 길이가 28mm이고 동공의 직경이 5mm인 것으로 검출되며; 제3 미리 설정된 순간에, 코너 길이가 30mm이고 동공의 직경이 6mm인 것으로 검출된다. 기준 코너 거리가 28mm이고, 동공 관련 값이 4mm, 5mm 및 5.6mm의 시퀀스로 가정된다. 기준 코너 길이는 미리 설정된 제1 순간(즉, 컨텐츠가 디스플레이되기 시작한 후 처음으로 얼굴 이미지가 획득되는 순간)에 검출된 코너 거리일 수 있거나, 또는 검출된 대부분의 코너 거리일 수 있다. 전자 디바이스는 눈 코너를 획득하기 위해, 캐니 오퍼레이터 에지 검출(canny operator edge detection)과 허프 변환(Hough transformation)을 수행하여 모양을 추출할 수 있다.
얼굴 매칭은 인간의 얼굴 특징 정보에 기초한 신원 인식을 위한 생체 인식 기술이다. 얼굴 매칭 프로세스는 일반적으로 3 단계를 포함한다. 얼굴의 얼굴 이미지 데이터베이스가 처음에 생성된다. 즉, 카메라는 얼굴을 캡쳐하여 얼굴 이미지를 획득하거나 사진을 사용하여 얼굴 이미지를 획득하고, 이들 얼굴 이미지를 사용하여 페이스프린트(Faceprint)를 생성하며, 페이스프린트 코드를 저장하며; 현재 검출된 사람의 얼굴 이미지를 획득한다. 즉, 카메라를 사용하여 현재 검출된 사람의 얼굴 이미지를 캡쳐하거나 현재 검출된 사람의 사진을 사용하여 얼굴 이미지를 획득하고, 현재 획득된 얼굴 이미지를 사용하여 페이스프린트 코드를 생성하며, 현재 페이스프린트 코드를 얼굴 이미지 데이터베이스의 페이스프린트 코드와 비교한다.
얼굴 매칭은 검출된 사람의 얼굴 이미지에 대한 신원 검증을 수행하거나 얼굴 이미지 데이터베이스에서 타깃 검색을 수행하기 위한 것이다. 실제로, 이는 캡쳐된 얼굴 이미지를 데이터베이스에서 얼굴 이미지와 하나씩 비교하여, 이로써 최적의 매칭 컨텐츠를 찾는 것을 의미한다. 따라서, 얼굴 설명은 얼굴 매칭의 구체적인 방법과 수행을 결정한다. 고유 벡터(eigenvector)와 페이스프린트 템플릿을 사용하는 2가지 설명 방법이 주로 사용된다. 첫 번째 방법은 고유 벡터 방법이다. 본 방법에서는 눈의 홍채, 코의 날개, 입 모서리와 같은 얼굴 윤곽의 크기, 위치 및 거리 등의 속성이 결정되며, 그 속성의 기하하적 특성 수량이 산출된다. 이들 특성의 수량은 얼굴을 설명하는 고유 벡터를 형성한다. 두번째 방법은 페이스프린트 템플릿 방법이다. 본 방법에서는, 몇 가지 표준 얼굴 이미지 템플릿 또는 얼굴 기관 템플릿이 데이터베이스에 저장된다. 비교하는 동안, 매칭은 캡쳐된 얼굴 이미지와 데이터베이스의 모든 템플릿에 대하여 표준화된 상관 관계 측정을 통해 수행된다. 또한, 패턴 인식을 위한 자동 상관 관계 네트워크나 특징을 템플릿과 조합하는 방법도 있다. 실제로, 얼굴 매칭 기술의 핵심은 "로컬 인간 특징 분석"과 "그래픽/신경 인식 알고리즘"이다. 이 알고리즘은 인간 얼굴 기관과 얼굴 특징을 사용하는 방법이다. 예를 들어, 해당 기하학적 관계와 같은 데이터에 의해 형성된 신원 파라미터는 데이터베이스의 모든 기존의 파라미터와 비교된 다음, 결정 및 확인이 수행된다.
가능한 설계에서, 하나 이상의 컨텐츠는 표시 스크린 상에서 동시에 디스플레이될 수 있거나, 또는 다수의 컨텐츠가 표시 스크린 상에서 순차적으로 디스플레이될 수 있다. 하나 이상의 컨텐츠를 동시에 디스플레이하는 관련 설명에 대해서는, 도 2 및 도 4의 해당 실시예를 참조하며; 다수의 컨텐츠를 연속으로 디스플레이하는 관련 설명에 대해서는, 도 5 및 도6의 해당 실시예를 참조한다. 컨텐츠는 문자, 그림 또는 비디오를 포함한다.
도 2를 참조하면, 도 2는 본 발명의 실시예 1에 따른 얼굴 검증 방법의 개략적인 흐름도이다. 본 방법의 본 실시예에서 제공되는 얼굴 검증 방법은 표시 스크린 및 카메라를 포함하는 전자 디바이스에 적용된다. 도 2에 도시된 바와 같이, 본 방법은 이하의 단계를 포함할 수 있다.
단계 S201. 전자 디바이스는 표시 스크린 상에서 하나 이상의 컨텐츠를 동시에 디스플레이한다. 여기서 컨텐츠는 문자, 그림 또는 비디오를 포함한다.
구체적으로, 전자 디바이스가 얼굴 검증 명령을 수신할 때, 하나 이상의 컨텐츠는 전자 디바이스의 표시 스크린 상에서 동시에 디스플레이될 수 있다. 전자 디바이스의 일례로서 모바일 폰이 사용된다. 예를 들어, 모바일 폰이 잠금 해제될 때, 얼굴 검증 명령이 수신된 것으로 간주될 수 있다. 전자 디바이스의 일례로서 액세스 제어 디바이스가 사용된다. 예를 들어, 액세스 제어 디바이스가 인증을 수행할 때, 얼굴 검증 명령이 수신된 것으로 간주될 수 있다.
선택적 구현에서, 전자 디바이스는 다수의 컨텐츠를 미리 저장할 수 있고, 각각의 컨텐츠는 기준 시퀀스에 대응하며, 얼굴 검증 명령을 수신할 때, 전자 디바이스는 미리 저장된 다수의 컨텐츠로부터 하나의 컨텐츠를 무작위로 획득하고 표시 스크린 상에서 컨텐츠를 디스플레이할 수 있다.
다른 선택적 구현에서, 전자 디바이스는 다수의 컨텐츠 세트를 미리 저장할 수 있고, 각각의 컨텐츠 세트는 다수의 컨텐츠를 포함하며, 각각의 컨텐츠 세트는 기준 시퀀스에 대응하고, 얼굴 검증 명령을 수신할 때, 전자 디바이스는 미리 저장된 다수의 컨텐츠 세트 중 하나를 무작위로 획득하고, 표시 스크린 상에서 이 컨텐츠 세트를 동시에 디스플레이할 수 있다.
컨텐츠가 문자이면, 전자 디바이스가 전자 디바이스의 표시 스크린 상에 하나의 컨텐츠를 디스플레이하는 것은 구체적으로: 표시 스크린 상에서 텍스트를 디스플레이하는 것, 예를 들어, 도 3a에 도시된 바와 같이, 문자를 포함하는 질문을 디스플레이하는 것, 또 다른 예로서, 도 3b에 도시된 바와 같이, 불규칙한 선명도의 문자를 디스플레이하는 것일 수 있다. 전자 디바이스가 표시 스크린 상에서 다수의 컨텐츠를 디스플레이하는 것은 구체적으로: 전자 디바이스가 디스플레이될 필요가 있는 컨텐츠의 양을 결정하고; 양에 따라 표시 스크린의 표시 영역을 결정하는 것, 여기서 하나의 컨텐츠는 하나의 표시 영역에 디스플레이되며, 도 3c에 도시된 바와 같이, 사용자에게 특정 시퀀스의 상이한 영역을 보도록 프롬프트하는 것일 수 있다.
컨텐츠가 그림이면, 전자 디바이스가 표시 스크린 상에서 하나의 컨텐츠를 디스플레이하는 것은 구체적으로: 표시 스크린 상에서 정적 그림을 디스플레이하는 것일 수 있으며, 여기서 그림의 컨텐츠는 공간에서 불규칙한 복잡성을 가지며, 그림은 도 3d에 도시된 바와 같이, 사용자에게 특정 시퀀스에서 그림의 상이한 영역을 보도록 프롬프트한다. 전자 디바이스가 표시 스크린 상에서 다수의 컨텐츠를 디스플레이하는 것은 구체적으로: 전자 디바이스가 디스플레이될 필요가 있는 컨텐츠의 양을 결정하는 것; 그 양에 따라 표시 스크린의 표시 영역을 결정하는 것, 여기서 하나의 컨텐츠는 하나의 표시 스크린에 디스플레이되며; 및 사용자에게 특정 시퀀스의 상이한 영역을 보도록 프롬프트하는 것일 수 있다. 컨텐츠가 비디오면, 전자 디바이스가 표시 스크린 상에서 하나의 컨텐츠를 디스플레이하는 것은 구체적으로: 표시 스크린 상에서 비디오 클립을 디스플레이하는 것일 수 있다.
도 3a, 도 3b, 도 3c 및 도 3d에서의 전자 디바이스는 모바일 폰이라는 것을 알아야 한다. 다른 선택적 실시예에서, 전자 디바이스는 또한 PAD, 미디어 플레이어 등일 수 있다. 전술한 내용은 단지 본 발명의 가능한 실시예의 특정 실시예에 불과하다. 이는 본 발명을 제한하지 않는다.
본 발명의 본 실시예에서, 컨텐츠에 대하여 사용자에 의해 제공되는 얼굴 표정 변화 및 동공 변화는 컨텐츠를 디스플레이하여 캡쳐되며, 생체 검증이 얼굴 표정 변화 및/또는 동공 변화에 따라 수행된다. 이러한 방식으로, 비디오 공격의 영향이 감소되고, 의도적으로 사용자가 프롬프트하는 것이 회피되며, 사용자와의 상호작용이 자연스러워지며, 사용자 경험이 향상된다.
다른 선택적 실시예에서, 표시 스크린 상에서 컨텐츠를 디스플레이하는 것은 음성 출력 유닛을 사용하여 오디오 클립을 재생함으로써 대체될 수 있고, 이로써 오디오 클립에 대하여 사용자에 의해 제공되는 얼굴 표정 변화 및 동공 변화를 캡쳐하고, 얼굴 표정 변화 및/또는 동공 변화에 따라 생체 검증을 수행할 수 있음을 알아야 한다.
단계 S202. 전자 디바이스는 하나 이상의 컨텐츠를 디스플레이하는 동안 카메라를 사용하여 k개의 얼굴 이미지를 획득한다. 여기서 k는 2 이상의 정수이다.
구체적으로, 표시 스크린 상에서 하나 이상의 컨텐츠를 동시에 디스플레이하기 시작할 때, 전자 디바이스는 자신의 카메라를 콜하여 사용자의 얼굴 이미지를 획득할 수 있다. 전자 디바이스는 적어도 2개의 순간을 미리 설정하고 컨텐츠가 디스플레이하기 시작한 후 대응하는 순간에 사용자의 얼굴 이미지를 획득하기 시작할 수 있다. 순간 사이의 간격은 같거나 다를 수 있다. 전자 디바이스는 또한 미리 설정된 간격에 따라 각각의 순간을 결정할 수 있고, 즉 미리 설정된 간격에 따라, 컨텐츠가 디스플레이되기 시작한 후 얼굴 이미지를 획득할 수 있다.
각각의 순간에 카메라에 의해 획득된 얼굴 이미지의 양은 동일하거나 상이할 수 있음을 알아야 한다. 이는 본 발명에 제한되지 않는다.
설명의 편의를 위해, 본 발명의 본 실시예에서, 2개의 순간, 즉 미리 설정된 제1 순간 및 미리 설정된 제2 순간의 일례가 미리 설정되어 사용된다. 카메라는 컨텐츠가 디스플레이되기 시작한 후 미리 설정된 제1 순간에서 m개의 얼굴 이미지를 획득하기 시작할 수 있으며, 컨텐츠가 디스플레이되기 시작한 후 미리 설정된 제2 순간에서 n개의 얼굴 이미지를 획득하기 시작할 수 있다. 여기서 m 및 n은 1 이상의 정수이며, m 및 n은 동일하거나 상이할 수 있고, k=m+n이다. 미리 설정된 제1 순간은 1초, 미리 설정된 제2 순간은 3초, m과 n은 모두 3으로 가정된다. 전자 디바이스는 컨텐츠가 디스플레이되기 시작한 후 1초에 카메라를 호출하여 3개의 얼굴 이미지를 연속적으로 획득하며, 컨텐츠가 디스플레이되기 시작한 후 3초에 카메라를 호출하여 3개의 얼굴 이미지를 연속적으로 획득한다.
선택적으로, 컨텐츠를 디스플레이하는 동안, 전자 디바이스는 k회 동안 총 k개의 얼굴 이미지를 획득할 수 있으며, 여기서 매번 하나의 얼굴 이미지가 획득된다.
단계 S203. 전자 디바이스는 획득된 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 파라미터 값을 결정한다. 여기서 얼굴 표정 파라미터 값은 얼굴 표정 코드 값 또는 동공 관련 값 중 적어도 하나를 포함하고, t는 2 이상의 정수이며, t≤k이다.
하나의 얼굴 이미지만 각각의 미리 설정된 순간에 획득되면, k 및 t는 동일하다.
컨텐츠가 디스플레이되기 시작한 후 미리 설정된 제1 순간부터 카메라가 m개의 얼굴 이미지를 획득하고, 컨텐츠가 디스플레이되기 시작한 후 미리 설정된 제2 순간부터 n개의 얼굴 이미지를 획득하면, 전자 디바이스는 미리 설정된 제1 순간부터 획득된 m개의 얼굴 이미지 중 적어도 하나에 따라 얼굴 표정 파라미터 값을 결정할 수 있으며 미리 설정된 제2 순간부터 획득된 n개의 얼굴 이미지 중 적어도 하나에 따라 얼굴 표정 파라미터 값을 결정한다.
전자 디바이스가 모든 순간에 획득된 얼굴 이미지에 따라 얼굴 표정 파라미터 값을 결정하는 처리 절차가 동일하기 때문에, 본 발명의 본 실시예에서, 미리 설정된 제1 순간이 상세한 설명을 위한 일례로서 사용되며, 다른 미리 설정된 순간에 수행되는 처리 절차는 유사하다. 상세한 설명은 여기서 반복되지 않는다.
선택적 구현에서, 전자 디바이스는 미리 설정된 제1 순간부터 획득된 m개의 얼굴 이미지 중 가장 선명한 이미지를 선택하고, 선택된 얼굴 이미지에 따라 얼굴 표정 파라미터 값을 결정할 수 있다.
다른 선택적 구현에서, 전자 디바이스는 미리 설정된 제1 순간부터 획득된 m개의 얼굴 이미지의 적어도 2개의 얼굴 이미지를 대체하여 획득한 후, 각각의 얼굴 이미지의 얼굴 표정 파라미터 값을 획득할 수 있으며, 획득된 얼굴 표정 파라미터 값을 비교하고, 가장 빈번하게 획득되는 얼굴 표정 파라미터 값을 선택할 수 있다. 전자 디바이스는 5개의 얼굴 표정 파라미터 값을 획득하고, 5개의 얼굴 표정 파라미터 값은 (3,3,3,2,4)라고 가정한다. 전자 디바이스는 얼굴 표정 파라미터 값이 3이라고 결정할 수 있다.
얼굴 표정 파라미터 값은 얼굴 표정 코드 값 또는 동공 관련 값 중 적어도 하나를 포함할 수 있다. 전자 디바이스는 디스플레이된 컨텐츠에 대해 미리 저장된 제1 기준 시퀀스에 따른 얼굴 이미지로부터 얼굴 표정 코드 값만이 획득되는지, 동공 관련 값만이 획득되는지 또는 얼굴 표정 코드 값 및 동공 관련 값이 획득되는지 여부를 결정할 수 있다.
제1 기준 시퀀스는 제1 얼굴 표정 시퀀스 또는 제1 동공 시퀀스 중 적어도 하나를 포함한다.
제1 기준 시퀀스가 제1 얼굴 표정 시퀀스만을 포함하면, 전자 디바이스는 획득된 얼굴 이미지에 따라, 얼굴 표정 파라미터 값이 얼굴 표정 코드 값이라고 결정한다. 구체적으로, 전자 디바이스는 미리 설정된 제1 순간부터 획득된 m개의 얼굴 이미지로부터 가장 선명한 하나의 얼굴 이미지를 선택할 수 있으며, 선택된 얼굴 이미지에 따라 얼굴 표정 코드 값을 결정할 수 있거나; 또는 전자 디바이스는 미리 설정된 제1 순간부터 획득된 m개의 얼굴 이미지로부터 적어도 2개의 얼굴 이미지를 획득한 후, 각각의 얼굴 이미지의 얼굴 표정 코드 값을 획득할 수 있으며, 획득된 얼굴 표정 코드 값을 비교하고, 가장 큰 양의 얼굴 표정 코드 값을 취할 수 있다.
제1 기준 시퀀스가 제1 동공 시퀀스만을 포함하면, 전자 디바이스는 얼굴 표정 파라미터 값을 획득된 얼굴 이미지에 따른 동공 관련 값으로서 결정한다. 구체적으로, 얼굴 표정 파라미터 값이 동공 관련 값이면, 전자 디바이스는 미리 설정된 제1 순간부터 획득된 m개의 얼굴 이미지로부터 가장 선명한 하나의 얼굴 이미지를 선택할 수 있으며, 선택된 하나의 얼굴 이미지에 따라 동공 관련 값을 결정할 수 있거나; 또는, 전자 디바이스는 미리 설정된 제1 순간부터 획득된 m개의 얼굴 이미지로부터 적어도 2개의 얼굴 이미지를 획득한 후, 각각의 얼굴 이미지의 동공 관련 값을 획득할 수 있으며, 획득된 동공 관련 값을 비교하고, 가장 빈번하게 획득된 동공 관련 값을 선택할 수 있다.
제1 기준 시퀀스가 제1 동공 시퀀스 및 제1 얼굴 표정 서브시퀀스를 포함하면, 구체적으로 이하의 3가지 경우가 있을 수 있다.
첫 번째 경우, 전자 디바이스는 먼저 획득된 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 코드 값을 결정하고, 결정된 t개의 얼굴 표정 코드 값 및 제1 얼굴 표정 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작으면, 획득된 k개의 얼굴 이미지에 따라 t개의 동공 관련 값을 결정한다.
두 번째 경우, 전자 디바이스는 먼저 획득된 k개의 얼굴 이미지에 따라 t개의 동공 관련 값을 결정하고, 결정된 t개의 동공 관련 값 및 제1 동공 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작으면, 획득된 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 코드 값을 결정한다.
세 번째 경우, 전자 디바이스는 획득된 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 코드 값 및 t개의 동공 관련 값을 모두 결정한다.
전자 디바이스가 어떻게 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 코드 값 및 t개의 동공 관련 값을 결정하는지에 대해서는, 상기 설명을 참조한다는 것을 알 수 있다. 상세한 설명은 여기서 반복되지 않는다.
단계 S204. 전자 디바이스는 결정된 t개의 얼굴 표정 파라미터 값 및 미리 설정된 제1 기준 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작지 않은지 여부를 결정한다.
t개의 얼굴 표정 파라미터 값을 획득한 후, 전자 디바이스는 획득된 t개의 얼굴 표정 파라미터 값을 제1 기준 시퀀스와 매칭시킬 수 있다. 매칭도가 미리 설정된 제1 임계값보다 작지 않으면, 생체 검증 결과는 성공이다. 미리 설정된 제1 임계값은 실제 조건에 따라 조정될 수 있다.
얼굴 표정 파라미터 값이 얼굴 표정 코드 값이면, 전자 디바이스는 t개의 얼굴 표정 코드 값을 제1 기준 시퀀스와 매칭시킬 수 있다. 컨텐츠에 대한 전자 디바이스에 의해 미리 저장된 제1 기준 시퀀스가 (7,3,2,2,1)이고 미리 설정된 제1 임계값이 80%라고 가정하면, 획득된 5개의 얼굴 표정 코드 값 중 적어도 2개가 제1 기준 시퀀스에 대응하는 코드 값과 상이하면, 전자 디바이스는 매칭도가 미리 설정된 제1 임계값보다 작다고 결정하고, 예를 들어 t개의 얼굴 표정 코드 값이 (7,2,2,2,2)라고 결정한다. 획득된 5개의 얼굴 표정 코드 값 중 2개 미만이 제1 기준 시퀀스에 대응하는 코드 값과 상이하면, 전자 디바이스는 매칭도가 미리 설정된 제1 임계값에 도달했다고 결정한다.
얼굴 표정 파라미터 값이 동공 관련 값이면, 전자 디바이스는 t개의 동공 관련 값을 제1 기준 시퀀스와 매칭시킬 수 있다. 컨텐츠에 대해 전자 디바이스에 의해 미리 저장된 제1 기준 시퀀스가 (7,7,5,3,4)이고, 미리 설정된 제1 임계값이 80%라고 가정하면, 획득된 5개의 얼굴 표정 코드 값 중 적어도 2개가 제1 기준 시퀀스에 대응하는 코드 값과 상이하면, 전자 디바이스는 매칭도가 미리 설정된 제1 임계값보다 작다고 결정하거나; 또는 그렇지 않으면, t개의 얼굴 표정 코드 값이 (7,6,5,6,4)이면, 매칭도가 미리 설정된 제1 임계값에 도달한다고 결정한다.
얼굴 표정 파라미터 값이 동공 관련 값이면, 전자 디바이스는 또한 t개의 동공 관련 값을 제1 기준 시퀀스의 변화 트렌드와 매칭시킬 수 있고; t개의 동공 관련 값이 제1 기준 시퀀스의 변화 트렌드와 매칭하면, t개의 동공 관련 값 및 제1 기준 시퀀스의 매칭도가 미리 설정된 제1 임계값에 도달한다고 결정한다. 특정 구현에서, 변화 트렌드는 시퀀스의 차이 시퀀스를 직접 비교하여 획득될 수 있으며, 여기서 각각의 차이 시퀀스는 값과 시퀀스 내의 값 이후의 다른 값 사이의 차이에 의해 형성된 시퀀스이다. (7,7,5,3,4)의 차이 시퀀스가 (0,-2,-2,1)이고 (5,5,3,1,2)의 차이 시퀀스는 또한 (0,-2,-2,1)이며, 2개의 시퀀스는 동일하다. 차이 시퀀스의 유사성은 유클리드 거리(Euclidean Distance), 민코프스키 거리(Minkowski Distance), 맨해튼 거리(Manhattan Distance), 체비셰이프 거리(Chebyshev Distance) 또는 마할라노비스 거리(Mahalanobis Distance)를 사용하여 측정되고 평가될 수 있다.
얼굴 표정 파라미터 값이 얼굴 표정 코드 값 및 동공 관련 값이고, 제1 기준 시퀀스가 대응하여 2개의 시퀀스 즉, 얼굴 표정 코드 값에 대응하는 얼굴 표정 시퀀스 및 동공 관련 값에 대응하는 동공 시퀀스를 가지면, 전자 디바이스는 얼굴 표정 코드 값을 얼굴 표정 시퀀스와 매칭하고 t개의 동공 관련 값을 동공 시퀀스와 매칭하며, 얼굴 표정 코드 값 및 얼굴 표정 시퀀스의 매칭도가 미리 설정된 제1 임계값에 도달하고, 동공 관련 값 및 동공 시퀀스의 매칭도가 미리 설정된 제1 임계값에 도달하거나, 또는 얼굴 표정 코드 값 및 얼굴 표정 시퀀스의 매칭도와 동공 관련 값 및 동공 시퀀스의 매칭도의 곱이 미리 설정된 제1 임계값에 도달하면, t개의 얼굴 표정 파라미터 값 및 미리 설정된 제1 기준 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작지 않음을 결정한다.
단계 S205. 전자 디바이스는 획득된 k개의 얼굴 이미지 중 적어도 하나의 이미지에 따라, 얼굴 매칭이 성공했는지 여부를 결정한다. 구체적으로, 전자 디바이스는 얼굴 매칭을 위해 획득된 k개의 얼굴 이미지로부터 가장 선명한 얼굴 이미지 중 적어도 하나를 선택할 수 있다. 전자 디바이스가 어떻게 얼굴 매칭을 수행하는지는 통상의 기술자에 의해 이해될 수 있으며 여기서 설명되지 않는다는 것을 알아야 한다.
단계 S204 및 단계 S205는 동시에 수행될 수 있고, 단계 S204가 수행되고 단계 S205가 수행될 수 있거나, 또는 단계 S205가 수행되고 단계 S204가 수행될 수 있다는 것을 알아야 한다. 두 단계 사이에 엄격한 실행 시퀀스는 없다. 이는 본 발명을 제한하지 않는다.
단계 S206. 결정된 t개의 얼굴 표정 파라미터 값 및 미리 설정된 제1 기준 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작지 않고, 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 얼굴 매칭 결과가 성공이면, 전자 디바이스는 얼굴 검증 결과가 성공인 것으로 결정한다.
단계 S207. 결정된 t개의 얼굴 표정 파라미터 값 및 제1 기준 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작고 및/또는 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 얼굴 매칭 결과가 실패이면, 얼굴 검증 결과가 실패인 것으로 결정한다.
도 2에 도시된 실시예에서, 전자 디바이스는 표시 스크린 상에서 하나의 컨텐츠를 디스플레이하여, 컨텐츠에 대하여 사용자에 의해 제공되는 얼굴 표정 변화 및 동공 변화를 캡쳐하여, 생체 검증을 수행한다. 생체 검증이 프롬프트에 따라 깜빡이며 수행되거나 또는 단일 상호작용을 통해 수행되는 종래 기술에 비해, 본 발명의 본 실시예는 생체 검증의 어려움을 크게 증가시켜, 이로써 사진, 비디오, 3D 프린팅 또는 다른 기술로 인해 발생하는 공격의 가능성을 감소시킨다. 또한, 생체 검증 동안, 의도적으로 사용자를 프롬프트 할 필요가 없고, 사용자와의 상호작용이 보다 자연스러워지며, 사용자 경험이 향상된다.
도 4를 참조하면, 도 4는 본 발명의 실시예 2에 따른 얼굴 검증 방법의 개략적인 흐름도이다. 본 발명의 본 실시예는 도 4에 도시된 바와 같이, 본 실시예에서의 방법이 실시예 1의 단계 S201 내지 단계 S204에 대응하는 단계 S401 내지 단계 S404에 부가하여 이하의 특정 단계를 포함한다는 것을 제외하고, 실시예 1과 상당히 동일하다.
단계 S405. 전자 디바이스는 표시 스크린 상에서 하나 이상의 컨텐츠를 디스플레이한다.
단계 S406. 전자 디바이스는 하나 이상의 다른 컨텐츠를 디스플레이하는 동안 카메라를 사용하여 k개의 얼굴 이미지를 재획득한다.
단계 S407. 전자 디바이스는 재획득된 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 파라미터 값을 재결정한다. 여기서 얼굴 표정 파라미터 값은 얼굴 표정 코드 값 또는 동공 관련 값 중 적어도 하나를 포함한다.
단계 S403 및 단계 S407의 얼굴 표정 파라미터 값이 동일할 수 있으며, 예를 들어, 둘 다 얼굴 표정 코드 값이고, 둘 다 동공 관련 값이거나 둘 다 얼굴 표정 코드 값 및 동공 관련 값을 포함할 수 있거나; 또는 단계 S403 및 단계 S407의 얼굴 표정 파라미터 값이 상이할 수 있으며, 예를 들어, 단계 S403의 얼굴 표정 파라미터 값이 얼굴 표정 코드 값이고, 단계 S403의 얼굴 표정 파라미터 값이 동공 관련 값일 수 있다는 것을 알아야 한다. 이는 본 발명에 제한되지 않는다.
단계 S408. 전자 디바이스는 재획득된 t개의 얼굴 표정 파라미터 값 및 미리 설정된 제2 기준 시퀀스의 매칭도가 미리 설정된 제2 임계값보다 작지 않은지 여부를 결정하고; t개의 얼굴 표정 파라미터 값 및 미리 설정된 제2 기준 시퀀스의 매칭도가 미리 설정된 제2 임계값보다 작지 않으면, 단계 S409를 수행하고; 그렇지 않으면, 단계 S411를 수행한다.
다른 선택적 실시예에서, t개의 얼굴 표정 파라미터 값 및 제2 기준 시퀀스의 매칭도가 미리 설정된 제2 임계값보다 작으면, 전자 디바이스는 단계 S405를 수행하기 위해 리턴할 수 있으며, 즉 다른 컨텐츠를 디스플레이하고 생체 검증을 다시 수행할 수 있다는 것을 알아야 한다. 본 발명의 본 실시예에서, 생체 검증 횟수는 실제 조건에 따라 조정될 수 있다.
미리 설정된 제2 임계값 및 미리 설정된 제1 임계값은 같거나 다를 수 있다. 이는 본 발명에 제한되지 않는다.
단계 S409. 전자 디바이스는, 재획득된 k개의 얼굴 이미지 중 적어도 하나에 따라, 얼굴 매칭이 성공했는지 여부를 결정하며; 얼굴 매칭이 성공하면, 단계 S410를 수행하고, 그렇지 않으면 단계 S411를 수행한다. 다른 선택적 실시예에서, 얼굴 매칭이 실패하면, 얼굴 매칭이 성공했는지 여부가 재획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 다시 결정되고, 얼굴 매칭 횟수는 실제 조건에 따라 조정될 수 있다는 것을 알아야 한다.
단계 S408와 단계 S409는 동시에 수행될 수 있고, 단계 S408가 수행된 후에 단계 S409가 수행되거나, 단계 S409가 수행된 후에 단계 S408이 수행될 수 있다는 것을 알아야 한다. 두 단계 사이에 엄격한 실행 시퀀스는 없다. 이는 본 발명을 제한하지 않는다.
단계 S410. 전자 디바이스는 얼굴 매칭 결과가 성공인 것으로 결정한다.
단계 S411. 전자 디바이스는 얼굴 검증 결과가 실패인 것으로 결정한다.
도 4에 도시된 실시예에서, 생체 검증이 처음으로 실패하면, 몇 가지 객관적인 이유가 있을 수 있다. 예를 들어, 캡쳐된 얼굴 이미지가 불분명하거나, 또는 동일한 컨텐츠가 종종 디스플레이되기 때문에 획득된 얼굴 이미지가 실제가 아니다. 따라서, 부정확한 결정을 방지하기 위해, 전자 디바이스는 표시 스크린 상에서 하나 이상의 다른 컨텐츠를 디스플레이하며, 동일한 방법을 다시 사용하여 생체 검증을 수행한다. 이러한 방식으로 전자 디바이스에 의해 생체 검증이 반복적으로 수행되는 횟수는 실제 조건에 따라 미리 설정되고 조정될 수 있음을 알아야 한다. 이는 본 발명에 한정되지 않는다.
도 5를 참조하면, 도 5는 본 발명의 실시예 3에 따른 얼굴 검증 방법의 개략적인 흐름도이다. 본 발명의 본 실시예에서 제공되는 얼굴 검증 방법은 표시 스크린 및 카메라를 포함하는 전자 디바이스에 적용된다. 도 5에 도시된 바와 같이, 방법은 이하의 단계를 포함할 수 있다.
단계 S501. 전자 디바이스는 표시 스크린 상에서 다수의 컨텐츠를 순차적으로 디스플레이하며, 여기서 컨텐츠는 문자, 그림 또는 비디오를 포함한다. 순차적으로 디스플레이되는 다수의 컨텐츠는 미리 저장된 컨텐츠의 세트이고, 모든 컨텐츠 사이에 시퀀스가 있으며, 컨텐츠는 시퀀스에 따라 표시 스크린 상에서 순차적으로 디스플레이된다.
구체적으로, 전자 디바이스가 얼굴 검증 명령을 수신할 때, 전자 디바이스는 전자 디바이스의 표시 스크린 상에서 다수의 컨텐츠를 순차적으로 디스플레이할 수 있다. 전자 디바이스의 일례로서 스마트폰이 사용된다. 예를 들어, 스마트폰이 잠금 해제될 때, 얼굴 검증 명령이 수신되었다고 간주될 수 있다. 전자 디바이스의 일례로서 액세스 제어 디바이스가 사용된다. 예를 들어, 액세스 제어 디바이스가 인증을 수행할 때, 얼굴 검증 명령이 수신되었다고 간주될 수 있다.
전자 디바이스는 다수의 컨텐츠 세트를 미리 저장할 수 있고, 각각의 컨텐츠 세트는 다수의 컨텐츠를 포함하며, 각각의 컨텐츠 세트는 기준 시퀀스에 대응하고, 얼굴 검증 명령을 수신할 때, 전자 디바이스는 미리 저장된 다수의 컨텐츠 세트로부터 하나의 컨텐츠 세트를 무작위로 획득할 수 있으며, 표시 스크린 상에서 이 컨텐츠의 세트를 순차적으로 디스플레이할 수 있다. 여기서 하나의 컨텐츠는 매번 재생된다.
컨텐츠가 문자이면, 전자 디바이스가 전자 디바이스의 표시 스크린 상에서 다수의 컨텐츠를 순차적으로 디스플레이하는 것은 구체적으로: 이 세트 내의 모든 텍스트의 시퀀스에 따라 표시 스크린 상에서 텍스트를 순차적으로 디스플레이하는 것일 수 있으며, 여기서 2개의 텍스트가 디스플레이되는 시간 각격은 미리 설정된다. 구체적으로, 전자 디바이스는 문자를 포함하는 질문을 디스플레이할 수 있거나, 또는 불규칙한 선명도를 갖는 문자를 디스플레이할 수 있다. 컨텐츠가 문자이고, 표시 스크린 상에서 디스플레이되는 문자의 양이 매번 제한될 수 없다는 것을 알아야 한다.
컨텐츠가 그림이면, 전자 디바이스가 전자 디바이스의 표시 스크린 상에서 다수의 컨텐츠를 순차적으로 디스플레이하는 것은 구체적으로: 이 세트 내의 모든 그림의 시퀀스에 따라 표시 스크린 상에서 그림을 순차적으로 디스플레이하는 것일 수 있으며, 여기서 2개의 그림이 디스플레이되는 시간 간격은 미리 설정된다.
컨텐츠가 비디오이면, 표시 스크린 상에서 다수의 컨텐츠를 순차적으로 디스플레이하는 것은 구체적으로: 이 세트 내의 모든 비디오 클립의 시퀀스에 따라 표시 스크린 상에서 비디오 클립을 순차적으로 디스플레이하는 것일 수 있다.
본 발명의 본 실시예에서, 다수의 컨텐츠에 대해 사용자에 의해 제공되는 얼굴 표정 변화 및 동공 변화는 컨텐츠를 디스플레이하여 캡쳐되고, 생체 검증이 얼굴 표정 변화 및/또는 동공 변화에 따라 수행된다. 이러한 방식으로, 의도적으로 사용자가 프롬프트하는 것이 회피되며, 사용자와의 상호작용이 자연스러워지며, 사용자 경험이 향상된다.
다른 선택적 실시예에서, 표시 스크린 상에서 적어도 2개의 컨텐츠를 디스플레이하는 것은 음성 출력 유닛을 사용하여 적어도 2개의 오디오 클립을 재생함으로써 대체될 수 있고, 이로써 오디오 클립에 대하여 사용자에 의해 제공되는 얼굴 표정 변화 및 동공 변화를 캡쳐하고, 얼굴 표정 변화 및/또는 동공 변화에 따라 생체 검증을 수행한다는 것을 알아야 한다.
단계 S502. 전자 디바이스는 각각의 컨텐츠를 디스플레이하는 동안 적어도 하나의 얼굴 이미지를 획득한다. 여기서 획득된 얼굴 이미지의 총수량은 k개이다.
전자 디바이스의 표시 스크린 상에서 전자 디바이스에 의해 순차적으로 디스플레이되는 다수의 컨텐츠의 양은 k일 수 있으며, 전자 디바이스는 각각의 컨텐츠를 디스플레이하는 동안 하나의 얼굴 이미지만 획득할 필요가 있다.
각각의 컨텐츠를 디스플레이하는 동안 전자 디바이스에 의해 획득된 얼굴 이미지는 같거나 다를 수 있다는 것을 알아야 한다. 이는 본 발명에 한정되지 않는다.
단계 S503. 전자 디바이스는 획득된 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 파라미터 값을 결정한다.
구체적으로, 전자 디바이스는 t개의 얼굴 표정 파라미터 값을 획득하기 위해 각각의 컨텐츠를 디스플레이하는 동안 획득된 적어도 하나의 얼굴 이미지에 따라 각각의 컨텐츠의 표시 시퀀스에 따라 얼굴 표정 파라미터 값을 결정한다. 여기서 얼굴 표정 파라미터 값은 얼굴 표정 코드 값 또는 동공 관련 값 중 적어도 하나를 포함한다.
적어도 하나의 얼굴 이미지가 각각의 컨텐츠에 따라 획득되고, 각각의 컨텐츠를 디스플레이하는 동안 획득된 적어도 하나의 얼굴 이미지에 따라 얼굴 표정 파라미터 값을 전자 디바이스가 결정하는 방법과 동일한 처리 절차가 있기 때문에, 본 발명의 본 실시예에서, 얼굴 표정 파라미터 값이 관련 설명에 사용되는 제1 컨텐츠를 디스플레이하는 동안 획득된 얼굴 이미지에 따라 결정되는 일례와 다른 컨텐츠에 따라 수행되는 처리 절차가 동일하다. 상세한 설명은 여기서 반복되지 않는다.
선택적 구현에서, 전자 디바이스는 제1 컨텐츠를 디스플레이하는 동안 획득된 적어도 하나의 얼굴 이미지로부터 가장 선명한 얼굴 이미지를 선택할 수 있으며, 선택된 얼굴 이미지에 따라 얼굴 표정 파라미터 값을 결정할 수 있다.
다른 선택적 구현에서, 전자 디바이스는 제1 컨텐츠를 디스플레이하는 동안 획득 된 적어도 하나의 얼굴 이미지로부터 적어도 2개의 얼굴 이미지를 대안으로 획득한 후, 각각의 얼굴 이미지의 얼굴 표정 파라미터 값을 획득할 수 있으며, 획득된 얼굴 표정 파라미터 값을 비교하고, 가장 빈번하게 획득되는 얼굴 표정 파라미터 값을 선택할 수 있다. 전자 디바이스는 5개의 얼굴 표정 파라미터 값을 획득하고, 5개의 얼굴 표정 파라미터 값은 (3,3,3,2,4)라고 가정한다. 전자 디바이스는 얼굴 표정 파라미터 값을 3이라고 결정할 수 있다.
전자 디바이스가, 하나의 컨텐츠를 디스플레이하는 동안 획득된 얼굴 이미지에 따라 얼굴 표정 파라미터 값을 결정하는 방법에 대해서는, 도 2에 도시된 실시예를 참조한다는 것을 알아야 하며, 상세한 설명은 여기서 반복되지 않는다.
단계 S504. 전자 디바이스는 결정된 t개의 얼굴 표정 파라미터 값 및 미리 설정된 제1 기준 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작지 않은지 여부를 결정한다.
단계 S505. 전자 디바이스는 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라, 얼굴 매칭이 성공했는지 여부를 결정한다.
단계 S504 및 단계 S505가 동시에 수행될 수 있고, 단계 S504가 수행되고 단계 S505가 수행될 수 있거나, 또는 단계 S505가 수행되고 단계 S504가 수행될 수 있다는 것을 알아야 한다. 두 단계 사이에 엄격한 실행 시퀀스는 없다. 이는 본 발명을 제한하지 않는다.
단계 S506. 결정된 t개의 얼굴 표정 파라미터 값 및 미리 설정된 제1 기준 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작지 않고, 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 얼굴 매칭 결과가 성공이면, 전자 디바이스는 얼굴 검증 결과가 성공인 것으로 결정한다.
단계 S507. 결정된 t개의 얼굴 표정 파라미터 값 및 제1 기준 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작고 및/또는 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 얼굴 매칭 결과가 실패이면, 얼굴 검증 결과가 실패인 것으로 결정한다.
도 5에 도시된 실시예에서, 전자 디바이스는, 표시 스크린 상에서 다수의 컨텐츠를 순차적으로 디스플레이하여, 컨텐츠의 세트에 대하여 사용자에 의해 제공되는 얼굴 표정 변화 및 동공 변화를 캡쳐하여, 생체 검증을 수행한다. 생체 검증이 프롬프트에 따라 깜빡임으로써 수행되거나 또는 단일 상호작용에 의해 수행되는 종래 기술에 비해, 도 2에 도시된 실시예에서 제공되는 기술적 해결책에 비하여, 본 발명의 본 실시예는 생체 검증의 어려움을 더욱 증가시켜, 사진, 비디오, 3D 프린팅 또는 다른 기술로 인한 공격 가능성을 감소시킨다. 또한, 생체 검증 동안, 의도적으로 사용자를 프롬프트 할 필요가 없고, 사용자와의 상호작용이 더욱 자연스러워지며, 사용자 경험이 향상된다.
도 6을 참조하면, 도 6은 본 발명의 실시예 4에 따른 얼굴 검증 방법의 개략적인 흐름도이다. 본 발명의 본 실시예는, 도 6에 도시된 바와 같이, 본 실시예의 방법이 실시예 3의 단계 S501 내지 단계 S504에 대응하는 단계 S601 내지 단계 S604에 부가하여 이하의 특정 단계를 더 포함하는 것을 제외하고, 실시예 3과 상당히 동일하다.
단계 S605. 전자 디바이스는 표시 스크린 상에서 다수의 다른 컨텐츠를 순차적으로 디스플레이한다.
단계 S606. 전자 디바이스는 각각의 다른 다수의 컨텐츠를 디스플레이하는 동안 카메라를 사용하여 k개의 얼굴 이미지를 재획득한다.
단계 S607. 전자 디바이스는 재획득된 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 파라미터 값을 재결정한다.
단계 S603 및 단계 S607의 얼굴 표정 파라미터 값은 동일할 수 있고, 예를 들어, 둘 모두 얼굴 표정 코드 값, 둘 모두 동공 관련 값이거나 또는 둘 모두 얼굴 표정 코드 값 및 동공 관련 값을 포함하거나; 또는 단계 S603 및 단계 S607의 얼굴 표정 파라미터 값이 상이할 수 있으며, 예를 들어, 단계 S603의 얼굴 표정 파라미터 값은 얼굴 표정 코드 값이고, 단계 S603의 얼굴 표정 파라미터 값은 동공 관련 값일 수 있다. 이는 본 발명에 제한되지 않는다.
단계 S608. 전자 디바이스는 재결정된 t개의 얼굴 표정 파라미터 값 및 미리 설정된 제2 기준 시퀀스의 매칭도가 미리 설정된 제2 임계값보다 작지 않은지 여부를 결정하고; 재결정된 t개의 얼굴 표정 파라미터 값 및 미리 설정된 제2 기준 시퀀스의 매칭도가 미리 설정된 제2 임계값보다 작지 않으면, 단계 S609를 수행하고; 그렇지 않으면, 단계 S611를 수행한다.
다른 선택적 실시예에서, 재결정된 t개의 얼굴 표정 파라미터 값 및 제2 기준 시퀀스의 매칭도가 미리 설정된 제2 임계값보다 작으면, 전자 디바이스는 단계 S605를 수행하기 위해, 즉 다른 다수의 컨텐츠를 디스플레이하고 생체 검증을 다시 수행하기 위해 리턴할 수 있다는 것을 알아야 한다. 본 발명의 본 실시예에서, 생체 검증의 횟수는 실제 조건에 따라 조정될 수 있다.
미리 설정된 제2 임계값 및 미리 설정된 제1 임계값은 같거나 다를 수 있다. 이는 본 발명에 제한되지 않는다.
단계 S609. 전자 디바이스는 재획득된 k개의 얼굴 이미지 중 적어도 하나에 따라, 얼굴 매칭이 성공했는지 여부를 결정하고; 얼굴 매칭이 성공하면, 단계 S610를 수행하고, 그렇지 않으면 단계 S611를 수행한다. 다른 선택적 실시예에서, 얼굴 매칭이 실패하면, 얼굴 매칭이 성공했는지 여부가 재획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 다시 결정되고, 얼굴 매칭의 횟수는 실제 조건에 따라 조정될 수 있다는 것을 알아야 한다.
단계 S608 및 단계 S609가 동시에 수행될 수 있고, 단계 S608이 수행되고 단계 S609가 수행되거나, 또는 단계 S609가 수행되고 단계 S609가 수행될 수 있다는 것을 알아야 한다. 두 단계 사이에 엄격한 실행 시퀀스는 없다. 이는 본 발명을 제한하지 않는다.
단계 S610. 전자 디바이스는 얼굴 매칭 결과가 성공인 것으로 결정한다.
단계 S611. 전자 디바이스는 얼굴 검증 결과가 성공인 것으로 결정한다.
도 6에 도시된 실시예에서, 처음으로 수행된 생체 검증이 실패하면, 몇 가지 객관적인 이유가 있을 수 있다. 예를 들어, 캡쳐된 얼굴 이미지가 불분명하거나, 또는 동일한 컨텐츠가 종종 디스플레이되기 때문에 획득된 얼굴 이미지가 실제가 아니라는 이유이다. 따라서, 부정확한 결정을 방지하기 위해, 전자 디바이스는 다수의 다른 컨텐츠를 표시 스크린 상에서 디스플레이하고, 동일한 방법을 다시 사용하여 생체 검증을 수행한다. 이러한 방식으로 전자 디바이스에 의해 생체 검증을 반복적으로 수행하는 횟수는 실제 조건에 따라 미리 설정되고 조정될 수 있음을 알아야 한다. 이는 본 발명에 한정되지 않는다.
도 7을 참조하면, 도 7은 본 발명의 일 실시예에 따른 전자 디바이스의 개략적인 구조도이다. 도 7에 도시된 바와 같이, 전자 디바이스(7)는 적어도 표시 스크린(71), 카메라(72) 및 적어도 하나의 프로세서(73)를 포함할 수 있다.
표시 스크린(71)은 하나 이상의 컨텐츠를 디스플레이하며, 여기서 컨텐츠는 문자, 그림 또는 비디오를 포함한다. 카메라(72)는 컨텐츠를 디스플레이하는 동안 k개의 얼굴 이미지를 획득하고, 여기서 k는 2 이상의 정수이다. 적어도 하나의 프로세서(73)는, 획득된 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 파라미터 값을 결정하도록 구성되고, 여기서 얼굴 표정 파리밑 값은 얼굴 표정 코드 값 또는 동공 관련 값 중 적어도 하나를 포함하고, t는 2 이상의 정수이며, t≤k이며; 결정된 t개의 얼굴 표정 파라미터 값 및 미리 설정된 제1 기준 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작지 않고, 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 얼굴 매칭 결과가 성공이면, 얼굴 검증 결과가 성공인 것으로 결정하도록 구성된다.
본 구현에서, 전자 디바이스(7)의 기능 모듈의 기능은 도 2 내지 도 6에 도시된 방법 실시예에서의 방법에 따라 구체적으로 구현될 수 있으며, 도 2 내지 도 6의 관련 설명에 대응할 수 있음을 이해할 수 있다. 상세한 설명은 여기서 다시 설명되지 않는다.
상기 실시예에서, 각각의 실시예의 설명은 각각의 초점을 갖는다는 것을 알아야 한다. 일 실시예에서 상세하게 설명되지 않은 부분에 대해서는, 다른 실시예에서 관련 설명이 참조될 수 있다. 또한, 통상의 기술자는 명세서에 기술된 모든 실시예가 실시예의 예이며, 관련 동작 및 모듈은 반드시 본 발명의 실시예에 필수적인 것은 아님을 이해해야 한다.
본 발명의 실시예에서의 방법의 단계 시퀀스는 조정될 수 있으며, 어떤 단계는 실제 필요에 따라 병합되거나 제거될 수 있다.
병합, 분할 및 제거는 실제 필요에 따라 본 발명의 실시예에서의 모듈에 대해 수행될 수 있다.
본 발명의 실시예의 유닛은 CPU(Central Processing Unit) 또는 ASIC(Application Specific Integrated Circuit)과 같은 범용 집적 회로에 의해 실행될 수 있다.
통상의 기술자는 실시예에서의 방법의 전부 또는 일부 프로세스가 관련 하드웨어를 지시하는 컴퓨터 프로그램에 의해 구현될 수 있다는 것을 이해할 수 있다. 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 프로그램이 실행될 때, 실시예에서의 방법의 프로세스가 수행된다. 상기 저장 매체는: 자기 디스크, 광 디스크, 판독 전용 메모리(ROM) 또는 랜덤 액세스 메모리(RAM)를 포함할 수 있다.
상기 개시된 것은 단지 본 발명의 예시적인 실시예에 불과하며, 본 발명의 보호 범위를 한정하는 것은 아니다. 따라서, 본 발명의 청구항에 따라 이루어지는 균등한 변형은 본 발명의 범위 내에 있다.
Claims (16)
- 표시 스크린 및 카메라를 포함하는 전자 디바이스에 적용되는 얼굴 검증 방법으로서,
상기 표시 스크린 상에 하나 이상의 컨텐츠를 디스플레이하는 단계 - 상기 컨텐츠는 문자, 그림 또는 비디오를 포함함 -;
상기 하나 이상의 컨텐츠를 디스플레이하는 동안 상기 카메라를 사용하여 k개의 얼굴 이미지를 획득하는 단계 - 상기 k는 2 이상의 정수임 -;
상기 획득된 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 파라미터 값을 결정하는 단계 - 상기 얼굴 표정 파라미터 값은 얼굴 표정 코드 값 또는 동공 관련 값 중 적어도 하나를 포함하고, t는 2 이상의 정수이고, t≤k임 -; 및
상기 결정된 t개의 얼굴 표정 파라미터 값 및 미리 설정된 제1 기준 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작지 않고, 상기 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 얼굴 매칭 결과가 성공이면, 얼굴 검증 결과가 성공인 것으로 결정하는 단계
를 포함하는
얼굴 검증 방법. - 제1항에 있어서,
상기 결정된 t개의 얼굴 표정 파라미터 값 및 상기 제1 기준 시퀀스의 매칭도가 상기 미리 설정된 제1 임계값보다 작으면, 상기 표시 스크린 상에 하나 이상의 컨텐츠를 디스플레이하는 단계;
상기 하나 이상의 다른 컨텐츠를 디스플레이하는 동안 상기 카메라를 사용하여 k개의 얼굴 이미지를 재획득하는 단계;
상기 재획득된 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 파라미터 값을 재결정하는 단계; 및
상기 재결정된 t개의 얼굴 표정 파라미터 값 및 미리 설정된 제2 기준 시퀀스의 매칭도가 미리 설정된 제2 임계값보다 작지 않고, 상기 재획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 얼굴 매칭 결과가 성공이면, 얼굴 검증 결과가 성공인 것으로 결정하는 단계
를 더 포함하는
얼굴 검증 방법. - 제1항에 있어서,
상기 결정된 t개의 얼굴 표정 파라미터 값 및 상기 제1 기준 시퀀스의 매칭도가 상기 미리 설정된 제1 임계값보다 작고 및/또는 상기 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 상기 얼굴 매칭 결과가 실패이면, 얼굴 검증 결과가 실패인 것으로 결정하는 단계를 더 포함하는, 얼굴 검증 방법. - 제2항에 있어서,
상기 재결정된 t개의 얼굴 표정 파라미터 값 및 상기 제2 기준 시퀀스의 매칭도가 상기 미리 설정된 제2 임계값보다 작고 및/또는 상기 재획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 상기 얼굴 매칭 결과가 실패이면, 얼굴 검증 결과가 실패인 것으로 결정하는 단계를 더 포함하는, 얼굴 검증 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
하나 이상의 컨텐츠가 상기 표시 스크린 상에 동시에 디스플레이되면, 상기 하나 이상의 컨텐츠를 디스플레이하는 동안 상기 카메라를 사용하여 k개의 얼굴 이미지를 획득하는 단계는, 미리 설정된 간격에 따라, 상기 하나 이상의 컨텐츠가 디스플레이되기 시작한 후 상기 k개의 얼굴 이미지를 획득하는 단계를 포함하는, 얼굴 검증 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
다수의 컨텐츠가 상기 표시 스크린 상에 순차적으로 디스플레이되면, 상기 다수의 컨텐츠를 디스플레이하는 동안 상기 카메라를 사용하여 k개의 얼굴 이미지를 획득하는 단계는, 각각의 컨텐츠를 디스플레이하는 동안 적어도 하나의 얼굴 이미지를 획득하는 단계를 포함하며, 상기 획득된 얼굴 이미지의 총수량은 k개인, 얼굴 검증 방법. - 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 하나의 컨텐츠는 상기 전자 디바이스에 저장된 다수의 컨텐츠로부터 무작위로 선택된 하나의 컨텐츠고, 각각의 컨텐츠는 기준 시퀀스에 대응하며, 또는
상기 다수의 컨텐츠는 상기 전자 디바이스에 저장된 다수의 컨텐츠 세트로부터 무작위로 선택된 하나의 컨텐츠 세트이고, 각각의 컨텐츠 세트는 기준 시퀀스에 대응하는,
얼굴 검증 방법. - 전자 디바이스로서,
하나 이상의 컨텐츠를 디스플레이하도록 구성된 표시 스크린 - 상기 컨텐츠는 문자, 그림 또는 비디오를 포함함 -;
컨텐츠를 디스플레이하는 동안 k개의 얼굴 이미지를 획득하도록 구성된 카메라 - 상기 k는 2 이상의 정수임 -; 및
상기 획득된 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 파라미터 값을 결정하도록 구성된 적어도 하나의 프로세서 - 상기 얼굴 표정 파라미터 값은 얼굴 표정 코드 값 또는 동공 관련 값 중 적어도 하나를 포함하고, t는 2 이상의 정수이며, t≤k이고, 상기 결정된 t개의 얼굴 표정 파라미터 값 및 미리 설정된 제1 기준 시퀀스의 매칭도가 미리 설정된 제1 임계값보다 작지 않고, 상기 획득된 k개의 얼굴 이미지 중 적어도 하나에 따라 획득된 얼굴 매칭 결과가 성공이면, 얼굴 검증 결과가 성공인 것으로 결정함 -;
를 포함하는
전자 디바이스. - 제8항에 있어서,
상기 표시 스크린은 또한, 상기 결정된 t개의 얼굴 표정 파라미터 값 및 상기 제1 기준 시퀀스의 매칭도가 상기 미리 설정된 제1 임계값보다 작으면 하나 이상의 다른 컨텐츠를 디스플레이하도록 구성되고,
상기 카메라는 또한, 상기 하나 이상의 다른 컨텐츠를 디스플레이하는 동안 k개의 얼굴 이미지를 재획득하도록 구성되며,
상기 적어도 하나의 프로세서는 또한, 상기 재획득된 k개의 얼굴 이미지에 따라 t개의 얼굴 표정 파라미터 값을 재결정하며; 및 상기 재결정된 t개의 얼굴 표정 파라미터 값 및 미리 설정된 제2 기준 시퀀스의 매칭도가 미리 설정된 제2 임계값보다 작지 않고, 적어도 하나의 상기 재획득된 k개의 얼굴 이미지에 따라 획득된 얼굴 매칭 결과가 성공이면, 얼굴 검증 결과가 성공인 것으로 결정하도록 구성되는,
전자 디바이스. - 제8항에 있어서,
상기 적어도 하나의 프로세서는 또한, 상기 결정된 t개의 얼굴 표정 파라미터 값 및 상기 제1 기준 시퀀스의 매칭도가 상기 미리 설정된 제1 임계값보다 작고 및/또는 상기 적어도 하나의 획득된 k개의 얼굴 이미지에 따라 획득된 상기 얼굴 매칭 결과가 실패이면, 얼굴 검증 결과가 실패인 것으로 결정하도록 구성되는, 전자 디바이스. - 제9항에 있어서,
상기 적어도 하나의 프로세서는 또한, 상기 재결정된 t개의 얼굴 표정 파라미터 값 및 상기 제2 기준 시퀀스의 매칭도가 상기 미리 설정된 제2 임계값보다 작고 및/또는 상기 적어도 하나의 재획득된 k개의 얼굴 이미지에 따라 획득된 상기 얼굴 매칭 결과가 실패이면, 얼굴 검증 결과가 실패인 것으로 결정하도록 구성되는, 전자 디바이스. - 제8항 내지 제11항 중 어느 한 항에 있어서,
하나 이상의 컨텐츠가 상기 표시 스크린 상에 동시에 디스플레이되면, 상기 카메라는 구체적으로, 미리 설정된 간격에 따라, 상기 하나 이상의 컨텐츠가 디스플레이를 시작한 후 상기 k개의 얼굴 이미지를 획득하도록 구성되는, 전자 디바이스. - 제8항 내지 제11항 중 어느 한 항에 있어서,
다수의 컨텐츠가 상기 표시 스크린 상에 순차적으로 디스플레이되면, 상기 카메라는 구체적으로, 각각의 컨텐츠를 디스플레이하는 동안 적어도 하나의 얼굴 이미지를 획득하도록 구성되며, 상기 획득된 얼굴 이미지의 총수량은 k개인, 전자 디바이스. - 제8항 내지 제13항 중 어느 한 항에 있어서,
상기 하나의 컨텐츠는 상기 전자 디바이스에 저장된 다수의 컨텐츠로부터 무작위로 선택된 하나의 컨텐츠고, 각각의 컨텐츠는 기준 시퀀스에 대응하거나, 또는
상기 다수의 컨텐츠는 상기 전자 디바이스에 저장된 다수의 컨텐츠 세트로부터 무작위로 선택된 하나의 컨텐츠 세트이고, 각각의 컨텐츠 세트는 기준 시퀀스에 대응하는,
전자 디바이스. - 전자 디바이스로서,
상기 전자 디바이스는 표시 스크린, 카메라, 메모리, 버스 시스템 및 적어도 하나의 프로세서를 포함하고, 상기 표시 스크린, 상기 카메라, 상기 메모리 및 상기 적어도 하나의 프로세서는 상기 버스 시스템을 사용하여 연결되며,
상기 메모리는 하나 이상의 프로그램을 저장하고, 상기 하나 이상의 프로그램은 명령을 포함하며, 상기 전자 디바이스에 의해 실행될 때, 상기 명령은 상기 전자 디바이스가 제1항 내지 제7항 중 어느 한 항에 따라 상기 방법을 실행할 수 있게 하는,
전자 디바이스. - 하나 이상의 프로그램을 저장하는 컴퓨터 판독 가능 저장 매체로서,
상기 하나 이상의 프로그램은 명령을 포함하며, 전자 디바이스에 의해 실행될 때, 상기 명령은 상기 전자 디바이스가 제1항 내지 제7항 중 어느 한 항에 따라 상기 방법을 실행할 수 있게 하는, 컴퓨터 판독 가능 저장 매체.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2015/093528 WO2017070971A1 (zh) | 2015-10-31 | 2015-10-31 | 一种面部验证的方法和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180067654A true KR20180067654A (ko) | 2018-06-20 |
| KR102077198B1 KR102077198B1 (ko) | 2020-02-13 |
Family
ID=58629697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187013743A KR102077198B1 (ko) | 2015-10-31 | 2015-10-31 | 얼굴 검증 방법 및 전자 디바이스 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10552593B2 (ko) |
| EP (1) | EP3355220A4 (ko) |
| JP (1) | JP2018538608A (ko) |
| KR (1) | KR102077198B1 (ko) |
| CN (1) | CN107004073B (ko) |
| WO (1) | WO2017070971A1 (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10534955B2 (en) * | 2016-01-22 | 2020-01-14 | Dreamworks Animation L.L.C. | Facial capture analysis and training system |
| CN107992728B (zh) * | 2016-10-27 | 2022-05-20 | 腾讯科技（深圳）有限公司 | 人脸验证方法及装置 |
| CN107590375A (zh) * | 2017-09-12 | 2018-01-16 | 广东欧珀移动通信有限公司 | 解锁方法及相关产品 |
| US10599824B2 (en) * | 2017-11-16 | 2020-03-24 | Bank Of America Corporation | Authenticating access to a computing resource using pattern-based facial recognition |
| US10594690B2 (en) * | 2017-11-16 | 2020-03-17 | Bank Of America Corporation | Authenticating access to a computing resource using facial recognition based on involuntary facial movement |
| US20200084392A1 (en) * | 2018-09-11 | 2020-03-12 | Sony Corporation | Techniques for improving photograph quality for poor focus situations |
| US10686991B2 (en) | 2018-09-11 | 2020-06-16 | Sony Corporation | Techniques for improving photograph quality for fouled lens or sensor situations |
| CN109299692A (zh) * | 2018-09-26 | 2019-02-01 | 深圳壹账通智能科技有限公司 | 一种身份识别方法、计算机可读存储介质及终端设备 |
| US11809546B2 (en) * | 2021-03-01 | 2023-11-07 | Rovi Guides, Inc. | Adaptive biometric authentication |
| CN113536270B (zh) * | 2021-07-26 | 2023-08-08 | 网易（杭州）网络有限公司 | 一种信息验证的方法、装置、计算机设备及存储介质 |
| WO2023073838A1 (ja) * | 2021-10-27 | 2023-05-04 | 日本電気株式会社 | 認証装置、認証システム、認証方法、及び非一時的なコンピュータ可読媒体 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130028734A (ko) * | 2010-04-02 | 2013-03-19 | 노키아 코포레이션 | 얼굴 검출을 위한 방법 및 장치 |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6625303B1 (en) * | 1999-02-01 | 2003-09-23 | Eastman Kodak Company | Method for automatically locating an image pattern in digital images using eigenvector analysis |
| JP2003233816A (ja) * | 2002-02-13 | 2003-08-22 | Nippon Signal Co Ltd:The | アクセスコントロールシステム |
| KR100473598B1 (ko) * | 2002-11-04 | 2005-03-11 | 삼성전자주식회사 | 가려진 얼굴영상을 판단하는 시스템 및 방법 |
| JP3848953B2 (ja) | 2003-07-04 | 2006-11-22 | 松下電器産業株式会社 | 生体眼判定方法および生体眼判定装置 |
| JP2006133930A (ja) * | 2004-11-04 | 2006-05-25 | Fuji Xerox Co Ltd | 認証処理装置、および認証処理方法、並びにコンピュータ・プログラム |
| JP4760049B2 (ja) * | 2005-02-22 | 2011-08-31 | 日本電気株式会社 | 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体 |
| JP4752660B2 (ja) | 2006-07-28 | 2011-08-17 | 沖電気工業株式会社 | 個人認証方法及び個人認証装置 |
| JP5045128B2 (ja) * | 2007-02-01 | 2012-10-10 | オムロン株式会社 | 顔認証装置 |
| JP2010182056A (ja) * | 2009-02-05 | 2010-08-19 | Fujifilm Corp | パスワード入力装置及びパスワード照合システム |
| CN101710383B (zh) | 2009-10-26 | 2015-06-10 | 北京中星微电子有限公司 | 一种身份认证的方法及认证装置 |
| CN101908140A (zh) | 2010-07-29 | 2010-12-08 | 中山大学 | 一种在人脸识别中应用的活体检测方法 |
| CN102385703B (zh) * | 2010-08-27 | 2015-09-02 | 北京中星微电子有限公司 | 一种基于人脸的身份认证方法及系统 |
| US9082235B2 (en) * | 2011-07-12 | 2015-07-14 | Microsoft Technology Licensing, Llc | Using facial data for device authentication or subject identification |
| US8935719B2 (en) * | 2011-08-25 | 2015-01-13 | Comcast Cable Communications, Llc | Application triggering |
| US9025830B2 (en) | 2012-01-20 | 2015-05-05 | Cyberlink Corp. | Liveness detection system based on face behavior |
| US8457367B1 (en) * | 2012-06-26 | 2013-06-04 | Google Inc. | Facial recognition |
| US20140007224A1 (en) | 2012-06-29 | 2014-01-02 | Ning Lu | Real human detection and confirmation in personal credential verification |
| US9032510B2 (en) * | 2012-09-11 | 2015-05-12 | Sony Corporation | Gesture- and expression-based authentication |
| CN103778360A (zh) * | 2012-10-26 | 2014-05-07 | 华为技术有限公司 | 一种基于动作分析的人脸解锁的方法和装置 |
| US8856541B1 (en) * | 2013-01-10 | 2014-10-07 | Google Inc. | Liveness detection |
| CN104348778A (zh) | 2013-07-25 | 2015-02-11 | 信帧电子技术（北京）有限公司 | 一种在手机端进行人脸初步验证的远程身份认证的系统、终端和方法 |
| CN103440479B (zh) | 2013-08-29 | 2016-12-28 | 湖北微模式科技发展有限公司 | 一种活体人脸检测方法与系统 |
| CN104683302A (zh) * | 2013-11-29 | 2015-06-03 | 国际商业机器公司 | 认证方法、认证装置、终端设备、认证服务器及系统 |
| CN103678984A (zh) * | 2013-12-20 | 2014-03-26 | 湖北微模式科技发展有限公司 | 一种利用摄像头实现用户身份验证的方法 |
| CN104751110B (zh) * | 2013-12-31 | 2018-12-04 | 汉王科技股份有限公司 | 一种活体检测方法和装置 |
| CN103824089B (zh) | 2014-02-17 | 2017-05-03 | 北京旷视科技有限公司 | 一种基于级联回归的人脸3d姿态识别方法 |
| US9147117B1 (en) * | 2014-06-11 | 2015-09-29 | Socure Inc. | Analyzing facial recognition data and social network data for user authentication |
| CN104361326A (zh) | 2014-11-18 | 2015-02-18 | 新开普电子股份有限公司 | 一种判别活体人脸的方法 |
| US9547763B1 (en) * | 2015-03-31 | 2017-01-17 | EMC IP Holding Company LLC | Authentication using facial recognition |
| CN104834900B (zh) * | 2015-04-15 | 2017-12-19 | 常州飞寻视讯信息科技有限公司 | 一种联合声像信号进行活体检测的方法和系统 |
-
2015
- 2015-10-31 EP EP15907032.5A patent/EP3355220A4/en active Pending
- 2015-10-31 US US15/771,300 patent/US10552593B2/en active Active
- 2015-10-31 WO PCT/CN2015/093528 patent/WO2017070971A1/zh active Application Filing
- 2015-10-31 CN CN201580042704.8A patent/CN107004073B/zh active Active
- 2015-10-31 KR KR1020187013743A patent/KR102077198B1/ko active IP Right Grant
- 2015-10-31 JP JP2018522045A patent/JP2018538608A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130028734A (ko) * | 2010-04-02 | 2013-03-19 | 노키아 코포레이션 | 얼굴 검출을 위한 방법 및 장치 |
Non-Patent Citations (1)
| Title |
|---|
| "SAFE: Secure Authentication with Face and Eyes", Arman Boehm 외7, 2013 International Conference on Privacy and Security in Mobile Systems (PRISMS), 2013.06.27* * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017070971A1 (zh) | 2017-05-04 |
| US10552593B2 (en) | 2020-02-04 |
| EP3355220A1 (en) | 2018-08-01 |
| US20180314812A1 (en) | 2018-11-01 |
| CN107004073A (zh) | 2017-08-01 |
| JP2018538608A (ja) | 2018-12-27 |
| KR102077198B1 (ko) | 2020-02-13 |
| CN107004073B (zh) | 2021-03-05 |
| EP3355220A4 (en) | 2018-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102077198B1 (ko) | 얼굴 검증 방법 및 전자 디바이스 | |
| KR101619685B1 (ko) | 화상처리 방법, 화상처리 장치, 단말기장치, 프로그램 및 기록매체 | |
| US10715997B2 (en) | Method for protecting private information and terminal device | |
| WO2017214793A1 (zh) | 指纹模板生成方法及装置 | |
| US9423908B2 (en) | Distinguishing between touch gestures and handwriting | |
| EP3185196A1 (en) | Payment method and apparatus | |
| WO2017005020A1 (zh) | 一种移动终端及其实现自动接听的方法 | |
| US10878070B2 (en) | Method of controlling a terminal based on motion of the terminal, terminal therefore, and storage medium | |
| KR20150128377A (ko) | 지문 처리 방법 및 그 전자 장치 | |
| CN107330316B (zh) | 解锁处理方法及相关产品 | |
| CN105843681B (zh) | 一种移动终端及其操作系统切换的方法 | |
| US20180046848A1 (en) | Method of recognizing fingerprints, apparatus and terminal devices | |
| US20180144176A1 (en) | Fingerprint template acquisition method and device | |
| CN109032675A (zh) | 终端设备的屏幕解锁方法、装置及终端设备 | |
| KR20150117543A (ko) | 인증 관리 방법 및 장치 | |
| US11881011B2 (en) | Fingerprint anti-counterfeiting method and electronic device | |
| US10831873B2 (en) | Method for enabling biometric recognition pattern and related products | |
| CN107480998B (zh) | 信息处理方法及相关产品 | |
| CN109413256B (zh) | 联系人信息处理方法、装置、存储介质及电子设备 | |
| CN107295192B (zh) | 解锁控制方法及相关产品 | |
| CN104240274B (zh) | 人脸图像处理方法及装置 | |
| EP3211556A1 (en) | Method and device for verifying fingerprint | |
| CN107742073A (zh) | 信息展示方法、装置、计算机装置及计算机可读存储介质 | |
| CN107463819B (zh) | 解锁处理方法及相关产品 | |
| CN111324878A (zh) | 一种基于人脸识别的身份验证方法、装置、存储介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |