KR20220063127A - 얼굴 생체 검출 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램 - Google Patents

얼굴 생체 검출 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20220063127A
KR20220063127A KR1020220053255A KR20220053255A KR20220063127A KR 20220063127 A KR20220063127 A KR 20220063127A KR 1020220053255 A KR1020220053255 A KR 1020220053255A KR 20220053255 A KR20220053255 A KR 20220053255A KR 20220063127 A KR20220063127 A KR 20220063127A
Authority
KR
South Korea
Prior art keywords
face
image
eye
color
eye image
Prior art date
Application number
KR1020220053255A
Other languages
English (en)
Inventor
커야오 왕
제 루
윈하오 리
하이샤오 웨
하오청 펑
Original Assignee
베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Publication of KR20220063127A publication Critical patent/KR20220063127A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 개시는 얼굴 생체 검출 방법을 공개하며, 상기 방법은 인공 지능 분야에 관한 것으로, 구체적으로 얼굴 인식 장면에 적용될 수 있는 컴퓨터 비전 및 딥 러닝 기술에 관한 것이다. 구체적인 실현 기술안은, 복수의 얼굴 이미지를 포함하는 얼굴 이미지 시퀀스를 취득하고; 얼굴 이미지 시퀀스에 기반하여, 복수의 눈 이미지를 포함하는 대응되는 눈 이미지 시퀀스를 취득하며; 눈 이미지 시퀀스에 기반하여, 복수의 눈 이미지 중의 각 눈 이미지에서 눈의 동공이 나타나는 광점의 색상을 인식하여, 동공 색상 인식 결과를 얻고; 동공 색상 인식 결과가, 얼굴 이미지 시퀀스가 전자 기기에 희해 현장에서 수집한 얼굴 이미지의 시퀀스인 것을 표현하는 것에 응답하여, 얼굴 이미지 시퀀스 중의 적어도 하나의 얼굴 이미지를 이용하여 얼굴 생체 검출 결과를 얻는다.

Description

얼굴 생체 검출 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램{METHOD, APPARATUS FOR FACE ANTI-SPOOFING, ELECTRONIC DEVICE, STORAGE MEDIUM, AND COMPUTER PROGRAM}
본 개시는 인공 지능 분야, 구체적으로 얼굴 인식 장면에 적용될 수 있는 컴퓨터 비전 및 딥 러닝 기술에 관한 것이다. 구체적으로 얼굴 생체 검출 방법, 장치, 전자 기기 및 저장 매체에 관한 것이다.
얼굴 생체 검출은 하나의 얼굴 이미지가 생체 얼굴을 촬영한 이미지인지 여부를 구분하는 것이다. 얼굴 생체 검출 모듈은 얼굴 인식 시스템의 기본 구성 모듈이며, 얼굴 인식 시스템의 안전성을 확보할 수 있다.
본 개시는 얼굴 생체 검출 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 제품을 제공한다.
본 개시의 일 측면에 따르면, 복수의 얼굴 이미지를 포함하는 얼굴 이미지 시퀀스를 취득하는 동작; 상기 얼굴 이미지 시퀀스에 기반하여, 복수의 눈 이미지를 포함하는 대응되는 눈 이미지 시퀀스를 취득하는 동작; 상기 눈 이미지 시퀀스에 기반하여, 상기 복수의 눈 이미지 중의 각 눈 이미지에서 눈의 동공이 나타나는 광점의 색상을 인식하여, 동공 색상 인식 결과를 얻는 동작; 및 상기 동공 색상 인식 결과가, 상기 얼굴 이미지 시퀀스가 전자 기기에 의해 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 얼굴 이미지의 시퀀스인 것을 표현하는 것에 응답하여, 상기 얼굴 이미지 시퀀스 중의 적어도 하나의 얼굴 이미지를 이용하여 얼굴 생체 검출 결과를 얻는 동작;을 포함하는 얼굴 생체 검출 방법을 제공한다.
본 개시의 다른 일 측면에 따르면, 얼굴 이미지를 취득하는 동작; 상기 얼굴 이미지에 기반하여, 대응되는 눈 이미지를 취득하는 동작; 상기 눈 이미지에 기반하여, 상기 눈 이미지에서 눈의 동공이 나타나는 광점의 색상을 인식하여, 동공 색상 인식 결과를 얻는 동작; 및 상기 동공 색상 인식 결과가, 상기 얼굴 이미지가 전자 기기에 의해 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 얼굴 이미지인 것을 표현하는 것에 응답하여, 상기 얼굴 이미지를 이용하여 얼굴 생체 검출 결과를 얻는 동작;을 포함하는 얼굴 생체 검출 방법을 제공한다.
본 개시의 다른 일 측면에 따르면, 복수의 얼굴 이미지를 포함하는 얼굴 이미지 시퀀스를 취득하기 위한 제1 취득 모듈; 상기 얼굴 이미지 시퀀스에 기반하여, 복수의 눈 이미지를 포함하는 대응되는 눈 이미지 시퀀스를 취득하기 위한 제2 취득 모듈; 상기 눈 이미지 시퀀스에 기반하여, 상기 복수의 눈 이미지 중의 각 눈 이미지에서 눈의 동공이 나타나는 광점 색상을 인식하여, 동공 색상 인식 결과를 얻기 위한 제1 이미지 인식 모듈; 및 상기 동공 색상 인식 결과가, 상기 얼굴 이미지 시퀀스가 전자 기기에 의해 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 얼굴 이미지의 시퀀스인 것을 표현하는 것에 응답하여, 상기 얼굴 이미지 시퀀스 중의 적어도 하나의 얼굴 이미지를 이용하여 얼굴 생체 검출 결과를 얻기 위한 제1 검출 모듈;을 포함하는 얼굴 생체 검출 장치를 제공한다.
본 개시의 다른 일 측면에 따르면, 얼굴 이미지를 취득하기 위한 제3 취득 모듈; 상기 얼굴 이미지에 기반하여, 대응되는 눈 이미지를 취득하기 위한 제4 취득 모듈; 상기 눈 이미지에 기반하여, 상기 눈 이미지에서 눈의 동공이 나타나는 광점 색상을 인식하여, 동공 색상 인식 결과를 얻기 위한 제2 이미지 인식 모듈; 및 상기 동공 색상 인식 결과가, 상기 얼굴 이미지가 전자 기기에 의해 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 얼굴 이미지인 것에 응답하여, 상기 얼굴 이미지를 이용하여 얼굴 생체 검출 결과를 얻기 위한 제2 검출 모듈;을 포함하는 다른 얼굴 생체 검출 장치를 제공한다.
본 개시의 다른 일 측면에 따르면, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하며, 상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장되어 있고, 상기 명령어는 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서로 하여금 본 개시의 실시예에 따른 상기 방법을 실행할 수 있게 하는 전자 기기를 제공한다.
본 개시의 다른 일 측면에 따르면, 컴퓨터로 하여금 본 개시의 실시예에 따른 상기 방법을 실행하게 하기 위한 컴퓨터 명령어가 저장된 비휘발성 컴퓨터 판독가능 저장 매체를 제공한다.
본 개시의 다른 일 측면에 따르면, 컴퓨터 프로그램을 포함하며, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우, 본 개시의 실시예에 따른 상기 방법을 구현하는 컴퓨터 프로그램 제품을 제공한다.
이해해야 할 것은, 본 부분에서 설명되는 내용은 본 개시의 실시예의 핵심적인 특징 또는 중요한 특징을 표시하기 위한 것이 아니며, 본 개시의 범위를 한정하기 위한 것도 아니다. 본 개시의 다른 특징은 아래의 명세서를 통해 쉽게 이해하게 될 것이다.
도면은 본 기술방안을 더 잘 이해하기 위한 것이며, 본 개시를 한정하기 위한 것은 아니다. 여기서,
도 1은 본 개시의 실시예의 얼굴 생체 검출 방법 및 장치 에 적합한 시스템 아키텍처를 예시적으로 도시하는 것이고;
도 2는 본 개시의 실시예에 따른 얼굴 생체 검출 방법을 예시적으로 도시하는 흐름도이고;
도 3은 본 개시의 다른 일 실시예에 따른 얼굴 생체 검출 방법을 예시적으로 도시하는 흐름도이고;
도 4는 본 개시의 실시예에 따른 얼굴 생체 검출을 예시적으로 도시하는 개략도이고;
도 5는 본 개시의 실시예에 따른 얼굴 생체 검출 장치를 예시적으로 도시하는 블록도이고;
도 6은 본 개시의 다른 일 실시예에 따른 얼굴 생체 검출 장치를 예시적으로 도시하는 블록도이고;
도 7은 본 개시 실시예의 얼굴 생체 검출 방법을 구현하기 위한 전자 기기를 예시적으로 도시하는 블록도이다.
아래에서, 도면을 결합하여 본 개시의 예시적인 실시예에 대해 설명한다. 이해를 돕기 위해, 설명에는 본 개시 실시예의 다양한 세부사항을 포함하며, 이를 오직 예시적인 것으로 간주해야 한다. 따라서, 당업자는 본 개시의 범위 및 사상을 벗어나는 것이 없이, 여기에서 설명되는 실시예에 대해 다양한 변경 및 수정을 진행할 수 있음을 인식해야 한다. 마찬가지로, 명확하고 간결한 설명을 위해, 아래의 설명에서 공지의 기능 및 구조에 대한 설명은 생략한다.
얼굴 생체 검출 알고리즘의 실현 방안은 아주 많으며, 주로 종래의 얼굴 수동 특징 추출 및 분류 방법과 신경망을 사용한 딥 러닝 방법을 포함한다.
이해해야 할 것은, 종래의 얼굴 수동 특징 추출 및 분류 방법을 사용하여 얼굴 생체 검출을 진행할 경우, 우선 수동 설계된 특징 추출기에 기반하여 얼굴 특징을 추출해야 하고, 그 다음 서포트 벡터 머신(Support Vector Machine, SVM으로 약칭)과 같은 기존의 분류기에 기반하여 특징 분류을 진행해야 하며, 최종적으로 얼굴 생체의 판정 결과를 얻는다.
본 개시의 발명 구상을 실현하는 과정에서, 발명자는 실제 장면에서 얼굴 모습이 너무 크거나 조도 차이가 비교적 클 경우, 상기 기존의 방법을 사용하여 얼굴 생체 검출을 진행하면, 로버스트가 떨어지고, 검출 결과가 정확하지 않아, 인식 효과가 이상적이지 않음을 발견하였다.
한편, 신경망에 기반하는 딥 러닝 방법을 사용하여 얼굴 생체 검출을 진행할 경우, 신경망을 사용하여 얼굴 특징의 추출 및 분류를 진행해야 한다. 상기 기존의 방법과 비교할 경우, 이러한 딥 러닝 유형의 방법은 안정성이 더 높은 얼굴 특징을 추출할 수 있으므로, 검출 정밀도가 비교적 크게 향상된다.
하지만, 본 개시의 발명 구상을 실현하는 과정에서, 발명자는 일부 적용 장면에서, 딥 러닝에 기반하는 얼굴 생체 검출 알고리즘은 일반화 성능이 떨어지며, 또한 이러한 알고리즘은 복잡한 공격 샘플 및 공격 방식에 대해, 안전성이 낮은 문제가 존재하여, 실제적인 응용성에 영향을 준다는 것을 발견하였다.
이에 대해, 본 개시의 실시예는 능동광에 기반하는 얼굴 생체 검출 방법을 제공한다. 상기 방법은 인증코드로 하나의 색상 시퀀스를 랜덤으로 생성할 수 있고, 기기의 스크린을 이용하여 서로 다른 색상의 광을 얼굴에 출력하는 동시에 기기의 전면 카메라를 이용하여 서로 다른 색상 광의 조사하에 있는 얼굴 이미지를 수집한 다음, 동공 색상 알고리즘을 이용하여 실제로 취득한 이미지의 색상 순서가 랜덤으로 생성된 인증코드에 의해 표현된 색상의 순서와 일치한지를 검증할 수 있다. 양자가 일치할 경우, 실제로 취득한 이미지가 기기의 전면 카메라로 현장에서 수집한 얼굴 이미지임을 의미한다. 이 기초에서, 실제로 취득한 이미지 중의 적어도 하나를 합성곱 신경망의 입력으로 하여 이미지 인식을 진행함으로써, 최종적인 얼굴 생체 검출 결과를 얻을 수 있다.
본 개시의 실시예를 통해, 얼굴 생체 검출 모델(합성곱 신경망)에 입력되어 얼굴 생체 검출이 진행되는 얼굴 이미지는, 공격자가 기기의 전면 카메라에 의해 이미지가 수집되는 것을 악의적으로 차단하여 불법으로 주입한 얼굴 이미지 공격 샘플이 아니라, 현재 태스크에 기반하여 현장에서 수집하는 이미지임을 확보할 수 있으므로, 전반 얼굴 생체 검출 흐름의 안전성을 향상시킬 수 있다.
아래에서, 도면과 구체적인 실시예를 결합하여 본 개시를 상세하게 설명한다.
본 개시의 실시예의 얼굴 생체 검출 방법 및 장치에 적합한 시스템 아키텍처를 아래와 같이 소개한다.
도 1은 본 개시의 실시예의 얼굴 생체 검출 방법 및 장치에 적합한 시스템 아키텍처를 예시적으로 도시하는 것이다. 주의해야 할 것은, 도 1에 도시된 것은 단지 본 개시의 실시예가 적용될 수 있는 시스템 아키텍처의 예시일 뿐이고, 본 개시의 기술내용에 대한 당업자의 이해를 돕기 위한 것이지만, 본 개시의 실시예가 다른 환경 또는 장면에 사용될 수 없음을 의미하는 것은 아니다.
도 1에 도시된 바와 같이, 얼굴 인식 시스템 아키텍처(100)는 기기의 전면 카메라(101), 기기의 디스플레이(102) 및 기기의 얼굴 생체 검출 모듈(103)을 포함할 수 있다.
일 실시예에서, 얼굴 생체 검출 모듈(103)은 인증코드로 하나의 색상 시퀀스(예를 들면, 레드, 그린, 블루)를 랜덤으로 생성할 수 있다. 디스플레이(102)는 얼굴 생체 검출 모듈(103)에 의해 랜덤으로 생성된 색상 시퀀스에서의 색상 순서에 따라, 순차로 대응되는 색상의 광을 얼굴에 출력할 수 있다. 이와 동시에, 디스플레이(102)가 한가지 색상의 광을 출력할 때마다, 전면 카메라(101)는 대응되는 색상의 광 속에서의 얼굴 이미지를 수집할 수 있다. 그 다음, 얼굴 생체 검출 모듈(103)은 동공 색상 알고리즘을 이용하여, 실제로 취득한 이미지의 색상 순서가 랜덤으로 생성된 인증코드에 의해 표현된 색상의 순서와 일치한지를 검증할 수 있다. 검증을 거쳐 양자가 일치한 것으로 결정될 경우, 실제로 취득한 이미지는 전면 카메라(101)가 현재 태스크에 기반하여 현장에서 수집한 얼굴 이미지임을 표현한다. 그렇지 않고, 검증을 거쳐 양자가 일치하지 않은 것으로 결정될 경우, 실제로 취득한 이미지는 공격자가 불법으로 주입한 얼굴 이미지 공격 샘플임을 표현한다.
실제로 취득한 이미지가 현재 태스크에 기반하여 전면 카메라(101)에 의해 현장에서 수집된 얼굴 이미지인 것으로 결정된 기초에서, 얼굴 생체 검출 모듈(103)은 실제로 취득한 이미지 중의 적어도 하나를 얼굴 생체 검출 모델(예를 들면, 합성곱 신경망)의 입력으로 하여 얼굴 생체 검출을 진행하여, 최종적으로 얼굴 생체 검출 결과를 얻을 수 있다.
이해해야 할 것은, 도 1에서 디스플레이를 이용하여 서로 다른 색상의 광을 출력하는 것은 오직 예시적인 것일 뿐이다. 실현의 수요에 따라, 시스템 아키텍처에 다른 유형의 능동 광원을 설치하여 서로 다른 색상의 광을 출력할 수도 있다.
본 개시의 실시예의 얼굴 생체 검출 방법 및 장치에 적합한 적용 장면을 아래와 같이 소개한다.
설명해야 할 것은, 본 개시의 실시예에 의해 제공되는 얼굴 생체 검출 방법은, 얼굴 인식 분야의 출퇴근 기록, 출입 통제, 안전 방호, 금융 결제 등 많은 장면에 적용될 수 있으며, 생체 검출 성능을 향상시키는 데 도울 수 있다.
본 개시의 실시예에 의해 제공되는 얼굴 생체 검출 방안을 사용하면, 현재 대부분의 일반적인 공격 방식을 효과적으로 방어할 수 있으며, 이와 동시에 네트워크 훈련 수렴 속도를 빠르게 할 수도 있고, 얼굴 생체 검출 알고리즘의 일반화 성능 및 정밀도를 향상시킬 수도 있으며, 미지의 공격 샘플 또는 공격 방식에 대한 얼굴 생체 검출 알고리즘의 방어 효과를 향상시킬 수도 있어, 얼굴 생체 검출 기술에 기초하는 많은 적용의 효과 및 사용자 체험을 향상시키는 데 도움될 수 있으며, 업무 항목의 추가적인 보급에 유리할 수 있다.
본 개시의 실시예에 따라, 본 개시는 얼굴 생체 검출 방법을 제공한다.
도 2는 본 개시의 실시예에 따른 얼굴 생체 검출 방법을 예시적으로 도시하는 흐름도이다.
도 2에 도시된 바와 같이, 얼굴 생체 검출 방법(200)은 동작S210 내지 동작S240을 포함할 수 있다.
동작S210에서, 복수의 얼굴 이미지를 포함하는 얼굴 이미지 시퀀스를 취득한다.
동작S220에서, 얼굴 이미지 시퀀스에 기반하여, 복수의 눈 이미지를 포함하는 대응되는 눈 이미지 시퀀스를 취득한다.
동작S230에서, 눈 이미지 시퀀스에 기반하여, 복수의 눈 이미지 중의 각 눈 이미지에서 눈의 동공이 나타나는 광점의 색상을 인식하여, 동공 색상 인식 결과를 얻는다.
동작S240에서, 동공 색상 인식 결과가 얼굴 이미지 시퀀스는 전자 기기가 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 얼굴 이미지의 시퀀스인 것을 표현하는 것에 응답하여, 얼굴 이미지 시퀀스 중의 적어도 하나의 얼굴 이미지를 이용하여 얼굴 생체 검출 결과를 얻는다.
설명해야 할 것은, 동공 색상 인식 결과는 얼굴 이미지 시퀀스가 전자 기기에 의해 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 얼굴 이미지의 시퀀스인지를 결정하는 데 사용될 수 있다. 여기서, 전자 기기는 얼굴 인식 프로세스를 시작한 후의 사전에 설정된 시간대 내에 소정 시간의 간격으로 한 가지 색상의 광을 방출하며, 한 가지 색상의 광을 방출할 때마다 얼굴 이미지를 한번씩 수집한다.
일부 실시예에서, 매번 얼굴 생체 검출을 진행할 때마다, 모두 우선 현재 취득한 얼굴 이미지는 전자 기기(예를 들면, 얼굴 인식 기기)가 이번 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 이미지인지를 검증할 수 있다. 현재 취득한 얼굴 이미지는 상기 전자 기기가 이번 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 이미지인 것으로 결정될 경우, 현재 취득한 얼굴 이미지 중의 적어도 하나를 얼굴 생체 검출 모델의 입력으로 하여, 계속하여 얼굴 생체 검출을 진행한다. 이에 의해, 얼굴 생체 검출에 실제로 사용되는 이미지는, 이번 얼굴 생체 검출 태스크에 대해 현재의 전자 기기가 현장에서 수집한 얼굴 이미지이고, 공격자가 현재의 전자 기기에 의해 이미지가 현장에서 수집하는 것을 차단하여 불법으로 주입한 얼굴 이미지 공격 샘플(사전에 수집된 얼굴 이미지 또는 다른 전자 기기에 의해 현장에서 수집된 얼굴 이미지를 포함)이 아닌 것을 확보할 수 있다.
따라서, 본 개시의 실시예를 통해, 얼굴 생체 검출 과정에서, 얼굴 이미지 공격 샘플의 주입 공격을 방지할 수 있어, 얼굴 인식의 안전성을 향상시키도록 할 수 있다.
본 개시의 발명 구상을 실현하는 과정에서, 발명자는 서로 다른 색상의 광을 이용하여 얼굴을 조사할 경우, 눈의 동공이 서로 다른 색상의 광점이 나타나는 것을 발견하였다. 따라서, 본 개시의 실시예에서, 이런 원리를 이용하여 현재 취득한 얼굴 이미지는 전자 기기가 이번 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 이미지인지를 검증하는 것을 고려하였다.
예시적으로, 매번 얼굴 생체 검출을 진행할 때마다, 인증 코드로 하나의 색상 시퀀스(예를 들면, 레드, 그린, 블루)를 랜덤으로 생성할 수 있다. 이와 동시에, 전자 기기를 상기 색상 시퀀스에 따라, 소정 시간(예를 들면, 5초)의 간격으로 한가지 색상의 광을 방출하도록 제어하여, 예를 들면, 레드 광, 그린 광 및 블루 광을 선후로 출력하여 얼굴에 조사한다. 또한, 전자 기기는 한가지 색상의 광을 방출할 때마다, 얼굴 이미지를 한번 수집한다. 예를 들면, 레드 광을 출력할 시 하나의 얼굴 이미지를 수집하고, 그린 광을 출력할 시 하나의 얼굴 이미지를 수집하며, 블루 광을 출력할 시 하나의 얼굴 이미지를 수집하여, 총 3개의 얼굴 이미지를 순차로 수집한다. 이에 기반하여, 이론적으로 이번 얼굴 생체 검출 과정에서, 얼굴 생체 검출 모듈이 취득한 얼굴 이미지는 순차로 상기 3개의 얼굴 이미지이어야 한다. 하지만, 공격자가 얼굴 이미지 공격 샘플을 주입하여 상기 3개의 얼굴 이미지로 위장할 가능성이 존재하므로, 실제로 취득한 3개의 얼굴 이미지에 기반하여, 대응되는 3개의 눈 이미지를 취득한 다음, 동공 색상 알고리즘을 이용하여, 이 3개의 눈 이미지에서 눈의 동공이 나타나는 광점의 색상 순서가 상기 인증코드로 표현하는 색상 순서와 일치한지, 예를 들면, 레드, 그린, 블루의 순차로 인지를 순차로 검증할 수 있다. 양자가 일치할 경우, 얼굴 생체 검출 모듈이 실제로 취득한 이미지는 바로 전자 기기가 이번 얼굴 생체 검출 태스크 중 현장에서 순차로 수집한 3개의 얼굴 이미지인 것으로 간주한다. 그렇지 않고, 양자가 일치하지 않을 경우, 얼굴 생체 검출 모듈이 실제로 취득한 이미지는 불법으로 주입된 얼굴 이미지 공격 샘플인 것으로 간주한다.
추가로, 일부 적용 장면에는, 예를 들면, 공격 도구(예를 들면, 전자 사진, 종이 사진 등, 또는 3D 머리 모형, 3D 머리 커버 등)를 이용하여 생체 얼굴을 대체함으로써 공격을 진행하는 등 다른 공격 방식이 더 존재한다.
서로 다른 재질의 공격 도구가 광에 대한 반사율은 생체 피부가 광에 대한 반사율과 다른 한편, 능동광에 기반하는 얼굴 생체 검출 방법은 동작S240에서, 얼굴 이미지 시퀀스 중의 적어도 하나의 얼굴 이미지를 이용하여 얼굴 생체 검출을 진행하며, 생체 얼굴과 비생체 얼굴의 광에 대한 반사율이라는 이 요소를 충분히 고려할 수 있으며, 즉, 모델에 입력하는 얼굴 이미지가 생체 얼굴을 촬영한 이미지인지 아니면 공격 도구를 촬영한 이미지인지를 판단할 수 있으므로, 본 방안은 더 정확한 얼굴 생체 검출 결과를 얻을 수 있다.
이해해야 할 것은, 본 개시의 실시예에서, 얼굴 이미지의 긍정적인 샘플 및 다양한 부정적인 샘플(예를 들면, 다양한 얼굴 이미지 공격 샘플)에 기반하여 얼굴 생체 검출 모델을 사전에 훈련시킬 수 있다. 동작S240에서, 얼굴 이미지 시퀀스 중의 적어도 하나의 얼굴 이미지를 직접 상기 모델에 입력하여 얼굴 생체 검출을 진행할 수 있다.
따라서, 본 개시의 실시예를 통해, 얼굴 생체 검출 과정에서, 복잡한 샘플의 공격에 직면할 경우, 생체 검출 알고리즘의 정확율 및 일반화 성능을 크게 향상시킬 수 있다.
설명해야 할 것은, 본 개시의 실시예에서, 특징 추출 네트워크는 MobileNet V2를 합성곱 신경망의 백본망 backbone으로 사용할 수 있다. 이어서 상기 예시를 참조하면, 서로 다른 색상의 광 속에서 수집한 3개의 얼굴 이미지를 채널층에서 연결하여 하나의 9개 채널의 이미지를 형성하여 합성곱 신경망의 입력으로 할 수 있다. 상기 입력은 네트워크의 마지막 한층의 특징 맵에서 전역 평균 풀링 동작을 진행한 후, 마지막으로 완전 연결층과 소프트맥스(Softmax)층을 거쳐 이미지 분류를 진행하여, 최종적인 얼굴 생체 검출 분류를 완성할 수 있다.
설명해야 할 것은, 본 개시의 실시예에서, 인증코드로 색상 시퀀스를 랜덤으로 생성할 경우, 색상 시퀀스에는 복수의 요소가 포함될 수 있으며, 이에 의해 색상 시퀀스 해독의 난이도가 증가될 수 있으므로, 얼굴 생체 검출의 성능을 향상시킬 수 있다. 이해해야 할 것은, 본 개시의 실시예에서, 인증코드로 색상 시퀀스를 랜덤으로 생성할 경우, 색상 시퀀스에는 하나의 요소만 포함될 수도 있으며, 이 방안은 후속의 실시예에서 상세하게 설명될 것이다.
선택 가능한 일 실시예로서, 얼굴 이미지 시퀀스에 기반하여, 복수의 눈 이미지를 포함하는 대응되는 눈 이미지 시퀀스를 취득하는 동작은, 아래와 같은 동작을 포함한다.
얼굴 이미지 시퀀스 중의 얼굴 이미지 각각에 대해, 아래와 같은 동작을 실행한다. 즉, 얼굴 영역 검출을 진행하여, 타깃 얼굴이 검출된 제1 이미지를 얻고; 제1 이미지에 기반하여, 타깃 얼굴의 키 포인트 좌표를 결정하며; 키 포인트 좌표에 기반하여, 타깃 얼굴에 대해 얼굴 정렬을 진행하여, 얼굴이 정렬된 제2 이미지를 얻는다.
제2 이미지에 기반하여, 눈 이미지 시퀀스 중 대응되는 눈 이미지를 얻는다.
본 개시의 실시예에서, 우선 얼굴 이미지를 취득하고, 얼굴 이미지에서 눈 이미지를 절취한 다음, 눈 이미지에 기반하여 눈의 동공 색상을 인식한다. 눈 이미지의 품질은 눈의 동공 색상의 인식 결과에 아주 중요한 영향을 준다는 것을 알 수 있다.
따라서, 본 개시의 실시예에서, 얼굴 이미지에서 눈 이미지를 절취하기 전에, 우선 이미지 전처리 동작을 진행하여, 취득한 눈 이미지의 품질을 향상시킬 수 있다. 여기서, 본 개시의 실시예에서, 이미지 전처리 동작은 얼굴 위치 검출, 얼굴 키 포인트 검출, 얼굴 정렬, 이미지 정규화 처리 및 랜덤 데이터 증강 등 동작을 포함하되, 이에 제한되지 않을 수 있다.
예시적으로, 얼굴 생체 검출 과정에서, 우선 얼굴 인식 기기를 이용하여 얼굴(생체 얼굴, 비생체 얼굴(공격 도구)를 포함)에 3가지 서로 다른 색상의 광을 램덤으로 비추고, 그 다음 얼굴 인식 기기의 전면 카메라를 이용하여 얼굴이 이 3가지 색상의 광 속에서의 얼굴 이미지를 수집하며, 순차로 수집한 3장의 이미지를 한 그룹으로, 즉 하나의 얼굴 이미지 시퀀스로 한다.
이와 동시에, 얼굴은, N개의 키 포인트를 포함하는 것으로 정의할 수 있으며, 예를 들면, 각각 (x1, y1), (x2, y2),..., (x71, y71), (x72, y72)인 72개의 키 포인트이다.
그 다음, 상기 3장의 이미지 중의 각 이미지에 대해 이미지 전처리를 진행할 수 있다. 그중 각 이미지에 대해, 우선 검출 모델로 얼굴을 검출하여, 타깃 얼굴의 대략적인 위치 영역을 얻으며, 즉 한나의 타깃 얼굴을 포함하는 이미지를 얻는다. 여기서, 검출 모델은 사전에 훈련하여 얻은 얼굴 검출 모델이며, 이미지에서 얼굴의 위치를 검출할 수 있다. 그 다음 검출된 얼굴 영역에 따라, 얼굴 키 포인트 검출 모델로 얼굴 키 포인트를 검출하여, 타깃 얼굴의 키 포인트 좌표값을 얻는다. 여기서, 얼굴 키 포인트 검출 모델은 사전에 훈련하여 얻은 모델이며, 직접 호출하여, 타깃 얼굴이 검출된 이미지를 입력함으로써, N개의 얼굴 키 포인트 좌표값을 얻을 수 있으며, 예를 들면, 각각 (x1, y1),..., (x72, y72)인 72개의 얼굴 키 포인트 좌표값이다. 그 다음 타깃 얼굴의 키 포인트 좌표값에 따라, 타깃 얼굴에 대해 얼굴 정렬을 진행하여, 대응되는 얼굴 이미지를 얻는다. 예시적으로, 구체적인 진행 방법은 아래와 같을 수 있다. 예를 들면, 72개의 얼굴 키 포인트 좌표값에 따라, 우선 x와 y의 최대값 및 최소값(예를 들면, xmin, xmax, ymin, ymax)을 얻고, x와 y의 최대값 및 최소값에 따라 하나의 얼굴 프레임을 결정한 다음, 이 얼굴 프레임을 3배로 확대한 후 얼굴 이미지를 절취하여, 절취한 얼굴 이미지를 사이즈가 224x224인 이미지로 조정한다. 상기 이미지는 얼굴 정렬 처리 후 얻은 이미지로 할 수 있다.
그 다음, 얼굴 정렬 처리 후 얻은 각 이미지에 대해 정규화 처리를 진행할 수도 있다. 본 개시의 실시예에서, 이미지 정규화 처리는, 이미지 중의 각 픽셀을 순차로 정규화 처리하는 것을 가리킨다. 일부 실시예에서, 이미지 정규화 처리의 방법은 아래와 같은 동작을 포함한다. 즉, 이미지 중 각 픽셀의 픽셀값에서 128을 뺄셈한 다음 256으로 나눗셈하여 각 픽셀의 픽셀값을 [-0.5, 0.5] 구간내에 들어가게 한다.
추가로, 정규화 처리 후 얻은 각 이미지에 대해 랜덤 데이터 증강 처리를 진행할 수도 있다.
본 개시의 실시예에서, 후속으로 눈의 동공 색상 인식을 진행기 위해, 이미지 전처리 후 얻은 각 이미지에 대해, 상응하는 눈 이미지를 계속 절취하고, 최종으로 3장의 눈 이미지를 얻을 수 있다.
본 개시의 실시예를 통해, 눈 이미지를 절취하기 전에 우선 이미지에 대해 얼굴 정렬 처리를 진행하여, 얼굴 편향으로 인해 취득한 눈 이미지의 품질이 좋지 않음에 의해, 동공 색상 인식을 진행할 수 없거나 또는 동공 색상 인식 효과가 떨어지는 것을 방지할 수 있다.
추가로, 선택 가능한 일 실시예로서, 제2 이미지에 기반하여, 눈 이미지 시퀀스 중의 대응되는 눈 이미지를 얻는 동작은 아래와 같은 동작을 포함한다.
제2 이미지에 기반하여, 왼쪽 눈 이미지와 오른쪽 눈 이미지를 취득한다.
왼쪽 눈 이미지와 오른쪽 눈 이미지를 겹쳐, 눈 이미지 시퀀스 중의 대응되는 두 눈 이미지를 얻는다.
일부 실시예에서, 전처리 후 얻은 각 얼굴 이미지에 대해, 그중으로부터 대응되는 두 눈 이미지를 절취하여, 후속으로 눈의 동공 색상 인식을 진행하기 위해 사용할 수 있다.
이어서 상기 예시를 참조하면, 아래와 같은 동작을 통해 두 눈 이미지를 절취할 수 있다. 상기 예시에 따라, 72개의 얼굴 키 포인트 좌표값을 얻은 후, 우선 두 눈 영역 이미지를 절취한 다음, 얼굴 키 포인트에 따라, 왼쪽 눈의 안각 좌표(x13, y13)과 (x17, y17)를 찾아내고, 이 2개의 안각 좌표에 기반하여 왼쪽 눈의 안각의 거리 L1과 왼쪽 눈의 중심 포인트 C1을 구함으로써, 아핀 변환(affine transformation) 행렬 M1을 구하며, 아핀 변환 행렬 M1에 따라 원본 이미지(상기 절취된 두눈 이미지)를 사이즈가 56x36인 왼쪽 눈만 있는 이미지로 아핀 변환한다.
마찬가지로, 얼굴 키 포인트에 따라, 오른쪽 눈의 안각 좌표(x30, y30)과 (x34, y34)를 찾아내고, 이 2개의 안각 좌표에 기반하여 오른쪽 눈의 안각의 거리 L2와 오른쪽 눈의 중심 포인트 C2를 구함으로써, 아핀 변환 행렬 M2를 구하여 얻으며, 아핀 변환 행렬 M2에 따라 원본 이미지(상기 절취된 두눈 이미지)를 사이즈가 56x36인 오른쪽 눈만 있는 이미지로 아핀 변환한다.
두눈의 이미지를 겹쳐, 즉 상기 왼쪽 눈의 이미지와 상기 오른쪽 눈의 이미지를 겹쳐, 대응되는 두 눈 이미지를 얻는다. 예시적으로, 왼쪽 눈 이미지가 56x36x3(3은 R, G, B 3개의 채널을 의미함)이고, 오른쪽 눈 이미지도 56x36x3(3은 R, G, B 3개의 채널을 의미함)일 경우, 상기 왼쪽 눈 이미지와 오른쪽 눈 이미지는 겹쳐진 후 56x36x6이 된다.
본 개시의 실시예에서, 사전에 훈련하여 얻은 동공 색상 인식 모델을 직접 호출하며, 상기 두 눈 이미지를 모델의 입력으로 하여, 동공의 색상을 인식할 수 있다. 예시적으로, 동공 색상 인식 모델은 5층의 합성곱층 + 3층의 맥스 풀링층 + 1층의 완전 연결층으로 구성된 합성곱 신경망일 수 있다.
본 개시의 실시예를 통해, 두 눈 이미지를 사용하여 동공 색상 인식을 진행함으로써, 어느 한 눈이 감기거나 또는 가려져, 동공 색상 인식을 할 수 없거나 또는 동공 색상 인식 효과가 좋지 않은 것을 방지할 수 있다.
다른 실시예에서, 전처리 후 얻은 각 얼굴 이미지에 대해, 그중에서 대응되는 단안 이미지(예를 들면, 왼쪽 눈 이미지 또는 오른쪽 눈 이미지)를 절취하여, 후속으로 진행되는 눈의 동공 색상 인식에 사용할 수도 있다. 여기서, 왼쪽 눈 이미지를 절취하는 방법 및 오른쪽 눈 이미지를 절취하는 방법은, 두 눈 이미지를 절취하는 과정에서 언급되는 왼쪽 눈 이미지를 절취하는 방법 및 오른쪽 눈 이미지를 절취하는 방법과 동일하며, 여기에서 반복하여 설명하지 않는다.
이해해야 할 것은, 단안 이미지를 사용하여 동공 색상 인식을 진행하는 것은 두 눈 이미지를 사용하여 동공 색상 인식을 진행하는 것과 비교하면, 단안 이미지를 사용하여 동공 색상 인식을 진행하는 것이 어느 한 눈이 감기거나 또는 가려짐으로 인해 동공 색상 인식을 할 수 없거나 또는 동공 색상 인식 효과가 좋지 않을 가능성이 더 크다.
추가로, 선택 가능한 일 실시예로서, 눈 이미지 시퀀스에 기반하여, 복수의 눈 이미지 중의 각 눈 이미지에서 눈의 동공이 나타나는 광점의 색상을 인식하여, 동공 색상 인식 결과를 얻는 동작은 아래와 같은 동작을 포함한다. 즉, 눈 이미지 시퀀스 중의 두 눈 이미지 각각을 동공 색상 인식 모델에 입력하여, 대응되는 동공 색상 인식 결과를 출력한다.
설명해야 할 것은, 동공 색상 인식 모델은 사전에 훈련하여 얻을 수 있으며, 동공 색상 인식을 진행할 경우 직접 호출하면 된다.
선택 가능한 일 실시예로서, 상기 방법은 아래와 같은 동작을 더 포함할 수 있다. 즉, 복수의 얼굴 이미지를 포함하는 얼굴 이미지 시퀀스를 취득하기 전에, 전자 기기를 얼굴 인식 프로세스를 시작한 후의 사전에 설정된 시간대 내에 소정 시간의 간격으로 한가지 색상의 광을 방출하도록 제어하며, 또한 전자 기기를 매번 한가지 색상의 광을 방출한 후 얼굴 이미지를 한번 수집하도록 제어한다.
본 개시의 실시예를 통해, 얼굴은 서로 다른 색상 광선의 조사하에, 눈의 동공이 서로 다른 색상의 광점이 나타나는 원리를 이용하여, 실제로 취득한 얼굴 이미지는 전자 기기가 현재 태스크에 기반하여 현장에서 생체 얼굴을 수집하여 얻은 이미지인지를 판단할 수 있다.
추가로, 선택 가능한 일 실시예로서, 전자 기기를 사전에 설정된 시간대 내에 소정 시간의 간격으로 한가지 색상의 광을 방출하도록 제어하는 동작은 아래와 같은 동작을 포함할 수 있다. 즉, 전자 기기를 사전에 설정된 시간대 내에 소정 시간의 간격으로 한가지 색상의 광을 랜덤으로 방출하도록 제어한다.
또는, 본 개시의 다른 실시예에서, 전자 기기를 사전에 설정된 시간대 내에 소정 시간의 간격으로 한가지 일정의 색상의 광을 방출하도록 제어할 수도 있다. 예시적으로, 매번 얼굴 생체 검출을 진행할 때마다, 모두 전자 기기를 레드, 그린, 블루의 3가지 색상의 광을 순차로 방출하도록 제어할 수 있다.
또는, 본 개시의 다른 실시예에서, 전자 기기를 사전에 설정된 시간대 내에 소정 시간의 간격으로 사전에 설정된 로직에 따라 한가지 일정의 색상의 광을 방출하도록 제어할 수도 있다. 예시적으로, 광을 발출하는 3가지 순서를 설치 할 수 있으며, 예를 들면, "레드, 그린, 블루의 순서에 따라 3가지 색상의 광을 순차적으로 방출하는 것을 의미하는 00", "그린, 레드, 블루의 순서에 따라 3가지 색상의 광을 순차적으로 방출하는 것을 의미하는 01", "블루, 그린, 레드의 순서에 따라 3가지 색상의 광을 순차적으로 방출하는 것을 의미하는 10"의 3가지 발광 순서를 설정할 수도 있으며, 얼굴 생체 검출을 제1회 내지 제N회 진행할 경우, 00, 01, 10, 00, 01, 10...의 순서에 따라, 대응되는 색상 순서의 광을 반복하여 순환하면서 순차로 방출할 수 있다.
이해해야 할 것은, 전자 기기를 상응하는 색상의 광을 랜덤으로 방출하도록 제어하는 것은 전자 기기를 상응하는 생상의 광을 다른 방식으로 방출하도록 제어하는 것과 비교할 경우, 전자 기기를 상응하는 색상의 광을 랜덤으로 방출하도록 제어하는 것은 색상 순서가 공격자에 의해 해독되는 난이도를 증가시킬 수 있어, 얼굴 생체 검출의 안전성을 추가로 향상시킬 수 있다.
추가로, 선택 가능한 일 실시예로서, 전자 기기를 사전에 설정된 시간대 내에 소정 시간의 간격으로 한가지 색상의 광을 랜덤으로 방출하도록 제어하는 동작은 아래와 같은 동작을 포함할 수 있다. 즉, 전자 기기를 사전에 설정된 시간대 내에 소정 시간의 간격으로 한가지 색상의 포토를 랜덤으로 나타내는 것을 통해 대응되는 색상의 광을 방출하도록 제어한다.
예시적으로, 전자 기기를 레드, 그린, 블루의 순차로 3가지 색상의 광을 방출하도록 제어할 필요가 있을 경우, 전자 기기의 스크린에 레드 포토, 그린 포토 및 블루 포토를 순차로 나타내어 실현할 수 있다.
본 개시의 실시예를 통해, 얼굴 인식 기기에 별도로 능동 광원을 추가할 필요가 없으므로, 비용을 절약할 수 있다.
본 개시의 실시예에 따르면, 본 개시는 다른 얼굴 생체 검출 방법을 더 제공한다.
도 3은 본 개시의 다른 일 실시예에 따른 얼굴 생체 검출 방법을 예시적으로 도시하는 흐름도이다.
도 3에 도시된 바와 같이, 얼굴 생체 검출 방법(300)은 동작S310 내지 동작S340을 포함할 수 있다.
동작S310에서, 얼굴 이미지를 취득한다.
동작S320에서, 얼굴 이미지에 기반하여, 대응되는 눈 이미지를 취득한다.
동작S330에서, 눈 이미지에 기반하여, 눈 이미지에서 눈의 동공이 나타나는 광점의 색상을 인식하여, 동공 색상 인식 결과를 얻는다.
동작S340에서, 동공 색상 인식 결과가, 얼굴 이미지가 전자 기기에 의해 현장에서 수집한 얼굴 이미지인 것으로 표현하는 것에 응답하여, 얼굴 이미지를 이용하여 얼굴 생체 검출을 진행한다.
설명해야 할 것은, 동공 색상 인식 결과는 얼굴 이미지가 전자 기기에 의해 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 이미지인지를 결정하는 데 사용될 수 있다. 여기서, 전자 기기는 얼굴 인식 프로세스를 시작한 후 한가지 색상의 광을 랜덤으로 방출하여 이미지를 수집한다.
일부 실시예에서, 매번 얼굴 생체 검출을 진행할 때마다, 모두 우선 현재 취득한 얼굴 이미지가 전자 기기에 의해 이번 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 이미지인지를 검증할 수 있다. 현재 취득한 얼굴 이미지가 상기 전자 기기에 의해 이번 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 이미지인 것으로 결정될 경우, 현재 취득한 얼굴 이미지 중의 적어도 하나를 얼굴 생체 검출 모델의 입력으로 하여, 계속하여 얼굴 생체 검출을 진행한다. 이에 의해, 얼굴 생체 검출에 실제로 사용되는 이미지는, 이번 얼굴 생체 검출 태스크에 대해 현재의 전자 기기가 현장에서 수집한 얼굴 이미지이고, 공격자가 현재의 전자 기기에 의해 이미지에 의해 현장에서 수집되는 것을 차단하여 불법으로 주입한 얼굴 이미지 공격 샘플이 아닌 것을 확보할 수 있다.
따라서, 본 개시의 실시예를 통해, 얼굴 생체 검출 과정에서, 얼굴 이미지 공격 샘플의 주입 공격을 방지할 수 있어, 얼굴 인식의 안전성을 향상시킬 수 있다.
본 개시의 발명 구상을 실현하는 과정에서, 발명자는 서로 다른 색상의 광을 이용하여 얼굴을 조사할 경우, 눈의 동공이 서로 다른 색상의 광점이 나타나는 것을 발견하였다. 따라서, 본 개시의 실시예에서, 이런 원리를 이용하여 현재 취득한 얼굴 이미지가 전자 기기에 의해 이번 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 이미지인지를 검증하는 것을 고려하였다.
예시적으로, 매번 얼굴 생체 검출을 진행할 때마다, 하나의 색상 인증코드를 랜덤으로 생성할 수 있다. 이와 동시에, 전자 기기를 상기 색상 인증코드에 따라, 대응되는 한가지 색상의 광을 방출하여 얼굴에 조사하도록 제어한다. 예를 들면, 색상 인증코드가 레드를 표현할 경우, 레드 광을 방출한다. 또한 전자 기기가 대응되는 색상의 광을 방출한 후, 얼굴 이미지 수집을 진행한다. 예를 들면, 레드 광을 출력한 후, 하나의 얼굴 이미지를 수집한다. 이에 기반하여, 이론적으로 이번 얼굴 생체 검출 과정에서, 얼굴 생체 검출 모듈이 취득한 얼굴 이미지는 상기 레드 광 정보를 지닌 얼굴 이미지이어야 한다. 하지만, 공격자가 얼굴 이미지 공격 샘플을 주입하여 상기 얼굴 이미지로 위장할 가능성이 존재한다. 그러므로, 실제로 취득한 얼굴 이미지에 기반하여, 대응되는 눈 이미지를 취득한 다음, 동공 색상 알고리즘을 이용하여, 상기 눈 이미지에서 눈의 동공이 나타나는 광점의 색상 순서가 전술된 인증코드에 의해 표현하는 색상과 일치한지, 예를 들면, 레드인지를 검증할 수 있다. 양자가 일치할 경우, 얼굴 생체 검출 모듈이 실제로 취득한 이미지가 바로 전자 기기에 의해 이번 얼굴 생체 검출 태스크 중 현장에서 수집한 얼굴 이미지인 것으로 간주한다. 그렇지 않고, 양자가 일치하지 않을 경우, 얼굴 생체 검출 모듈이 실제로 취득한 이미지는 불법으로 주입된 얼굴 이미지 공격 샘플인 것으로 간주한다.
추가로, 일부 적용 장면에는, 예를 들면, 공격 도구(예를 들면, 전자 사진, 종이 사진 등, 또는 3D 머리 모형, 3D 머리 커버 등)를 이용하여 생체 얼굴을 대체하여 공격을 진행하는 등 다른 공격 방식이 더 존재한다.
서로 다른 재질의 공격 도구가 광에 대한 반사율은 생체 피부가 광에 대한 반사율과 다른 한편, 능동광에 기반하는 얼굴 생체 검출 방법은, 동작S340에서, 얼굴 이미지 시퀀스 중의 적어도 하나의 얼굴 이미지를 이용하여 얼굴 생체 검출을 진행함으로써, 생체 얼굴과 비생체 얼굴의 광에 대한 반사율이라는 이 요소를 충분히 고려할 수 있으며, 즉, 모델에 입력하는 얼굴 이미지가 생체 얼굴을 촬영한 이미지인지 아니면 공격 도구를 촬영한 이미지인지를 판단할 수 있으므로, 본 방안은 더 정확한 얼굴 생체 검출 결과를 얻을 수 있다.
이해해야 할 것은, 본 개시의 실시예에서, 얼굴 이미지의 긍정적인 샘플 및 다양한 부정적인 샘플(예를 들면, 다양한 얼굴 이미지 공격 샘플)에 기반하여 얼굴 생체 검출 모델을 사전에 훈련시킬 수 있다. 동작S340에서, 직접 취득한 얼굴 이미지를 상기 모델에 입력하여 얼굴 생체 검출을 진행할 수 있다.
따라서, 본 개시의 실시예를 통해, 얼굴 생체 검출 과정에서, 복잡한 샘플 공격에 직면할 경우, 생체 검출 알고리즘의 정확율 및 일반화 성능을 크게 향상시킬 수 있다.
설명해야 할 것은, 본 개시의 실시예에서, 인증코드로 한가지 색상을 랜덤으로 생성할 경우, 인증코드에 한가지 색상 정보만 포함되므로, 인증코드에 다양한 색상 정보가 포함된 것과 비교하면, 본 방안은 색상 해독의 난이도가 증가될 수도 있고, 얼굴 생체 검출 성능을 향상시킬 수도 있지만, 이러한 향상은 매우 제한적이다.
아래 도 4와 구체적인 실시예를 결합하여 본 개시를 상세하게 설명한다.
도 4에 도시된 바와 같이, 얼굴 생체 검출 과정에서, 한 그룹의 얼굴 이미지(하나 또는 복수의 얼굴 이미지를 포함하는 얼굴 이미지 시퀀스)를 취득한 후, 우선 얼굴 검출 모델을 이용하여 각 얼굴 이미지 중 타깃 얼굴의 위치 영역을 검출할 수 있고, 그 다음 얼굴 키 포인트 검출을 진행한 후, 각 이미지에 대해 전처리(얼굴 정렬 등을 포함)를 진행할 수 있으며, 그 다음 얼굴 키 포인트에 따라 대응되는 두 눈 이미지를 절취하여, 두 눈 이미지 각각에 대해 동공 색상 인식을 진행할 수 있다. 동공 색상 인식 결과가, 상기 그룹의 얼굴 이미지의 색상 순서와 랜덤으로 생성된 색상 인증코드에 의해 표현하는 색상 순서가 일치한 것으로 표현할 경우, 상기 그룹의 얼굴 이미지 중의 적어도 하나를 얼굴 생체 검출 모델의 입력으로 하여, 얼굴 생체 검출을 진행하여, 대응되는 생체 검출 결과를 출력한다.
본 개시의 실시예에 따르면, 본 개시는 얼굴 생체 검출 장치를 더 제공한다.
도 5는 본 개시의 실시예에 따른 얼굴 생체 검출 장치를 예시적으로 도시하는 블록도이다.
도 5에 도시된 바와 같이, 얼굴 생체 검출 장치(500)는 제1 취득 모듈(510), 제2 취득 모듈(520), 제1 이미지 인식 모듈(530) 및 제1 검출 모듈(540)을 포함할 수 있다.
제1 취득 모듈(510)은, 복수의 얼굴 이미지를 포함하는 얼굴 이미지 시퀀스를 취득하기 위한 것이다.
제2 취득 모듈(520)은, 상기 얼굴 이미지 시퀀스에 기반하여, 복수의 눈 이미지를 포함하는 대응되는 눈 이미지 시퀀스를 취득하기 위한 것이다.
제1 이미지 인식 모듈(530)은, 상기 눈 이미지 시퀀스에 기반하여, 상기 복수의 눈 이미지 중의 각 눈 이미지에서 눈의 동공이 나타나는 광점 색상을 인식하여, 동공 색상 인식 결과를 얻기 위한 것이다.
제1 검출 모듈(540)은, 동공 색상 인식 결과가, 상기 얼굴 이미지 시퀀스가 상기 전자 기기에 의해 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 얼굴 이미지의 시퀀스인 것을 표현하는 것에 응답하여, 상기 얼굴 이미지 시퀀스 중의 적어도 하나의 얼굴 이미지를 이용하여 얼굴 생체 검출 결과를 얻기 위한 것이다.
선택 가능한 일 실시예로서, 상기 제2 취득 모듈은, 또한, 상기 얼굴 이미지 시퀀스 중의 얼굴 이미지 각각에 대해, 아래와 같은 동작을 실행하기 위해 사용된다. 즉, 얼굴 영역 검출을 진행하여, 타깃 얼굴이 검출된 제1 이미지를 얻고; 상기 제1 이미지에 기반하여, 상기 타깃 얼굴의 키 포인트 좌표를 결정하며; 상기 키 포인트 좌표에 기반하여, 상기 타깃 얼굴에 대해 얼굴 정렬을 진행하여, 제2 이미지를 얻고; 상기 제2 이미지에 기반하여, 상기 눈 이미지 시퀀스 중 대응되는 눈 이미지를 얻는다.
선택 가능한 일 실시예로서, 상기 제2 취득 모듈은 또한, 상기 제2 이미지에 기반하여, 왼쪽 눈 이미지와 오른쪽 눈 이미지를 취득하고; 상기 왼쪽 눈 이미지와 상기 오른쪽 눈 이미지를 겹쳐, 대응되는 두 눈 이미지를 얻기 위해 사용된다.
선택 가능한 일 실시예로서, 제1 이미지 인식 모듈은, 또한, 눈 이미지 시퀀스 중의 각 두 눈 이미지를 동공 색상 인식 모델에 입력하여, 대응되는 동공 색상 인식 결과를 출력시키기 위해 사용된다.
선택 가능한 일 실시예로서, 상기 장치는, 상기 복수의 얼굴 이미지를 포함하는 얼굴 이미지 시퀀스를 취득하기 전에, 상기 전자 기기를 얼굴 인식 프로세스를 시작한 후의 사전에 설정된 시간대 내에 소정 시간의 간격으로 한가지 색상의 광을 방출하도록 제어하고, 상기 전자 기기를 매번 한가지 색상의 광을 방출한 후 얼굴 이미지를 한번 수집하도록 제어하기 위한 제어 모듈을 더 포함한다.
선택 가능한 일 실시예로서, 상기 제어 모듈은 또한, 상기 전자 기기를 상기 사전에 설정된 시간대 내에 상기 소정 시간의 간격으로 한가지 색상의 광을 랜덤으로 방출하도록 제어하기 위해 사용된다.
선택 가능한 일 실시예로서, 상기 제어 모듈은 또한, 상기 전자 기기를 상기 사전에 설정된 시간대 내에 상기 소정 시간의 간격으로 한가지 색상의 포토를 랜덤으로 나타내도록 제어함으로써 대응되는 색상의 광을 방출시키기 위해 사용된다.
본 개시의 실시예에 따르면, 본 개시는 다른 얼굴 생체 검출 장치를 더 제공한다.
도 6은 본 개시의 다른 일 실시예에 따른 얼굴 생체 검출 장치를 예시적으로 도시하는 블록도이다.
도 6에 도시된 바와 같이, 얼굴 생체 검출 장치(600)는 제3 취득 모듈(610), 제4 취득 모듈(620), 제2 이미지 인식 모듈(630) 및 제2 검출 모듈(640)을 포함할 수 있다.
제3 취득 모듈(610)은, 얼굴 이미지를 취득하기 위한 것이다.
제4 취득 모듈(620)은, 상기 얼굴 이미지에 기반하여, 대응되는 눈 이미지를 취득하기 위한 것이다.
제2 이미지 인식 모듈(630)은, 상기 눈 이미지에 기반하여, 상기 눈 이미지에서 눈의 동공이 나타나는 광점 색상을 인식하여, 동공 색상 인식 결과를 얻기 위한 것이다.
제2 검출 모듈(640)은, 동공 색상 인식 결과가, 상기 얼굴 이미지가 전자 기기에 의해 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 얼굴 이미지인 것을 표현하는 것에 응답하여, 상기 얼굴 이미지를 이용하여 얼굴 생체 검출 결과를 얻기 위한 것이다.
이해해야 할 것은, 본 개시의 장치 부분의 실시예는 본 개시의 방법 부분의 실시예와 대응되게 동일하거나 유사하고, 해결하는 기술적 문제 및 실현하는 기능 또는 달성하는 기술적 효과도 대응되게 동일하거나 유사하며, 여기에서 반복하여 설명하지 않는다.
본 개시의 실시예에 따르면, 본 개시는 전자 기기, 판독 가능 저장 매체 및 컴퓨터 프로그램 제품을 더 제공한다.
도 7는 본 개시의 실시예를 실현할 수 있는 전자 기기(700)의 블록도를 예시적으로 도시하는 것이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인 휴대 정보 단말기, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 다른 적합한 컴퓨터 등 다양한 형태의 디지털 컴퓨터를 의미한다. 전자 기기는 개인 디지털 프로세서, 셀룰러 전화, 스마트 폰, 웨어러블 디바이스 및 다른 유형의 컴퓨팅 장치 등 다양한 형태의 이동 장치를 의미할 수도 있다. 본 문장에 개시되는 부품, 이들의 연결과 관계 및 이들의 기능은 오직 예시일 뿐이고, 본 문장에서 설명 및/또는 요구되는 본 개시의 실현을 제한하는 것은 아니다.
도 7에 도시된 바와 같이, 전자 기기(700)에는 리드 온리 메모리(ROM)(702)에 저장된 컴퓨터 프로그램 또는 저장 유닛(708)으로부터 랜덤 액세스 메모리(RAM)(703)로 로딩되는 컴퓨터 프로그램에 따라 여러가지 적합한 동작과 처리를 실행할 수 있는 컴퓨팅 유닛(701)이 포함된다. RAM(703)에는, 전자 기기(700)의 동작에 필요한 다양한 프로그램 및 데이터가 더 저장 될 수 있다. 컴퓨팅 유닛(701), ROM(702) 및 RAM(703)은 버스(704)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(705)도 버스(704)에 연결된다.
전자 기기(700)에서의 복수의 부품은 I/O 인터페이스(705)에 연결되며, 상기 부품에는, 예를 들면 키보드, 마우스 등과 같은 입력 유닛(706), 예를 들면 다양한 유형의 디스플레이, 스피커 등과 같은 출력 유닛(707), 예를 들면 디스크, 광 디스크 등과 같은 저장 유닛(708); 및 예를 들면 네트워크 카드, 모뎀(modem), 무선통신 송수신기 등과 같은 통신 유닛(709)이 포함된다. 통신 유닛(709)은 전자 기기(700)로 하여금 인터넷과 같은 컴퓨터 네트워크 및/또는 다양한 텔레콤 네트워크를 통해 기타 기기와 정보/데이터를 교환할 수 있게 한다.
컴퓨팅 유닛(701)은 처리 능력과 컴퓨팅 능력을 갖는 다양한 범용 및/또는 전용 처리 컴포넌트일 수 있다. 컴퓨팅 유닛(701)의 일부 예시에는, 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 다양한 전용 인공지능(AI) 컴퓨팅 칩, 머신 러닝 모델 알고리즘을 실행하는 다양한 컴퓨팅 유닛, 디지털 신호 프로세서(DSP) 및 임의의 적합한 프로세서, 컨트롤러, 마이크로 컨트롤러 등이 포함되지만 이에 한정되는 것은 아니다. 컴퓨팅 유닛(701)은, 예를 들면, 얼굴 생체 검출 방법과 같은 위에서 설명된 각 방법과 처리를 실행한다. 예를 들면, 일부 실시예에서, 얼굴 생체 검출 방법은 컴퓨터 소프트웨어 프로그램으로 구현되어, 저장 유닛(708)과 같은 기계 판독가능 매체에 유형적으로 포함될 수 있다. 일부 실시예에서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(702) 및/또는 통신 유닛(709)을 거쳐 전자 기기(700)에 로딩 및/또는 설치될 수 있다. 컴퓨터 프로그램이 RAM(703)에 로딩되어 컴퓨팅 유닛(701)에 의해 실행될 경우, 위에서 설명한 얼굴 생체 검출 방법의 하나 이상의 단계를 실행할 수 있다. 선택적으로, 기타 실시예에서, 컴퓨팅 유닛(701)은 기타 임의의 적합한 방식(예를 들면, 펌웨어를 이용함)을 통해 얼굴 생체 검출 방법을 실행하도록 구성될 수 있다.
본문에서 상기 설명한 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 현장 프로그래밍 가능 게이트 어레이(FPGA), 전용 집적 회로(ASIC), 전용 표준 제품(ASSP), 시스템 온 칩 시스템(SOC), 복합 프로그래밍 가능 로직 디바이스(CPLD), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 실현될 수 있다. 상기 다양한 실시형태는 다음과 같은 내용을 포함할 수 있다. 하나 이상의 컴퓨터 프로그램에서 실시되고, 상기 하나 이상의 컴퓨터 프로그램은 적어도 하나의 프로그래밍 가능 프로세서를 포함하는 프로그래밍 가능 시스템에서 실행 및/또는 해석될 수 있다. 상기 프로그래밍 가능 프로세서는 전용 또는 범용 프로그래밍 가능 프로세서일 수 있으며, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령어를 수신하며, 또한 상기 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치에 데이터 및 명령어를 전송할 수 있다.
본 발명의 방법을 실시하기 위한 프로그램 코드는 하나 이상의 프로그래밍 언어의 임의의 조합을 적용하여 작성할 수 있다. 프로그램 코드가 프로세서 또는 컨트롤러에 의해 실행될 시 흐름도 및/또는 블록도에서 규정된 기능/동작이 실시되도록, 이러한 프로그램 코드를 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래밍 가능 데이터 처리 장치의 프로세서 또는 컨트롤러에 제공할 수 있다. 프로그램 코드는 완전히 기계에서 실행되거나, 부분적으로 기계에서 실행되거나, 개별적인 소프트웨어 패키지(Software Package)로서 부분적으로 기계에서 실행되며, 부분적으로 원격 기계에서 실행되거나, 완전히 원격 기계 또는 서버에서 실행될 수 있다.
본 발명의 콘텍스트에서, 기계 판독가능 매체는 유형적인 매체일 수 있다. 상기 기계 판독가능 매체에는, 명령어 실행 시스템, 장치 또는 기기에 사용되거나 또는 명령어 실행 시스템, 장치 또는 기기와 결합하여 사용되도록 제공되는 프로그램이 포함되거나 저장될 수 있다. 기계 판독가능 매체는 기계 판독가능 신호 매체 또는 기계 판독가능 저장 매체일 수 있다. 기계 판독가능 매체에는, 전자, 자성, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 기기, 또는 상기 내용의 임의의 적합한 조합이 포함될 수 있지만 이에 한정되는 것은 아니다. 기계 판독가능 저장 매체의 더 구체적인 예시에는 하나 이상의 와이어에 의한 전기적인 연결, 휴대용 컴퓨터 디스크, 하드디스크, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 소거 가능 및 프로그램 가능 리드 온리 메모리(EPROM 또는 플래시 메모리), 광섬유，휴대용 콤팩트 디스크 리드 온리 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 상기 내용의 임의의 적합한 조합이 포함될 수 있다.
사용자와의 인터랙션을 제공하기 위해, 여기에서 설명하는 시스템과 기술을 컴퓨터에서 실행할 수 있다. 상기 컴퓨터는 사용자에게 정보를 표시하기 위한 디스플레이 장치(예를 들면, CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터) 및 키보드, 포인팅 장치(예를 들면, 마우스 또는 트랙 볼)를 포함한다. 사용자는 상기 키보드 및 포인팅 장치를 통해 입력을 컴퓨터에 제공한다. 기타 종류의 장치는 사용자와의 인터랙션을 제공하기 위해 사용될 수도 있다. 예를 들면, 사용자에게 제공하는 피드백은 임의의 형태의 센싱 피드백(예를 들면, 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있으며, 또한 사용자로부터의 입력은 임의의 형태(소리 입력, 음성 입력 또는 촉각 입력을 포함)로 수신될 수 있다.
여기에서 설명하는 시스템 및 기술을 백그라운드 부품을 포함하는 컴퓨팅 시스템(예를 들면, 데이터 서버), 또는 미들웨어 부품을 포함하는 컴퓨팅 시스템(예를 들면, 애플리케이션 서버), 또는 프론트 부품을 포함하는 컴퓨팅 시스템(예를 들면, 그래픽 유저 인터페이스 또는 웹 브라우저를 구비하는 사용자 컴퓨터, 사용자는 상기 그래픽 유저 인터페이스 또는 웹 브라우저를 통해 여기에서 설명하는 시스템 및 기술의 실시형태와 인터랙션을 진행할 수 있음), 또는 상기 백그라운드 부품, 미들웨어 부품 또는 프론트 부품의 임의의 조합을 포함하는 컴퓨팅 시스템에서 실행할 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들면, 통신 네트워크)을 통해 시스템의 부품을 서로 연결할 수 있다. 통신 네트워크의 예시는 근거리 통신망LAN), 광대역 통신망(WAN) 및 인터넷을 포함한다.
본 개시의 기술방안에서, 언급되는 사용자 정보의 기록, 저장 및 응용 등은 모두 관련 법율 법규의 규정에 부합되며, 또한 공서양속에 어긋나지 않는다.
컴퓨터 시스템은 클라이언트 및 서버를 포함한다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있으며, 통신망을 통해 인터랙션을 진행한다. 해당 컴퓨터에서 실행되고, 또한 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램을 통해 클라이언트 및 서버의 관계를 생성한다. 서버는 클라우드 컴퓨팅 서버 또는 클라우드 호스트라고 칭할 수도 있는 클라우드 서버일 수 있으며, 클라우드 컴퓨팅 서비스 체계에서의 호스트 제품으로서, 기존의 물리적 호스트와 가상 사설 서버 서비스("Virtual Private Server", 또는 "VPS"으로 약칭)에 존재하는 관리 난이도가 크고, 업무 확장성이 약한 결함을 해결하였다. 서버는 분산 시스템의 서버, 또는 블록체인을 결합한 서버일 수도 있다.
상기의 다양한 형태의 프로세스를 이용하여, 단계를 다시 순서 배열, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들면, 본 발명에 기재된 각 단계는 병행하여 실행할 수 있고, 순서대로 실행할 수도 있으며, 서로 다른 순서로 실행할 수도 있는데, 본 발명에 의해 개시되는 기술방안이 기대하는 결과를 실현할 수만 있다면, 이에 대해 제한하지 않는다.
상기 구체적인 실시형태는 본 발명의 보호 범위에 대해 제한하지 않는다. 당업자는 설계 요구와 기타 요인에 따라 다양한 수정, 조합, 서브 조합 및 대체를 진행할 수 있음을 이해해야 한다. 본 발명의 사상 및 원칙 내에서 진행되는 수정, 균등한 교체 및 개선 등은 모두 본 발명의 보호 범위에 포함되어야 한다.

Claims (19)

  1. 복수의 얼굴 이미지를 포함하는 얼굴 이미지 시퀀스를 취득하는 동작;
    상기 얼굴 이미지 시퀀스에 기반하여, 복수의 눈 이미지를 포함하는 대응되는 눈 이미지 시퀀스를 취득하는 동작;
    상기 눈 이미지 시퀀스에 기반하여, 상기 복수의 눈 이미지 중의 각 눈 이미지에서 눈의 동공이 나타나는 광점의 색상을 인식하여, 동공 색상 인식 결과를 얻는 동작; 및
    상기 동공 색상 인식 결과가, 상기 얼굴 이미지 시퀀스가 전자 기기에 의해 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 얼굴 이미지의 시퀀스인 것을 표현하는 것에 응답하여, 상기 얼굴 이미지 시퀀스 중의 적어도 하나의 얼굴 이미지를 이용하여 얼굴 생체 검출 결과를 얻는 동작;을 포함하는 얼굴 생체 검출 방법.
  2. 청구항 1에 있어서,
    상기 얼굴 이미지 시퀀스에 기반하여, 복수의 눈 이미지를 포함하는 대응되는 눈 이미지 시퀀스를 취득하는 동작은,
    상기 얼굴 이미지 시퀀스 중의 얼굴 이미지 각각에 대해, 얼굴 영역 검출을 진행하여, 타깃 얼굴이 검출된 제1 이미지를 얻으며, 상기 제1 이미지에 기반하여, 상기 타깃 얼굴의 키 포인트 좌표를 결정하며, 상기 키 포인트 좌표에 기반하여, 상기 타깃 얼굴에 대해 얼굴 정렬을 진행하여, 제2 이미지를 얻는 것을 실행하는 동작; 및
    상기 제2 이미지에 기반하여, 상기 눈 이미지 시퀀스 중 대응되는 눈 이미지를 얻는 동작;을 포함하는 얼굴 생체 검출 방법.
  3. 청구항 2에 있어서,
    상기 제2 이미지에 기반하여, 상기 눈 이미지 시퀀스 중 대응되는 눈 이미지를 얻는 동작은,
    상기 제2 이미지에 기반하여, 왼쪽 눈 이미지와 오른쪽 눈 이미지를 취득하는 동작; 및
    상기 왼쪽 눈 이미지와 상기 오른쪽 눈 이미지를 겹쳐, 상기 눈 이미지 시퀀스 중 대응되는 두 눈 이미지를 얻는 동작;을 포함하는 얼굴 생체 검출 방법.
  4. 청구항 3에 있어서,
    상기 눈 이미지 시퀀스에 기반하여, 상기 복수의 눈 이미지 중의 각 눈 이미지에서 눈의 동공이 나타나는 광점의 색상을 인식하여, 동공 색상 인식 결과를 얻는 동작은,
    상기 눈 이미지 시퀀스 중의 각 두 눈 이미지를 동공 색상 인식 모델에 입력하여, 대응되는 동공 색상 인식 결과를 출력시키는 동작을 포함하는 얼굴 생체 검출 방법.
  5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
    상기 복수의 얼굴 이미지를 포함하는 얼굴 이미지 시퀀스를 취득하기 전에, 상기 전자 기기를 얼굴 인식 프로세스를 시작한 후의 사전에 설정된 시간대 내에 소정 시간의 간격으로 한가지 색상의 광을 방출하도록 제어하며, 또한 상기 전자 기기를 매번 한가지 색상의 광을 방출한 후 얼굴 이미지를 한번 수집하도록 제어하는 동작을 더 포함하는 얼굴 생체 검출 방법.
  6. 청구항 5에 있어서,
    상기 전자 기기를 얼굴 인식 프로세스를 시작한 후의 사전에 설정된 시간대 내에 소정 시간의 간격으로 한가지 색상의 광을 방출하도록 제어하는 동작은,
    상기 전자 기기를 상기 사전에 설정된 시간대 내에 상기 소정 시간의 간격으로 한가지 색상의 광을 랜덤으로 방출하도록 제어하는 동작을 포함하는 얼굴 생체 검출 방법.
  7. 청구항 6에 있어서,
    상기 전자 기기를 상기 사전에 설정된 시간대 내에 상기 소정 시간의 간격으로 한가지 색상의 광을 랜덤으로 방출하도록 제어하는 동작은,
    상기 전자 기기를 상기 사전에 설정된 시간대 내에 상기 소정 시간의 간격으로 한가지 색상의 포토를 랜덤으로 나타내도록 제어함으로써, 대응되는 색상의 광을 방출시키는 동작을 포함하는 얼굴 생체 검출 방법.
  8. 얼굴 이미지를 취득하는 동작;
    상기 얼굴 이미지에 기반하여, 대응되는 눈 이미지를 취득하는 동작;
    상기 눈 이미지에 기반하여, 상기 눈 이미지에서 눈의 동공이 나타나는 광점의 색상을 인식하여, 동공 색상 인식 결과를 얻는 동작; 및
    상기 동공 색상 인식 결과가, 상기 얼굴 이미지가 전자 기기에 의해 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 얼굴 이미지인 것을 표현하는 것에 응답하여, 상기 얼굴 이미지를 이용하여 얼굴 생체 검출 결과를 얻는 동작;을 포함하는 얼굴 생체 검출 방법.
  9. 복수의 얼굴 이미지를 포함하는 얼굴 이미지 시퀀스를 취득하기 위한 제1 취득 모듈;
    상기 얼굴 이미지 시퀀스에 기반하여, 복수의 눈 이미지를 포함하는 대응되는 눈 이미지 시퀀스를 취득하기 위한 제2 취득 모듈;
    상기 눈 이미지 시퀀스에 기반하여, 상기 복수의 눈 이미지 중의 각 눈 이미지에서 눈의 동공이 나타나는 광점 색상을 인식하여, 동공 색상 인식 결과를 얻기 위한 제1 이미지 인식 모듈; 및
    상기 동공 색상 인식 결과가, 상기 얼굴 이미지 시퀀스가 전자 기기에 의해 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 얼굴 이미지의 시퀀스인 것을 표현하는 것에 응답하여, 상기 얼굴 이미지 시퀀스 중의 적어도 하나의 얼굴 이미지를 이용하여 얼굴 생체 검출 결과를 얻기 위한 제1 검출 모듈;을 포함하는 얼굴 생체 검출 장치.
  10. 청구항 9에 있어서,
    상기 제2 취득 모듈은, 또한
    상기 얼굴 이미지 시퀀스 중의 얼굴 이미지 각각에 대해, 얼굴 영역 검출을 진행하여, 타깃이 검출된 얼굴의 제1 이미지를 얻으며, 상기 제1 이미지에 기반하여, 상기 타깃 얼굴의 키 포인트 좌표를 결정하며, 상기 키 포인트 좌표에 기반하여, 상기 타깃 얼굴에 대해 얼굴 정렬을 진행하여, 제2 이미지를 얻는 것을 실행하는 동작; 및
    상기 제2 이미지에 기반하여, 상기 눈 이미지 시퀀스 중 대응되는 눈 이미지를 얻기 위해 사용되는 얼굴 생체 검출 장치.
  11. 청구항 10에 있어서,
    상기 제2 취득 모듈은, 또한
    상기 제2 이미지에 기반하여, 왼쪽 눈 이미지와 오른쪽 눈 이미지를 취득하는 동작; 및
    상기 왼쪽 눈 이미지와 상기 오른쪽 눈 이미지를 겹쳐, 상기 눈 이미지 시퀀스 중 대응되는 두 눈 이미지를 얻기 위해 사용되는 얼굴 생체 검출 장치.
  12. 청구항 11에 있어서,
    상기 제1 이미지 인식 모듈은, 또한
    상기 눈 이미지 시퀀스 중의 각 두 눈 이미지를 동공 색상 인식 모델에 입력하여, 대응되는 동공 색상 인식 결과를 출력시키기 위해 사용되는 얼굴 생체 검출 장치.
  13. 청구항 9 내지 청구항 12 중 어느 한 항에 있어서,
    상기 복수의 얼굴 이미지를 포함하는 얼굴 이미지 시퀀스를 취득하기 전에, 상기 전자 기기를 얼굴 인식 프로세스를 시작한 후 사전에 설정된 시간대 내에 소정 시간의 간격으로 한가지 색상의 광을 방출하도록 제어하며, 또한 상기 전자 기기를 매번 한가지 색상의 광을 방출한 후 얼굴 이미지를 한번 수집하도록 제어하기 위한 제어 모듈을 더 포함하는 얼굴 생체 검출 장치.
  14. 청구항 13에 있어서,
    상기 제어 모듈은, 또한
    상기 전자 기기를 상기 사전에 설정된 시간대 내에 상기 소정 시간의 간격으로 한가지 색상의 광을 랜덤으로 방출하도록 제어하기 위해 사용되는 얼굴 생체 검출 장치.
  15. 청구항 14에 있어서,
    상기 제어 모듈은, 또한
    상기 전자 기기를 상기 사전에 설정된 시간대 내에 상기 소정 시간의 간격으로 한가지 색상의 포토를 랜덤으로 나타내도록 제어함으로써 대응되는 색상의 광을 방출시키기 위해 사용되는 얼굴 생체 검출 장치.
  16. 얼굴 이미지를 취득하기 위한 제3 취득 모듈;
    상기 얼굴 이미지에 기반하여, 대응되는 눈 이미지를 취득하기 위한 제4 취득 모듈;
    상기 눈 이미지에 기반하여, 상기 눈 이미지에서 눈의 동공이 나타나는 광점 색상을 인식하여, 동공 색상 인식 결과를 얻기 위한 제2 이미지 인식 모듈; 및
    상기 동공 색상 인식 결과가, 상기 얼굴 이미지가 전자 기기에 의해 얼굴 인식 프로세스를 시작한 후 현장에서 수집한 얼굴 이미지인 것을 표현하는 것에 응답하여, 상기 얼굴 이미지를 이용하여 얼굴 생체 검출 결과를 얻기 위한 제2 검출 모듈;을 포함하는 얼굴 생체 검출 장치.
  17. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하며,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장되어 있고, 상기 명령어는 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서로 하여금 청구항 1 내지 청구항 4 및 내지 청구항 8 중 어느 한 항의 상기 방법을 실행할 수 있게 하는 전자 기기.
  18. 컴퓨터로 하여금 청구항 1 내지 청구항 4 및 청구항 8 중 어느 한 항의 상기 방법을 실행하게 하기 위한 컴퓨터 명령어가 저장된 비휘발성 컴퓨터 판독가능 저장 매체.
  19. 프로세서에 의해 실행될 경우, 청구항 1 내지 청구항 4 및 청구항 8 중 어느 한 항의 상기 방법을 구현하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
KR1020220053255A 2021-05-13 2022-04-29 얼굴 생체 검출 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램 KR20220063127A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110524896.3A CN113205057B (zh) 2021-05-13 2021-05-13 人脸活体检测方法、装置、设备及存储介质
CN202110524896.3 2021-05-13

Publications (1)

Publication Number Publication Date
KR20220063127A true KR20220063127A (ko) 2022-05-17

Family

ID=77031152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220053255A KR20220063127A (ko) 2021-05-13 2022-04-29 얼굴 생체 검출 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US20220262163A1 (ko)
EP (1) EP4033458A3 (ko)
JP (1) JP2022105583A (ko)
KR (1) KR20220063127A (ko)
CN (1) CN113205057B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359041A (zh) * 2022-10-13 2022-11-18 南通启锦智能科技有限公司 一种基于机器学习的电子元器件识别方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230091381A1 (en) * 2021-09-17 2023-03-23 Jumio Corporation Spoof detection using eye boundary analysis
CN113792701A (zh) * 2021-09-24 2021-12-14 北京市商汤科技开发有限公司 一种活体检测方法、装置、计算机设备和存储介质
CN114333031A (zh) * 2021-12-31 2022-04-12 北京瑞莱智慧科技有限公司 活体检测模型的漏洞检测方法、装置及存储介质
CN114926891A (zh) * 2022-06-01 2022-08-19 同方威视科技江苏有限公司 瞳孔检测方法、装置、存储介质及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006259924A (ja) * 2005-03-15 2006-09-28 Omron Corp 被写体認証装置、携帯電話、被写体認証ユニット、被写体認証方法、及び被写体認証プログラム
US10614204B2 (en) * 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
CN108537111A (zh) * 2018-02-26 2018-09-14 阿里巴巴集团控股有限公司 一种活体检测的方法、装置及设备
EP3807792B1 (en) * 2018-06-13 2024-05-15 Veridas Digital Authentication Solutions, S.L. Authenticating an identity of a person
CN111860078B (zh) * 2019-04-30 2024-05-14 北京眼神智能科技有限公司 人脸静默活体检测方法、装置、可读存储介质及设备
CN111783640A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 检测方法、装置、设备以及存储介质
CN112183482A (zh) * 2020-10-29 2021-01-05 苏州市职业大学 危险驾驶行为识别方法、装置、系统及可读存储介质
CN112329612A (zh) * 2020-11-03 2021-02-05 北京百度网讯科技有限公司 活体检测方法、装置及电子设备
CN112364827B (zh) * 2020-11-30 2023-11-10 腾讯科技（深圳）有限公司 人脸识别方法、装置、计算机设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359041A (zh) * 2022-10-13 2022-11-18 南通启锦智能科技有限公司 一种基于机器学习的电子元器件识别方法

Also Published As

Publication number Publication date
CN113205057B (zh) 2023-08-08
EP4033458A2 (en) 2022-07-27
US20220262163A1 (en) 2022-08-18
EP4033458A3 (en) 2022-10-12
CN113205057A (zh) 2021-08-03
JP2022105583A (ja) 2022-07-14

Similar Documents

Publication Publication Date Title
US11936647B2 (en) Identity verification method and apparatus, storage medium, and computer device
US10699103B2 (en) Living body detecting method and apparatus, device and storage medium
KR20220063127A (ko) 얼굴 생체 검출 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램
US10339402B2 (en) Method and apparatus for liveness detection
US11657133B2 (en) Systems and methods of multi-modal biometric analysis
WO2021073364A1 (zh) 一种人脸活体检测方法、装置、设备及存储介质
WO2020134238A1 (zh) 活体检测方法、装置以及存储介质
EP4024352A2 (en) Method and apparatus for face liveness detection, and storage medium
CN112329612A (zh) 活体检测方法、装置及电子设备
US10635898B1 (en) Automatic image capture system based on a determination and verification of a physical object size in a captured image
CN111339897B (zh) 活体识别方法、装置、计算机设备和存储介质
JP7297989B2 (ja) 顔生体検出方法、装置、電子機器及び記憶媒体
KR20150128510A (ko) 라이브니스 검사 방법과 장치，및 영상 처리 방법과 장치
JP2022133378A (ja) 顔生体検出方法、装置、電子機器、及び記憶媒体
US20230306792A1 (en) Spoof Detection Based on Challenge Response Analysis
CN112052832A (zh) 人脸检测的方法、装置和计算机存储介质
KR20160046399A (ko) 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법
CN113221767A (zh) 训练活体人脸识别模型、识别活体人脸的方法及相关装置
JP7414902B2 (ja) 顔生体検出方法、装置、電子機器及び記憶媒体
CN115205939B (zh) 人脸活体检测模型训练方法、装置、电子设备及存储介质
CN114170665A (zh) 图像检测方法、图像检测装置、电子设备和存储介质
CN116469179A (zh) 一种活体识别的方法和系统
CN116704620A (zh) 一种活体检测方法、装置、电子设备和存储介质
CN114202806A (zh) 活体检测方法、装置、电子设备和存储介质
CN116110136A (zh) 活体检测方法和系统