KR20200118842A - 신원 인증 방법 및 장치, 전자 기기 및 저장 매체 - Google Patents

신원 인증 방법 및 장치, 전자 기기 및 저장 매체 Download PDF

Info

Publication number
KR20200118842A
KR20200118842A KR1020207025865A KR20207025865A KR20200118842A KR 20200118842 A KR20200118842 A KR 20200118842A KR 1020207025865 A KR1020207025865 A KR 1020207025865A KR 20207025865 A KR20207025865 A KR 20207025865A KR 20200118842 A KR20200118842 A KR 20200118842A
Authority
KR
South Korea
Prior art keywords
image
face
certificate
processed
detection result
Prior art date
Application number
KR1020207025865A
Other languages
English (en)
Other versions
KR102406432B1 (ko
Inventor
리앙리앙 당
루이 장
판 후앙
리웨이 우
펭후이 첸
밍양 리앙
준지에 얀
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201810918699.8A external-priority patent/CN109359502A/zh
Priority claimed from CN201810918697.9A external-priority patent/CN109255299A/zh
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20200118842A publication Critical patent/KR20200118842A/ko
Application granted granted Critical
Publication of KR102406432B1 publication Critical patent/KR102406432B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/33—User authentication using certificates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G06K9/00221—
    • G06K9/00442—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Collating Specific Patterns (AREA)
  • Character Input (AREA)

Abstract

본 발명의 실시예는 신원 인증 방법 및 장치, 전자 기기 및 저장 매체를 제공하고, 여기서, 신원 인증 방법은, 제1 신경 네트워크를 통해 처리될 이미지에 대해 얼굴 검출을 수행하여, 얼굴 검출 결과를 얻고, 제2 신경 네트워크를 통해 상기 처리될 이미지에 대해 증명서 검출을 수행하여, 증명서 검출 결과를 얻는 단계; 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라, 상기 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 결정하는 단계; 및 상기 처리될 이미지가 유효한 신원 인증 이미지인 것으로 결정한 것에 응답하여, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 신원 인증을 수행하여, 상기 처리될 이미지의 신원 인증 결과를 얻는 단계를 포함한다.

Description

신원 인증 방법 및 장치, 전자 기기 및 저장 매체
관련 출원의 상호 참조
본 출원은 출원 번호가 201810918697.9이고 출원일이 2018년 8월 13일인 중국특허 출원 및 출원 번호가 201810918699.8이고 출원일이 2018년 8월 13일인 중국특허 출원의 우선권을 주장하고, 상기 중국특허 출원의 전부 내용은 인용되어 본 출원에 결합된다.
본 발명은 컴퓨터 시각 기술에 관한 것으로서, 특히 신원 인증 방법 및 장치, 전자 기기 및 저장 매체에 관한 것이다.
현재, 보험, 증권, 금융 등 복수 개의 분야에서, 사용자의 신원 검증이 필요하다. 현재 흔히 사용되는 방법은, 이미지 수집 기기가 사용자가 신분증을 쥐고 있는 사진을 수집하여, 서버에 신분증을 쥐고 있는 사진을 업로드하고, 서버 백그라운드에서 인공 심의를 수행하여, 수집된 사진에 대한 신원 검증을 수동으로 수행하는 것이므로, 많은 인력이 필요하고, 비용이 높으며, 효율이 낮으며, 인공 처리에 오류가 발생될 수 있으므로, 정확률이 비교적 낮아, 업무 수요를 만족시킬 수 없다.
본 발명의 실시예는 신원 인증을 수행하는 기술방안을 제공한다.
본 발명의 실시예의 일 측면에 따르면, 신원 인증 방법을 제공하고, 상기 방법은, 제1 신경 네트워크를 통해 처리될 이미지에 대해 얼굴 검출을 수행하여, 얼굴 검출 결과를 얻고, 제2 신경 네트워크를 통해 상기 처리될 이미지에 대해 증명서 검출을 수행하여, 증명서 검출 결과를 얻는 단계; 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라, 상기 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 결정하는 단계; 및 상기 처리될 이미지가 유효한 신원 인증 이미지인 것으로 결정한 것에 응답하여, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 신원 인증을 수행하여, 상기 처리될 이미지의 신원 인증 결과를 얻는 단계를 포함한다.
일부 실시예에 있어서, 상기 유효한 신원 인증 이미지는 증명서를 쥐고 있는 이미지를 포함한다.
일부 실시예에 있어서, 제1 기계 학습 방법을 통해 처리될 이미지에 대해 얼굴 검출을 수행하여, 얼굴 검출 결과를 얻고, 제2 기계 학습 방법을 통해 상기 처리될 이미지에 대해 증명서 검출을 수행하여, 증명서 검출 결과를 얻는다.
가능한 구현 방식에 있어서, 증명서를 쥐고 있는 이미지는 신분증을 쥐고 있는 이미지이다.
일부 실시예에 있어서, 상기 얼굴 검출 결과는, 상기 처리될 이미지에 포함된 얼굴의 개수 및 상기 얼굴이 상기 처리될 이미지에서의 위치 정보 중 적어도 하나를 포함한다.
예를 들어, 얼굴 검출 결과는 이미지에서의 얼굴의 개수 및 각 얼굴이 이미지에서의 위치 정보를 포함할 수 있다. 하나의 예에 있어서, 얼굴이 이미지에서의 위치 정보는 얼굴 프레임의 위치 정보를 포함할 수 있다.
가능한 구현 방식에 있어서, 상기 증명서 검출 결과는 상기 처리될 이미지에 포함된 증명서의 개수 및 상기 증명서가 상기 처리될 이미지에서의 위치 정보 중 적어도 하나를 포함한다.
다른 가능한 구현 방식에 있어서, 상기 증명서 검출 결과는 증명서 얼굴 정보를 더 포함하고, 여기서, 하나의 예에 있어서, 증명서 얼굴 정보는 증명서에 포함된 얼굴의 개수 및 위치 정보 중 적어도 하나를 포함한다.
하나의 예에 있어서, 상기 증명서 검출 결과는 이미지에 포함된 증명서의 개수, 각 증명서의 위치 정보 및 각 증명서에 포함된 얼굴의 검출 정보의 조합으로부터 선택된 적어도 하나를 포함한다.
다른 가능한 구현 방식에 있어서, 증명서 얼굴 정보는 증명서 검출 결과의 일부가 아닌, 얼굴 검출 결과 및 증명서 검출 결과에 기반하여 얻은 것이다.
일부 실시예에 있어서, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 증명서 얼굴 정보를 결정하는 단계는, 상기 얼굴 검출 결과에 포함된 얼굴이 상기 처리될 이미지에서의 위치 정보 및 상기 증명서 검출 결과에 포함된 증명서가 상기 처리될 이미지에서의 위치 정보에 따라, 상기 증명서에 포함된 얼굴의 개수 및 위치 정보 중 적어도 하나를 결정하는 단계를 포함한다.
하나의 예에 있어서, 증명서가 이미지에서의 위치 정보는 증명서 프레임의 위치 정보를 포함할 수 있다.
일부 실시예에 있어서, 상기 얼굴이 상기 처리될 이미지에서의 위치 정보는, 상기 얼굴의 제1 검출 프레임이 상기 처리될 이미지에서의 꼭지점 좌표를 포함한다.
일부 실시예에 있어서, 상기 얼굴이 상기 처리될 이미지에서의 위치 정보는 상기 얼굴의 제1 검출 프레임의 중심이 상기 처리될 이미지에서의 좌표, 상기 제1 검출 프레임의 길이 및 너비를 포함한다.
일부 실시예에 있어서, 상기 증명서가 상기 처리될 이미지에서의 위치 정보는, 상기 증명서의 제2 검출 프레임이 상기 처리될 이미지에서의 꼭지점 좌표를 포함한다.
상기 증명서가 상기 처리될 이미지에서의 위치 정보는, 상기 증명서의 제2 검출 프레임의 중심이 상기 처리될 이미지에서의 좌표, 상기 제2 검출 프레임의 길이 및 너비를 포함한다.
일부 실시예에 있어서, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 상기 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 결정하는 단계는,
상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 증명서 얼굴 정보를 결정하는 단계; 및
상기 증명서 얼굴 정보, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 결정하는 단계를 포함한다.
일부 실시예에 있어서, 상기 증명서 얼굴 정보는 상기 처리될 이미지에서 검출된 증명서에 포함된 얼굴의 개수, 상기 증명서에 포함된 얼굴의 위치 정보 중 적어도 하나를 포함한다.
일부 실시예에 있어서, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 증명서 얼굴 정보를 결정하는 단계는,
상기 얼굴 검출 결과에 포함된 얼굴이 상기 처리될 이미지에서의 위치 정보 및 상기 증명서 검출 결과에 포함된 증명서가 상기 처리될 이미지에서의 위치 정보에 따라, 상기 증명서에 포함된 얼굴의 개수 및 위치 정보 중 적어도 하나를 결정하는 단계를 포함한다.
일부 실시예에 있어서, 상기 증명서 얼굴 정보, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 결정하는 단계는,
상기 증명서 검출 결과 중 증명서의 개수가 제1 기설정된 요구를 만족하고, 상기 얼굴 검출 결과 중 얼굴의 개수가 제2 기설정된 요구를 만족하며, 상기 증명서 얼굴 정보에 포함된 증명서 중 얼굴의 개수가 제3 기설정된 요구를 만족하는 것에 응답하여, 상기 처리될 이미지가 유효한 신원 인증 이미지인 것으로 결정하는 단계를 포함한다.
가능한 구현 방식에 있어서, 이미지가 유효한지 여부를 결정하는 단계는 이미지가 세 개의 판단 조건 즉 상기 이미지에 포함된 증명서 개수가 제1 기설정된 요구를 만족하고, 상기 이미지에 포함된 얼굴 개수가 제2 기설정된 요구를 만족하며, 상기 이미지에 포함된 증명서 중 얼굴 개수가 제3 기설정된 요구를 만족하는 조건을 만족하는지 여부를 결정하는 단계를 포함할 수 있다.
일부 실시예에 있어서, 증명서 검출 결과는 얼굴의 개수 및 위치 정보 중 적어도 하나와 같은 이미지에 포함된 증명서 중 얼굴 검출 정보를 포함할 수 있다.
일부 실시예에 있어서, 검출된 상기 증명서 중 얼굴의 개수가 제3 기설정된 요구를 만족하는지 여부를 결정하기 전, 상기 방법은, 상기 얼굴 검출 결과에 포함된 얼굴이 상기 처리될 이미지에서의 위치 정보 및 상기 증명서 검출 결과에 포함된 증명서가 상기 처리될 이미지에서의 위치 정보에 따라, 상기 증명서에 포함된 얼굴의 개수를 결정하는 단계를 더 포함한다. 하나의 예에 있어서, 이미지 중 각 얼굴의 위치 정보 및 이미지 중 증명서의 위치 정보에 기반하여, 상기 증명서에 위치한 얼굴의 개수를 결정할 수 있다. 예를 들어, 증명서가 위치한 위치 영역 내에 위치한 얼굴을 상기 증명서에 위치한 얼굴로 결정한다.
일부 실시예에 있어서, 상기 제1 기설정된 요구는, 상기 증명서 검출 결과에 포함된 증명서의 개수가 1인 것을 포함한다. 일부 실시예에 있어서, 상기 제2 기설정된 요구는, 상기 얼굴 검출 결과에 포함된 얼굴의 개수가 2보다 크거나 같은 것을 포함한다. 일부 실시예에 있어서, 상기 제3 기설정된 요구는, 검출된 상기 증명서에 포함된 얼굴 개수가 1인 것을 포함한다.
일부 실시예에 있어서, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 신원 인증을 수행하는 단계는, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 증명서에 포함된 제1 얼굴 및 상기 처리될 이미지 중 상기 증명서 밖에 위치한 제2 얼굴 사이의 유사도를 결정하는 단계; 및 상기 제1 얼굴 및 상기 제2 얼굴 사이의 유사도에 따라, 신원 검증의 결과를 얻는 단계를 포함한다.
일부 실시예에 있어서, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 증명서 내에 위치한 제1 얼굴의 위치 정보를 결정하고 증명서 밖에 위치한 제2 얼굴의 위치 정보를 결정할 수 있다.
일부 실시예에 있어서, 제1 얼굴의 위치 정보에 기반하여 처리될 이미지로부터 제1 얼굴의 이미지를 획득할 수 있고, 제2 얼굴의 위치 정보에 기반하여 처리될 이미지로부터 제2 얼굴의 이미지를 획득할 수 있다.
일부 실시예에 있어서, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 증명서에 포함된 제1 얼굴 및 상기 처리될 이미지 중 상기 증명서 밖에 위치한 제2 얼굴 사이의 유사도를 결정하는 단계는, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 처리될 이미지로부터 상기 제1 얼굴의 이미지 및 상기 제2 얼굴의 이미지를 획득하는 단계; 상기 제1 얼굴의 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻고, 상기 제2 얼굴의 이미지에 대해 특징 추출을 수행하여, 제2 특징을 얻는 단계; 및 상기 제1 특징과 상기 제2 특징에 기반하여, 상기 제1 얼굴과 상기 제2 얼굴 사이의 유사도를 결정하는 단계를 포함한다.
일부 실시예에 있어서, 얼굴 검출 결과 및 증명서 검출 결과에 기반하여 증명서 밖에 위치한 얼굴 개수가 1인 것으로 결정되면, 얼굴 검출 결과에 포함된 얼굴 개수가 2이므로, 증명서 밖에 위치한 얼굴을 제2 얼굴로 결정한다. 일부 실시예에 있어서, 얼굴 검출 결과 및 증명서 검출 결과에 기반하여 증명서 밖에 위치한 얼굴 개수가 2보다 크거나 같은 것으로 결정되면, 얼굴 검출 결과에 포함된 얼굴 개수가 2보다 크므로, 증명서 밖에 위치한 적어도 두 개의 얼굴로부터 제2 얼굴을 선택한다.
일부 실시예에 있어서, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 신원 인증을 수행하기 전, 상기 방법은, 상기 처리될 이미지에 포함된 얼굴의 개수가 2보다 큰 경우에, 상기 처리될 이미지 중 상기 증명서 밖에 위치한 적어도 두 개의 얼굴 중 최대 얼굴을 상기 제2 얼굴로 결정하는 단계를 더 포함한다.
일부 실시예에 있어서, 상기 얼굴 검출 결과에 포함된 얼굴이 상기 처리될 이미지에서의 위치 정보 및 상기 증명서 검출 결과에 포함된 증명서가 상기 처리될 이미지에서의 위치 정보에 따라, 증명서 밖에 위치한 적어도 두 개의 얼굴의 위치 정보를 결정하고, 증명서 밖에 위치한 적어도 두 개의 얼굴의 위치 정보, 예를 들어 적어도 두 개의 얼굴 중 각 얼굴의 검출 프레임 위치에 기반하여, 적어도 두 개의 얼굴 중 최대 얼굴을 결정한다.
일부 실시예에 있어서, 상기 처리될 이미지 중 상기 증명서 밖에 위치한 적어도 두 개의 얼굴 중 깊이가 가장 작은 얼굴을 상기 제2 얼굴로 결정한다.
일부 실시예에 있어서, 상기 제1 얼굴 및 상기 제2 얼굴 사이의 유사도가 기설정된 임계값보다 작거나 같은 것으로 결정한 것에 응답하여, 신원 검증의 결과가 인증 통과되지 못한 것으로 결정한다.
일부 실시예에 있어서, 상기 제1 얼굴 및 상기 제2 얼굴 사이의 유사도가 기설정된 임계값보다 큰 것으로 결정한 것에 응답하여, 신원 검증의 결과가 인증 통과된 것으로 결정한다.
본 발명의 상기 각 실시예의 신원 인증 방법에 있어서, 상기 제1 얼굴 및 상기 제2 얼굴 사이의 유사도에 따라, 신원 검증의 결과를 얻는 단계는, 상기 제1 얼굴 및 상기 제2 얼굴 사이의 유사도가 기설정된 임계값보다 큰 것으로 결정한 것에 응답하여, 상기 증명서에 대해 텍스트 인식을 수행하여, 상기 증명서의 텍스트 정보를 얻는 단계 - 상기 텍스트 정보는 이름 및 증명서 번호 중 적어도 하나를 포함함 - ; 및 사용자 정보 데이터베이스에 기반하여 상기 텍스트 정보를 인증하여, 신원 검증의 결과를 얻는 단계를 더 포함한다.
일부 실시예에 있어서, 신원 인증 청구, 계정 로그인 청구 또는 거래 청구를 수신한 것에 응답하여, 처리될 이미지를 획득한다. 본 발명의 상기 각 실시예에 있어서, 등록 청구를 수신한 것에 응답하여, 처리될 이미지를 획득한다.
일부 실시예에 있어서, 상기 방법은, 상기 신원 검증의 결과가 신원 인증 통과된 것으로 결정한 것에 응답하여, 서비스 데이터베이스에 사용자 정보를 저장하는 단계 - 상기 사용자 정보는 상기 증명서의 텍스트 정보, 상기 처리될 이미지, 상기 제2 얼굴의 이미지, 상기 제2 얼굴의 특징 정보 중 어느 하나 또는 복수 개를 포함함 - 를 더 포함한다.
일부 실시예에 있어서, 상기 방법은, 신원 인증 청구를 수신한 것에 응답하여, 인증될 얼굴을 포함하는 이미지를 획득하는 단계; 상기 서비스 데이터베이스에 상기 인증될 얼굴의 이미지와 매칭되는 사용자 정보가 존재하는지 여부를 검색하는 단계; 및 상기 검색된 결과에 따라, 상기 인증될 얼굴의 인증 결과를 결정하는 단계를 더 포함한다.
일부 실시예에 있어서, 상기 신원 인증 청구는 상기 인증될 얼굴의 계정 정보 또는 증명서 정보를 포함한다.
일부 실시예에 있어서, 상기 서비스 데이터베이스에서 상기 인증될 얼굴의 이미지와 매칭되는 사용자 정보가 검색된 것에 응답하여, 상기 인증될 얼굴의 인증 결과가 인증 통과된 것으로 결정한다.
일부 실시예에 있어서, 상기 서비스 데이터베이스에서 상기 인증될 얼굴의 이미지와 매칭되는 사용자 정보가 검색되지 못한 것에 응답하여, 상기 인증될 얼굴의 인증 결과가 인증 통과되지 못한 것으로 결정한다.
일부 실시예에 있어서, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 신원 인증을 수행하여, 상기 처리될 이미지의 신원 인증 결과를 얻는 단계는, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 위조 방지 검출을 수행하여, 위조 방지 검출 결과를 얻는 단계; 및 상기 위조 방지 검출 결과 및 상기 신원 검증 결과에 기반하여, 상기 처리될 이미지의 신원 인증 결과를 결정하는 단계를 더 포함한다.
일부 실시예에 있어서, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 신원 인증을 수행하여, 상기 처리될 이미지의 신원 인증 결과를 얻는 단계는, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 위조 방지 검출을 수행하여, 위조 방지 검출 결과를 얻는 단계를 포함한다.
일부 실시예에 있어서, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 위조 방지 검출을 수행하여, 위조 방지 검출 결과를 얻는 단계는, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 처리될 이미지로부터 얼굴 영역 이미지 및 증명서 영역 이미지를 획득하는 단계; 상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행하는 단계; 및 상기 위조 단서 검출의 결과에 기반하여, 상기 처리될 이미지의 위조 방지 검출 결과를 얻는 단계를 포함한다.
일부 실시예에 있어서, 상기 얼굴 영역 이미지에 포함된 얼굴이 상기 얼굴 영역 이미지에서 차지하는 비례는 제4 기설정된 요구를 만족한다. 일부 실시예에 있어서, 상기 증명서 영역 이미지에 포함된 증명서가 상기 증명서 영역 이미지에서 차지하는 비례는 상기 제4 기설정된 요구를 만족한다. 일부 실시예에 있어서, 상기 제4 기설정된 요구는, 상기 비례가 1/4보다 크거나 같고 9/10보다 작거나 같다.
일부 실시예에 있어서, 상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행하는 단계는, 상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 각각에 대해 특징 추출을 수행하여, 상기 처리될 이미지의 특징, 상기 얼굴 영역 이미지의 특징 및 상기 증명서 영역 이미지의 특징을 얻는 단계; 및 상기 처리될 이미지의 특징, 상기 얼굴 영역의 특징 및 상기 증명서 영역의 특징에 위조 단서 정보가 포함되는지 여부를 검출하는 단계를 포함한다.
일부 실시예에 있어서, 추출된 상기 특징은, 국부 이진 패턴 특징, 스파스 코딩된 히스토그램 특징, 파노라마 이미지 특징, 얼굴 이미지 특징, 얼굴 세부 이미지 특징 중 하나 또는 임의의 복수 개를 포함한다.
일부 실시예에 있어서, 상기 위조 단서 정보는 가시광 조건 하에서의 육안 관찰 가능성을 구비한다.
일부 실시예에 있어서, 상기 위조 단서 정보는 이미징 매체의 위조 단서 정보, 이미징 미디어의 위조 단서 정보, 실제 존재하는 위조 얼굴의 단서 정보 중 어느 하나 또는 복수 개를 포함한다.
일부 실시예에 있어서, 상기 이미징 매체의 위조 단서 정보가 이미징 매체의 에지 정보, 반사 정보 및 재질 정보 중 적어도 하나를 포함하는 것; 상기 이미징 미디어의 위조 단서 정보가 디스플레이 기기의 스크린 에지, 스크린 반사 및 스크린 모아레 패턴 중 적어도 하나를 포함하는 것; 및 상기 실제 존재하는 위조 얼굴의 단서 정보가 가면을 쓴 얼굴의 특성, 모델 타입 얼굴의 특성, 조각 타입 얼굴의 특성을 포함하는 것 중 적어도 하나이다.
일부 실시예에 있어서, 상기 처리될 이미지의 특징, 상기 얼굴 영역의 특징 및 상기 증명서 영역의 특징에 위조 단서 정보가 포함되는지 여부를 검출하는 단계는, 상기 처리될 이미지의 특징을 검출하여, 상기 처리될 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하는 단계; 상기 얼굴 영역 이미지의 특징을 검출하여, 상기 얼굴 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하는 단계; 및 상기 증명서 영역 이미지의 특징을 검출하여, 상기 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하는 단계를 포함한다.
일부 실시예에 있어서, 상기 처리될 이미지의 특징, 상기 얼굴 영역의 특징 및 상기 증명서 영역의 특징에 위조 단서 정보가 포함되는지 여부를 검출하는 단계는, 상기 처리될 이미지의 특징, 상기 얼굴 영역 이미지의 특징 및 상기 증명서 영역 이미지의 특징을 연결하여, 연결 특징을 얻는 단계; 및 상기 연결 특징에 위조 단서 정보가 포함되는지 여부를 결정하는 단계를 포함한다.
일부 실시예에 있어서, 상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행하는 단계는, 제3 신경 네트워크를 통해 상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행하는 단계를 포함한다.
일부 실시예에 있어서, 상기 위조 단서 검출의 결과에 기반하여, 상기 처리될 이미지의 위조 방지 검출 결과를 얻는 단계는, 상기 위조 단서 검출의 결과가 상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지에 위조 단서가 포함되지 않는 것을 나타낸 것에 응답하여, 상기 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과된 것으로 결정하는 단계; 및 상기 위조 단서 검출의 결과가 상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 중 어느 하나 또는 복수 개가 위조 단서를 포함하는 것으로 나타낸 것에 응답하여, 상기 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과되지 못한 것으로 결정하는 단계 중 적어도 하나를 포함한다.
본 발명의 실시예의 다른 일 측면에 따르면, 신원 인증 장치를 제공하고, 상기 장치는, 제1 신경 네트워크를 통해 처리될 이미지에 대해 얼굴 검출을 수행하여, 얼굴 검출 결과를 얻도록 구성된 제1 검출 모듈; 제2 신경 네트워크를 통해 상기 처리될 이미지에 대해 증명서 검출을 수행하여, 증명서 검출 결과를 얻도록 구성된 제2 검출 모듈; 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라, 상기 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 결정하도록 구성된 제1 결정 모듈; 및 상기 처리될 이미지가 유효한 신원 인증 이미지인 것으로 결정한 것에 응답하여, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 신원 인증을 수행하여, 상기 처리될 이미지의 신원 인증 결과를 얻도록 구성된 인증 모듈을 포함한다.
본 발명 실시예에 따른 또 다른 측면에 있어서, 전자 기기를 제공하고, 상기 전자 기기는, 컴퓨터 프로그램을 저장하도록 구성된 메모리; 상기 메모리에 저장된 컴퓨터 프로그램을 실행하도록 구성된 프로세서를 포함하며, 상기 컴퓨터 프로그램이 실행될 경우, 상기 본 발명에 따른 어느 하나의 신원 인증 방법을 구현한다.
본 발명의 실시예의 또 하나의 측면에 따르면, 컴퓨터 프로그램이 저장되어 있는 컴퓨터 저장 매체를 제공하고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 상기 실시예 중 어느 하나에 따른 신원 인증 방법을 구현한다.
본 발명의 실시예의 또 하나의 측면에 따르면, 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 판독 가능한 코드가 기기에서 작동될 경우, 상기 기기에서의 프로세서는 상기 본 발명의 어느 한 항의 실시예에 따른 신원 인증 방법 중 각 단계를 구현하기 위한 명령어를 실행한다.
하나의 선택적인 실시 형태에 있어서, 상기 컴퓨터 프로그램 제품은 컴퓨터 저장 매체일 수 있으며, 다른 하나의 선택적인 실시 형태에 있어서, 상기 컴퓨터 프로그램 제품은 소프트웨어 제품일 수 있으며, 예를 들어, 소프트웨어 개발 키트(Software Development Kit, SDK) 등이다.
본 발명의 실시예는 신경 네트워크를 이용하여, 딥 러닝의 방식을 통해 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 인식함으로써, 사용자 신원 인증을 위한 합격된 이미지를 빠르게 선별할 수 있어, 작업 효율을 향상시키며; 유효한 신원 인증 이미지에 기반하여 사용자에 대해 신원 인증을 수행하므로, 인공 심의가 필요없어, 비용을 절약하고, 작업 효율 및 처리 속도를 향상시키며, 인공 심의에 의해 발생될 수 있는 오류를 예방하여, 인증 결과의 정확률을 향상시킨다.
아래에 첨부 도면과 실시예를 통해, 본 발명의 기술적 해결수단을 더 상세히 설명한다.
명세서의 일부를 구성하는 첨부 도면은 본 발명의 실시예를 설명하고, 또한 본 발명의 원리는 설명과 함께 해석되도록 사용된다.
이하의 상세한 설명에 따르면, 본 발명은 첨부 도면을 참조하여 더욱 명확하게 이해될 수 있다.
도 1a는 본 발명의 실시예에서 제공한 신원 인증 방법의 흐름도이다.
도 1b는 본 발명의 실시예에서 제공한 신원 인증 방법의 다른 흐름도이다.
도 2는 본 발명의 실시예에서 제공한 신원 인증 방법의 다른 흐름도이다.
도 3a는 본 발명의 실시예의 응용 시나리오 예의 예시도이다.
도 3b는 본 발명의 실시예에서 수집된 사용자가 신분증을 쥐고 있는 사진의 예시도이다.
도 4는 본 발명의 실시예에서 제공한 신원 인증 방법의 흐름도이다.
도 5는 본 발명의 실시예에서 제공한 신원 인증 장치의 구조 예시도이다.
도 6은 본 발명의 실시예에서 제공한 신원 인증 장치의 다른 구조 예시도이다.
도 7는 본 발명의 실시예에서 제공한 신원 인증 방법의 다른 흐름도이다.
도 8는 본 발명의 실시예에서 제공한 신원 인증 방법의 다른 흐름도이다.
도 9는 본 발명의 실시예에서 제공한 신원 인증 방법의 다른 흐름도이다.
도 10는 본 발명의 실시예에서 제공한 신원 인증 장치의 구조 예시도이다.
도 11은 본 발명의 실시예에서 제공한 신원 인증 장치의 다른 구조 예시도이다.
도 12는 본 발명의 실시예의 전자 기기의 예시적 구조 예시도이다.
이하, 첨부 도면을 참조하여 본 발명의 다양한 예시적 실시예를 상세히 설명한다. 유의해야 할 것은, 달리 업급되지 않는 한, 이러한 실시예들에서 제시된 구성 요소, 단계의 상대적 배열, 수치 표현 및 값은 본 발명의 범위를 한정하지 않는다. 동시에, 도면에 도시된 각 부분의 크기는 설명의 편의를 위해, 실제 비례 관계에 의해 그려진 것이 아님을 알아야 한다. 적어도 하나의 예시적 실시예에 대한 다음의 설명은 다만 예시적인 것이며, 본 발명 및 그 응용 또는 사용을 한정하려는 것은 아니다. 관련 기술 분야의 통상의 기술자에게 공지된 기술, 방법 및 기기는 상세하게 논의되지 않을 수 있지만, 상기 기술, 방법 및 기기는 적절한 상황에서 본 명세서의 일부로서 고려되어야 한다. 유의해야 할 것은, 다음의 첨부 도면에서 유사한 참조 번호와 문자는 유사한 항목을 표시하므로, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 이에 대해 추가로 논의될 필요가 없다.
본 발명의 실시예들은 다수의 다른 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성과 함께 동작될 수 있는 단말, 컴퓨터 시스템 및 서버와 같은 전자 기기에 적용될 수 있다. 전자 기기와 함께 사용하기에 적절한 것으로 잘 알려진 컴퓨팅 시스템, 환경 및 구성 중 적어도 하나의 예는, 개인용 컴퓨터 시스템, 서버 컴퓨터 시스템, 씬 클라이언트, 씩 클라이언트, 핸드헬드 또는 랩톱 기기, 마이크로 프로세서 기반 시스템, 셋톱 박스, 프로그래머블 가전 제품, 네트워크 개인용 컴퓨터, 소형 컴퓨터 시스템, 메인 프레임 컴퓨터 시스템 및 상기 임의의 시스템을 포함한 분산 클라우드 컴퓨팅 기술 환경을 포함하지만 이에 한정되지 않는다.
전자 기기는 컴퓨터 시스템에 의해 실행되는 컴퓨터 시스템의 실행 가능한 명령어(예를 들어, 프로그램 모듈)의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 프로그램 모듈은 특정 작업을 실행하거나 특정 추상 데이터 타입을 구현하기 위한 루틴, 프로그램, 타겟 프로그램, 컴포넌트, 논리, 데이터 구조 등을 포함할 수 있다. 컴퓨터 시스템/서버는, 작업이 통신 네트워크를 통해 연결된 원격 처리 장치에 의해 실행되는 분산 클라우드 컴퓨팅 환경에서 실행될 수있다. 분산 클라우드 컴퓨팅 환경에서, 프로그램 모듈은 저장 기기를 포함하는 로컬 또는 원격 컴퓨팅 시스템 저장 매체에 위치할 수있다.
본 발명의 실시예는 신원 인증 방법을 제공한다. 도 1a에 도시된 바와 같이, 상기 방법은 아래와 같은 단계를 포함한다.
단계 102에 있어서, 제1 신경 네트워크를 통해 처리될 이미지에 대해 얼굴 검출을 수행하여, 얼굴 검출 결과를 얻고; 제2 신경 네트워크를 통해 상기 처리될 이미지에 대해 증명서 검출을 수행하여, 증명서 검출 결과를 얻는다.
본 발명의 실시예에서의 처리될 이미지는, 카메라를 통해 수집된 이미지이고, 다른 기기로부터 수신된 이미지일 수도 있으며, 상기 수신된 이미지는 수집된 이미지일 수 있고, 수집 이미지에 대해 한 가지 또는 여러 가지 처리를 수행하여 얻은 것일 수도 있다. 일부 실시예에 있어서, 처리될 이미지는 정적 이미지(즉 독립적으로 수집된 이미지)일 수 있고, 비디오에서의 이미지(즉 수집된 비디오로부터 기설정된 표준에 따라 또는 랜덤으로 선택된 하나의 이미지)일 수도 있으며, 본 발명의 실시예에서 신원 인증을 하는데 사용될 수 있으며, 본 발명의 실시예에서 이미지의 출처, 성질, 크기 등 모든 속성을 한정하지 않는다.
본 기술분야의 기술자는 본 발명의 실시예의 기재에 기반하여, 제1 신경 네트워크 이외에, 본 발명의 실시예는 또한 예를 들어 이미지 처리에 기반한 얼굴 검출 알고리즘(예를 들어, 히스토그램 큰 분할 및 특이값 특징에 기반한 얼굴 검출 알고리즘, 2진 웨이블릿 변환에 기반한 얼굴 검출 알고리즘 등) 등을 이용하여, 처리될 이미지에 대해 얼굴 검출을 수행할 수 있지만 이에 한정되지 않음을 알 수 있을 것이다. 또한, 제2 신경 네트워크 이외에, 본 발명의 실시예는 예를 들어 이미지 처리에 기반한 증명서 검출 알고리즘(예를 들어, 에지 검출법, 수학적 형태학 방법, 무늬 분석에 기반한 위치 결정 방법, 라인 검출 및 에지 통계 방법, 유전 알고리즘, 허프(Hough) 변환 및 윤곽 라인법, 웨이블릿 변환에 기반한 방법 등) 등을 이용하여, 처리될 이미지에 대해 증명서 검출을 수행할 수 있지만 이에 한정되지 않는다.
일부 실시예에 있어서, 예를 들어 얼굴 검출 알고리즘을 이용하여 처리될 이미지에서의 얼굴 위치를 찾을 수 있고, 이와 동시에 증명서 검출 알고리즘을 이용하여 처리될 이미지에서의 증명서 위치를 찾을 수 있고; 찾은 증명서 위치 및 얼굴 위치의 관계에 기반하여, 처리될 이미지가 신분증을 쥐고 있는 사진인지 여부를 판단함으로써, 직원이 합격된 이미지를 선별하는데 신속한 도움을 줄 수 있어, 작업 효율을 향상시킨다. 다른 일부 실시예에 있어서, 처리될 이미지에 포함된 증명서 밖의 얼굴 및 증명서 내의 얼굴이 검출되면, 처리될 이미지에서의 두 얼굴을 비교할 수 있어, 직원이 사진에서의 두 얼굴이 동일한 사람인지 여부를 빠르게 판단하도록 도울 수 있고, 응답 시간이 짧아지며, 실시간으로 처리할 수 있으므로, 고객의 작업 효율 및 사용자 체험을 향상시키는데 도움을 줄 수 있고, 인식 정확률도 육안보다 높으므로, 직원이 오류를 범하는 것을 예방할 수 있다.
본 발명의 실시예에 있어서, 제1 신경 네트워크를 통해 처리될 이미지에 대해 얼굴 검출을 수행할 경우, 샘플 이미지를 사전에 이용하여 제1 신경 네트워크를 훈련시킬 수 있어, 훈련된 제1 신경 네트워크가 이미지 중 얼굴에 대한 유효한 검출을 구현할 수 있다. 본 발명의 실시예에 있어서, 제2 신경 네트워크를 통해 처리될 이미지에 대해 증명서 검출을 수행할 경우, 샘플 이미지를 사전에 이용하여 제2 신경 네트워크를 훈련시킬 수 있어, 훈련된 제2 신경 네트워크가 이미지 중 증명서에 대한 유효한 검출을 구현할 수 있다.
일부 실시예에 있어서, 상기 얼굴 검출 결과는 예를 들어 처리될 이미지에 포함된 얼굴의 개수 및 각 얼굴이 처리될 이미지에서의 위치 정보 중 적어도 하나하나를 포함할 수 있지만 이에 한정되지 않는다. 증명서 검출 결과는 예를 들어 처리될 이미지에 포함된 증명서의 개수 및 각 증명서가 처리될 이미지에서의 위치 정보 중 적어도 하나를 포함할 수 있지만 이에 한정되지 않는다. 여기서, 얼굴이 처리될 이미지에서의 위치 정보는, 예를 들어 얼굴의 얼굴 검출 프레임(제1 검출 프레임으로 지칭될 수 있음)이 처리될 이미지 중 4 개의 정점의 꼭지점 좌표로 나타낼 수 있다. 상기 얼굴 검출 프레임이 처리될 이미지 중 4 개의 정점의 꼭지점 좌표에 기반하여, 얼굴 검출 프레임이 처리될 이미지에서의 위치를 결정할 수 있음으로써, 얼굴이 처리될 이미지에서의 위치를 결정한다.
또한, 얼굴이 처리될 이미지에서의 위치 정보는, 얼굴의 얼굴 검출 프레임(즉 제1 검출 프레임)이 처리될 이미지에서의 중심 포인트 좌표 및 상기 얼굴 검출 프레임의 길이 및 너비로도 나타낼 수도 있다. 상기 얼굴 검출 프레임이 처리될 이미지에서의 중심 포인트 좌표 및 상기 얼굴 검출 프레임의 길이 및 너비에 기반하여, 얼굴 검출 프레임이 처리될 이미지에서의 위치를 결정할 수 있음으로써, 얼굴이 처리될 이미지에서의 위치를 결정한다.
본 발명의 실시예에서의 증명서는 사용자 신원을 증명하는 물품을 가리키고, 예를 들어 신분증, 여권, 학생증, 직원증 등이다. 이와 유사하게, 증명서가 처리될 이미지에서의 위치 정보는, 예를 들어 증명서의 물체 검출 프레임(제2 검출 프레임으로 지칭될 수 있음)이 처리될 이미지 중 4 개의 정점의 꼭지점 좌표로 나타낼 수 있다. 상기 물체 검출 프레임이 처리될 이미지 중 4 개의 정점의 꼭지점 좌표에 기반하여, 증명서의 물체 검출 프레임이 처리될 이미지에서의 위치를 결정할 수 있음으로써, 증명서가 처리될 이미지에서의 위치를 결정한다.
또한, 증명서가 이미지에서의 위치 정보는, 증명서의 물체 검출 프레임(즉 제2 검출 프레임)이 처리될 이미지에서의 중심 포인트 좌표 및 상기 물체 검출 프레임의 길이 및 너비로도 나타낼 수 있다. 상기 물체 검출 프레임이 처리될 이미지에서의 중심 포인트 좌표 및 상기 물체 검출 프레임의 길이 및 너비에 기반하여, 증명서의 물체 검출 프레임이 처리될 이미지에서의 위치를 결정할 수 있음으로써, 증명서가 처리될 이미지에서의 위치를 결정한다.
단계 104에 있어서, 상기 얼굴 검출 결과 및 증명서 검출 결과에 따라, 상기 처리될 이미지가 유효한 신분증을 쥐고 있는 이미지 등과 같은 유효한 신원 인증 이미지인지 여부를 결정한다.
여기서, 유효한 신원 인증 이미지는, 기설정된 요구를 만족하는 이미지를 가리키고, 예를 들어 처리될 이미지에 포함된 얼굴 및 증명서가 위치, 개수 등 측면에서 기설정된 요구를 만족하는 처리될 이미지를 가리킨다. 예를 들어, 본 발명의 일부 실시형태에 있어서, 필요한 신원 인증 이미지가 사용자가 신분증을 쥐고 있는 사진일 경우, 유효한 신원 인증 이미지는 하나의 신분증를 포함해야 하고, 신분증은 하나의 얼굴을 포함해야 하며, 신분증 외에 하나 이상의 얼굴을 포함한다. 예를 들어 얼굴 검출 결과의 얼굴 및 증명서 검출 결과에서의 얼굴 개수의 합이 두 개보다 적고, 신분증 개수가 유일하지 않거나, 얼굴 및 신분증의 위치가 검증에 오류가 발생되면(신분증 영역 내의 얼굴 개수가 유일하고, 신분증 영역 이외에 적어도 하나의 얼굴이 존재함), 유효한 신원 인증 이미지(즉 유효한 신분증을 쥐고 있는 사진이 아님)가 아닌 것으로 간주한다.
처리될 이미지가 유효한 신원 인증 이미지이면, 단계 106을 실행한다. 그렇지 않은 경우, 처리될 이미지가 유효한 신원 인증 이미지가 아니면, 후속 플로우를 실행하지 않거나, 처리될 이미지가 무효라는 프롬프트 메시지를 출력한다.
단계 106에 있어서, 상기 얼굴 검출 결과 및 증명서 검출 결과에 따라 신원 인증을 수행하여, 처리될 이미지의 신원 인증 결과를 얻는다.
일부 실시예에 있어서, 신원 인증은 신원 검증을 포함할 수 있어, 사용자 및 증명서가 일치한지 여부를 결정하고, 즉 상기 증명서가 사용자 본인의 증명서인지 여부를 결정한다. 다른 일부 실시예에 있어서, 신원 인증은 위조 방지 검출을 포함할 수 있어, 위조가 존재하는지 여부를 결정한다. 다른 일부 실시예에 있어서, 신원 인증은 위조 방지 검출 및 신원 검증을 포함할 수 있다. 본 발명의 실시예는 신원 인증의 구체적인 구현을 한정하지 않는다.
일부 실시형태에 있어서, 예를 들어 기하 특징에 기반한 방법, 로컬 특징 분석 방법(Local Face Analysis), 아이겐 페이스 방법(Eigenface 또는 PCA), 탄성 모델에 기반한 방법, 신경 네트워크 방법(Neural Networks) 등을 사용하여, 상기 처리될 이미지의 얼굴 검출 결과 및 증명서 검출 결과에 따라 사용자 신원 인증을 수행할 수 있지만 이에 한정되지 않는다.
본 발명의 상기 실시예에서 제공한 신원 인증 방법에 기반하여, 제1 신경 네트워크를 통해 처리될 이미지에 대해 얼굴 검출을 수행하고, 제2 신경 네트워크를 통해 처리될 이미지에 대해 증명서 검출을 수행하며; 얻은 얼굴 검출 결과 및 증명서 검출 결과에 따라, 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 결정하며; 처리될 이미지가 유효한 신원 인증 이미지인 것으로 결정한 것에 응답하여, 얼굴 검출 결과 및 증명서 검출 결과에 따라 신원 인증을 수행한다. 본 발명의 실시예는 신경 네트워크를 이용하여, 딥 러닝의 방식을 통해 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 인식함으로써, 사용자 신원 인증을 위한 합격된 이미지를 빠르게 선별할 수 있어, 작업 효율을 향상시키며; 유효한 신원 인증 이미지에 기반하여 사용자에 대해 신원 인증을 수행하므로, 인공 심의가 필요없어, 비용을 절약하고, 작업 효율 및 처리 속도를 향상시키며, 인공 심의에 의해 발생될 수 있는 오류를 예방하여, 인증 결과의 정확률을 향상시킨다.
상기 실시예에 있어서, 상기 증명서 검출 결과는 처리될 이미지에서 검출된 증명서에 포함된 얼굴의 개수, 증명서에 포함된 얼굴의 위치 정보 등 중 적어도 하나를 포함할 수 있다. 또는, 상기 실시예에 있어서, 또한 상기 얼굴 검출 결과에 포함된 얼굴이 처리될 이미지에서의 위치 정보 및 증명서 검출 결과에 포함된 증명서가 처리될 이미지에서의 위치 정보에 따라, 증명서에 포함된 얼굴의 개수를 결정하는 단계를 포함할 수 있다.
일부 실시예에 있어서, 단계 104에 있어서, 상기 증명서 검출 결과 중 증명서의 개수가 제1 기설정된 요구를 만족하는지 여부, 상기 얼굴 검출 결과 중 얼굴의 개수가 제2 기설정된 요구를 만족하는지 여부 및 검출된 증명서 중 얼굴의 개수가 제3 기설정된 요구를 만족하는지 여부를 결정할 수 있고, 상기 증명서 검출 결과 중 증명서의 개수가 제1 기설정된 요구를 만족하고, 상기 얼굴 검출 결과 중 얼굴의 개수가 제2 기설정된 요구를 만족하며, 증명서 얼굴 정보에 포함된 증명서 중 얼굴의 개수가 제3 기설정된 요구를 만족하는 경우, 처리될 이미지가 유효한 신원 인증 이미지인 것으로 결정할 수 있다.
상기 각 실시예에 있어서, 증명서 검출 결과 중 증명서의 개수가 제1 기설정된 요구를 만족하고, 얼굴 검출 결과 중 얼굴의 개수가 제2 기설정된 요구를 만족하며, 증명서 중 얼굴의 개수가 제3 기설정된 요구를 만족하는 경우는, 예를 들어 증명서 검출 결과 중 증명서의 개수가 1이고, 얼굴 검출 결과 중 얼굴의 개수가 2보다 크거나 같으며, 증명서 중 얼굴의 개수가 1인 경우를 포함할 수 있다. 여기서, 얼굴 검출 결과 중 얼굴의 개수가 2보다 클 경우, 처리될 이미지 중 증명서 영역 이외에 포함된 얼굴의 개수가 1보다 큰 것을 설명하므로, 이때, 처리될 이미지에 인증된 사용자의 얼굴 외에, 주위 사용자의 얼굴이 더 포함될 수 있다.
상기 실시예에 기반하여, 얼굴 검출 결과 중 얼굴의 개수가 2 개보다 작고, 증명서 개수가 유일하지 않거나, 얼굴 및 증명서의 위치 관계가 정학하지 않으면(얼굴 및 증명서의 위치 관계가 정확한 표준은, 증명서 영역 내의 얼굴 개수가 유일하고, 증명서 영역 이외에 적어도 하나의 얼굴이 존재하는 것임), 처리될 이미지가 유효한 신원 인증 이미지가 아닌 것으로 간주한다.
응용에 있어서, 도 3a를 참조하면, 이미지 수집 기기는 사용자가 신분증을 쥐고 있는 사진을 수집하고, 여기서, 사용자가 신분증을 쥐고 있는 사진은 도 3b에 도시된 바와 같으며, 이에 대응되게, 단계 106에서, 얼굴 검출 결과 및 증명서 검출 결과에 따라 신원 인증을 수행하는 단계는, 상기 얼굴 검출 결과 및 증명서 검출 결과에 기반하여, 증명서에 포함된 얼굴(제1 얼굴(31)로 지칭됨) 및 처리될 이미지 중 증명서 밖에 위치한 얼굴(제2 얼굴(32)로 지칭됨) 사이의 유사도를 결정하는 단계; 및 제1 얼굴 및 제2 얼굴 사이의 유사도에 따라, 신원 검증의 결과를 얻는 단계를 포함할 수 있다.
예를 들어, 일부 선택 가능한 예시에 있어서, 상기 얼굴 검출 결과 및 증명서 검출 결과에 기반하여, 처리될 이미지로부터 제1 얼굴의 이미지 및 제2 얼굴의 이미지를 획득할 수 있고;
제1 얼굴의 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻고; 제2 얼굴의 이미지에 대해 특징 추출을 수행하여, 제2 특징을 얻는다. 여기서, 제2 얼굴은 처리될 이미지 중 증명서 밖에 위치한, 최대의 얼굴이다. 선택 가능한 예 중 하나에 있어서, 신경 네트워크를 통해 특징 추출을 수행할 수 있고; 상기 제1 특징과 제2 특징에 기반하여, 제1 얼굴과 제2 얼굴 사이의 유사도를 결정한다.
예를 들어, 제1 특징과 제2 특징 사이의 유사도를 비교할 수 있다. 선택 가능한 예 중 하나에 있어서, 신경 네트워크를 통해 제1 특징과 제2 특징 사이의 유사도를 비교할 수 있고; 제1 특징과 제2 특징 사이의 유사도가 기설정된 임계값보다 큰지 여부에 따라, 신원 검증의 결과를 얻는다.
여기서 기설정된 임계값은 실제 필요, 예를 들어 현재 업무가 사용자 신원 인증에 대한 엄중성, 제1 신경 네트워크 및 제2 신경 네트워크의 성능, 이미지 수집 환경 등에 따라, 설정될 수 있고, 실제 필요의 변화에 따라 조정될 수 있다. 예를 들어, 안전성에 대한 요구가 비교적 높은 금융 서비스 등은, 요구되는 제1 신경 네트워크 및 제2 신경 네트워크의 성능이 비교적 높으므로, 상기 기설정된 임계값을 비교적 높게 설정할 수 있고(예를 들어 98%), 즉 상기 제1 특징과 제2 특징 사이의 유사도가 98% 이상에 도달해야, 상기 처리될 이미지가 신원 인증 통과될 수 있도록 요구하여, 금융 서비스의 안전성을 보장하며; 안전성에 대한 요구가 너무 높지 않고, 이미지 수집 환경이 비교적 나쁜 서비스는, 상기 기설정된 임계값을 비교적 낮게 설정할 수 있고(예를 들어 80%), 즉 상기 제1 특징과 제2 특징 사이의 유사도가 80% 이상에 도달해야, 상기 처리될 이미지가 신원 인증 통과될 수 있으므로, 상기 서비스의 안전성 및 처리될 이미지에 기반한 사용자 신원 인증이 상기 서비스에서의 실행 가능성을 동시에 구현한다.
본 발명의 실시예에서 신경 네트워크를 통해 증명서 중 얼굴의 이미지 및 상기 증명서 이외의 얼굴의 이미지에 대해 특징 추출을 수행하고, 추출된 제1 특징과 제2 특징 사이의 유사도를 비교할 경우, 사전에 신경 네트워크를 훈련시킬 수 있어, 훈련된 신경 네트워크가 효과적으로 증명서 중 얼굴의 이미지 및 상기 증명서 이외의 얼굴의 이미지에 대해 특징 추출을 수행하고, 유사도 비교를 정확하게 수행할 수 있도록 함으로써, 증명서에서의 얼굴 및 상기 증명서 이외의 얼굴이 동일한 사람의 얼굴인지 여부를 정확하게 인식할 수 있다.
상기 각 실시예의 일부 실시형태에 있어서, 증명서에 포함된 제1 얼굴 및 처리될 이미지 중 증명서 밖에 위치한 제2 얼굴 사이의 유사도를 결정하기 전, 아래와 같은 방식을 통해 상기 제2 얼굴을 획득할 수 있다.
처리될 이미지에 포함된 얼굴의 개수가 2보다 클 경우, 얼굴 검출 결과에 포함된 얼굴이 처리될 이미지에서의 위치 정보 및 증명서 검출 결과에 포함된 증명서가 처리될 이미지에서의 위치 정보에 따라, 처리될 이미지에 포함된 적어도 두 개의 얼굴 중 증명서 밖에 위치한 최대 얼굴을 상기 제2 얼굴로 결정한다.
처리될 이미지에 포함된 얼굴의 개수가 2일 경우, 직접 처리될 이미지에 포함된 두 개의 얼굴 중 증명서 밖에 위치한 얼굴을 상기 제2 얼굴로 결정한다.
처리될 이미지에 포함된 얼굴의 개수가 2보다 클 경우, 처리될 이미지에 인증된 사용자의 얼굴 외에, 주위의 사용자의 얼굴이 더 포함될 수 있다. 인증된 사용자가 이미지 수집 기기와의 거리가 가까우므로, 얼굴이 가장 크고, 주위의 다른 사용자가 이미지 수집 기기와의 거리가 가장 멀며, 얼굴이 인증된 사용자에 비해 얼굴이 비교적 작은 것으로 간주할 수 있고, 본 발명의 실시예는 신경 네트워크를 이용하여 증명서 중 얼굴의 이미지 및 상기 증명서 이외의 최대 얼굴의 이미지에 대해 특징 추출 및 유사도 비교를 수행하여, 두 얼굴이 동일한 사용자인지 여부를 효과적으로 인식할 수 있음으로써, 이 두 얼굴이 동일한 사람의 얼굴인지 여부를 빠르고 정확하게 판단하며, 응답 시간이 짧고, 정확률이 높으므로, 작업 효율 및 사용자 체험을 효과적으로 향상시킬 수 있고, 육안 인식 오류를 예방한다.
본 발명의 실시예는 신원 인증 방법을 제공하고, 도 1b에 도시된 바와 같이, 상기 방법은 아래와 같은 단계를 포함한다.
단계 102에 있어서, 제1 신경 네트워크를 통해 처리될 이미지에 대해 얼굴 검출을 수행하여, 얼굴 검출 결과를 얻고; 제2 신경 네트워크를 통해 상기 처리될 이미지에 대해 증명서 검출을 수행하여, 증명서 검출 결과를 얻는다.
단계 1041에 있어서, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 증명서 얼굴 정보를 결정한다.
일부 실시예에 있어서, 상기 얼굴 검출 결과가 상기 처리될 이미지에 포함된 얼굴의 개수 및 상기 얼굴이 상기 처리될 이미지에서의 위치 정보 중 적어도 하나를 포함하는 것; 및 상기 증명서 검출 결과가 상기 처리될 이미지에 포함된 증명서의 개수 및 상기 증명서가 상기 처리될 이미지에서의 위치 정보 중 적어도 하나를 포함하는 것 중 적어도 하나를 포함한다.
일부 실시예에 있어서, 상기 증명서 얼굴 정보는 상기 처리될 이미지에서 검출된 증명서에 포함된 얼굴의 개수, 상기 증명서에 포함된 얼굴의 위치 정보 중 적어도 하나를 포함한다.
여기서, 증명서에 포함된 얼굴의 개수는 처리될 이미지에 포함된 얼굴의 개수보다 작거나 같고, 증명서에 포함된 얼굴의 위치 정보와 얼굴이 상기 처리될 이미지에서의 위치 정보는 부분적으로 오버랩되며, 즉 증명서에 포함된 얼굴의 위치 정보는 얼굴이 상기 처리될 이미지에서의 위치 정보의 서브 세트이다.
단계 1042에 있어서, 상기 증명서 얼굴 정보, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 결정한다.
단계 106에 있어서, 상기 처리될 이미지가 유효한 신원 인증 이미지인 것으로 결정한 것에 응답하여, 상기 얼굴 검출 결과 및 증명서 검출 결과에 따라 신원 인증을 수행하여, 처리될 이미지의 신원 인증 결과를 얻는다.
상기 실시예에서의 단계 1041 및 단계 1042는 도 1a에 도시된 방법 중 단계 104를 구현하는 구현 방식을 제공한다.
일부 실시예에 있어서, 단계 1041에서, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 증명서 얼굴 정보를 결정하는 단계는,
상기 얼굴 검출 결과에 포함된 얼굴이 상기 처리될 이미지에서의 위치 정보 및 상기 증명서 검출 결과에 포함된 증명서가 상기 처리될 이미지에서의 위치 정보에 따라, 상기 증명서에 포함된 얼굴의 개수 및 위치 정보 중 적어도 하나를 결정하는 단계를 포함한다.
응용에 있어서, 얼굴이 상기 처리될 이미지에서의 위치 정보 및 얼굴이 상기 처리될 이미지에서의 개수를 먼저 결정하고; 여기서, 얼굴이 처리될 이미지에서의 위치 정보는 얼굴이 증명서에 포함된 위치 정보를 포함하며, 얼굴이 상기 처리될 이미지에서의 개수는 얼굴이 증명서에서의 개수를 포함하며, 예를 들어, 얼굴이 상기 처리될 이미지에서의 개수가 2이면, 얼굴 1 및 얼굴 2가 존재하며, 여기서 얼굴 1이 처리될 이미지에서의 위치 정보는 wz1을 포함하고, 얼굴 2가 처리될 이미지에서의 위치 정보는 wz2이며; 여기서 증명서가 처리될 이미지에서의 위치가 wz3이고, 여기서 wz3의 범위가 wz2를 포함하면, 증명서에 포함된 얼굴의 개수가 1이고, 증명서에 포함된 얼굴의 위치 정보가 wz2인 것으로 결정할 수 있다.
일부 실시예에 있어서, 단계 1042에서, 상기 증명서 얼굴 정보, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 결정하는 단계는,
상기 증명서 검출 결과 중 증명서의 개수가 제1 기설정된 요구를 만족하고, 상기 얼굴 검출 결과 중 얼굴의 개수가 제2 기설정된 요구를 만족하며, 상기 증명서 얼굴 정보에 포함된 증명서 중 얼굴의 개수가 제3 기설정된 요구를 만족하는 것에 응답하여, 상기 처리될 이미지가 유효한 신원 인증 이미지인 것으로 결정하는 단계를 포함한다.
본 발명의 실시예는 다른 신원 인증 방법을 제공한다. 도 2에 도시된 바와 같이, 상기 방법은 아래와 같은 단계를 포함한다.
단계 202에 있어서, 제1 신경 네트워크를 통해 처리될 이미지에 대해 얼굴 검출을 수행하여, 얼굴 검출 결과를 얻고; 제2 신경 네트워크를 통해 상기 처리될 이미지에 대해 증명서 검출을 수행하여, 증명서 검출 결과를 얻는다.
단계 204에 있어서, 상기 얼굴 검출 결과 및 증명서 검출 결과에 따라, 상기 처리될 이미지가 유효한 신분증을 쥐고 있는 이미지 등과 같은 유효한 신원 인증 이미지인지 여부를 결정한다.
처리될 이미지가 유효한 신원 인증 이미지이면, 단계 206을 실행한다. 그렇지 않은 경우, 처리될 이미지가 유효한 신원 인증 이미지가 아니면, 후속 플로우를 실행하지 않거나, 처리될 이미지가 무효라는 프롬프트 메시지를 출력한다.
단계 206에 있어서, 상기 얼굴 검출 결과 및 증명서 검출 결과에 기반하여, 증명서에 포함된 제1 얼굴 및 처리될 이미지 중 증명서 밖에 위치한 제2 얼굴 사이의 유사도를 결정한다.
단계 208에 있어서, 상기 제1 얼굴 및 제2 얼굴 사이의 유사도가 기설정된 임계값보다 큰지 여부를 결정한다.
상기 제1 얼굴 및 제2 얼굴 사이의 유사도가 기설정된 임계값보다 크면, 단계 210을 실행한다. 그렇지 않은 경우, 상기 제1 얼굴 및 제2 얼굴 사이의 유사도가 기설정된 임계값보다 크지 않으면, 후속 플로우를 실행하지 않거나, 상기 처리될 이미지가 신원 인증 통과되지 않았다는 프롬프트 메시지를 출력한다.
일부 실시형태에 있어서, 상기 단계 206 내지 단계 208에서, 신경 네트워크를 이용하여, 증명서에서의 제1 얼굴 및 증명서 외의 제2 얼굴에 대해 특징 추출 및 유사도 비교를 수행하여, 상기 제1 얼굴 및 증명서 외의 제2 얼굴이 동일한 사용자의 얼굴인지 여부를 확인할 수 있다.
단계 210에 있어서, 문자 인식, 예를 들어 광학 캐릭터 인식(Optical Character Recognition, OCR) 알고리즘을 이용하여, 증명서에 대해 텍스트 인식을 수행하여, 상기 증명서의 텍스트 정보를 얻고, 상기 텍스트 정보는 예를 들어 이름, 증명서 번호, 주소, 유효 기간 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
도 3b를 참조하면, 이는 본 발명의 실시예 중 유효한 신원 인증 이미지의 예이다.
일부 실시예에 있어서, OCR 알고리즘을 이용하여 증명서(33)에 대해 텍스트 인식을 수행하면, 증명서에서의 텍스트 정보(34)를 빠르게 판독할 수 있고, 상기 텍스트 정보에 기반하여 작업 리스트를 자동으로 작성할 수 있어, 고객 서비스 직원의 작업 효율을 크게 향상시키고, 인건비를 절약할 수 있다. 얼굴 인식 및 증명서 OCR 인식 기술을 사용하면, 기존 산업에서 핸드 헬드 신분증을 사용하여 신원 인증을 수행할 때 존재하는 문제를 효과적으로 해결하여, 신분증을 쥐고 있는 사진의 선별, 신분증을 쥐고 있는 사진에서의 두 얼굴을 비교하고 신분증 정보 추출 등 작업을 실시간으로 완료할 수 있다.
도 2를 참조하면, 일부 실시예에 있어서, 증명서의 텍스트 정보를 얻은 후, 또한 아래와 같은 단계를 선택적으로 포함할 수 있다.
단계 212에 있어서, 사용자 정보 데이터베이스에 기반하여 상기 증명서의 텍스트 정보를 인증하여, 신원 검증의 결과를 얻는다.
여기서, 사용자 정보 데이터베이스는 예를 들어 공안부 또는 다른 권한 있는 인증 기구에서 제공한 사용자 정보 데이터베이스일 수 있고, 사용자 정보가 저장되어 있어, 사용자 정보 소스의 권한 및 사용자 정보의 정확성을 확보한다.
상기 증명서의 텍스트 정보와 사용자 정보 데이터베이스에 저장된 사용자 정보가 일치하면, 신원 검증의 결과는 신원 인증 통과된 것이고; 그렇지 않은 경우, 상기 증명서의 텍스트 정보와 사용자 정보 데이터베이스에 저장된 사용자 정보가 불일치하면, 신원 검증의 결과는 신원 인증 통과되지 않은 것이다.
일부 실시예에 있어서, 도 2를 참조하면, 상기 신원 검증의 결과에 따라, 상기 증명서의 텍스트 정보가 신원 인증 통과되면, 또한 아래와 같은 단계를 선택적으로 포함할 수 있다.
단계 214에 있어서, 서비스 데이터베이스에 사용자 정보를 저장하여, 사용자가 상응하는 서비스를 사용하는 등록 정보로 사용하고, 상기 사용자 정보는 상기 증명서의 텍스트 정보, 신원 인증 이미지(즉 신원 인증 통과된 처리될 이미지), 상기 제2 얼굴의 이미지, 상기 제2 얼굴의 특징 정보 중 어느 하나 또는 복수 개를 포함할 수 있다.
상기 실시예에 기반하여, 사용자의 등록 정보가 성공적으로 저장된 후, 사용자가 상응하는 서비스에서 등록 성공된 다음, 사용자는 상기 서비스를 사용할 수 있다. 본 발명의 실시예는 실명 인증이 필요한 임의의 서비스에 적용될 수 있고, 예를 들어, 거래 서비스, 애플리케이션의(Application, APP) 사용 서비스, 출입 통제 서비스이다. 서비스를 사용하는 과정 중, 서비스 데이터베이스에 저장된 사용자 정보에 기반하여 사용자에 대해 신원 인증을 수행해야 하고, 사용자가 신원 인증 통과된 후, 상기 서비스를 계속하여 사용할 수 있다.
일부 실시예에 있어서, 또한 얼굴 검출 결과 및 증명서 검출 결과에 기반하여, 처리될 이미지에 대해 위조 방지 검출을 수행하여, 처리될 이미지의 위조 방지 검출 결과를 얻을 수 있다. 이때, 신원 인증은 위조 방지 검출 및 신원 검증을 포함한다.
일부 실시예에 있어서, 위조 방지 검출을 먼저 수행하고, 위조 방지 검출의 결과에 기반하여 신원 검증을 수행할지 여부를 결정할 수 있다. 예를 들어, 상기 위조 방지 검출 결과가 위조 방지 검출 통과된 것에 응답하여, 얼굴 검출 결과 및 증명서 검출 결과에 따라 신원 검증을 수행하는 조작을 실행한다. 그렇지 않은 경우, 상기 위조 방지 검출 결과가 위조 방지 검출 통과되지 않으면, 얼굴 검출 결과 및 증명서 검출 결과에 따라 신원 검증을 수행하는 조작을 실행하지 않는다.
다른 일부 실시예에 있어서, 위조 방지 검출 및 신원 검증은 병행으로 실행될 수 있고, 처리될 이미지의 위조 방지 검출 결과 및 신원 검증의 결과에 기반하여, 처리될 이미지의 신원 인증 결과를 결정한다.
일부 실시예에 있어서, 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과되고, 신원 검증의 결과가 신원 검증 통과되면, 처리될 이미지가 신원 인증 통과된 것으로 결정한다. 그렇지 않은 경우, 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과되지 못한 것 및 신원 검증의 결과가 신원 검증 통과되지 못한 것 중 적어도 하나이면, 처리될 이미지가 신원 인증 통과되지 못한 것으로 결정한다.
선택 가능한 예 중 하나에 있어서, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 위조 방지 검출을 수행하여, 위조 방지 검출 결과를 얻는 단계는, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 처리될 이미지로부터 얼굴 영역 이미지 및 증명서 영역 이미지를 획득하는 단계; 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행하는 단계; 및 위조 단서 검출의 결과에 기반하여, 처리될 이미지의 위조 방지 검출 결과를 얻는 단계를 포함한다.
일부 실시예에 있어서, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 신원 인증을 수행하여, 상기 처리될 이미지의 신원 인증 결과를 얻는 단계는, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 위조 방지 검출을 수행하여, 위조 방지 검출 결과를 얻는 단계; 및 상기 위조 방지 검출 결과 및 상기 신원 검증 결과에 기반하여, 상기 처리될 이미지의 신원 인증 결과를 결정하는 단계를 더 포함한다.
일부 실시예에 있어서, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 신원 인증을 수행하여, 상기 처리될 이미지의 신원 인증 결과를 얻는 단계는, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 위조 방지 검출을 수행하여, 위조 방지 검출 결과를 얻는 단계를 포함한다.
일부 실시예에 있어서, 상기 위조 단서 검출의 결과에 기반하여, 상기 처리될 이미지의 위조 방지 검출 결과를 얻는 단계는, 상기 위조 단서 검출의 결과가 상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지에 위조 단서가 포함되지 않는 것을 나타낸 것에 응답하여, 상기 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과된 것으로 결정하는 단계; 및 상기 위조 단서 검출의 결과가 상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 중 어느 하나 또는 복수 개가 위조 단서를 포함하는 것으로 나타낸 것에 응답하여, 상기 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과되지 못한 것으로 결정하는 단계 중 적어도 하나를 포함한다.
여기서, 일부 실시예에 있어서, 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행할 경우, 상기 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지 각각에 대해 특징 추출을 수행하여, 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징을 얻을 수 있고; 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 검출한다.
일부 구현 방식에 있어서, 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징 중 어느 한 특징으로부터 위조 단서 정보가 검출될 경우에만, 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과되지 않은 것으로 결정하고, 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징에서 위조 단서 정보가 검출되지 않을 경우에만, 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과된 것으로 결정한다.
일부 선택 가능한 예에 있어서, 처리될 이미지의 특징을 검출하여, 처리될 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하는 단계; 얼굴 영역 이미지의 특징을 검출하여, 얼굴 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하는 단계; 및 증명서 영역 이미지의 특징을 검출하여, 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하는 단계를 통해 처리될 이미지의 특징, 얼굴 영역의 특징 및 증명서 영역의 특징에 위조 단서 정보가 포함되는지 여부를 검출할 수 있다. .
다른 일부 선택 가능한 예에 있어서, 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징을 연결하여, 연결 특징을 얻는 단계; 및 상기 연결 특징에 위조 단서 정보가 포함되는지 여부를 결정하는 단계를 통해 처리될 이미지의 특징, 얼굴 영역의 특징 및 증명서 영역의 특징에 위조 단서 정보가 포함되는지 여부를 검출할 수도 있다. .
예시적으로, 제3 신경 네트워크를 통해 상기 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행하는 조작을 실행할 수 있다. 예를 들어, 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지를 제3 신경 네트워크에 각각 입력 처리하여, 상기 처리될 이미지를 얻고, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지는 위조 단서 정보의 확률 정보 또는 위조 단서 정보를 포함하는지 여부를 지시하는 지시 정보를 각각 포함한다. 또 예를 들어, 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지를 제3 신경 네트워크에 동시에 입력하고, 제3 신경 네트워크는 세 개 브랜치의 특징 추출 네트워크를 포함하며, 각각 입력된 세 개의 이미지에 대해 특징 추출을 수행하고, 추출된 특징을 연결하여, 연결 특징을 얻으며, 마지막으로, 연결 특징에 기반하여, 처리될 이미지를 얻기 위한 것이며, 얼굴 영역 이미지 및 증명서 영역 이미지 중 적어도 하나의 이미지는 위조 단서 정보의 확률 정보 또는 지시 정보를 포함한다.
선택적으로, 상기 제3 신경 네트워크는 위조 단서 정보가 포함되어 있는 훈련용 이미지 세트에 기반하여 사전에 훈련 완료되었다. 상기 제3 신경 네트워크는 딥 신경 네트워크일 수 있고, 상기 딥 신경 네트워크는 다중 계층의 신경 네트워크를 가리키며, 예를 들어 다중 계층의 컨볼루션 신경 네트워크이다. 예시적으로, 본 발명의 각 실시예에서 추출된 각 특징에 포함된 위조 단서 정보는, 제3 신경 네트워크를 미리 훈련하는 것을 통해, 상기 제3 신경 네트워크에 의해 학습될 수 있고, 다음 이러한 위조 단서 정보를 포함하는 임의의 이미지를 상기 제3 신경 네트워크에 입력하면 검출되므로, 위조 이미지이고, 위조 방지 검출 통과되지 못한 것으로 판단할 수 있고, 그렇지 않은 경우 진실된 이미지이고, 위조 방지 검출 통과될 수 있는 것으로 판단할 수 있다. 여기서, 일부 실시예에 있어서, 상기 훈련용 이미지 세트는 훈련용 포지티브 샘플의 복수 개의 이미지 및 훈련용 네거티브 샘플의 복수 개의 이미지로 사용될 수 있다. 여기서 포지티브 샘플의 이미지는 위조 단서 정보를 포함하지 않는 진실된 이미지이고, 전체 이미지 및 전체 이미지로부터 추출된 얼굴 영역 이미지의 특징 및 증명서 영역 이미지를 포함할 수 있으며; 네거티브 샘플 이미지는 위조 단서 정보를 포함하는 위조 이미지이다.
선택 가능한 예 중 하나에 있어서, 얼굴 영역 이미지에 포함된 얼굴이 얼굴 영역 이미지에서 차지하는 비례가 제4 기설정된 요구를 만족하는 것; 및 증명서 영역 이미지에 포함된 증명서가 증명서 영역 이미지에서 차지하는 비례가 제4 기설정된 요구를 만족하는 것 중 적어도 하나의 요구에 따라 처리될 이미지로부터 얼굴 영역 이미지 및 증명서 영역 이미지를 획득할 수 있다. 여기서 제4 기설정된 요구는 예를 들어 얼굴 영역 이미지에 포함된 얼굴이 얼굴 영역 이미지에서 차지하는 비례, 증명서 영역 이미지에 포함된 증명서가 증명서 영역 이미지에서 차지하는 비례가 1/4보다 크거나 같고 9/10보다 작거나 같은 것을 포함할 수 있고, 예를 들어, 상기 비례의 값의 범위는 1/2-3/4일 수 있다. 일부 선택 가능한 구현 방식에 있어서, 얼굴 영역 이미지에 포함된 얼굴이 얼굴 영역 이미지에서 차지하는 비례, 증명서 영역 이미지에 포함된 증명서가 증명서 영역 이미지에서 차지하는 비례의 값의 범위는 1/2-3/4이고, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지에 대한 위조 방지 검출 효과를 보장하는 경우에, 위조 방지 검출의 효율을 향상시킬 수 있다.
선택 가능한 예에 있어서, 훈련용 포지티브 샘플로 사용될 수 있는 복수 개의 이미지를 획득하는 단계; 및 훈련용 네거티브 샘플로 사용될 수 있는 적어도 하나의 이미지를 생성하기 위해, 획득된 포지티브 샘플 중 적어도 하나의 이미지의 적어도 일부에 대해 위조 단서 정보를 시뮬레이션하기 위한 이미지 처리를 수행하는 단계를 통해 위조 단서 정보가 포함되어 있는 훈련용 이미지 세트를 획득할 수 있다.
상기 실시예에서 제공한 것에 기반하여, 처리될 이미지에 대해 위조 방지 검출을 수행하는 것을 통해, 얼굴 또는 증명서를 위조하여 사용자 신원 인증을 수행하는 것을 예방하는데 사용될 수 있어, 사용자 신원 인증의 안전성을 향상시킨다.
상기 각 실시예의 플로우 전, 상기 방법은, 또한 예를 들어 단말의 가시광 카메라를 통해, 얼굴 및 증명서를 포함하는 이미지 시퀀스 또는 비디오 시퀀스를 수집하는 단계; 및 기설정된 프레임 선택 조건에 기반하여, 상기 이미지 시퀀스 또는 비디오 시퀀스로부터 처리될 이미지를 선택하는 단계를 포함할 수 있다.
여기서 기설정된 프레임 선택 조건은, 예를 들어 얼굴 및 증명서가 이미지의 중심 영역에 위치하는지 여부, 얼굴의 에지가 이미지에 완전히 포함되는지 여부, 증명서의 에지가 이미지에 완전히 포함되는지 여부, 얼굴이 이미지에서 차지하는 비례, 증명서가 이미지에서 차지하는 비례, 얼굴 각도(즉 얼굴이 정면인지 여부), 이미지 해상도, 이미지 노광도 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다. 상기 프레임 선택 조건에 의거하여 종합 품질이 비교적 높은 이미지를 선택하여 신원 인증을 수행할 수 있어, 신원 인증 결과의 정확성을 향상시킬 수 있다.
예시적으로, 상기 프레임 선택 조건에 기반하여 비디오 시퀀스로부터 종합 품질이 비교적 높은 이미지를 상기 처리될 이미지로서 선택할 수 있고, 여기서, 종합 품질이 비교적 높은 이미지의 표준은, 예를 들어 얼굴 및 증명서가 이미지 중심 영역에 위치하는 것, 얼굴 및 증명서의 에지가 이미지에 완전히 포함되는 것, 얼굴이 이미지에서 차지하는 비례가 약 1/2-3/4인 것, 증명서가 이미지에서 차지하는 비례가 약 1/2-3/4인 것, 얼굴이 정면인 것, 이미지 해상도가 비교적 높은 것, 노광도가 비교적 높은 것 중 어느 하나 또는 복수 개의 지표를 만족하는 이미지일 수 있다. 이상의 선택은 설정된 알고리즘을 통해, 얼굴 이미지의 방향, 해상도, 광 밝기 등 지표를 자동으로 검출할 수 있고, 기설정된 기준에 따라, 전체 비디오 시퀀스로부터, 지표가 가장 좋은 하나 또는 여러 개의 이미지를 선택한다.
일부 선택 가능한 실시형태에 있어서, 또한 선택되고, 기설정된 표준에 부합되지 않은 처리될 이미지를 사전에 처리하여, 사전 처리된 처리될 이미지를 얻을 수 있다. 이에 상응하게, 사전 처리된 처리될 이미지에 대해 신원 인증을 수행한다.
예시적으로, 상기 기설정된 표준은 예를 들어 기설정된 사이즈, 정규(z-score) 분포 표준, 기설정된 이미지 밝기 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다. 이에 상응하게, 기설정된 표준에 부합되지 않는 처리될 이미지에 대해 사전 처리를 수행하는 단계는, 기설정된 표준에 부합되지 않는 처리될 이미지에 대해 부합되지 않는 기설정된 표준에 상응하는, 사이즈 조정 또는 크롭, 정규화, 밝기 조정(예를 들어 히스토그램 이퀼라이제이션에 기반한 다크 라이트 개선) 등 중 어느 하나 또는 복수 개의 조작을 수행하는 단계일 수 있다.
상기 사전 처리 단계에 기반하여, 후속 처리를 수행하기 위한 처리될 이미지의 사이즈를 통일시킬 수 있고, 처리된 이미지 데이터가 표준 정규화 분포에 부합되도록 하고, 밝기가 기설정된 요구에 부합되도록 할 수 있다. 여기서, 정규화는 통계학의 데이터 처리 방법으로서, 이미지에서 픽셀 분포가 균일하지 않아 이미지의 인식 효과에 영향을 미치는 것을 제거하기 위해, 이미지에서의 픽셀값을 처리하여, 표준 정규화 분포를 만족하도록 하는 것이다. 히스토그램 이퀼라이제이션에 기반한 다크 라이트 개선의 사전 처리 단계는, 주로 실제 얼굴의 핸드 헬드 증명서 위조 방지 검출의 시나리오에서, 사람 얼굴 및 증명서 부분이 어두운 조명 조건일 수 있고, 이러한 경우 얼굴 위조 방지 및 증명서 위조 방지의 정확성에 영향을 미치기 쉬우며, 다크 라이트 개선된 이미지는 이미지의 밝기 분포를 재조정할 수 있으므로, 원래 어두운 조명에서 촬영된 이미지가 신원 인증이 이미지 품질에 대한 요구를 만족시킬 수 있도록 함으로써, 더 정확한 신원 인증 결과를 얻는다.
도 4에 도시된 바와 같이, 일부 실시예의 신원 인증 방법에 기반하여, 상기 방법은 또한 아래와 같은 단계를 포함할 수 있다.
단계 302에 있어서, 인증 청구를 수신한 것에 응답하여, 인증될 얼굴을 포함하는 이미지를 획득한다.
단계 304에 있어서, 서비스 데이터베이스에 인증될 얼굴의 이미지와 매칭되는 사용자 정보가 존재하는지 여부를 검색한다.
일부 실시예에 있어서, 상기 단계 304에서, 신경 네트워크를 이용하여 상기 인증될 얼굴의 이미지에 대해 특징 추출을 수행하여, 서비스 데이터베이스에 인증될 얼굴의 특징 정보와 매칭되는 사용자 정보가 존재하는지 여부를 검색할 수 있다.
단계 306에 있어서, 서비스 데이터베이스에 인증될 얼굴의 이미지와 매칭되는 검색 결과가 존재하는지 여부에 따라, 상기 인증될 얼굴의 인증 결과를 결정한다.
일부 실시예에 있어서, 검색 결과에 따라, 서비스 데이터베이스에 상기 인증될 얼굴의 특징 정보와 매칭되는 사용자 정보가 존재하면, 인증될 얼굴의 인증 결과가 인증 통과된 것으로 결정하고; 그렇지 않은 경우, 서비스 데이터베이스에 인증될 얼굴의 특징 정보와 매칭되는 사용자 정보가 존재하지 않으면, 인증될 얼굴의 인증 결과가 인증 통과되지 않은 것으로 결정한다.
상기 실시예에 기반하여, 사용자가 상응하는 서비스에 등록 성공한 후, 상기 서비스를 사용할 경우, 사용자의 등록 정보에 기반하여 서비스를 사용하기를 청구하는 사용자를 인증할 수 있고, 사용자가 인증 통과한 후에만 상기 서비스를 계속 사용할 수 있음으로써, 서비스의 안전성을 향상시킨다.
또한, 선택적으로, 상기 도 4에 도시된 실시예에서, 단계 302를 통해 인증될 얼굴을 포함하는 이미지를 획득한 후, 또한, 인증될 얼굴을 포함하는 이미지에 대해 위조 방지 검출을 수행하여, 상기 인증될 얼굴을 포함하는 이미지의 위조 방지 검출 결과를 얻는 단계를 포함할 수 있다. 이에 상응하게, 단계 306에서, 서비스 데이터베이스에 인증될 얼굴의 특징 정보와 매칭되는 검색 결과가 존재하는지 여부 및 인증될 얼굴을 포함하는 이미지가 위조 방지 검출 통과되었는지 여부의 위조 방지 검출 결과에 따라, 상기 인증될 얼굴의 인증 결과를 결정한다. 일부 실시예에 있어서, 서비스 데이터베이스에 상기 인증될 얼굴의 특징 정보와 매칭되는 사용자 정보가 존재하고, 인증될 얼굴을 포함하는 이미지가 위조 방지 검출 통과되면, 인증될 얼굴의 인증 결과가 인증 통과된 것으로 결정하고; 그렇지 않은 경우, 서비스 데이터베이스에 인증될 얼굴의 특징 정보와 매칭되는 사용자 정보가 존재하지 않는 것 및 인증될 얼굴을 포함하는 이미지가 위조 방지 검출 통과되지 못한 것 중 적어도 하나일 경우, 인증될 얼굴의 인증 결과가 인증 통과되지 못한 것으로 결정한다.
일부 실시예에 있어서, 인증될 얼굴을 포함하는 이미지에 대해 위조 방지 검출을 수행하는 방식과 유사한 방식을 사용하여, 인증될 얼굴을 포함하는 이미지에 대해 위조 방지 검출을 수행할 수 있고, 예를 들어, 인증될 얼굴을 포함하는 이미지로부터 얼굴 영역 이미지 및 증명서 영역 이미지를 획득할 수 있고; 상기 인증될 얼굴을 포함하는 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행하며; 위조 단서 검출의 결과에 기반하여, 인증될 얼굴을 포함하는 이미지의 위조 방지 검출 결과를 얻는다.
여기서, 상기 인증될 얼굴을 포함하는 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행할 경우, 인증될 얼굴을 포함하는 이미지에 대해 위조 방지 검출을 수행하는 방식과 유사한 방식을 사용하여, 상기 인증될 얼굴을 포함하는 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지 각각에 대해 특징 추출을 수행하여, 상기 인증될 얼굴을 포함하는 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징을 얻을 수 있고; 상기 인증될 얼굴을 포함하는 이미지의 특징, 얼굴 영역의 특징 및 증명서 영역의 특징에 위조 단서 정보가 포함되는지 여부를 검출할 수 있다.
본 발명의 실시예에서 인증될 얼굴을 포함하는 이미지에 대한 위조 방지 검출의 구현은, 상기 실시예에서 인증될 얼굴을 포함하는 이미지에 대해 위조 방지 검출을 수행하는 관련 기재를 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.
상기 실시예에서 제공한 것에 기반하여, 상기 인증될 얼굴을 포함하는 이미지에 대해 위조 방지 검출을 수행하는 것을 통해, 상기 인증될 얼굴을 포함하는 이미지의 위조 방지 검출 결과를 결합하여 인증될 얼굴의 인증 결과를 결정하여, 얼굴 또는 증명서를 위조하여 사용자 신원 인증을 수행하는 것을 예방할 수 있어, 서비스 사용의 안전성을 향상시킨다.
본 발명의 상기 각 실시예의 일부 실시형태에 있어서, 상기 처리될 이미지 또는 인증될 얼굴을 포함하는 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지로부터 추출된 특징은, 예를 들어 국부 이진 패턴(Local Binary Pattern, LBP) 특징, 스파스 코드의 히스토그램(Histogram of Sparse Code, HSC) 특징, 파노라마 이미지(LARGE) 특징, 얼굴 이미지(SMALL) 특징, 얼굴 세부 이미지(TINY) 특징 중 임의의 복수 개를 포함할 수 있지만 이에 한정되지 않는다. 응용에 있어서, 나타날 수 있는 위조 단서 정보에 따라 상기 추출된 특징에 포함된 특징 항목을 업데이트할 수 있다.
여기서, LBP 특징을 통해, 이미지에서의 에지 정보를 강조할 수 있고; HSC 특징을 통해, 이미지에서의 제로 반사와 모호한 정보를 더욱 선명하게 반영할 수 있으며; LARGE 특징은 파노라마 특징이고, LARGE 특징에 기반하여, 이미지 중 가장 선명한 위조 단서(hack)를 추출할 수 있으며; 얼굴 이미지는 이미지 중 얼굴 프레임의 몇 배의 크기(예를 들어 1.5배 크기)의 영역 슬라이스 이미지이고, 이는 얼굴, 얼굴과 배경이 맞물리는 부분을 포함하며, SMALL 특징에 기반하여, 반사, 리메이크 기기의 스크린 모아레 패턴과 모델 또는 가면의 에지 등 위조 단서를 추출할 수 있으며; 얼굴 세부 이미지는 얼굴을 포함한 얼굴 프레임 크기를 취한 영역 슬라이스 이미지이고, TINY 특징에 기반하여, 이미지 PS(이미지 편집 소프트웨어(photoshop)에 기반한 편집), 리메이크 스크린 모아레 패턴과 모델 또는 가면의 무늬 등 위조 단서를 추출할 수 있다.
본 발명의 각 실시예의 선택 가능한 예에 있어서, 상기 위조 단서 정보는 가시광 조건 하에서의 육안 관찰 가능성을 구비하고, 즉, 육안은 가시광 조건 하에서 이러한 위조 단서 정보를 관찰할 수 있다. 위조 단서 정보가 구비한 상기 특성에 기반하여, 가시광 카메라(예를 들어 알지비(Red Green Blue, RGB) 카메라)에 의해 수집된 정적 이미지 또는 동적 비디오가 위조 방지 검출을 할 수 있도록 하여, 특정한 카메라를 별도로 영입하는 것을 예방하고, 하드웨어 비용을 감소시킨다. 위조 단서 정보는 예를 들어 이미징 매체의 위조 단서 정보, 이미징 미디어의 위조 단서 정보, 실제 존재하는 위조 얼굴의 단서 정보 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다. 여기서, 이미징 매체의 위조 단서 정보는 2 차원(2 Dimensions, 2D) 타입의 위조 단서 정보로도 지칭되고, 이미징 미디어의 위조 단서 정보는 2.5D 타입의 위조 단서 정보로 지칭되며, 실제 존재하는 위조 얼굴의 단서 정보는 3 차원(3 Dimensions, 3D) 타입의 위조 단서 정보로 지칭될 수 있으며, 예를 들어 나타날 수 있는 위조 얼굴 방식에 따라 검출되어야 하는 위조 단서 정보에 대해 상응한 업데이트를 수행할 수 있다. 이러한 단서 정보에 대한 검출을 통해, 전자 기기가 다양한 진실한 얼굴 및 위조 얼굴 사이의 변두리를 "발견"할 수 있도록 하고, 가시광 카메라와 같은 범용 하드웨어 기기 조건 하에서 상이한 타입의 다양한 위조 방지 검출을 구현하며, 위조 얼굴 공격을 방어하며, 안전성을 향상시킨다.
여기서, 이미징 매체의 위조 단서 정보는 예를 들어 이미징 매체의 에지 정보, 반사 정보 및 재질 정보 중 적어도 하나를 포함할 수 있지만 이에 한정되지 않는다. 이미징 미디어의 위조 단서 정보는 예를 들어 디스플레이 기기의 스크린 에지, 스크린 반사 및 스크린 모아레 패턴 중 적어도 하나를 포함할 수 있지만 이에 한정되지 않는다. 실제 존재하는 위조 얼굴의 단서 정보는 예를 들어 가면을 쓴 얼굴의 특성, 모델 타입의 얼굴의 특성, 조각상 타입의 얼굴의 특성을 포함할 수 있지만 이에 한정되지 않는다.
본 발명의 실시예에서의 위조 단서 정보는 가시광 조건 하에서 육안으로 관찰할 수 있다. 위조 단서 정보는 차원으로부터 2D 타입, 2.5D 타입 및 3D 타입 위조 얼굴로 분할될 수 있다. 여기서, 2D 타입 위조 얼굴은 종이 타입 소재로 인쇄된 얼굴 이미지를 가리키고, 상기 2D 타입 위조 단서 정보는 예를 들어 종이 소재 얼굴의 에지, 종이 재질, 종이 표면의 반사, 종이 에지 등 위조 단서 정보를 포함할 수 있다. 2.5D 타입 위조 얼굴은 비디오 리메이크 기기 등 캐리어 기기에 캐리된 얼굴 이미지를 가리키고, 상기 2.5D 타입 위조 단서 정보는 예를 들어 비디오 리메이크 기기 등 캐리어 기기의 스크린 모아레 패턴, 스크린 반사, 스크린 에지 등 위조 단서 정보를 포함할 수 있다. 3D 타입 위조 얼굴은 실제 존재하는 위조 얼굴을 가리키고, 예를 들어 가면, 모델, 조각상, 3D 인쇄 등이며, 상기 3D 타입 위조 얼굴도 마찬가지로 상응하는 위조 단서 정보를 구비하며, 예를 들어 가면의 봉합 위치, 모델의 추상적이거나 과도하게 매끄러운 피부 등 위조 단서 정보이다.
본 발명의 실시예는 특수한 다중 스펙트럼 기기에 의존할 필요없이, 가시광 조건 하에서의 유효한 위조 방지 검출을 구현할 수 있고, 특수한 하드웨어 기기의 도움을 받을 필요도 없으므로, 이로 인해 초래된 하드웨어 비용을 감소시키고, 다양한 얼굴 검출 시나리오에 용이하게 적용될 수 있으며, 특히 범용 모바일 애플리케이션에 적용된다.
본 발명의 실시예에서 제공한 어느 한 신원 인증 방법은 데이터 처리 능력을 갖는 임의의 적절한 전자 기기에 의해 실행될 수 있다. 또는, 본 발명의 실시예에서 제공한 어느 하나의 신원 인증 방법은 프로세서에 의해 실행될 수 있고, 예를 들어 프로세서가 메모리에 저장된 상응하는 명령어를 호출하여 본 발명의 실시예에서 언급한 어느 하나의 신원 인증 방법을 실행한다. 아래에 더이상 반복하여 설명하지 않는다. 본 기술분야의 통상의 기술자는 상기 방법의 실시예를 구현하기 위한 전부 또는 일부 조작(단계)가 프로그램 명령어에 관련된 하드웨어를 통해 완료되며, 전술한 프로그램이 컴퓨터 판독 가능한 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 경우, 상기 방법의 실시예를 포함하는 단계를 실행하며; 전술한 저장 매체는 판독 전용 메모리(Read Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함하는 것을 이해할 수 있을 것이다.
본 발명의 실시예는 신원 인증 장치를 제공한다. 일부 실시예에 있어서, 상기 장치는 본 발명의 상기 각 방법 실시예를 구현하는데 사용될 수 있지만, 본 발명의 실시예는 이에 한정되지 않는다. 도 5에 도시된 바와 같이, 상기 장치는 제1 검출 모듈(51), 제2 검출 모듈(52), 제1 결정 모듈(53) 및 인증 모듈(54)을 포함한다. 여기서,
제1 검출 모듈(51)은, 제1 신경 네트워크를 통해 처리될 이미지에 대해 얼굴 검출을 수행하여, 얼굴 검출 결과를 얻도록 구성된다. 선택적으로, 상기 얼굴 검출 결과는 예를 들어 처리될 이미지에 포함된 얼굴의 개수 및 얼굴이 처리될 이미지에서의 위치 정보 중 적어도 하나를 포함할 수 있지만 이에 한정되지 않는다. 여기서, 얼굴이 처리될 이미지에서의 위치 정보는, 예를 들어 얼굴의 제1 검출 프레임이 처리될 이미지 중 4 개의 정점의 꼭지점 좌표 또는 얼굴의 제1 검출 프레임이 처리될 이미지에서의 중심 포인트 좌표 및 상기 얼굴 검출 프레임의 길이 및 너비로 나타낼 수 있다.
제2 검출 모듈(52)은, 제2 신경 네트워크를 통해 처리될 이미지에 대해 증명서 검출을 수행하여, 증명서 검출 결과를 얻도록 구성된다. 선택적으로, 상기 증명서 검출 결과는 예를 들어 처리될 이미지에 포함된 증명서의 개수 및 증명서가 처리될 이미지에서의 위치 정보 중 적어도 하나를 포함할 수 있지만 이에 한정되지 않는다. 여기서, 증명서가 처리될 이미지에서의 위치 정보는, 예를 들어 증명서의 제2 검출 프레임이 처리될 이미지에서의 꼭지점 좌표; 또는, 증명서의 제2 검출 프레임의 중심이 처리될 이미지에서의 좌표, 제2 검출 프레임의 길이 및 너비로 나타낼 수 있다.
제1 결정 모듈(53)은, 얼굴 검출 결과 및 증명서 검출 결과에 따라, 처리될 이미지가 증명서를 쥐고 있는 사진 이미지와 같은 유효한 신원 인증 이미지인지 여부를 결정하도록 구성된다.
인증 모듈(54)은, 처리될 이미지가 유효한 신원 인증 이미지인 것으로 결정한 것에 응답하여, 얼굴 검출 결과 및 증명서 검출 결과에 따라 신원 인증을 수행하여, 처리될 이미지의 신원 인증 결과를 얻도록 구성된다.
본 발명의 상기 실시예에서 제공한 장치에 기반하여, 제1 신경 네트워크를 통해 처리될 이미지에 대해 얼굴 검출을 수행하고, 제2 신경 네트워크를 통해 처리될 이미지에 대해 증명서 검출을 수행하며; 얻은 얼굴 검출 결과 및 증명서 검출 결과에 따라, 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 결정하며; 처리될 이미지가 유효한 신원 인증 이미지인 것으로 결정한 것에 응답하여, 얼굴 검출 결과 및 증명서 검출 결과에 따라 신원 인증을 수행한다. 본 발명의 실시예는 신경 네트워크를 이용하여, 딥 러닝의 방식을 통해 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 인식함으로써, 사용자 신원 인증을 위한 합격된 이미지를 빠르게 선별할 수 있어, 작업 효율을 향상시키며; 유효한 신원 인증 이미지에 기반하여 사용자에 대해 신원 인증을 수행하므로, 인공 심의가 필요없어, 비용을 절약하고, 작업 효율 및 처리 속도를 향상시키며, 인공 심의에 의해 발생될 수 있는 오류를 예방하여, 인증 결과의 정확률을 향상시킨다.
일부 실시예에 있어서, 상기 제1 결정 모듈은,
상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 증명서 얼굴 정보를 결정하도록 구성된 증명서 결정 유닛; 및
상기 증명서 얼굴 정보, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 결정하도록 구성된 신원 인증 결정 유닛을 포함한다.
일부 실시예에 있어서, 상기 증명서 얼굴 정보는 상기 처리될 이미지에서 검출된 증명서에 포함된 얼굴의 개수, 상기 증명서에 포함된 얼굴의 위치 정보 중 적어도 하나를 포함한다.
일부 실시예에 있어서, 상기 증명서 결정 유닛은, 상기 얼굴 검출 결과에 포함된 얼굴이 상기 처리될 이미지에서의 위치 정보 및 상기 증명서 검출 결과에 포함된 증명서가 상기 처리될 이미지에서의 위치 정보에 따라, 상기 증명서에 포함된 얼굴의 개수 및 위치 정보 중 적어도 하나를 결정하도록 구성된다.
일부 실시예에 있어서, 상기 증명서 검출 결과는 또한 처리될 이미지에서 검출된 증명서에 포함된 얼굴의 개수, 증명서에 포함된 얼굴의 위치 정보 등 중 적어도 하나하나를 포함할 수 있다.
다른 일부 실시형태에 있어서, 제1 결정 모듈은 또한, 얼굴 검출 결과 중 얼굴의 개수, 얼굴 검출 결과에 포함된 얼굴이 처리될 이미지에서의 위치 정보 및 증명서 검출 결과에 포함된 증명서가 처리될 이미지에서의 위치 정보에 따라, 증명서에 포함된 얼굴의 개수를 결정하도록 구성된다.
일부 실시예에 있어서, 제1 결정 모듈은, 증명서 검출 결과 중 증명서의 개수가 제1 기설정된 요구를 만족하고, 얼굴 검출 결과 중 얼굴의 개수가 제2 기설정된 요구를 만족하며, 증명서 얼굴 정보에 포함된 증명서 중 얼굴의 개수가 제3 기설정된 요구를 만족하는 것에 응답하여, 처리될 이미지가 유효한 신원 인증 이미지인 것으로 결정하도록 구성된다.
여기서, 상기 증명서 검출 결과 중 증명서의 개수가 제1 기설정된 요구를 만족하고, 얼굴 검출 결과 중 얼굴의 개수가 제2 기설정된 요구를 만족하며, 증명서 중 얼굴의 개수가 제3 기설정된 요구를 만족하는 경우는, 예를 들어 증명서 검출 결과 중 증명서의 개수가 1이고, 얼굴 검출 결과 중 얼굴의 개수가 2보다 크거나 같으며, 검출된 증명서 중 얼굴의 개수가 1이다.
일부 실시예에 있어서, 인증 모듈은, 얼굴 검출 결과 및 증명서 검출 결과에 기반하여, 증명서에 포함된 제1 얼굴 및 처리될 이미지 중 증명서 밖에 위치한 제2 얼굴 사이의 유사도를 결정하고; 제1 얼굴 및 제2 얼굴 사이의 유사도에 따라, 신원 검증의 결과를 얻도록 구성된다.
본 발명의 실시예는 다른 신원 인증 장치를 제공한다. 도 6에 도시된 바와 같이, 도 5에 도시된 구조에 비해, 도 6에 도시된 구조에 있어서, 인증 모듈(54)은, 얼굴 검출 결과 및 증명서 검출 결과에 기반하여, 처리될 이미지로부터 제1 얼굴의 이미지 및 제2 얼굴의 이미지를 획득하도록 구성된 제1 획득 유닛(541); 제1 얼굴의 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻고, 제2 얼굴의 이미지에 대해 특징 추출을 수행하여, 제2 특징을 얻도록 구성된 특징 추출 유닛(543); 제1 특징과 제2 특징에 기반하여, 제1 얼굴과 제2 얼굴 사이의 유사도를 결정하도록 구성된 제1 결정 유닛(544); 및 제1 얼굴 및 제2 얼굴 사이의 유사도에 따라, 신원 검증의 결과를 얻도록 구성된 인증 유닛(545)을 포함한다.
또한, 도 6을 참조하면, 상기 각 실시예의 장치는 또한, 처리될 이미지에 포함된 얼굴의 개수가 2보다 클 경우, 얼굴 검출 결과에 포함된 얼굴이 처리될 이미지에서의 위치 정보 및 증명서 검출 결과에 포함된 증명서가 처리될 이미지에서의 위치 정보에 따라, 처리될 이미지에 포함된 적어도 두 개의 얼굴 중 증명서 밖에 위치한 최대 얼굴을 제2 얼굴로 결정하도록 구성된 제2 결정 모듈을 포함할 수 있다.
또한, 도 6을 참조하면, 상기 실시예의 장치에서, 인증 모듈은 또한 제1 얼굴 및 제2 얼굴 사이의 유사도가 기설정된 임계값보다 큰 것으로 결정한 것에 응답하여, 증명서에 대해 텍스트 인식을 수행하여, 증명서의 텍스트 정보를 얻도록 구성된 텍스트 인식 유닛(547) - 텍스트 정보는 이름 및 증명서 번호 중 적어도 하나를 포함함 - 을 포함할 수 있다. 이에 상응하게, 인증 유닛(545)은 또한 사용자 정보 데이터베이스에 기반하여 텍스트 정보를 인증하여, 신원 검증의 결과를 얻도록 구성된다.
또한, 도 6을 참조하면, 상기 실시예의 장치에서, 인증 모듈은 또한 신원 인증 결과가 신원 인증 통과된 것으로 결정한 것에 응답하여, 서비스 데이터베이스에 사용자 정보를 저장하도록 구성된 저장 처리 유닛(546)을 포함할 수 있고, 상기 사용자 정보는 예를 들어 텍스트 정보, 처리될 이미지, 제2 얼굴의 이미지, 제2 얼굴의 특징 정보 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
또한, 도 6을 참조하면, 상기 실시예의 장치에서, 인증 모듈은 검색 유닛(542)을 더 포함한다. 상기 실시예에 있어서, 제1 획득 유닛(541)은 또한, 신원 인증 청구를 수신한 것에 응답하여, 인증될 얼굴을 포함하는 이미지를 획득하도록 구성된다. 검색 유닛(542)은, 서비스 데이터베이스에 인증될 얼굴의 이미지와 매칭되는 사용자 정보가 존재하는지 여부를 검색하도록 구성된다. 제1 결정 유닛(544)은 또한, 검색된 결과에 따라, 인증될 얼굴의 인증 결과를 결정하도록 구성된다. 또한, 도 6을 참조하면, 상기 각 실시예의 장치에서, 상기 인증 모듈(54)은 또한, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 위조 방지 검출을 수행하여, 위조 방지 검출 결과를 얻고; 상기 위조 방지 검출 결과 및 상기 신원 검증 결과에 기반하여, 상기 처리될 이미지의 신원 인증 결과를 결정하도록 구성된다.
일부 실시예에 있어서, 인증 모듈(54)은 또한, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 위조 방지 검출을 수행하여, 위조 방지 검출 결과를 얻도록 구성된다.
또한, 도 6을 참조하면, 일부 실시예에 있어서, 위조 방지 검출 모듈(55)은, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 처리될 이미지로부터 얼굴 영역 이미지 및 증명서 영역 이미지를 획득하도록 구성된 제2 획득 유닛(551); 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행하도록 구성된 위조 단서 검출 유닛(552); 및 위조 단서 검출의 결과에 기반하여, 처리될 이미지의 위조 방지 검출 결과를 얻도록 구성된 제2 결정 유닛(553)을 포함한다.
여기서, 얼굴 영역 이미지에 포함된 얼굴이 얼굴 영역 이미지에서 차지하는 비례가 제4 기설정된 요구를 만족하는 것; 및 증명서 영역 이미지에 포함된 증명서가 증명서 영역 이미지에서 차지하는 비례가 제4 기설정된 요구를 만족하는 것 중 적어도 하나이다. 여기서 제4 기설정된 요구는 예를 들어 비례가 1/4보다 크거나 같고 9/10보다 작거나 같은 것일 수 있다.
일부 실시예에 있어서, 상기 제2 결정 유닛은, 상기 위조 단서 검출의 결과가 상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지에 위조 단서가 포함되지 않는 것을 나타낸 것에 응답하여, 상기 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과된 것으로 결정하는 것; 및 상기 위조 단서 검출의 결과가 상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 중 어느 하나 또는 복수 개가 위조 단서를 포함하는 것으로 나타낸 것에 응답하여, 상기 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과되지 못한 것으로 결정하는 것 중 적어도 하나를 수행하도록 구성된다.
일부 실시예에 있어서, 위조 단서 검출 유닛은, 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지 각각에 대해 특징 추출을 수행하여, 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징을 얻고; 처리될 이미지의 특징, 얼굴 영역의 특징 및 증명서 영역의 특징에 위조 단서 정보가 포함되는지 여부를 검출하도록 구성된다.
일부 실시예에 있어서, 추출된 특징은 예를 들어 국부 이진 패턴 특징, 스파스 코딩된 히스토그램 특징, 파노라마 이미지 특징, 얼굴 이미지 특징, 얼굴 세부 이미지 특징 등 중 하나 또는 임의의 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
일부 실시예에 있어서, 위조 단서 정보는 가시광 조건 하에서의 육안 관측 가능성을 구비한다.
일부 실시예에 있어서, 위조 단서 정보는 예를 들어 이미징 매체의 위조 단서 정보, 이미징 미디어의 위조 단서 정보, 실제 존재하는 위조 얼굴의 단서 정보 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
일부 실시예에 있어서, 이미징 매체의 위조 단서 정보가 이미징 매체의 에지 정보, 반사 정보 및 재질 정보 중 적어도 하나를 포함할 수 있지만 이에 한정되지 않는 것; 상기 이미징 미디어의 위조 단서 정보가 디스플레이 기기의 스크린 에지, 스크린 반사 및 스크린 모아레 패턴 중 적어도 하나를 포함할 수 있지만 이에 한정되지 않는 것; 및 상기 실제 존재하는 위조 얼굴의 단서 정보가 가면을 쓴 얼굴의 특성, 모델 타입 얼굴의 특성, 조각 타입 얼굴의 특성을 포함할 수 있지만 이에 한정되지 않는 것 중 적어도 하나이다.
일부 실시예에 있어서, 처리될 이미지의 특징, 얼굴 영역의 특징 및 증명서 영역의 특징에 위조 단서 정보가 저장되는지 여부를 검출하도록 구성된 위조 단서 검출 유닛은 또한, 처리될 이미지의 특징을 검출하여, 처리될 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하고; 얼굴 영역 이미지의 특징을 검출하여, 얼굴 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하며; 증명서 영역 이미지의 특징을 검출하여, 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하도록 구성된 것을 포함한다.
일부 실시예에 있어서, 처리될 이미지의 특징, 얼굴 영역의 특징 및 증명서 영역의 특징에 위조 단서 정보가 포함되는지 여부를 검출하도록 구성된 위조 단서 검출 유닛은 또한, 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징을 연결하여, 연결 특징을 얻고; 연결 특징에 위조 단서 정보가 포함되는지 여부를 결정하도록 구성된 것을 포함한다.
일부 실시예에 있어서, 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행하도록 구성된 위조 단서 검출 유닛은 또한, 제3 신경 네트워크를 통해 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행하도록 구성된 것을 포함한다. 또한, 본 발명의 실시예에서 전자 기기를 제공하고, 상기 전자 기기는, 컴퓨터 프로그램을 저장하도록 구성된 메모리; 및 메모리에 포함된 컴퓨터 프로그램을 실행하고, 컴퓨터 프로그램이 실행될 경우, 본 발명에 따른 어느 한 실시예의 신원 인증 방법을 구현하도록 구성된 메모리를 포함한다.
도 7은 본 발명의 실시예에서 제공한 신원 인증 방법의 흐름도이다. 도 7에 도시된 바와 같이, 상기 방법은 아래와 같은 단계를 포함한다.
단계 1020에 있어서, 단계 102에서 얻은 얼굴 검출 결과에 기반하여, 처리될 이미지로부터 얼굴 영역 이미지를 획득한다.
단계 1040에 있어서, 단계 102에서 얻은 증명서 검출 결과에 기반하여, 처리될 이미지로부터 증명서 영역 이미지를 획득한다.
단계 1060에 있어서, 상기 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지에 대해 위조 단서 검출을 수행한다.
일부 실시예에 있어서, 상기 단계 1060은, 상기 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지 각각에 대해 특징 추출을 수행하여, 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징을 얻는 단계; 및 추출된 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 검출하는 단계를 포함할 수 있다.
일부 실시예에 있어서, 상기 추출된 특징, 즉 추출된 상기 처리될 이미지의 특징, 얼굴 영역의 특징 및 증명서 영역의 특징은, 예를 들어 LBP 특징, HSC의 히스토그램 특징, LARGE 특징, SMALL 특징, 얼굴 TINY 특징 중 임의의 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
단계 1080에 있어서, 위조 단서 검출의 결과에 따라, 상기 처리될 이미지의 위조 방지 검출 결과를 결정한다.
일부 실시예에 있어서, 상기 단계 1080에서, 위조 단서 검출의 결과가 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지에 위조 단서 정보가 포함되지 않는 것을 나타낼 경우, 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과된 것으로 결정할 수 있는 것(신원 인증 성공으로 간주할 수 있음); 및 위조 단서 검출의 결과가 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지 중 어느 하나 또는 복수 개가 위조 단서 정보를 포함할 경우, 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과되지 못한 것으로 결정(신원 인증 실패로 간주할 수 있음)할 수 있는 것 중 적어도 하나이다.
일부 실시예에서의 신원 인증은 위조 방지 검출 및 신원 검증 중 적어도 하나를 포함할 수 있다. 여기서, 위조 방지 검출(도 7에 도시된 방법을 참조)은 처리될 이미지가 위조되었는지 여부를 판단하기 위한 것이고, 예를 들어 이미지 처리 기술을 통해 합성된 이미지가 위조된 이미지이므로, 위조 방지 검출 통과되지 못하고; 또 예를 들어, 합성된 이미지가 아닌 사용자 본인이 증명서를 쥐고 촬영하여 얻은 이미지이면, 위조 방지 검출을 통과할 수 있다. 신원 검증(도 1a, 도 1b, 도 2 등에 도시된 방법을 참조)은 처리될 이미지에서의 얼굴(얼굴 1로 간주할 수 있음)과 처리될 이미지 중 증명서에서의 얼굴(얼굴 2로 간주할 수 있음)이 일치성을 구비하는지 여부를 판단하기 위한 것이고, 다시 말해, 얼굴 1 및 얼굴 2가 동일한 사람에 속하는지 여부를 판단한다. 일부 실시예에 있어서, 신원 인증이 위조 방지 검출 및 신원 검증을 포함할 경우, 신원 인증 성공은 위조 방지 검출 통과 및 신원 검증 통과를 포함하며, 여기서, 위조 방지 검출 및 신원 검증은 선후 순서를 가리지않을 수 있고, 먼저 위조 방지 검출을 수행한 다음 신원 검증을 수행할 수 있으며, 먼저 신원 검증을 수행한 다음 위조 방지 검출을 수행할 수도 있다.
본 발명을 구현하는 과정에 있어서, 발명인은, 현재 얼굴 위조 방지, 증명서 위조 방지 검출 기술을 사용하여 신원 인증 인식을 수행할 경우, 통상적으로 얼굴과 증명서를 두 개의 이미지로 구분하여, 독립적인 위조 방지 검출을 수행하고, 이러한 검출 방식은, 증명서 및 사용자 본인이 동일한 시공간적 차원에 존재함을 보장할 수 없고; 독립적인 진실된 얼굴 사진 정보 및 진실된 증명서 정보를 획득하는 것이 비교적 용이하여, 사진의 출처의 신뢰성을 보장할 수 없으며; 진실된 얼굴이 위조 증명서를 갖고 위조 얼굴이 진실된 증명서를 갖는 상황이 나타날 확율이 높은 단점이 존재한다.
본 발명의 상기 실시예에서 제공한 신원 인증 방법에 기반하여, 얼굴 및 증명서를 포함한 신원 검증 이미지를 획득하고, 처리될 이미지로부터 얼굴 영역 이미지 및 증명서 영역 이미지를 획득하며; 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지에 대해 위조 단서 검출을 수행하며; 위조 단서 검출의 결과에 따라, 처리될 이미지의 위조 방지 검출 결과를 결정한다. 본 발명의 실시예는 새로운 위조 방지 검출 방안을 제공하여, 얼굴과 증명서가 하나의 이미지에 동시에 나타나도록 하고, 얼굴 및 증명서의 위조 방지 검출을 동시에 수행하며, 얼굴 및 증명서의 진실성을 동시에 인증하여, 실제 사람이 실제 증명서를 갖는 것을 보장하고, 실제 얼굴이 위조 증명서를 갖고 위조 얼굴이 실제 증명서를 갖는 등 다양한 위조 경우의 발생을 예방하여, 신원 인증의 신뢰성을 향상시킨다.
또한, 상기 실시예는 단계 1060에서 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지에 대해 각각 위조 단서 검출을 수행하기 전, 또한 처리될 이미지에 대해 각각 얼굴 검출 및 증명서 검출을 수행하여, 얼굴 검출 결과 및 증명서 검출 결과를 얻는 단계; 및 얼굴 검출 결과 및 증명서 검출 결과에 따라, 처리될 이미지가 유효한지 여부를 결정하는 단계를 포함할 수 있다. 이에 상응하게, 단계 1060에 있어서, 처리될 이미지, 얼굴 영역 및 증명서 영역에 대해 위조 단서 검출을 수행하는 단계는, 처리될 이미지가 유효한 것으로 결정한 것에 응답하여, 처리될 이미지, 얼굴 영역 및 증명서 영역에 대해 위조 단서 검출을 수행하는 단계를 포함할 수 있다.
일부 실시예에 있어서, 상기 얼굴 검출 결과는 예를 들어 처리될 이미지에 포함된 얼굴의 개수 및 각 얼굴이 처리될 이미지에서의 위치 정보 중 적어도 하나하나를 포함할 수 있지만 이에 한정되지 않는다. 증명서 검출 결과는 예를 들어 처리될 이미지에 포함된 증명서의 개수 및 각 증명서가 처리될 이미지에서의 위치 정보 중 적어도 하나를 포함할 수 있지만 이에 한정되지 않는다.
여기서, 얼굴이 처리될 이미지에서의 위치 정보는, 예를 들어 얼굴의 얼굴 검출 프레임(제1 검출 프레임으로 지칭될 수 있음)이 처리될 이미지 중 4 개의 정점의 꼭지점 좌표로 나타낼 수 있다. 상기 얼굴 검출 프레임이 처리될 이미지 중 4 개의 정점의 꼭지점 좌표에 기반하여, 얼굴 검출 프레임이 처리될 이미지에서의 위치를 결정할 수 있음으로써, 얼굴이 처리될 이미지에서의 위치를 결정한다.
또한, 얼굴이 처리될 이미지에서의 위치 정보는, 얼굴의 얼굴 검출 프레임(즉 제1 검출 프레임)이 처리될 이미지에서의 중심 포인트 좌표 및 상기 얼굴 검출 프레임의 길이 및 너비로도 나타낼 수 있다.상기 얼굴 검출 프레임이 처리될 이미지에서의 중심 포인트 좌표 및 상기 얼굴 검출 프레임의 길이 및 너비에 기반하여, 얼굴 검출 프레임이 처리될 이미지에서의 위치를 결정할 수 있음으로써, 얼굴이 처리될 이미지에서의 위치를 결정한다.
일부 실시예에 있어서, 얼굴 검출 결과 및 증명서 검출 결과에 따라, 처리될 이미지가 유효한 것인지 여부를 결정하는 것은, 처리될 이미지에 포함된 얼굴의 개수가 제1 기설정된 요구를 만족하는지 여부, 처리될 이미지에 포함된 증명서의 개수가 제2 기설정된 요구를 만족하는지 여부, 증명서 중 얼굴의 개수가 제3 기설정된 요구를 만족하는지 여부를 통해, 처리될 이미지가 유효한 것으로 결정할 수 있다. 처리될 이미지에 포함된 얼굴의 개수가 제1 기설정된 요구를 만족하고, 처리될 이미지에 포함된 증명서의 개수가 제2 기설정된 요구를 만족하며, 증명서 중 얼굴의 개수가 제3 기설정된 요구를 만족할 경우, 처리될 이미지가 유효한 것으로 결정한다.
여기서, 상기 각 실시예에 있어서, 처리될 이미지에 포함된 얼굴의 개수가 제1 기설정된 요구를 만족하는 것은, 예를 들어 처리될 이미지에 포함된 얼굴의 개수가 2보다 크거나 같은 것일 수 있고; 처리될 이미지에 포함된 증명서의 개수가 제2 기설정된 요구를 만족하는 것은, 예를 들어 처리될 이미지에 포함된 증명서의 개수가 1인 것일 수 있으며; 증명서 중 얼굴의 개수가 제3 기설정된 요구를 만족하는 것은, 예를 들어 증명서 중 얼굴의 개수가 1인 것일 수 있다.
여기서, 처리될 이미지 중 얼굴의 개수가 2보다 클 경우, 처리될 이미지 중 증명서 영역 이외에 포함된 얼굴의 개수가 1보다 큰 것을 설명하므로, 이때, 처리될 이미지에 인증된 사용자의 얼굴 외에, 주위 사용자의 얼굴이 더 포함될 수 있다.
상기 실시예에 기반하여, 처리될 이미지 중 얼굴의 개수가 2 개보다 작고, 증명서 개수가 유일하지 않거나, 얼굴 및 증명서의 위치 관계가 정화갛지 않으면(얼굴 및 증명서의 위치 관계가 정확한 표준은, 증명서 영역 내의 얼굴 개수가 유일하고, 증명서 영역 이외에 적어도 하나의 얼굴이 존재하는 것임), 상기 이미지가 불법이고, 유효한 처리될 이미지가 아니다.
본 발명의 실시예에 기반하여, 처리될 이미지에 대해 각각 얼굴 검출 및 증명서 검출을 수행하여, 얼굴 검출 결과 및 증명서 검출 결과를 얻고, 얼굴 검출 결과 및 증명서 검출 결과에 따라, 처리될 이미지가 유효한지 여부를 결정하여, 사용자 신원 인증을 위한 합격된 이미지를 빠르게 선별할 수 있어, 작업 효율을 향상시키고; 유효한 처리될 이미지에 기반하여 사용자에 대해 신원 인증을 수행하므로, 인공 심의가 필요없어, 비용을 절약하고, 작업 효율 및 처리 속도를 향상시키며, 인공 심의에 의해 발생될 수 있는 오류를 예방하여, 인증 결과의 정확률을 향상시킨다. 처리될 이미지가 유효한 것으로 결정할 경우, 상기 처리될 이미지, 얼굴 영역 및 증명서 영역에 대해 위조 단서 검출을 재차 수행한다. 이로써 위조 방지 검출의 효율을 향상시킨다.
일부 실시예에 있어서, 단계 1020은 예를 들어 단말 기기의 가시광 카메라를 통해, 비디오 시퀀스를 수집하는 단계; 및 기설정된 프레임 선택 조건에 기반하여, 상기 비디오 시퀀스로부터 처리될 이미지를 선택하는 단계를 포함할 수 있다.
일부 실시예에 있어서, 단계 1020은, 단말 기기의 가시광 카메라에 의해 수집된 얼굴 및 증명서를 포함하는 검출될 이미지 또는 검출될 비디오를 획득하고, 가시광 카메라에 의해 수집된 검출될 이미지 또는 검출될 비디오로부터 처리될 이미지를 획득할 수 있는 단계를 포함할 수 있다.
도 8은 본 발명의 실시예에서 제공한 신원 인증 방법의 다른 흐름도이고, 도 8에 도시된 바와 같이, 상기 방법은 아래와 같은 단계를 포함한다.
단계 2020에 있어서, 제1 신경 네트워크를 통해 처리될 이미지에 대해 얼굴 검출을 수행하여, 얼굴 검출 결과를 얻는다.
단계 2040에 있어서, 제2 신경 네트워크를 통해 상기 처리될 이미지에 대해 증명서 검출을 수행하여, 증명서 검출 결과를 얻는다.
단계 2060에 있어서, 얼굴 검출 결과 및 증명서 검출 결과에 따라, 처리될 이미지가 유효한지 여부를 결정한다.
처리될 이미지가 유효한 것으로 결정하면, 단계 2080을 실행한다. 그렇지 않은 경우, 처리될 이미지가 무효인 것으로 결정하면, 본 실시예의 후속 플로우를 실행하지 않거나, 무효의 처리될 이미지의 프롬프트 메시지를 출력한다.
단계 2080에 있어서, 얼굴 검출 결과에 기반하여, 처리될 이미지로부터 얼굴 영역 이미지를 획득하고, 증명서 검출 결과에 기반하여, 처리될 이미지로부터 증명서 영역 이미지를 획득한다.
실시예 형태 중 하나에 있어서, 증명서 검출 결과에 포함된 증명서의 위치 정보에 따라, 처리될 이미지로부터 증명서가 위치하는 영역의 이미지를 획득하고, 증명서가 위치하는 영역의 이미지를 증명서 영역 이미지로 결정하며; 얼굴 검출 결과에 포함된 얼굴의 위치 정보 및 증명서 검출 결과에 포함된 증명서의 위치 정보에 따라, 처리될 이미지 중 증명서 밖에 위치한 제2 얼굴을 결정하며; 얼굴 검출 결과에 포함된 제2 얼굴의 위치 정보에 기반하여, 처리될 이미지로부터 제2 얼굴이 위치한 영역의 이미지를 획득하고, 제2 얼굴이 위치한 영역의 이미지를 얼굴 영역 이미지로 결정할 수 있다.
선택 가능한 예 중 하나에 있어서, 얼굴 영역 이미지에 포함된 얼굴이 얼굴 영역 이미지에서 차지하는 비례가 제4 기설정된 요구를 만족하는 것; 및 증명서 영역 이미지에 포함된 증명서가 증명서 영역 이미지에서 차지하는 비례가 제4 기설정된 요구를 만족하는 것 중 적어도 하나의 요구에 따라 처리될 이미지로부터 얼굴 영역 이미지 및 증명서 영역 이미지를 획득할 수 있다.
단계 2100에 있어서, 상기 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지 각각에 대해 특징 추출을 수행하여, 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징을 얻는다.
단계 2120에 있어서, 추출된 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 검출한다.
일부 실시예에 있어서, 처리될 이미지의 특징을 검출하여, 처리될 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하는 단계; 얼굴 영역 이미지의 특징을 검출하여, 얼굴 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하는 단계; 및 증명서 영역 이미지의 특징을 검출하여, 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하는 단계를 통해 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 검출할 수 있다.
예시적으로, 상기 실시형태에서 특징에 위조 단서 정보가 포함되는지 여부를 검출할 경우, 각각 신경 네트워크에서의 세 개의 이진 분류기를 통해 상기 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 대응하게 검출하고, 검출 결과를 출력할 수 있다. 즉, 신경 네트워크는 세 개의 이진 분류기를 포함하고, 분류기를 통해 상기 처리될 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 판별하고, 검출 결과를 출력하며, 다른 분류기를 통해 상기 얼굴이 위치하는 영역의 특징에 위조 단서 정보가 포함되는지 여부를 판별하며, 검출 결과를 출력하며, 또 다른 분류기를 통해 상기 증명서가 위치하는 영역의 특징에 위조 단서 정보가 포함되는지 여부를 판별하며, 검출 결과를 출력한다. 이에 상응하게, 상기 세 개의 이진 분류기에 의해 출력된 검출 결과에 따라 위조 단서 검출의 결과를 결정한다. 상기 세 개의 이진 분류기에 의해 출력된 검출 결과가 모두 위조 단서 정보를 포함하지 않으면, 위조 단서 검출의 결과가 위조 단서 검출 통과된 것으로 결정하고; 그렇지 않은 경우, 상기 세 개의 이진 분류기 중 어느 하나 또는 복수 개의 이진 분류기에 의해 출력된 검출 결과가 위조 단서 정보를 포함하면, 위조 단서 검출의 결과가 위조 단서 검출 통과되지 않은 것으로 결정한다.
다른 일부 선택 가능한 실시형태에 있어서, 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징을 연결하여, 연결 특징을 얻는 단계; 및 연결 특징에 위조 단서 정보가 포함되는지 여부를 결정하는 단계를 통해 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 검출할 수 있다.
예시적으로, 상기 실시형태에서 특징에 위조 단서 정보가 포함되는지 여부를 검출할 경우, 신경 네트워크 중 하나의 이진 분류기를 통해 연결 특징에 위조 단서 정보가 포함되는지 여부를 검출하고, 검출 결과를 출력할 수 있다. 이에 상응하게, 상기 이진 분류기에 의해 출력된 검출 결과에 따라 위조 단서 검출의 결과를 결정한다. 상기 이진 분류기에 의해 출력된 검출 결과가 위조 단서 정보를 포함하지 않으면, 위조 단서 검출의 결과가 위조 단서 검출 통과된 것으로 결정하고; 그렇지 않은 경우, 상기 이진 분류기에 의해 출력된 검출 결과가 위조 단서 정보를 포함하면, 위조 단서 검출의 결과가 위조 단서 검출 통과되지 않은 것으로 결정한다.
단계 2140에 있어서, 위조 단서 검출의 결과에 따라, 상기 처리될 이미지의 위조 방지 검출 결과를 결정한다.
일부 실시예에 있어서, 신경 네트워크를 통해 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행할 수 있다. 즉, 단계 2100 내지 단계 2120은, 상기 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지를 신경 네트워크에 입력하고, 신경 네트워크를 통해 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 나타내기 위한 위조 단서 검출의 결과를 출력하는 단계를 통해 구현될 수 있고, 여기서, 상기 신경 네트워크는 위조 단서 정보가 포함되어 있는 훈련용 이미지 세트에 기반하여 사전에 훈련 완료되었다.
본 발명의 각 실시예의 신경 네트워크는 딥 신경 네트워크일 수 있고, 상기 딥 신경 네트워크는 다중 계층의 신경 네트워크를 가리키며, 예를 들어 다중 계층의 컨볼루션 신경 네트워크이다.
여기서, 상기 훈련용 이미지 세트는 훈련용 포지티브 샘플로 사용될 수 있는 얼굴 및 증명서를 포함하는 복수 개의 제1 이미지 및 훈련용 네거티브 샘플로 사용될 수 있는 복수 개의 제2 이미지를 포함할 수 있다. 선택 가능한 예에 있어서,
훈련용 포지티브 샘플로 사용될 수 있는 복수 개의 제1 이미지를 획득하는 단계; 및
제1 이미지의 적어도 일부, 제1 이미지 중 얼굴이 위치하는 영역의 적어도 일부 및 제1 이미지 중 증명서가 위치하는 영역의 적어도 일부 중 적어도 하나에 대해 위조 단서 정보를 시뮬레이션하기 위한 이미지 처리를 수행하여, 훈련용 네거티브 샘플로 사용될 수 있는 적어도 하나의 제2 이미지를 생성하는 단계를 통해 위조 단서 정보가 포함되어 있는 훈련용 이미지 세트를 획득할 수 있다..
본 발명의 상기 실시예에 기반하여, 딥 신경 네트워크의 강대한 설명 능력을 통해 모델을 구축하고, 대규모의 훈련용 이미지 세트 데이터를 통해 훈련하여, 육안으로 관찰할 수 있는 복수 개의 차원의 얼굴 및 증명서의 진실과 위조 사이의 차이를 학습하며, 얼굴이 생체인지 여부를 판단하며, 얼굴 부분이 사진 타입의 위조 공격이면, 사진 반사 또는 사진 에지 특징을 통해 위조 얼굴인 것으로 판단할 수 있고; 이와 동시에 정상적인 증명서와 위조 증명서 간의 차이를 학습하고, 예를 들어 리메이크된 증명서를 쥐거나, 증명서 복사 파일을 판별하는 것 등이며, 동시에 또한 증명서 사진이 보정되는 경우를 예방할 수 있어, 딥 러닝 프레임워크를 이용하여 증명서가 위조되는 것을 방지하는 문제를 해결하며; 또한, 신경 네트워크의 학습 능력을 강하고, 실시간으로 보충 훈련을 수행하여 성능을 향상시킬 수 있고, 확장 가능성이 크며, 실제 필요의 변화에 따라 빠르게 업데이트할 수 있으며, 새롭게 발생되는 위조 상황에 대응하여 위조 방지 검출을 빠르게 수행하여, 검출 결과의 정확률을 효과적으로 향상시킬 수 있음으로써, 위조 방지 검출 결과의 정확성을 향상시킨다.
본 발명의 실시예의 일부 실시형태에 있어서, 상기 신경 네트워크는 단말 기기에 위치하는 제3 신경 네트워크를 포함하고, 즉, 단말 기기에 위치하는 제3 신경 네트워크에 의해 상기 각 실시예에서 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지에 대해 위조 단서 검출을 수행하는 단계가 실행된다. 이에 상응하게, 상기 실시형태에 있어서, 단말 기기는 제3 신경 네트워크에 의해 출력된 위조 단서 검출의 결과에 따라 처리될 이미지의 위조 방지 검출 결과를 결정할 수 있다. 예시적으로, 본 발명의 각 실시예에서 추출된 각 특징에 포함된 위조 단서 정보는, 제3 신경 네트워크를 미리 훈련하는 것을 통해, 제3 신경 네트워크에 의해 학습될 수 있고, 다음 이러한 위조 단서 정보를 포함하는 임의의 이미지를 제3 신경 네트워크에 입력하면 검출되므로, 위조 이미지인 것으로 판단할 수 있고, 그렇지 않은 경우 진실된 이미지이다.
또한, 본 발명의 실시예의 다른 일부 실시형태에 있어서, 단계 1020 또는 단계 2020에서, 서버가 단말 기기에 의해 송신된 처리될 이미지를 수신하는 단계를 포함할 수 있다.
이에 상응하게, 상기 다른 일부 실시형태에 있어서, 상기 신경 네트워크는 서버에 위치하는 제4 신경 네트워크를 포함하고, 즉, 서버에 위치하는 제4 신경 네트워크에 의해 상기 각 실시예에서 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지에 대해 위조 단서 검출을 수행하는 단계가 실행된다. 예시적으로, 본 발명의 각 실시예에서 추출된 각 특징에 포함된 위조 단서는, 제4 신경 네트워크를 미리 훈련하는 것을 통해, 제4 신경 네트워크에 의해 학습될 수 있고, 다음 이러한 위조 단서 정보를 포함하는 임의의 이미지를 제4 신경 네트워크에 입력하면 검출되므로, 위조 이미지인 것으로 판단할 수 있고, 그렇지 않은 경우 진실된 이미지이다.
상기 다른 일부 실시형태에 기반한 일부 선택 가능한 예에 있어서, 단계 1080은, 서버가 제4 신경 네트워크에 의해 출력된 위조 단서 검출의 결과에 따라 처리될 이미지의 위조 방지 검출 결과를 결정하고, 단말 기기에 처리될 이미지의 위조 방지 검출 결과를 반환할 수 있는 단계; 또는 서버가 제4 신경 네트워크에 의해 출력된 위조 단서 검출의 결과를 단말 기기에 반환하고, 단말 기기가 제4 신경 네트워크에 의해 출력된 위조 단서 검출의 결과에 따라 처리될 이미지의 위조 방지 검출 결과를 결정할 수도 있는 단계를 포함할 수 있다.
또는, 상기 다른 일부 실시형태에 기반한 일부 선택 가능한 예에 있어서, 상기 신경 네트워크는 또한, 단말 기기에 위치한 제3 신경 네트워크를 포함할 수 있고, 여기서, 상기 제3 신경 네트워크의 크기는 제4 신경 네트워크의 크기보다 작으며, 예를 들어, 제3 신경 네트워크가 네트워크 계층 및 파라미터 중 적어도 하나에서의 개수가 제4 신경 네트워크보다 작은 것일 수 있다. 도 9에 도시된 바와 같이, 이는 본 발명의 또 하나의 실시예의 신원 인증 방법의 흐름도이다. 상기 실시예에서 신경 네트워크가 단말 기기에 위치한 제3 신경 네트워크 및 서버에 위치한 제4 신경 네트워크를 포함하는 것으로 예를 들어 설명하고, 상기 방법은 아래와 같은 단계를 포함한다.
단계 3020에 있어서, 제1 신경 네트워크를 통해 처리될 이미지에 대해 얼굴 검출을 수행하여, 얼굴 검출 결과를 얻고; 제2 신경 네트워크를 통해 상기 처리될 이미지에 대해 증명서 검출을 수행하여, 증명서 검출 결과를 얻는다.
단계 3040에 있어서, 얼굴 검출 결과에 기반하여, 처리될 이미지로부터 얼굴 영역 이미지를 획득하고, 증명서 검출 결과에 기반하여, 처리될 이미지로부터 증명서 영역 이미지를 획득한다.
단계 3060에 있어서, 상기 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지를 단말 기기에서의 제3 신경 네트워크에 입력하고, 상기 제3 신경 네트워크를 통해 상기 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 나타내기 위한 위조 단서 검출의 결과를 출력한다.
일부 실시예에 있어서, 제3 신경 네트워크는 본 발명의 상기 각 실시형태의 단계를 사용하여, 상기 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징을 추출하고, 추출된 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 검출하여, 위조 단서 검출의 결과를 얻을 수 있다.
제3 신경 네트워크에 의해 출력된 검출 결과에 따라, 상기 추출된 특징에 위조 단서 정보가 포함되지 않으면, 단계 3080을 실행한다. 그렇지 않은 경우, 상기 추출된 어느 하나의 특징에 위조 단서 정보가 포함되면, 단계 3120을 실행한다.
단계 3080에 있어서, 단말 기기는 상기 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지를 서버에 송신한다.
단계 3100에 있어서, 서버는 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지를 상기 서버에서의 제4 신경 네트워크에 입력하고, 제4 신경 네트워크를 통해 상기 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 나타내기 위한 위조 단서 검출의 결과를 출력한다.
일부 실시예에 있어서, 제4 신경 네트워크는 본 발명의 상기 각 실시형태의 단계를 사용하여, 상기 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징을 추출하고, 추출된 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 검출하여, 위조 단서 검출의 결과를 얻을 수 있다.
단계 3120에 있어서, 제3 신경 네트워크 및 제4 신경 네트워크에 의해 출력된 위조 단서 검출의 결과에 따라, 처리될 이미지의 위조 방지 검출 결과를 결정한다.
제3 신경 네트워크 및 제4 신경 네트워크에 의해 출력된 위조 단서 검출의 결과에 따라, 추출된 특징에 위조 단서 정보가 포함되지 않으면, 처리될 이미지가 위조 방지 검출 통과된 것으로 결정한다. 제3 신경 네트워크 및 제4 신경 네트워크 중 적어도 하나에 의해 출력된 위조 단서 검출의 결과에 따라, 추출된 특징에 위조 단서 정보가 포함되면, 처리될 이미지가 위조 방지 검출 통과되지 못한 것으로 결정한다.
일부 실시예에 있어서, 제3 신경 네트워크에 의해 출력된 위조 단서 검출의 결과에 따라, 추출된 특징에 위조 단서 정보가 포함되면, 처리될 이미지가 신원 정보의 위조 방지 검출 통과되지 못한 것으로 결정한다. 제3 신경 네트워크에 의해 출력된 위조 단서 검출의 결과에 따라, 추출된 특징에 위조 단서 정보가 포함되지 않고, 제4 신경 네트워크에 의해 출력된 위조 단서 검출의 결과에 따라, 추출된 특징에 위조 단서 정보가 포함되지 않으면, 처리될 이미지가 위조 방지 검출 통과된 것으로 결정한다. 제3 신경 네트워크에 의해 출력된 위조 단서 검출의 결과에 따라, 추출된 특징에 위조 단서 정보가 포함되지 않지만, 제4 신경 네트워크에 의해 출력된 위조 단서 검출의 결과에 따라, 추출된 특징에 위조 단서 정보가 포함되면, 처리될 이미지가 위조 방지 검출 통과되지 못한 것으로 결정한다.
일부 실시예에 있어서, 단계 3100, 제4 신경 네트워크에 의해 위조 단서 검출의 결과가 출력된 후, 서버는 제4 신경 네트워크에 의해 출력된 위조 단서 검출의 결과를 단말 기기에 반환할 수 있고; 단말 기기에 의해 상기 단계 3120이 실행되고, 즉, 단말 기기는 제4 신경 네트워크에 의해 출력된 위조 단서 검출의 결과에 따라 처리될 이미지가 위조 방지 검출 통과된 위조 방지 검출 결과인지 여부를 결정한다.
다른 일부 실시형태에 있어서, 단계 3100을 통해, 제4 신경 네트워크에 의해 검출 결과가 출력된 후, 서버는 제4 신경 네트워크에 의해 출력된 위조 단서 검출의 결과에 따라, 처리될 이미지가 위조 방지 검출 통과된 위조 방지 검출 결과인지 여부를 결정하고, 단말 기기에 상기 처리될 이미지가 위조 방지 검출 결과 통과된 것인지 여부를 송신할 수 있다.
단계 3060을 통해, 제3 신경 네트워크에 의해 출력된 위조 단서 검출의 결과에 따라, 추출된 특징에 위조 단서 정보가 포함되지 않을 경우, 단말 기기는 상기 처리될 이미지를 서버에 송신하여, 제4 신경 네트워크에 의해 단계 3100이 실행되므로, 상기 실시형태에 있어서, 직접 제4 신경 네트워크에 의해 출력된 위조 단서 검출의 결과에 따라 처리될 이미지가 위조 방지 검출 통과된 것인지 여부를 결정할 수 있다. 제4 신경 네트워크에 의해 출력된 위조 단서 검출의 결과에 따라, 추출된 특징에도 위조 단서 정보가 포함되지 않으면, 처리될 이미지가 위조 방지 검출 통과된 것으로 결정하고; 제4 신경 네트워크에 의해 출력된 위조 단서 검출의 결과에 따라, 추출된 특징에 위조 단서 정보가 포함되면, 처리될 이미지가 위조 방지 검출 통과되지 못한 것으로 결정한다.
단말 기기의 하드웨어 성능이 일반적으로 한정적이고, 더욱 많은 특징 추출 및 검출을 수행하는 신경 네트워크는 더욱 많은 계산과 저장 자원이 필요하지만, 단말 기기의 계산, 저장 자원이 클라우드 서버에 비해 한정적이므로, 단말 기기측 신경 네트워크가 차지하는 계산 및 저장 자원을 절약하고, 유효한 얼굴 위조 방지 검출을 보장하기 위해, 본 발명의 실시예에서, 단말 기기에 비교적 작은(네트워크가 얕은 것 및 네트워크 파라미터가 비교적 적은 것 중 적어도 하나) 제3 신경 네트워크를 설정하고, 비교적 적은 특징을 융합하며, 예를 들어 처리될 이미지로부터 LBP 특징과 얼굴 SMALL 특징을 추출하여, 상응하는 위조 단서 정보의 검출을 수행하고, 하드웨어 성능이 비교적 좋은 클라우드 서버에 비교적 큰(네트워크가 비교적 깊은 것 및 네트워크 파라미터가 비교적 많은 것 중 적어도 하나) 제4 신경 네트워크를 설정하며, 전면적인 위조 방지 단서 특징을 융합하여, 상기 제4 신경 네트워크가 더욱 강대하게 하고, 검출 성능이 더욱 좋아지도록 하며, 처리될 이미지로부터 LBP 특징과 얼굴 SMALL 특징을 추출하는 것 외에, 또한 HSC 특징, LARGE 특징, TINY 특징 등 위조 단서 정보를 포함할 수 있는 다른 특징을 추출할 수 있고, 제3 신경 네트워크가 위조 단서 정보가 포함되지 않은 검출 결과를 출력할 경우, 또 제4 신경 네트워크를 통해 더욱 정밀하고, 전면적인 위조 방지 검출을 수행하여, 검출 결과의 정확성을 향상시키며; 제3 신경 네트워크가 위조 단서 정보가 포함된 검출 결과를 출력할 경우, 제4 신경 네트워크를 통해 위조 방지 검출을 수행할 필요없이, 위조 방지 검출의 효율을 향상시킨다.
본 발명의 실시예에 있어서, 처리될 이미지에 위조 단서(즉 위조 단서 정보)가 구비되어 있는지 여부를 검출하는데 초점을 맞추고, 비인터랙션에 가까운 방식을 사용하여 활성을 인증할 수 있으며, 이는 사일런트 생체 검출로 지칭된다. 사일런트 생체 검출의 전체 과정은 인터랙션이 없으므로, 생체 검출 플로우를 크게 간략화하고, 피검출자는 신경 네트워크가 위치한 기기의 비디오 또는 이미지 수집 기기(예를 들어 가시광 카메라)에 대해, 빛 및 위치를 조정하면 되며, 전체 과정에서 임의의 동작 타입의 인터랙션이 필요없다. 본 발명의 실시예에서의 신경 네트워크는 훈련하는 방법을 학습하는 것을 통해, 육안이 복수 개의 차원에서 "관찰"할 수 있는 위조 단서 정보를 사전에 학습할 수 있고, 따라서 후속 응용에 있어서, 얼굴 이미지이 실제 생체로부터 온 것인지 여부를 판단한다. 처리될 이미지에 임의의 위조 단서 정보가 포함되면, 이러한 단서가 신경 네트워크에 의해 캡처링될 수 있으므로, 사용자에게 얼굴 이미지가 위조 얼굴 이미지인 것으로 프롬프트한다. 예를 들어, 비디오 리메이크 타입의 위조 얼굴 이미지는, 이미지에서의 스크린 반사 또는 스크린 에지의 특징을 판단하는 것을 통해, 얼굴이 비생체인 것으로 판단할 수 있다.
본 발명의 또 하나의 실시예의 신원 인증 방법에서, 또한 처리될 이미지의 위조 방지 검출 결과에 따라, 상기 처리될 이미지의 신원 인증 결과를 결정하는 단계를 포함할 수 있다.
하나의 예 중 하나에 있어서, 처리될 이미지가 위조 방지 검출 통과된 경우에, 상기 처리될 이미지에 대해 신원 검증을 수행하고; 신원 검증의 결과에 기반하여, 상기 처리될 이미지의 신원 인증 결과를 결정할 수 있다.
상기 각 실시예의 일부 실시형태에 있어서, 얼굴 검출 결과 및 증명서 검출 결과에 따라 사용자 신원 인증을 수행하기 전, 아래와 같은 방식을 통해 상기 제2 얼굴을 획득할 수 있다.
처리될 이미지에 포함된 얼굴의 개수가 2보다 클 경우, 얼굴 검출 결과에 포함된 얼굴이 처리될 이미지에서의 위치 정보 및 증명서 검출 결과에 포함된 증명서가 처리될 이미지에서의 위치 정보에 따라, 처리될 이미지에 포함된 적어도 두 개의 얼굴 중 증명서 밖에 위치한 최대 얼굴을 상기 제2 얼굴로 결정한다.
처리될 이미지에 포함된 얼굴의 개수가 2일 경우, 직접 처리될 이미지에 포함된 두 개의 얼굴 중 증명서 밖에 위치한 얼굴을 상기 제2 얼굴로 결정한다.
처리될 이미지에 포함된 얼굴의 개수가 2보다 클 경우, 처리될 이미지에 인증된 사용자의 얼굴 외에, 주위의 사용자의 얼굴이 더 포함될 수 있다. 인증된 사용자가 이미지 수집 기기와의 거리가 가까우므로, 얼굴이 가장 크고, 주위의 다른 사용자가 이미지 수집 기기와의 거리가 가장 멀며, 얼굴이 인증된 사용자에 비해 얼굴이 비교적 작은 것으로 간주할 수 있고, 본 발명의 실시예는 신경 네트워크를 이용하여 증명서 중 얼굴의 이미지 및 상기 증명서 이외의 최대 얼굴의 이미지에 대해 특징 추출 및 유사도 비교를 수행하여, 두 얼굴이 동일한 사용자인지 여부를 효과적으로 인식할 수 있음으로써, 이 두 얼굴이 동일한 사람의 얼굴인지 여부를 빠르고 정확하게 판단하며, 응답 시간이 짧고, 정확률이 높으므로, 작업 효율 및 사용자 체험을 효과적으로 향상시킬 수 있고, 육안 인식 오류를 예방한다.
일부 선택 가능한 예에 있어서, 처리될 이미지에 대해 신원 인증을 수행하는 단계는, 처리될 이미지의 얼굴 검출 결과 및 처리될 이미지의 증명서 검출 결과에 기반하여, 증명서에 포함된 제1 얼굴 및 처리될 이미지 중 증명서 밖에 위치한 제2 얼굴 사이의 유사도를 결정하는 단계; 및 상기 제1 얼굴 및 제2 얼굴 사이의 유사도에 따라, 신원 검증의 결과를 얻는 단계를 포함할 수 있다.
예를 들어, 처리될 이미지로부터 제1 얼굴의 이미지 및 제2 얼굴의 이미지를 획득하고; 제1 얼굴에 대해 특징 추출을 수행하여, 제1 특징을 얻으며; 제2 얼굴에 대해 특징 추출을 수행하여, 제2 특징을 얻으며; 상기 제1 특징과 제2 특징에 기반하여, 상기 제1 얼굴과 상기 제2 얼굴 사이의 유사도를 결정할 수 있다.
선택 가능한 예 중 하나에 있어서, 제3 신경 네트워크를 통해, 제1 얼굴에 대해 특징 추출을 수행하여, 제1 특징을 얻고; 제2 얼굴에 대해 특징 추출을 수행하여, 제2 특징을 얻으며; 상기 제1 특징과 제2 특징에 기반하여, 제1 특징과 제2 특징 사이의 유사도를 결정하며; 제1 특징과 제2 특징 사이의 유사도가 기설정된 임계값보다 큰지 여부에 따라, 처리될 이미지가 신원 검증 통과된 것인지 여부를 결정할 수 있음으로써, 신원 검증의 결과를 얻는다.
여기서 기설정된 임계값은 실제 필요, 예를 들어 현재 업무가 사용자 신원 인증에 대한 엄중성, 제3 신경 네트워크의 성능, 처리될 이미지 수집 환경 등에 따라, 설정될 수 있고, 실제 필요의 변화에 따라 조정될 수 있다.
본 실시예는 제3 신경 네트워크를 통해 제1 얼굴 및 제2 얼굴에 대해 특징 추출을 수행하고 추출된 제1 특징과 제2 특징 사이의 유사도를 비교할 경우, 제3 신경 네트워크를 사전에 훈련시킬 수 있어, 훈련된 제3 신경 네트워크가 증명서에서의 제1 얼굴 및 상기 증명서 이외의 제2 얼굴에 대해 특징 추출을 효과적으로 수행하고, 유사도 비교를 정확하게 수행하도록 함으로써, 증명서에서의 제1 얼굴 및 상기 증명서 이외의 제2 얼굴이 동일한 사람의 얼굴인지 여부를 정확하게 인식할 수 있다.
본 실시예는 증명서에서의 제1 얼굴 및 상기 증명서 이외의 최대 얼굴에 대해 특징 추출 및 비교를 수행할 수 있음으로써, 두 얼굴이 동일한 사람의 얼굴인지 여부를 빠르고 정확하게 판단하며, 응답 시간이 짧고, 정확률이 높으므로, 작업 효율 및 사용자 체험을 효과적으로 향상시킬 수 있고, 육안 인식 오류를 예방한다.
상기 실시예에 있어서, 얼굴 검출 결과가 처리될 이미지에 포함된 얼굴의 개수 및 얼굴이 처리될 이미지에서의 위치 정보 중 적어도 하나를 포함하는 것; 및 증명서 검출 결과가 처리될 이미지에 포함된 증명서의 개수 및 증명서가 처리될 이미지에서의 위치 정보 중 적어도 하나를 포함하는 것 중 적어도 하나이다. 이에 상응하게, 상기 실시예의 일부 실시형태에 있어서, 처리될 이미지에 대해 신원 인증을 수행하기 전, 아래와 같은 방식을 통해 상기 제2 얼굴을 획득할 수 있다.
처리될 이미지에 포함된 얼굴의 개수가 2보다 클 경우, 얼굴 검출 결과에 포함된 얼굴이 처리될 이미지에서의 위치 정보 및 증명서 검출 결과에 포함된 증명서가 처리될 이미지에서의 위치 정보에 따라, 처리될 이미지에 포함된 적어도 두 개의 얼굴 중 증명서 밖에 위치한 최대 얼굴을 상기 제2 얼굴로 결정한다.
처리될 이미지에 포함된 얼굴의 개수가 2일 경우, 직접 처리될 이미지에 포함된 두 개의 얼굴 중 증명서 밖에 위치한 얼굴을 상기 제2 얼굴로 결정한다.
처리될 이미지에 포함된 얼굴의 개수가 2보다 클 경우, 처리될 이미지에 인증된 사용자의 얼굴 외에, 주위의 사용자의 얼굴이 더 포함될 수 있다. 인증된 사용자가 이미지 수집 기기와의 거리가 가까우므로, 얼굴이 가장 크고, 주위의 다른 사용자가 이미지 수집 기기와의 거리가 가장 멀며, 얼굴이 인증된 사용자에 비해 얼굴이 비교적 작은 것으로 간주할 수 있고, 본 발명의 실시예는 신경 네트워크를 이용하여 증명서 중 얼굴의 이미지 및 상기 증명서 이외의 최대 얼굴의 이미지에 대해 특징 추출 및 유사도 비교를 수행하여, 두 얼굴이 동일한 사용자인지 여부를 효과적으로 인식할 수 있음으로써, 이 두 얼굴이 동일한 사람의 얼굴인지 여부를 빠르고 정확하게 판단하며, 응답 시간이 짧고, 정확률이 높으므로, 작업 효율 및 사용자 체험을 효과적으로 향상시킬 수 있고, 육안 인식 오류를 예방한다.
일부 실시예에 있어서, 상기 실시예에서, 처리될 이미지에 대해 신원 인증을 수행하는 단계는 또한, 상기 제1 얼굴 및 제2 얼굴 사이의 유사도가 기설정된 임계값보다 큰 것으로 결정한 것에 응답하여, 문자 인식(OCR) 알고리즘을 이용하여, 증명서에 대해 텍스트 인식을 수행하여, 상기 증명서의 텍스트 정보를 얻는 단계 - 상기 텍스트 정보는 예를 들어 이름, 증명서 번호, 주소, 유효 기간 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않음 - ; 및 사용자 정보 데이터베이스에 기반하여 상기 텍스트 정보를 인증하여, 신원 검증의 결과를 얻는 단계를 포함할 수 있다.
여기서, 사용자 정보 데이터베이스는 예를 들어 공안부 또는 다른 권한 있는 인증 기구에서 제공한 사용자 정보 데이터베이스일 수 있고, 사용자 정보가 저장되어 있어, 사용자 정보 소스의 권한 및 사용자 정보의 정확성을 확보한다. 상기 증명서의 텍스트 정보와 사용자 정보 데이터베이스에 저장된 사용자 정보가 일치하면, 신원 검증의 결과는 신원 인증 통과된 것이고; 그렇지 않은 경우, 상기 증명서의 텍스트 정보와 사용자 정보 데이터베이스에 저장된 사용자 정보가 불일치하면, 신원 검증의 결과는 신원 인증 통과되지 않은 것이다.
본 실시예에 있어서, OCR 알고리즘을 이용하여 증명서에 대해 텍스트 인식을 수행하여, 증명서에서의 텍스트 정보를 빠르게 판독할 수 있고, 사용자 정보 데이터베이스에 기반하여 상기 텍스트 정보를 인증하여, 신원 인증의 결과를 빠르게 얻고, 신원 인증의 효율을 향상시킬 수 있다.
상기 실시예에 기반하여, 다양한 응용에 있어서, 본 발명의 실시예에 기반하여 위조 방지 검출 및 사용자 신원 검증을 수행할 수 있고, 위조 방지 검출 및 사용자 신원 검증이 통과된 후에만, 상기 청구된 서비스를 사용할 수 있음으로써, 서비스 사용의 안전성을 향상시킨다. 본 발명의 실시예는 실명 인증이 필요한 임의의 서비스에 적용될 수 있고, 예를 들어, 결제 서비스, 애플리케이션의(Application, APP) 사용 서비스, 출입 통제 서비스이다.
본 발명의 실시예는 사용자가 증명서를 쥐고(예를 들어신분증) 신원 인증해야 하는 임의의 시나리오에 적용될 수 있고, 예를 들어 아래와 같은 시나리오와 같다.
시나리오 1에 있어서, 사용자가 핸드헬드 증명서 검출을 통해 신원 인증을 수행할 경우, 핸드폰 단말에서 본 발명의 실시예를 구현하기 위한 애플리케이션(APP)을 열고, 핸드폰 단말에서의 카메라를 향하여, 얼굴 및 증명서가 화면에 동시에 나타나도록 보장하고, 몇 초동안 유지하여, 핸드헬드 증명서의 위조 방지 검출을 완료하고 통과한다.
시나리오 2에 있어서, 사용자가 사전에 준비된 위조 얼굴 핸드헬드 증명서 비디오 등을 사용하여 신원 인증을 수행하고, 비디오를 디스플레이 스크린에 투영하며, 핸드폰 단말에서의 카메라를 향하면, 지정된 시간 내에서 얼굴 핸드헬드 증명서의 위조 방지 검출 통과하지 못하면, 위조 방지 검출 통과되지 못한다.
본 발명의 실시예에서 제공한 어느 한 신원 인증 방법은 데이터 처리 능력을 갖는 임의의 적절한 기기에 의해 실행되고, 단말 기기 및 서버 등을 포함하지만 이에 한정되지 않는다. 또는, 본 발명의 실시예에서 제공한 어느 하나의 신원 인증 방법은 프로세서에 의해 실행될 수 있고, 예를 들어 프로세서가 메모리에 저장된 상응하는 명령어를 호출하여 본 발명의 실시예에서 언급한 어느 하나의 신원 인증 방법을 실행한다. 아래에 더이상 반복하여 설명하지 않는다.
본 기술분야의 통상의 기술자는 상기 방법의 실시예를 구현하기 위한 전부 또는 일부 단계가 프로그램 명령어에 관련된 하드웨어를 통해 완료되며, 전술한 프로그램이 컴퓨터 판독 가능한 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 경우, 상기 방법의 실시예를 포함하는 단계를 실행하며; 전술한 저장 매체는 판독 전용 메모리(Read Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함하는 것을 이해할 수 있을 것이다.
도 10은 본 발명의 실시예에서 제공한 신원 인증 장치의 구조 예시도이다. 상기 실시예의 장치는 본 발명의 상기 각 신원 인증 방법의 실시예를 구현하도록 구성될 수 있다. 도 10에 도시된 바와 같이, 상기 실시예의 장치는 제1 검출 모듈(4010), 제2 검출 모듈(4020), 제1 획득 모듈(4030), 제3 검출 모듈(4040) 및 제3 결정 모듈(4050)을 포함한다. 여기서,
제1 검출 모듈(4010)은, 제1 신경 네트워크를 통해 처리될 이미지에 대해 얼굴 검출을 수행하여, 얼굴 검출 결과를 얻도록 구성되고,
제2 검출 모듈(4020)은, 제2 신경 네트워크를 통해 상기 처리될 이미지에 대해 증명서 검출을 수행하여, 증명서 검출 결과를 얻도록 구성되며,
일부 실시예에 있어서, 얼굴 검출 결과가 예를 들어 처리될 이미지에 포함된 얼굴의 개수 및 얼굴이 처리될 이미지에서의 위치 정보 중 적어도 하나를 포함할 수 있지만 이에 한정되지 않는 것; 및 증명서 검출 결과가 예를 들어 처리될 이미지에 포함된 증명서의 개수 및 증명서가 처리될 이미지에서의 위치 정보 중 적어도 하나를 포함할 수 있지만 이에 한정되지 않는 것 중 적어도 하나이다.
제1 획득 모듈(4030)은, 얼굴 검출 결과에 기반하여, 처리될 이미지로부터 얼굴 영역 이미지를 획득하고, 증명서 검출 결과에 기반하여, 처리될 이미지로부터 증명서 영역 이미지를 획득하도록 구성된다.
제3 검출 모듈(4040)은, 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지에 대해 위조 단서 검출을 수행하도록 구성된다 .
제3 결정 모듈(4050)은, 위조 단서 검출의 결과에 따라, 처리될 이미지의 위조 방지 검출 결과를 결정하도록 구성된다.
본 발명의 상기 실시예에서 제공한 장치에 기반하여, 얼굴 및 증명서를 포함한 신원 검증 이미지를 획득하고, 처리될 이미지로부터 얼굴 영역 이미지 및 증명서 영역 이미지를 획득하며; 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지에 대해 위조 단서 검출을 수행하며; 위조 단서 검출의 결과에 따라, 처리될 이미지의 위조 방지 검출 결과를 결정한다. 본 발명의 실시예는 새로운 처리될 이미지의 위조 방지 검출 방안을 제공하여, 얼굴과 증명서가 하나의 이미지에 동시에 나타나도록 하고, 얼굴 및 증명서의 위조 방지 검출을 동시에 수행하며, 얼굴 및 증명서의 진실성을 동시에 인증하여, 실제 사람이 실제 증명서를 갖는 것을 보장하고, 실제 얼굴이 위조 증명서를 갖고 위조 얼굴이 실제 증명서를 갖는 등 다양한 위조 경우의 발생을 예방하여, 신원 인증의 신뢰성을 향상시킨다.
도 11은 본 발명의 실시예에서 제공한 신원 인증 장치의 다른 구조 예시도이고, 도 11에 도시된 바와 같이, 도 10에 도시된 실시예에 비해, 상기 실시예의 장치는 또한 제1 결정 모듈(4060)을 포함할 수 있다. 여기서,
제1 결정 모듈(4060)은, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라, 상기 처리될 이미지가 유효한지 여부를 결정하기 위한 것이고; 제3 검출 모듈(4040)은, 처리될 이미지가 유효한 것으로 결정한 것에 응답하여, 처리될 이미지, 얼굴 영역 및 증명서 영역에 대해 위조 단서 검출을 수행하도록 구성될 수 있다.
일부 실시예에 있어서, 상기 장치는 또한 비디오 시퀀스를 수집하고; 기설정된 프레임 선택 조건에 기반하여, 비디오 시퀀스로부터 처리될 이미지를 선택하도록 구성될 수 있는 제2 획득 모듈을 포함할 수 있다.
여기서 기설정된 프레임 선택 조건은, 예를 들어 얼굴 및 증명서가 이미지의 중심 영역에 위치하는지 여부, 얼굴의 에지가 이미지에 완전히 포함되는지 여부, 증명서의 에지가 이미지에 완전히 포함되는지 여부, 얼굴이 이미지에서 차지하는 비례, 증명서가 이미지에서 차지하는 비례, 얼굴 각도, 이미지 해상도, 이미지 노광도 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
또한, 상기 실시예의 장치에서, 또한 처리될 이미지에 대해 사전 처리를 수행하여, 사전 처리된 처리될 이미지를 얻도록 구성된 사전 처리 모듈을 포함할 수 있다. 이에 상응하게, 제1 검출 모듈(4010)은, 제1 신경 네트워크를 통해 사전 처리된 처리될 이미지에 대해 얼굴 검출을 수행하여, 얼굴 검출 결과를 얻도록 구성되고, 제2 검출 모듈(4020)은, 제2 신경 네트워크를 통해 상기 사전 처리된 처리될 이미지에 대해 증명서 검출을 수행하여, 증명서 검출 결과를 얻도록 구성된다. 제1 획득 모듈(4030)은 얼굴 검출 결과에 기반하여, 사전 처리된 처리될 이미지로부터 얼굴 영역 이미지를 획득하고, 증명서 검출 결과에 기반하여, 사전 처리된 처리될 이미지로부터 증명서 영역 이미지를 획득하도록 구성될 수 있다. 여기서 사전 처리는 예를 들어 사이즈 조정, 이미지 크롭, 정규화, 밝기 조정 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
일부 실시예에 있어서, 제1 획득 모듈(4030)은, 얼굴 검출 결과에 포함된 얼굴의 위치 정보 및 증명서 검출 결과에 포함된 증명서의 위치 정보에 따라, 처리될 이미지 중 증명서 밖에 위치한 제2 얼굴을 결정하도록 구성된 제3 결정 유닛; 및 얼굴 검출 결과에 포함된 제2 얼굴의 위치 정보에 기반하여, 처리될 이미지로부터 제2 얼굴이 위치한 영역의 이미지를 획득하고, 제2 얼굴이 위치한 영역의 이미지를 얼굴 영역 이미지로 결정하도록 구성된 획득 유닛을 포함할 수 있다.
또한, 선택적으로, 제1 획득 모듈(4030)은 또한 증명서 검출 결과에 포함된 증명서의 위치 정보에 따라, 처리될 이미지로부터 증명서가 위치하는 영역의 이미지를 획득하고, 증명서가 위치하는 영역의 이미지를 증명서 영역 이미지로 결정하도록 구성된 제4 결정 유닛을 포함할 수 있다.
일부 실시예에 있어서, 얼굴 영역 이미지에 포함된 얼굴이 얼굴 영역 이미지에서 차지하는 비례가 제4 기설정된 요구에 만족하는 것; 및 증명서 영역 이미지에 포함된 증명서가 증명서 영역 이미지에서 차지하는 비례가 제4 기설정된 요구에 만족하는 것 중 적어도 하나이다. 여기서 제4 기설정된 요구는 예를 들어 비례가 1/4보다 크거나 같고 또는 9/10보다 작거나 같은 것을 포함할 수 있다.
일부 실시예에 있어서, 제3 검출 모듈(4040)은, 처리될 이미지의 특징, 얼굴 영역 이미지 및 증명서 영역 이미지 각각에 대해 특징 추출을 수행하여, 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징을 얻도록 구성된 위조 방지 특징 추출 유닛; 및 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 검출하도록 구성된 검출 유닛을 포함할 수 있다. 일부 실시예에 있어서, 추출된 특징은 예를 들어 국부 이진 패턴 특징, 스파스 코딩된 히스토그램 특징, 파노라마 이미지 특징, 얼굴 이미지 특징, 얼굴 세부 이미지 특징 등 중 하나 또는 임의의 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
일부 실시예에 있어서, 위조 단서 정보는 가시광 조건 하에서의 육안 관측 가능성을 구비한다.
일부 실시예에 있어서, 위조 단서 정보는 이미징 매체의 위조 단서 정보, 이미징 미디어의 위조 단서 정보, 실제 존재하는 위조 얼굴의 단서 정보 중 어느 하나 또는 복수 개를 포함한다.
일부 실시예에 있어서, 이미징 매체의 위조 단서 정보가 이미징 매체의 에지 정보, 반사 정보 및 재질 정보 중 적어도 하나를 포함하는 것; 이미징 미디어의 위조 단서 정보가 디스플레이 기기의 스크린 에지, 스크린 반사 및 스크린 모아레 패턴 중 적어도 하나를 포함하는 것; 및 실제 존재하는 위조 얼굴의 단서 정보가 가면을 쓴 얼굴의 특성, 모델 타입 얼굴의 특성, 조각 타입 얼굴의 특성을 포함하는 것 중 적어도 하나이다.
일부 실시예에 있어서, 상기 검출 유닛은, 처리될 이미지의 특징을 검출하여, 처리될 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하고; 얼굴 영역 이미지의 특징을 검출하여, 얼굴 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하며; 증명서 영역 이미지의 특징을 검출하여, 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하도록 구성될 수 있다.
다른 일부 실시형태에 있어서, 상기 검출 유닛은, 처리될 이미지의 특징, 얼굴 영역 이미지의 특징 및 증명서 영역 이미지의 특징을 연결하여, 연결 특징을 얻고; 연결 특징에 위조 단서 정보가 포함되는지 여부를 결정하도록 구성될 수 있다.
일부 실시예에 있어서, 제3 검출 모듈(4040)은, 제3 신경 네트워크를 통해 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행하도록 구성될 수 있다.
일부 실시예에 있어서, 제3 결정 모듈은, 위조 단서 검출의 결과가 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지에 위조 단서가 포함되지 않는 것을 나타낼 경우, 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과된 것으로 결정하는 것; 및 위조 단서 검출의 결과가 처리될 이미지, 얼굴 영역 이미지 및 증명서 영역 이미지 중 적어도 하나에 위조 단서가 포함되는 것을 나타낼 경우, 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과되지 않은 것으로 결정하는 것 중 적어도 하나를 수행하도록 구성될 수 있다.
일부 실시예에 있어서, 제1 검출 모듈은 서버에 설치되고, 단말 기기에 의해 송신된 처리될 이미지를 수신하도록 구성될 수 있다. 또한, 상기 실시예의 장치에 있어서, 또한 처리될 이미지의 위조 방지 검출 결과에 따라, 처리될 이미지의 신원 인증 결과를 결정하도록 구성된 제4 결정 모듈을 포함할 수 있다.
일부 실시예에 있어서, 상기 제4 결정 모듈은, 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과된 경우, 처리될 이미지에 대해 신원 검증을 수행하도록 구성된 신원 인증 유닛; 및 신원 검증의 결과에 기반하여, 처리될 이미지의 신원 인증 결과를 결정하도록 구성된 제5 결정 유닛을 포함한다.
일부 실시예에 있어서, 신원 인증 유닛은, 처리될 이미지의 얼굴 검출 결과 및 처리될 이미지의 증명서 검출 결과에 기반하여, 증명서에 포함된 제1 얼굴 및 처리될 이미지 중 증명서 밖에 위치한 제2 얼굴 사이의 유사도를 결정하고; 제1 얼굴 및 제2 얼굴 사이의 유사도에 따라, 신원 검증의 결과를 얻도록 구성될 수 있다.
일부 실시예에 있어서, 신원 인증 유닛은, 처리될 이미지로부터 제1 얼굴의 이미지 및 제2 얼굴의 이미지를 획득하고; 제1 얼굴의 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻고, 제2 얼굴의 이미지에 대해 특징 추출을 수행하여, 제2 특징을 얻으며; 제1 특징과 제2 특징에 기반하여, 제1 얼굴과 제2 얼굴 사이의 유사도를 결정하도록 구성될 수 있다.
일부 실시예에 있어서, 얼굴 검출 결과가 처리될 이미지에 포함된 얼굴의 개수 및 얼굴이 처리될 이미지에서의 위치 정보 중 적어도 하나를 포함하는 것; 및 증명서 검출 결과가 처리될 이미지에 포함된 증명서의 개수 및 증명서가 처리될 이미지에서의 위치 정보 중 적어도 하나를 포함하는 것 중 적어도 하나이다. 이에 상응하게, 상기 실시예에 있어서, 제3 결정 모듈은, 처리될 이미지에 포함된 얼굴의 개수가 2보다 클 경우, 얼굴 검출 결과에 포함된 얼굴이 처리될 이미지에서의 위치 정보 및 증명서 검출 결과에 포함된 증명서가 처리될 이미지에서의 위치 정보에 따라, 처리될 이미지에 포함된 적어도 두 개의 얼굴 중 증명서 밖에 위치한 최대 얼굴을 제2 얼굴로 결정하도록 구성된 제3 결정 유닛을 포함한다.
일부 실시예에 있어서, 신원 인증 유닛은 또한, 제1 얼굴 및 제2 얼굴 사이의 유사도가 기설정된 임계값보다 큰 것으로 결정한 것에 응답하여, 증명서에 대해 텍스트 인식을 수행하여, 증명서의 텍스트 정보를 얻고 - 텍스트 정보는 이름 및 증명서 번호 중 적어도 하나를 포함함 - ; 사용자 정보 데이터베이스에 기반하여 텍스트 정보를 인증하여, 신원 검증의 결과를 얻도록 구성된다.
또한, 본 발명의 실시예에서 다른 전자 기기를 제공하고, 상기 전자 기기는,
컴퓨터 프로그램을 저장하도록 구성된 메모리; 및
메모리에 저장된 컴퓨터 프로그램을 실행하고, 컴퓨터 프로그램이 실행될 경우, 본 발명의 상기 어느 한 실시예의 신원 인증 방법을 구현하도록 구성된 프로세서를 포함한다.
또한, 본 발명의 실시예는 전자 기기를 제공한다. 도 12를 참조하면, 본 발명의 실시예의 단말 또는 서버를 구현하기에 적합한 전자 기기의 구조 예시도이다. 도 12에 도시된 바와 같이, 상기 전자 기기는 하나 또는 복수 개의 프로세서, 통신부 등을 포함하며, 상기 하나 또는 복수 개의 프로세서는 예를 들어, 하나 또는 복수 개의 중앙 처리 장치(Central Processing Unit, CPU), 및 하나 또는 복수 개의 그래픽 처리 장치(Graphic Processing Unit, GPU) 중 적어도 하나이며, 프로세서는 판독 전용 메모리(Read-Only Memory, ROM)에 저장된 실행 가능한 명령어 또는 저장 부분으로부터 랜덤 액세스 메모리(Random Access Memory, RAM)에 로딩된 실행 가능한 명령어에 따라 다양한 적절한 동작 및 처리를 실행할 수 있다. 통신부는 랜 카드를 포함할 수 있지만 이에 한정되지 않고, 상기 랜 카드는 인피니밴드(Infiniband, IB) 랜 카드를 포함할 수 있지만 이에 한정되지 않으며, 프로세서는 실행 가능한 명령어를 실행하기 위해 판독 전용 메모리 및 랜덤 액세스 메모리 중 적어도 하나에서 통신할 수 있으며, 버스를 통해 통신부에 연결되고, 통신부를 통해 다른 타겟 기기와 통신함으로써, 본 발명의 실시예에서 제공한 어느 한 신원 인증 방법에 대응되는 단계를 완료하며, 예를 들어, 제1 신경 네트워크를 통해 처리될 이미지에 대해 얼굴 검출을 수행하여, 얼굴 검출 결과를 얻고, 제2 신경 네트워크를 통해 상기 처리될 이미지에 대해 증명서 검출을 수행하여, 증명서 검출 결과를 얻으며; 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라, 상기 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 결정하며; 상기 처리될 이미지가 유효한 신원 인증 이미지인 것으로 결정한 것에 응답하여, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 신원 인증을 수행하여, 상기 처리될 이미지의 신원 인증 결과를 얻는다.
또한, RAM에서, 장치의 동작에 필요한 다양한 프로그램 및 데이터를 더 저장할 수 있다. CPU, ROM 및 RAM은 버스를 통해 서로 연결된다. RAM이 존재하는 경우, ROM은 선택 가능한 모듈이다. RAM은 실행 가능한 명령어를 저장하거나, 동작될 경우 실행 가능한 명령어를 ROM에 기록하며, 실행 가능한 명령어는 프로세서로 하여금 본 발명에 따른 상기 어느 하나의 신분 인증 방법의 대응되는 동작을 실행하도록 한다. 입력/출력(I/O) 인터페이스도 버스에 연결된다. 통신부는 통합될 수 있거나, 버스에 연결된 복수 개의 서브 모듈(예를 들어 복수 개의 IB 랜 카드)을 갖도록 구성될 수 있다.
다음의 부재, 즉 키보드, 마우스 등을 포함하는 입력 부분; 음극 선관(CRT), 액정 디스플레이(LCD), 스피커 등을 포함하는 출력 부분; 하드웨어 등을 포함하는 저장 부분; 및 LAN 카드, 모뎀 등을 포함하는 네트워크 인터페이스 카드의 통신 부분은 I/O 인터페이스에 연결된다. 통신 부분은 인터넷과 같은 네트워크를 통해 통신 처리를 실행한다. 드라이브는 필요에 따라 I/O 인터페이스에 연결될 수도 있다. 자기 디스크, 광 디스크, 광 자기 디스크, 반도체 메모리 등과 같은 탈착 가능한 매체는, 필요에 따라 탈착 가능한 매체로부터 판독된 컴퓨터 프로그램이 저장 부분에 설치되도록 필요에 따라 드라이브에 설치된다.
설명해야 할 것은, 도 12에 도시된 아키텍쳐는 다만 선택적인 구현 방식일 뿐이고, 실천 과정에서, 상기 도 12의 부재의 개수 및 타입은 실제 필요에 따라 선택, 감소, 추가 또는 교체되며; 상이한 기능적 부재 설치에서, 분리 설치 또는 통합 설치 등 구현 방식을 사용할 수도 있으며, 예를 들어 GPU 및 CPU는 분리 설치되거나 GPU가 CPU에 통합될 수 있으며, 통신부는 CPU 또는 GPU에 분리 설치 또는 통합 설치될 수도 있는 것 등이다. 이들 대안적인 실시 형태는 모두 본 발명에 개시된 보호 범위에 속한다.
특히, 본 발명의 실시예에 따른 흐름도를 참조하여 설명된 과정은 컴퓨터 소프트웨어 프로그램에 의해 구현된다. 예를 들어, 본 발명의 실시예는 컴퓨터 프로그램 제품을 포함하며, 기계 판독 가능 매체에 유형적으로 포함된 컴퓨터 프로그램을 포함하며, 컴퓨터 프로그램은 흐름도에 도시된 방법을 수행하기 위한 프로그램 코드를 포함하며, 프로그램 코드는 본 발명의 실시예 중 어느 하나에서 제공하는 신분 인증 방법의 단계를 실행하기 위한 명령어를 포함할 수 있다. 이러한 실시예에 있어서, 상기 컴퓨터 프로그램은 통신 부분을 통해 네트워크로부터 다운로드 및 설치될 수 있는 것 및 탈착 가능한 매체로부터 설치될 수 있는 것 중 적어도 하나를 수행할 수 있다. 상기 컴퓨터 프로그램이 CPU에 의해 실행될 경우, 본 발명의 방법에서 한정된 상기 기능을 실행한다.
또한, 본 발명 실시예는 컴퓨터 명령어를 포함하는 컴퓨터 프로그램을 더 제공하고, 컴퓨터 명령어는 기기의 프로세서에 의해 동작될 경우, 본 발명에서 전술한 임의의 실시예에 따른 신분 인증 방법을 구현한다. 하나의 선택적인 실시 형태에 있어서, 상기 컴퓨터 프로그램은 예를 들어, 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품이다. 하나 또는 복수 개의 선택 가능한 실시형태에 있어서, 본 발명의 실시예는 또한 컴퓨터 판독 가능한 명령어를 저장하기 위한 컴퓨터 프로그램 프로그램 제품을 제공하고, 상기 명령어가 실행될 경우 컴퓨터로 하여금 상기 가능한 실시형태 중 어느 하나 따른 신분 인증 방법을 실행하도록 한다. 상기 컴퓨터 프로그램 제품은 하드웨어, 소프트웨어 또는 이들의 조합에 의해 구현된다. 하나의 선택적인 예에 있어서, 상기 컴퓨터 프로그램 제품은 컴퓨터 저장 매체로서 구현되며, 다른 선택적인 예에 있어서, 상기 컴퓨터 프로그램 제품은 SDK 등과 같은 소프트웨어 제품으로서 구현된다.
하나 또는 복수 개의 선택적인 실시 형태에 있어서, 본 발명의 실시예는 신분 인증 방법 및 이에 대응되는 장치, 전자 기기, 컴퓨터 저장 매체, 컴퓨터 프로그램 및 컴퓨터 프로그램 제품을 더 제공하며, 여기서, 상기 방법은 제1 장치가 신분 인증 지시를 제2 장치에 송신하는 단계 - 상기 지시는 제2 장치로 하여금 상기 가능한 실시예 중 어느 한 신분 인증 방법을 수행하도록 함 - ; 및 제1 장치가 제2 장치에 의해 송신된 신분 인증 결과를 수신하는 단계를 포함한다.
일부 실시예에 있어서, 상기 이미지 처리 지시는 호출 명령어일 수 있으며, 제1 장치는 호출하는 방식을 통해 제2 장치가 신분 인증 방법을 실행하도록 지시할 수 있으며, 이에 상응하게, 호출 명령어를 수신한 것에 응답하여, 제2 장치는 상기 신분 인증 방법의 실시예에서의 임의의 단계 및 프로세스 중 적어도 하나를 실행할 수 있다. 또한, 본 발명 실시예는 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우, 본 발명에서 전술한 임의의 실시예에 따른 신분 인증 방법을 구현한다.
본 명세서에서 각 실시예는 모두 점진적으로 설명되며, 각 실시예는 다른 실시예와의 차이점을 중점적으로 설명하며, 각 실시예 사이의 동일하거나 유사한 부분은 서로 참조될 수 있다. 시스템 실시예는 방법 실시예에 대체적으로 대응되므로, 설명이 비교적 간단하고, 관련 부분에 대해서는 방법 실시예의 일부 설명을 참조하면 된다.
본 발명의 방법 및 장치, 기기는 많은 방식으로 구현된다. 예를 들어, 본 발명의 방법과 장치는 소프트웨어, 하드웨어, 펌웨어 또는 소프트웨어, 하드웨어, 펌웨어의 임의의 조합으로 구현될 수 있다. 달리 구체적으로 언급되지 않는 한, 상기 방법의 상기 단계의 상기 순서는 다만 설명을 위한 것이며, 본 발명의 방법의 단계를 한정하려는 것은 아니다. 또한, 일부 실시예에 있어서, 본 발명은 기록 매체에 기록된 프로그램으로서 구현될 수도 있으며, 이들 프로그램은 본 발명의 방법을 구현하기 위한 기계 판독 가능한 명령어를 포함한다. 따라서, 본 발명은 본 발명에 따른 방법들을 실행하기 위한 프로그램을 저장하는 기록 매체를 더 포함한다.
본 발명의 설명은 예 및 설명의 목적으로 제공되며, 누락되지 않거나 본 발명을 개시된 형태로 한정하려는 것은 아니다. 많은 수정과 변경은 본 기술분야의 통상의 기술자에게 자명한 것이다. 실시예들은 본 발명의 원리 및 실제 적용을 더 잘 설명하고, 본 기술분야의 통상의 기술자로 하여금 특정 사용에 적용 가능한 다양한 수정들을 갖는 다양한 실시예들을 설계하기 위해 본 발명을 이해하도록 하기 위해 선택되고 설명된다.

Claims (52)

  1. 신원 인증 방법으로서,
    제1 신경 네트워크를 통해 처리될 이미지에 대해 얼굴 검출을 수행하여, 얼굴 검출 결과를 얻고, 제2 신경 네트워크를 통해 상기 처리될 이미지에 대해 증명서 검출을 수행하여, 증명서 검출 결과를 얻는 단계;
    상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라, 상기 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 결정하는 단계; 및
    상기 처리될 이미지가 유효한 신원 인증 이미지인 것으로 결정한 것에 응답하여, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 신원 인증을 수행하여, 상기 처리될 이미지의 신원 인증 결과를 얻는 단계를 포함하는 것을 특징으로 하는 신원 인증 방법.
  2. 제1항에 있어서,
    상기 유효한 신원 인증 이미지는 증명서를 쥐고 있는 이미지를 포함하는 것을 특징으로 하는 신원 인증 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 얼굴 검출 결과가 상기 처리될 이미지에 포함된 얼굴의 개수 및 상기 얼굴이 상기 처리될 이미지에서의 위치 정보 중 적어도 하나를 포함하는 것; 및 상기 증명서 검출 결과가 상기 처리될 이미지에 포함된 증명서의 개수 및 상기 증명서가 상기 처리될 이미지에서의 위치 정보 중 적어도 하나를 포함하는 것 중 적어도 하나를 포함하는 것을 특징으로 하는 신원 인증 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 상기 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 결정하는 단계는,
    상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 증명서 얼굴 정보를 결정하는 단계; 및
    상기 증명서 얼굴 정보, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 신원 인증 방법.
  5. 제4항에 있어서,
    상기 증명서 얼굴 정보는 상기 처리될 이미지에서 검출된 증명서에 포함된 얼굴의 개수, 상기 증명서에 포함된 얼굴의 위치 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 신원 인증 방법.
  6. 제4항에 있어서,
    상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 증명서 얼굴 정보를 결정하는 단계는,
    상기 얼굴 검출 결과에 포함된 얼굴이 상기 처리될 이미지에서의 위치 정보 및 상기 증명서 검출 결과에 포함된 증명서가 상기 처리될 이미지에서의 위치 정보에 따라, 상기 증명서에 포함된 얼굴의 개수 및 위치 정보 중 적어도 하나를 결정하는 단계를 포함하는 것을 특징으로 하는 신원 인증 방법.
  7. 제4항에 있어서,
    상기 증명서 얼굴 정보, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 결정하는 단계는,
    상기 증명서 검출 결과 중 증명서의 개수가 제1 기설정된 요구를 만족하고, 상기 얼굴 검출 결과 중 얼굴의 개수가 제2 기설정된 요구를 만족하며, 상기 증명서 얼굴 정보에 포함된 증명서 중 얼굴의 개수가 제3 기설정된 요구를 만족하는 것에 응답하여, 상기 처리될 이미지가 유효한 신원 인증 이미지인 것으로 결정하는 단계를 포함하는 것을 특징으로 하는 신원 인증 방법.
  8. 제7항에 있어서,
    상기 제1 기설정된 요구가 상기 증명서 검출 결과에 포함된 증명서의 개수가 1인 것을 포함하는 것;
    상기 제2 기설정된 요구가 상기 얼굴 검출 결과에 포함된 얼굴의 개수가 2보다 크거나 같은 것을 포함하는 것; 및
    제3 기설정된 요구가 상기 증명서 중 얼굴의 개수가 1인 것을 포함하는 것 중 적어도 하나가 성립되는 것을 특징으로 하는 신원 인증 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 신원 인증을 수행하는 단계는,
    상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 증명서에 포함된 제1 얼굴 및 상기 처리될 이미지 중 상기 증명서 밖에 위치한 제2 얼굴 사이의 유사도를 결정하는 단계; 및
    상기 제1 얼굴 및 상기 제2 얼굴 사이의 유사도에 따라, 신원 검증의 결과를 얻는 단계를 포함하는 것을 특징으로 하는 신원 인증 방법.
  10. 제9항에 있어서,
    상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 증명서에 포함된 제1 얼굴 및 상기 처리될 이미지 중 상기 증명서 밖에 위치한 제2 얼굴 사이의 유사도를 결정하는 단계는,
    상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 처리될 이미지로부터 상기 제1 얼굴의 이미지 및 상기 제2 얼굴의 이미지를 획득하는 단계;
    상기 제1 얼굴의 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻고, 상기 제2 얼굴의 이미지에 대해 특징 추출을 수행하여, 제2 특징을 얻는 단계; 및
    상기 제1 특징과 상기 제2 특징에 기반하여, 상기 제1 얼굴과 상기 제2 얼굴 사이의 유사도를 결정하는 단계를 포함하는 것을 특징으로 하는 신원 인증 방법.
  11. 제9항 또는 제10항에 있어서,
    상기 증명서에 포함된 제1 얼굴 및 상기 처리될 이미지 중 상기 증명서 밖에 위치한 제2 얼굴 사이의 유사도를 결정하기 전, 상기 신원 인증 방법은,
    상기 처리될 이미지에 포함된 얼굴의 개수가 2보다 큰 경우에, 상기 처리될 이미지 중 상기 증명서 밖에 위치한 적어도 두 개의 얼굴 중 최대 얼굴을 상기 제2 얼굴로 결정하는 단계를 더 포함하는 것을 특징으로 하는 신원 인증 방법.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 제1 얼굴 및 상기 제2 얼굴 사이의 유사도에 따라, 신원 검증의 결과를 얻는 단계는,
    상기 제1 얼굴 및 상기 제2 얼굴 사이의 유사도가 기설정된 임계값보다 큰 것으로 결정한 것에 응답하여, 상기 증명서에 대해 텍스트 인식을 수행하여, 상기 증명서의 텍스트 정보를 얻는 단계 - 상기 텍스트 정보는 이름 및 증명서 번호 중 적어도 하나를 포함함 - ; 및
    사용자 정보 데이터베이스에 기반하여 상기 텍스트 정보를 인증하여, 신원 검증의 결과를 얻는 단계를 포함하는 것을 특징으로 하는 신원 인증 방법.
  13. 제9항 내지 제12항 중 어느 한 항에 있어서,
    상기 신원 인증 방법은,
    상기 신원 검증의 결과가 신원 인증 통과된 것으로 결정한 것에 응답하여, 서비스 데이터베이스에 사용자 정보를 저장하는 단계 - 상기 사용자 정보는 상기 텍스트 정보, 상기 처리될 이미지, 상기 제2 얼굴의 이미지, 상기 제2 얼굴의 특징 정보 중 어느 하나 또는 복수 개를 포함함 - 를 더 포함하는 것을 특징으로 하는 신원 인증 방법.
  14. 제13항에 있어서,
    상기 신원 인증 방법은,
    신원 인증 청구를 수신한 것에 응답하여, 인증될 얼굴을 포함하는 이미지를 획득하는 단계;
    상기 서비스 데이터베이스에 상기 인증될 얼굴의 이미지와 매칭되는 사용자 정보가 존재하는지 여부를 검색하는 단계; 및
    상기 검색된 결과에 따라, 상기 인증될 얼굴의 인증 결과를 결정하는 단계를 더 포함하는 것을 특징으로 하는 신원 인증 방법.
  15. 제9항 내지 제14항 중 어느 한 항에 있어서,
    상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 신원 인증을 수행하여, 상기 처리될 이미지의 신원 인증 결과를 얻는 단계는,
    상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 위조 방지 검출을 수행하여, 위조 방지 검출 결과를 얻는 단계;
    상기 위조 방지 검출 결과 및 상기 신원 검증 결과에 기반하여, 상기 처리될 이미지의 신원 인증 결과를 결정하는 단계를 더 포함하는 것을 특징으로 하는 신원 인증 방법.
  16. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 신원 인증을 수행하여, 상기 처리될 이미지의 신원 인증 결과를 얻는 단계는,
    상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 위조 방지 검출을 수행하여, 위조 방지 검출 결과를 얻는 단계를 포함하는 것을 특징으로 하는 신원 인증 방법.
  17. 제15항 또는 제16항에 있어서,
    상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 위조 방지 검출을 수행하여, 위조 방지 검출 결과를 얻는 단계는,
    상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 처리될 이미지로부터 얼굴 영역 이미지 및 증명서 영역 이미지를 획득하는 단계;
    상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행하는 단계; 및
    상기 위조 단서 검출의 결과에 기반하여, 상기 처리될 이미지의 위조 방지 검출 결과를 얻는 단계를 포함하는 것을 특징으로 하는 신원 인증 방법.
  18. 제17항에 있어서,
    상기 얼굴 영역 이미지에 포함된 얼굴이 상기 얼굴 영역 이미지에서 차지하는 비례는 제4 기설정된 요구를 만족하는 것; 및
    상기 증명서 영역 이미지에 포함된 증명서가 상기 증명서 영역 이미지에서 차지하는 비례는 상기 제4 기설정된 요구를 만족하는 것 중 적어도 하나인 것을 특징으로 하는 신원 인증 방법.
  19. 제18항에 있어서,
    상기 제4 기설정된 요구는, 상기 비례가 1/4보다 크거나 같고 9/10보다 작거나 같은 것을 특징으로 하는 신원 인증 방법.
  20. 제17항 내지 제19항 중 어느 한 항에 있어서,
    상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행하는 단계는,
    상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 각각에 대해 특징 추출을 수행하여, 상기 처리될 이미지의 특징, 상기 얼굴 영역 이미지의 특징 및 상기 증명서 영역 이미지의 특징을 얻는 단계; 및
    상기 처리될 이미지의 특징, 상기 얼굴 영역의 특징 및 상기 증명서 영역의 특징에 위조 단서 정보가 포함되는지 여부를 검출하는 단계를 포함하는 것을 특징으로 하는 신원 인증 방법.
  21. 제20항에 있어서,
    상기 위조 단서 정보는 가시광 조건 하에서의 육안 관측 가능성을 구비하는 것을 특징으로 하는 신원 인증 방법.
  22. 제20항 또는 제21항에 있어서,
    상기 처리될 이미지의 특징, 상기 얼굴 영역의 특징 및 상기 증명서 영역의 특징에 위조 단서 정보가 포함되는지 여부를 검출하는 단계는,
    상기 처리될 이미지의 특징을 검출하여, 상기 처리될 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하는 단계;
    상기 얼굴 영역 이미지의 특징을 검출하여, 상기 얼굴 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하는 단계; 및
    상기 증명서 영역 이미지의 특징을 검출하여, 상기 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 신원 인증 방법.
  23. 제20항 또는 제21항에 있어서,
    상기 처리될 이미지의 특징, 상기 얼굴 영역의 특징 및 상기 증명서 영역의 특징에 위조 단서 정보가 포함되는지 여부를 검출하는 단계는,
    상기 처리될 이미지의 특징, 상기 얼굴 영역 이미지의 특징 및 상기 증명서 영역 이미지의 특징을 연결하여, 연결 특징을 얻는 단계; 및
    상기 연결 특징에 위조 단서 정보가 포함되는지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 신원 인증 방법.
  24. 제20항 내지 제23항 중 어느 한 항에 있어서,
    상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행하는 단계는,
    제3 신경 네트워크를 통해 상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행하는 단계를 포함하는 것을 특징으로 하는 신원 인증 방법.
  25. 제17항 내지 제24항 중 어느 한 항에 있어서,
    상기 위조 단서 검출의 결과에 기반하여, 상기 처리될 이미지의 위조 방지 검출 결과를 얻는 단계는,
    상기 위조 단서 검출의 결과가 상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지에 위조 단서가 포함되지 않는 것을 나타낸 것에 응답하여, 상기 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과된 것으로 결정하는 단계; 및
    상기 위조 단서 검출의 결과가 상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 중 어느 하나 또는 복수 개가 위조 단서를 포함하는 것으로 나타낸 것에 응답하여, 상기 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과되지 못한 것으로 결정하는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 신원 인증 방법.
  26. 신원 인증 장치로서,
    제1 신경 네트워크를 통해 처리될 이미지에 대해 얼굴 검출을 수행하여, 얼굴 검출 결과를 얻도록 구성된 제1 검출 모듈;
    제2 신경 네트워크를 통해 상기 처리될 이미지에 대해 증명서 검출을 수행하여, 증명서 검출 결과를 얻도록 구성된 제2 검출 모듈;
    상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라, 상기 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 결정하도록 구성된 제1 결정 모듈; 및
    상기 처리될 이미지가 유효한 신원 인증 이미지인 것으로 결정한 것에 응답하여, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 신원 인증을 수행하여, 상기 처리될 이미지의 신원 인증 결과를 얻도록 구성된 인증 모듈을 포함하는 것을 특징으로 하는 신원 인증 장치.
  27. 제26항에 있어서,
    상기 유효한 신원 인증 이미지는 증명서를 쥐고 있는 이미지를 포함하는 것을 특징으로 하는 신원 인증 장치.
  28. 제26항 또는 제27항에 있어서,
    상기 얼굴 검출 결과가 상기 처리될 이미지에 포함된 얼굴의 개수 및 상기 얼굴이 상기 처리될 이미지에서의 위치 정보 중 적어도 하나를 포함하는 것; 및
    상기 증명서 검출 결과가 상기 처리될 이미지에 포함된 증명서의 개수 및 상기 증명서가 상기 처리될 이미지에서의 위치 정보 중 적어도 하나를 포함하는 것 중 적어도 하나를 포함하는 것을 특징으로 하는 신원 인증 장치.
  29. 제26항 내지 제28항 중 어느 한 항에 있어서,
    상기 제1 결정 모듈은,
    상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 증명서 얼굴 정보를 결정하도록 구성된 증명서 결정 유닛; 및
    상기 증명서 얼굴 정보, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 처리될 이미지가 유효한 신원 인증 이미지인지 여부를 결정하도록 구성된 신원 인증 결정 유닛을 포함하는 것을 특징으로 하는 신원 인증 장치.
  30. 제29항에 있어서,
    상기 증명서 얼굴 정보는 상기 처리될 이미지에서 검출된 증명서에 포함된 얼굴의 개수, 상기 증명서에 포함된 얼굴의 위치 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 신원 인증 장치.
  31. 제29항에 있어서,
    상기 증명서 결정 유닛은,
    상기 얼굴 검출 결과에 포함된 얼굴이 상기 처리될 이미지에서의 위치 정보 및 상기 증명서 검출 결과에 포함된 증명서가 상기 처리될 이미지에서의 위치 정보에 따라, 상기 증명서에 포함된 얼굴의 개수 및 위치 정보 중 적어도 하나를 결정하도록 구성된 것을 특징으로 하는 신원 인증 장치.
  32. 제29항 내지 제31항 중 어느 한 항에 있어서,
    상기 신원 인증 결정 유닛은, 상기 증명서 검출 결과 중 증명서의 개수가 제1 기설정된 요구를 만족하고, 상기 얼굴 검출 결과 중 얼굴의 개수가 제2 기설정된 요구를 만족하며, 검출된 상기 증명서 얼굴 정보에 포함된 증명서 중 얼굴의 개수가 제3 기설정된 요구를 만족한 것에 응답하여, 상기 처리될 이미지가 유효한 신원 인증 이미지인 것으로 결정하도록 구성된 것을 특징으로 하는 신원 인증 장치.
  33. 제32항에 있어서,
    상기 제1 기설정된 요구가 상기 증명서 검출 결과에 포함된 증명서의 개수가 1인 것을 포함하는 것;
    상기 제2 기설정된 요구가 상기 얼굴 검출 결과에 포함된 얼굴의 개수가 2보다 크거나 같은 것을 포함하는 것; 및
    제3 기설정된 요구가 증명서 중 얼굴의 개수가 1인 것을 포함하는 것 중 적어도 하나가 성립되는 것을 특징으로 하는 신원 인증 장치.
  34. 제26항 내지 제33항 중 어느 한 항에 있어서,
    상기 인증 모듈은, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 증명서에 포함된 제1 얼굴 및 상기 처리될 이미지 중 상기 증명서 밖에 위치한 제2 얼굴 사이의 유사도를 결정하고; 상기 제1 얼굴 및 상기 제2 얼굴 사이의 유사도에 따라, 신원 검증의 결과를 얻도록 구성된 것을 특징으로 하는 신원 인증 장치.
  35. 제34항에 있어서,
    상기 인증 모듈은,
    상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 처리될 이미지로부터 상기 제1 얼굴의 이미지 및 상기 제2 얼굴의 이미지를 획득하도록 구성된 제1 획득 유닛;
    상기 제1 얼굴의 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻고, 상기 제2 얼굴의 이미지에 대해 특징 추출을 수행하여, 제2 특징을 얻도록 구성된 특징 추출 유닛;
    상기 제1 특징과 상기 제2 특징에 기반하여, 상기 제1 얼굴과 상기 제2 얼굴 사이의 유사도를 결정하도록 구성된 제1 결정 유닛; 및
    상기 제1 얼굴 및 상기 제2 얼굴 사이의 유사도에 따라, 신원 검증의 결과를 얻도록 구성된 인증 유닛을 포함하는 것을 특징으로 하는 신원 인증 장치.
  36. 제34항 또는 제35항에 있어서,
    상기 신원 인증 장치는,
    상기 처리될 이미지에 포함된 얼굴의 개수가 2보다 큰 경우에, 상기 처리될 이미지 중 상기 증명서 밖에 위치한 적어도 두 개의 얼굴 중 최대 얼굴을 상기 제2 얼굴로 결정하도록 구성된 제2 결정 모듈을 더 포함하는 것을 특징으로 하는 신원 인증 장치.
  37. 제35항 또는 제36항에 있어서,
    상기 인증 모듈은,
    상기 제1 얼굴 및 상기 제2 얼굴 사이의 유사도가 기설정된 임계값보다 큰 것으로 결정한 것에 응답하여, 상기 증명서에 대해 텍스트 인식을 수행하여, 상기 증명서의 텍스트 정보를 얻도록 구성된 텍스트 인식 유닛 - 상기 텍스트 정보는 이름 및 증명서 번호 중 적어도 하나를 포함함 - 을 더 포함하고;
    상기 인증 유닛은 또한, 사용자 정보 데이터베이스에 기반하여 상기 텍스트 정보를 인증하여, 신원 검증의 결과를 얻도록 구성된 것을 특징으로 하는 신원 인증 장치.
  38. 제34항 내지 제37항 중 어느 한 항에 있어서,
    상기 인증 모듈은,
    상기 신원 인증 결과가 신원 인증 통과된 것으로 결정한 것에 응답하여, 서비스 데이터베이스에 사용자 정보를 저장하도록 구성된 저장 처리 유닛 - 상기 사용자 정보는 상기 텍스트 정보, 상기 처리될 이미지, 상기 제2 얼굴의 이미지, 상기 제2 얼굴의 특징 정보 중 어느 하나 또는 복수 개를 포함함 - 을 더 포함하는 것을 특징으로 하는 신원 인증 장치.
  39. 제38항에 있어서,
    상기 인증 모듈은, 검색 유닛을 더 포함하고;
    상기 제1 획득 유닛은 또한, 신원 인증 청구를 수신한 것에 응답하여, 인증될 얼굴을 포함하는 이미지를 획득하도록 구성되며;
    상기 검색 유닛은, 상기 서비스 데이터베이스에 상기 인증될 얼굴의 이미지와 매칭되는 사용자 정보가 존재하는지 여부를 검색하도록 구성되며;
    상기 제1 결정 유닛은 또한, 상기 검색된 결과에 따라, 상기 인증될 얼굴의 인증 결과를 결정하도록 구성된 것을 특징으로 하는 신원 인증 장치.
  40. 제26항 내지 제39항 중 어느 한 항에 있어서,
    상기 인증 모듈은 또한, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 위조 방지 검출을 수행하여, 위조 방지 검출 결과를 얻고; 상기 위조 방지 검출 결과 및 상기 신원 검증 결과에 기반하여, 상기 처리될 이미지의 신원 인증 결과를 결정하도록 구성된 것을 특징으로 하는 신원 인증 장치.
  41. 제26항 내지 제39항 중 어느 한 항에 있어서,
    상기 인증 모듈은 또한, 상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 따라 위조 방지 검출을 수행하여, 위조 방지 검출 결과를 얻도록 구성된 것을 특징으로 하는 신원 인증 장치.
  42. 제40항 또는 제41항에 있어서,
    상기 인증 모듈은,
    상기 얼굴 검출 결과 및 상기 증명서 검출 결과에 기반하여, 상기 처리될 이미지로부터 얼굴 영역 이미지 및 증명서 영역 이미지를 획득하도록 구성된 제2 획득 유닛;
    상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행하도록 구성된 위조 단서 검출 유닛; 및
    상기 위조 단서 검출의 결과에 기반하여, 상기 처리될 이미지의 위조 방지 검출 결과를 얻도록 구성된 제2 결정 유닛을 포함하는 것을 특징으로 하는 신원 인증 장치.
  43. 제42항에 있어서,
    상기 얼굴 영역 이미지에 포함된 얼굴이 상기 얼굴 영역 이미지에서 차지하는 비례는 제4 기설정된 요구를 만족하는 것;
    상기 증명서 영역 이미지에 포함된 증명서가 상기 증명서 영역 이미지에서 차지하는 비례는 상기 제4 기설정된 요구를 만족하는 것 중 적어도 하나인 것을 특징으로 하는 신원 인증 장치.
  44. 제43항에 있어서,
    상기 제4 기설정된 요구는, 상기 비례가 1/4보다 크거나 같고 9/10보다 작거나 같은 것을 특징으로 하는 신원 인증 장치.
  45. 제42항 내지 제44항 중 어느 한 항에 있어서,
    상기 위조 단서 검출 유닛은, 상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 각각에 대해 특징 추출을 수행하여, 상기 처리될 이미지의 특징, 상기 얼굴 영역 이미지의 특징 및 상기 증명서 영역 이미지의 특징을 얻고; 상기 처리될 이미지의 특징, 상기 얼굴 영역의 특징 및 상기 증명서 영역의 특징에 위조 단서 정보가 포함되는지 여부를 검출하도록 구성된 것을 특징으로 하는 신원 인증 장치.
  46. 제45항에 있어서,
    상기 위조 단서 정보는 가시광 조건 하에서의 육안 관찰 가능성을 구비하는 것을 특징으로 하는 신원 인증 장치.
  47. 제44항 내지 제46항 중 어느 한 항에 있어서,
    상기 처리될 이미지의 특징, 상기 얼굴 영역의 특징 및 상기 증명서 영역의 특징에 위조 단서 정보가 포함되는지 여부를 검출하도록 구성된 상기 위조 단서 검출 유닛은 또한,
    상기 처리될 이미지의 특징을 검출하여, 상기 처리될 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하고; 상기 얼굴 영역 이미지의 특징을 검출하여, 상기 얼굴 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하며; 상기 증명서 영역 이미지의 특징을 검출하여, 상기 증명서 영역 이미지의 특징에 위조 단서 정보가 포함되는지 여부를 결정하도록 구성된 것을 특징으로 하는 신원 인증 장치.
  48. 제44항 내지 제46항 중 어느 한 항에 있어서,
    상기 처리될 이미지의 특징, 상기 얼굴 영역의 특징 및 상기 증명서 영역의 특징에 위조 단서 정보가 포함되는지 여부를 검출하도록 구성된 상기 위조 단서 검출 유닛은 또한,
    상기 처리될 이미지의 특징, 상기 얼굴 영역 이미지의 특징 및 상기 증명서 영역 이미지의 특징을 연결하여, 연결 특징을 얻고; 상기 연결 특징에 위조 단서 정보가 포함되는지 여부를 결정하도록 구성된 것을 특징으로 하는 신원 인증 장치.
  49. 제44항 내지 제46항 중 어느 한 항에 있어서,
    상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행하도록 구성된 상기 위조 단서 검출 유닛은 또한,
    제3 신경 네트워크를 통해 상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 각각에 대해 위조 단서 검출을 수행하도록 구성된 것을 포함하는 것을 특징으로 하는 신원 인증 장치.
  50. 제42항 내지 제49항 중 어느 한 항에 있어서,
    상기 제2 결정 유닛은,
    상기 위조 단서 검출의 결과가 상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지에 위조 단서가 포함되지 않는 것을 나타낸 것에 응답하여, 상기 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과된 것으로 결정하는 것; 및
    상기 위조 단서 검출의 결과가 상기 처리될 이미지, 상기 얼굴 영역 이미지 및 상기 증명서 영역 이미지 중 어느 하나 또는 복수 개가 위조 단서를 포함하는 것으로 나타낸 것에 응답하여, 상기 처리될 이미지의 위조 방지 검출 결과가 위조 방지 검출 통과되지 못한 것으로 결정하는 것 중 적어도 하나를 수행하도록 구성된 것을 특징으로 하는 신원 인증 장치.
  51. 전자 기기로서,
    컴퓨터 프로그램을 저장하도록 구성된 메모리; 및
    상기 메모리에 저장된 컴퓨터 프로그램을 실행하고, 상기 컴퓨터 프로그램이 실행될 경우, 제1항 내지 제24항 중 어느 한 항에 따른 신원 인증 방법을 구현하도록 구성된 프로세서를 포함하는 것을 특징으로 하는 전자 기기.
  52. 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능한 저장 매체로서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 제1항 내지 제24항 중 어느 한 항에 따른 신원 인증 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.

KR1020207025865A 2018-08-13 2019-06-04 신원 인증 방법 및 장치, 전자 기기 및 저장 매체 KR102406432B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201810918697.9 2018-08-13
CN201810918699.8A CN109359502A (zh) 2018-08-13 2018-08-13 防伪检测方法和装置、电子设备、存储介质
CN201810918699.8 2018-08-13
CN201810918697.9A CN109255299A (zh) 2018-08-13 2018-08-13 身份认证方法和装置、电子设备和存储介质
PCT/CN2019/090034 WO2020034733A1 (zh) 2018-08-13 2019-06-04 身份认证方法和装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
KR20200118842A true KR20200118842A (ko) 2020-10-16
KR102406432B1 KR102406432B1 (ko) 2022-06-08

Family

ID=69525080

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207025865A KR102406432B1 (ko) 2018-08-13 2019-06-04 신원 인증 방법 및 장치, 전자 기기 및 저장 매체

Country Status (5)

Country Link
US (1) US20200410074A1 (ko)
JP (1) JP7165746B2 (ko)
KR (1) KR102406432B1 (ko)
SG (1) SG11202008549SA (ko)
WO (1) WO2020034733A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022102830A1 (ko) * 2020-11-16 2022-05-19 고큐바테크놀로지 주식회사 사용자를 인증하기 위한 기법
KR20220081476A (ko) * 2020-12-09 2022-06-16 도시공유플랫폼 주식회사 본인 인증을 위해 인공지능 카메라를 활용한 이상행동 감지 시스템
KR102445257B1 (ko) * 2022-02-23 2022-09-23 주식회사 룰루랩 인공신경망에 기반하여 모공을 검출하고 검출된 모공을 시각화하는 방법 및 장치
KR20220152887A (ko) * 2021-05-10 2022-11-17 도시공유플랫폼 주식회사 보스메인중앙서버에 의한 무인매장관리시스템
KR20230040848A (ko) * 2021-09-16 2023-03-23 국민대학교산학협력단 신분증 인식 방법 및 장치

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI725443B (zh) * 2019-06-03 2021-04-21 銓鴻資訊有限公司 用於第三方認證的身分的註冊與存取控制方法
CN111401407B (zh) * 2020-02-25 2021-05-14 浙江工业大学 一种基于特征重映射的对抗样本防御方法和应用
IL299752A (en) * 2020-06-22 2023-03-01 ID Metrics Group Incorporated Data processing and transaction decision system
US11972003B2 (en) * 2020-12-03 2024-04-30 Capital One Services, Llc Systems and methods for processing requests for access
CN113656843B (zh) * 2021-08-18 2022-08-12 北京百度网讯科技有限公司 信息验证方法、装置、设备和介质
JP7239047B1 (ja) 2022-07-19 2023-03-14 凸版印刷株式会社 認証システム、認証方法、及びプログラム
WO2024044185A1 (en) * 2022-08-23 2024-02-29 SparkCognition, Inc. Face image matching based on feature comparison
CN115375998B (zh) * 2022-10-24 2023-03-17 成都新希望金融信息有限公司 一种证件识别方法、装置、电子设备及存储介质
US11961315B1 (en) * 2023-12-05 2024-04-16 Daon Technology Methods and systems for enhancing detection of a fraudulent identity document in an image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080025243A (ko) * 2006-09-15 2008-03-20 주식회사 닷위저드 신분증 발급 신청 시스템 및 그 방법
CN107844748A (zh) * 2017-10-17 2018-03-27 平安科技（深圳）有限公司 身份验证方法、装置、存储介质和计算机设备
CN108229499A (zh) * 2017-10-30 2018-06-29 北京市商汤科技开发有限公司 证件识别方法及装置、电子设备和存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5892838A (en) * 1996-06-11 1999-04-06 Minnesota Mining And Manufacturing Company Biometric recognition using a classification neural network
JP2009211381A (ja) * 2008-03-04 2009-09-17 Nec Corp 使用者認証システム、使用者認証方法、および使用者認証プログラム
JP2010079393A (ja) * 2008-09-24 2010-04-08 Japan Tobacco Inc データ処理装置、そのコンピュータプログラムおよびデータ処理方法
JPWO2010106587A1 (ja) * 2009-03-18 2012-09-13 パナソニック株式会社 ニューラルネットワークシステム
RU2427911C1 (ru) * 2010-02-05 2011-08-27 Фирма "С1 Ко., Лтд." Способ обнаружения лиц на изображении с применением каскада классификаторов
CN104504321B (zh) * 2015-01-05 2017-07-14 湖北微模式科技发展有限公司 一种基于摄像头实现远程用户身份验证的方法与系统
CN105844206A (zh) * 2015-01-15 2016-08-10 北京市商汤科技开发有限公司 身份认证方法及设备
KR20190039673A (ko) * 2016-05-24 2019-04-15 모포트러스트 유에스에이, 엘엘씨 문서 이미지 품질 평가
KR102324468B1 (ko) * 2017-03-28 2021-11-10 삼성전자주식회사 얼굴 인증을 위한 장치 및 방법
CN108229120B (zh) * 2017-09-07 2020-07-24 北京市商汤科技开发有限公司 人脸解锁及其信息注册方法和装置、设备、程序、介质
CN109255299A (zh) * 2018-08-13 2019-01-22 北京市商汤科技开发有限公司 身份认证方法和装置、电子设备和存储介质
CN109359502A (zh) * 2018-08-13 2019-02-19 北京市商汤科技开发有限公司 防伪检测方法和装置、电子设备、存储介质
GB201908530D0 (en) * 2019-06-13 2019-07-31 Microsoft Technology Licensing Llc Robutness against manipulations n machine learning
US11449714B2 (en) * 2019-10-30 2022-09-20 Google Llc Efficient convolutional neural networks and techniques to reduce associated computational costs

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080025243A (ko) * 2006-09-15 2008-03-20 주식회사 닷위저드 신분증 발급 신청 시스템 및 그 방법
CN107844748A (zh) * 2017-10-17 2018-03-27 平安科技（深圳）有限公司 身份验证方法、装置、存储介质和计算机设备
CN108229499A (zh) * 2017-10-30 2018-06-29 北京市商汤科技开发有限公司 证件识别方法及装置、电子设备和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022102830A1 (ko) * 2020-11-16 2022-05-19 고큐바테크놀로지 주식회사 사용자를 인증하기 위한 기법
KR20220066623A (ko) * 2020-11-16 2022-05-24 고큐바테크놀로지 주식회사 사용자를 인증하기 위한 기법
KR20220081476A (ko) * 2020-12-09 2022-06-16 도시공유플랫폼 주식회사 본인 인증을 위해 인공지능 카메라를 활용한 이상행동 감지 시스템
KR20220152887A (ko) * 2021-05-10 2022-11-17 도시공유플랫폼 주식회사 보스메인중앙서버에 의한 무인매장관리시스템
KR20230040848A (ko) * 2021-09-16 2023-03-23 국민대학교산학협력단 신분증 인식 방법 및 장치
KR102445257B1 (ko) * 2022-02-23 2022-09-23 주식회사 룰루랩 인공신경망에 기반하여 모공을 검출하고 검출된 모공을 시각화하는 방법 및 장치
US11636600B1 (en) 2022-02-23 2023-04-25 Lululab Inc. Method and apparatus for detecting pores based on artificial neural network and visualizing the detected pores

Also Published As

Publication number Publication date
WO2020034733A1 (zh) 2020-02-20
KR102406432B1 (ko) 2022-06-08
US20200410074A1 (en) 2020-12-31
JP2021516819A (ja) 2021-07-08
JP7165746B2 (ja) 2022-11-04
SG11202008549SA (en) 2020-10-29

Similar Documents

Publication Publication Date Title
KR102406432B1 (ko) 신원 인증 방법 및 장치, 전자 기기 및 저장 매체
KR102324706B1 (ko) 얼굴인식 잠금해제 방법 및 장치, 기기, 매체
Scherhag et al. Detection of face morphing attacks based on PRNU analysis
US11669607B2 (en) ID verification with a mobile device
US11080517B2 (en) Face anti-counterfeiting detection methods and systems, electronic devices, programs and media
RU2733115C1 (ru) Способ и устройство для верифицирования сертификатов и идентичностей
CN109255299A (zh) 身份认证方法和装置、电子设备和存储介质
Kraetzer et al. Modeling attacks on photo-ID documents and applying media forensics for the detection of facial morphing
US20180034852A1 (en) Anti-spoofing system and methods useful in conjunction therewith
US11367310B2 (en) Method and apparatus for identity verification, electronic device, computer program, and storage medium
CN109359502A (zh) 防伪检测方法和装置、电子设备、存储介质
EP4109332A1 (en) Certificate authenticity identification method and apparatus, computer-readable medium, and electronic device
WO2018234384A1 (en) DETECTION OF FACIAL ARTIFICIAL IMAGES USING FACIAL REFERENCES
US20240005691A1 (en) Validating identification documents
CN111767845B (zh) 证件识别方法及装置
CN110415424B (zh) 一种防伪鉴定方法、装置、计算机设备和存储介质
CN112434727A (zh) 身份证明文件认证方法和系统
CN111291586A (zh) 活体检测方法、装置、电子设备及计算机可读存储介质
US20240021016A1 (en) Method and system for identity verification
EP4266264A1 (en) Unconstrained and elastic id document identification in an rgb image
CN118279952A (zh) 身份验证的方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant