KR102534582B1 - 시선경로 분석을 기반으로 한 능동적 신원확인 방법 및 장치 - Google Patents

시선경로 분석을 기반으로 한 능동적 신원확인 방법 및 장치 Download PDF

Info

Publication number
KR102534582B1
KR102534582B1 KR1020200034540A KR20200034540A KR102534582B1 KR 102534582 B1 KR102534582 B1 KR 102534582B1 KR 1020200034540 A KR1020200034540 A KR 1020200034540A KR 20200034540 A KR20200034540 A KR 20200034540A KR 102534582 B1 KR102534582 B1 KR 102534582B1
Authority
KR
South Korea
Prior art keywords
face
information
user
gaze
gaze path
Prior art date
Application number
KR1020200034540A
Other languages
English (en)
Other versions
KR20210117798A (ko
Inventor
김호원
유장희
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200034540A priority Critical patent/KR102534582B1/ko
Priority to US17/081,725 priority patent/US11709919B2/en
Publication of KR20210117798A publication Critical patent/KR20210117798A/ko
Application granted granted Critical
Publication of KR102534582B1 publication Critical patent/KR102534582B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Collating Specific Patterns (AREA)

Abstract

시선경로 분석을 기반으로 한 능동적 신원확인 방법 및 장치가 개시된다. 본 발명의 일실시예에 따른 시선경로 분석을 기반으로 한 능동적 신원확인 방법은, 사용자의 얼굴영상을 추출하는 단계, 상기 얼굴영상에 기반하여 사용자의 시선경로를 추출하는 단계, 상기 시선경로에 기반하여 사용자의 신원을 확인하는 단계 및 상기 얼굴영상의 진위여부를 판별하는 단계를 포함한다.

Description

시선경로 분석을 기반으로 한 능동적 신원확인 방법 및 장치{METHOD AND APPARATUS OF ACTIVE IDENTITY VERIFICATION BASED ON GAZE PATH ANALYSIS}
본 발명은 시선경로 분석을 기반으로 한 능동적 신원확인 방법 및 장치에 관한 것으로써, 카메라와 조작이 가능한 조명이 장착된 스마트폰, 카메라, 도어락, 키오스크 등의 단말에서 사람의 신원을 위조식별하고 시선의 경로 대조를 통하여 능동적으로 확인할 수 있는 기술에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
얼굴인식, 홍채인식 등 신체의 바이오메트릭 정보를 기반으로 한 영상인식 기반의 신원식별 기술은 신원확인을 요구하는 다양한 시스템에서 활용되고 있다.
최근 기술의 발전으로 이러한 신원확인 시스템에서 사전에 촬영된 사진 혹은 비디오를 통한 위조(Spoofing)에 대한 이슈가 증가하고 있다.
이에 따라, 상술한 위조에 대한 식별을 위한 방법들이 다양하게 제기되고 있다.
하기에 기재된 선행특허문헌 1은 라이브니스(Liveness) 확인을 위하여 화면상의 GUI 제어를 통해 가이드 되는 패턴을 따라 시선 이동 유무에 대한 판단으로 위조를 식별하는 방법을 개시하고 있다.
이 경우, 상기 선행특허문헌 1은 라이브니스(Liveness)에 대한 식별은 가능하지만 신원확인을 강화할 수 있는 방안은 제시하지 못하고 있다.
또한, 선행특허문헌 2는 상기 선행특허문헌 1에 더하여 화면상의 가이드되는 패턴에 대한 시선 일치 유무를 판단하여 위조를 식별하는 방법을 개시하고 있다.
이 경우, 상기 선행특허문헌 2는 화면에 보여지는 타겟에 대한 시선 일치 유무에 대한 판단이 가능한 시선 일치 유무의 판단에 대한 시선추적 정밀도를 확보하기 위하여, 개인별로 특화된 안구특성에 맞는 캘리브레이션 혹은 개인화 과정이 요구될 수 있어 구현의 복잡성이 문제가 될 수 있다.
또한, 선행특허문헌 3은 위조식별 및 보안강화를 위하여 얼굴 표정변화를 요구하고, 상기 요구에 상응하는 얼굴 표면의 변화와 기저장된 정보와 일치하는지 여부를 판단하는 방법을 개시하고 있다.
이 경우, 상기 선행특허문헌 3은 개개인별 얼굴 표정변화에 따른 고유한 얼굴 표면의 형상변화를 통해 강화된 신원확인이 가능하지만 사전에 촬영된 비디오를 통한 위조에 취약하다는 문제점이 있다.
이에 본 발명은 단순히 연속된 시선경로에 대한 식별을 통하여 사용자에게 추가로 요구되는 에너지를 최소화하면서 위조식별 강화와 보안강화를 동시에 만족시켜 고수준의 신뢰도를 제공할 수 있는 비접촉 영상인식 및 분석 기반의 사용자 친화적 신원확인 방법을 제시하고자 한다.
미국등록특허 US8856541B1, 2014년 10월 07일 등록(명칭: Liveness detection) 미국등록특허 US10102358B2, 2018년 10월 16일 등록(명칭: Face-controlled liveness verification) 미국등록특허 US10282530B2, 2019년 05월 07일 등록(명칭: Verifying identity based on facial dynamics)
본 발명의 목적은 사용자의 얼굴영상과 밝기변화를 유도할 수 있는 조명을 이용하여 실제사람여부를 판단하는 것이다.
또한, 본 발명의 목적은 사용자의 고유한 시계열상의 시선경로 대조를 통하여 고수준의 신원확인 기술을 제시하는 것이다.
또한, 본 발명의 목적은 별도의 디스플레이 없이 사용자가 시선경로를 생성할 수 있는 기술을 제시하는 것이다.
또한, 본 발명의 목적은 사용자별로 상이한 눈 형상에 관계없이 정확한 시선경로를 추출하는 것이다.
또한 상술한 바와 같은 목적들로 한정되지 않으며, 이하의 설명으로부터 또 다른 목적이 도출될 수도 있음은 자명하다.
상기한 목적을 달성하기 위하여 본 발명의 일실시예에 따른 시선경로 분석을 기반으로 한 능동적 신원확인 방법은, 사용자의 얼굴영상을 추출하는 단계, 상기 얼굴영상에 기반하여 사용자의 시선경로를 추출하는 단계, 상기 시선경로에 기반하여 사용자의 신원을 확인하는 단계 및 상기 얼굴영상의 진위여부를 판별하는 단계를 포함한다.
이 때, 상기 신원을 확인하는 단계는, 사용자의 고유ID에 상응하는 등록시선경로와 상기 시선경로를 비교하여 사용자의 신원을 확인할 수 있다.
이 때, 상기 등록시선경로는, 별도로 고정된 시선위치를 지시하는 가이드없이, 사용자의 동공의 위치와 방향을 추출하고, 상기 동공이 임의의 시간동안 정지된 위치를 시선위치로 설정하고, 상기 시선위치를 시계열순으로 연결한 것일 수 있다.
이 때, 상기 시선경로를 추출하는 단계는, 상기 얼굴영상에서 사용자의 얼굴정보를 검출하는 단계, 상기 얼굴정보에 기반하여 사용자의 눈 영역을 추출하는 단계, 상기 눈 영역을 상기 얼굴정보에 기반하여 정규화하는 단계 및 정규화된 상기 눈 영역을 기반으로 상기 시선경로를 추출하는 단계를 포함할 수 있다.
이 때, 상기 얼굴정보는, 얼굴형상정보와 이목구비의 특징점을 포함하는 특징정보 및 얼굴의 기울기에 상응하는 헤드포즈를 포함하고, 상기 눈 영역을 추출하는 단계는, 상기 얼굴형상정보와 상기 특징정보 및 상기 헤드포즈에 기반하여 눈 영역을 추출하고, 상기 정규화하는 단계는, 상기 헤드포즈에 상응하는 요/피치(Yaw/Pitch) 정보에 기반하여 상기 눈 영역이 정면을 바라보도록 정규화할 수 있다.
이 때, 상기 눈 영역을 기반으로 상기 시선경로를 추출하는 단계는, 정규화된 상기 눈 영역에서 홍채(Iris) 및 공막(Sclera) 영역을 추출하고, 상기 홍채 및 상기 공막의 형태 변화에 기반하여 상기 시선경로를 추출할 수 있다.
이 때, 사용자의 얼굴에 조명을 조사하는 단계를 더 포함할 수 있고, 상기 얼굴영상의 진위여부를 판별하는 단계는, 상기 얼굴영상에서 상기 조명의 반영정보를 추출하는 단계 및 상기 반영정보에 기반하여 진위여부를 판별하는 단계를 포함할 수 있다.
이 때, 상기 조명을 조사하는 단계는, 상기 조명의 밝기, 색상 및 조사하는 위치 중 적어도 어느 하나 이상을 무작위로 조합하여 조사할 수 있다.
이 때, 상기 반영정보에 기반하여 진위여부를 판별하는 단계는, 상기 얼굴영상에서 3차원얼굴형상정보를 추출하는 단계, 상기 3차원얼굴형상정보를 기반으로 상기 조명의 가상반영정보를 추출하는 단계 및 상기 가상반영정보와 상기 반영정보를 비교하여 진위여부를 판별하는 단계를 포함할 수 있다.
이 때, 상기 3차원얼굴형상정보를 추출하는 단계는, 상기 얼굴영상을 입력으로 CNN(Convolutional neural network) 기반의 딥러닝 기법을 이용하여 상기 3차원얼굴형상정보를 추출할 수 있다.
또한, 상기한 목적을 달성하기 위하여 본 발명의 일실시예에 따른 시선경로 분석을 기반으로 한 능동적 신원확인 장치는 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리를 포함하고, 상기 적어도 하나 이상의 프로그램은, 사용자의 얼굴영상을 추출하고, 상기 얼굴영상에 기반하여 사용자의 시선경로를 추출하고, 상기 시선경로에 기반하여 사용자의 신원을 확인하고, 상기 얼굴영상의 진위여부를 판별한다.
이 때, 상기 적어도 하나 이상의 프로그램은, 사용자의 고유ID에 상응하는 등록시선경로와 상기 시선경로를 비교하여 사용자의 신원을 확인할 수 있다.
이 때, 상기 등록시선경로는, 별도로 고정된 시선위치를 지시하는 가이드없이, 사용자의 동공의 위치와 방향을 추출하고, 상기 동공이 임의의 시간동안 정지된 위치를 시선위치로 설정하고, 상기 시선위치를 시계열순으로 연결한 것일 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 얼굴영상에서 사용자의 얼굴정보를 검출하고, 상기 얼굴정보에 기반하여 사용자의 눈 영역을 추출하고, 상기 눈 영역을 상기 얼굴정보에 기반하여 정규화하고, 정규화된 상기 눈 영역을 기반으로 상기 시선경로를 추출할 수 있다.
이 때, 상기 얼굴정보는, 얼굴형상정보와 이목구비의 특징점을 포함하는 특징정보 및 얼굴의 기울기에 상응하는 헤드포즈를 포함하고, 상기 적어도 하나 이상의 프로그램은, 상기 얼굴형상정보와 상기 특징정보 및 상기 헤드포즈에 기반하여 눈 영역을 추출하고, 상기 헤드포즈에 상응하는 요/피치(Yaw/Pitch) 정보에 기반하여 상기 눈 영역이 정면을 바라보도록 정규화할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 정규화된 상기 눈 영역에서 홍채(Iris) 및 공막(Sclera) 영역을 추출하고, 상기 홍채 및 상기 공막의 형태 변화에 기반하여 상기 시선경로를 추출할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 사용자의 얼굴에 조명을 조사한 후 사용자의 상기 얼굴영상을 추출하고, 상기 얼굴영상에서 상기 조명의 반영정보를 추출하고, 상기 반영정보에 기반하여 진위여부를 판별할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 조명을 밝기, 색상 및 조사하는 위치 중 적어도 어느 하나 이상을 무작위로 조합하여 조사할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 얼굴영상에서 3차원얼굴형상정보를 추출하고, 상기 3차원얼굴형상정보를 기반으로 상기 조명의 가상반영정보를 추출하고, 상기 가상반영정보와 상기 반영정보를 비교하여 진위여부를 판별할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 얼굴영상을 입력으로 CNN(Convolutional neural network) 기반의 딥러닝 기법을 이용하여 상기 3차원얼굴형상정보를 추출할 수 있다.
본 발명에 따르면, 사용자의 얼굴영상과 밝기변화를 유도할 수 있는 조명을 이용하여 실제사람여부를 판단할 수 있다.
또한, 본 발명에 따르면, 사용자의 고유한 시계열상의 시선경로 대조를 통하여 고수준의 신원확인 기술을 제시할 수 있다.
또한, 본 발명에 따르면, 별도의 디스플레이 없이 사용자가 시선경로를 생성할 수 있는 기술을 제시할 수 있다.
또한, 본 발명에 따르면, 사용자별로 상이한 눈 형상에 관계없이 정확한 시선경로를 추출할 수 있다.
본 실시 예들의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시예에 따른 시선경로 분석을 기반으로 한 능동적 신원확인 장치의 사용예시도이다.
도 2는 본 발명의 일실시예에 따라 시선경로 등록 과정을 나타내는 예시도이다.
도 3은 본 발명의 일실시예에 따라 정규화된 홍채 및 공막의 변화를 나타내는 예시도이다.
도 4는 본 발명의 일실시예에 따른 시선경로를 나타내는 예시도이다.
도 5는 본 발명의 일실시예에 따라 랜덤하게 변화하는 조명을 나타내는 예시도이다.
도 6은 본 발명의 일실시예에 따라 사용자의 얼굴에 조사되는 조명을 나타내는 예시도이다.
도 7은 본 발명의 일실시예에 따른 시선경로 분석을 기반으로 한 능동적 신원확인 장치의 동작 블록도이다.
도 8은 본 발명의 일실시예에 따른 시선경로 분석을 기반으로 한 능동적 신원확인모듈의 블록도이다.
도 9는 본 발명의 일실시예에 따라 사용자의 눈 영역을 추출하는 과정을 나타내는 예시도이다.
도 10은 본 발명의 일실시예에 따라 눈 영역을 정규화하는 과정을 나타내는 예시도이다.
도 11은 본 발명의 일실시예에 따른 시선경로 분석을 기반으로 한 능동적 신원확인 방법의 흐름도이다.
도 12는 본 발명의 일실시예에 따라 시선경로를 추출하는 과정을 나타내는 흐름도이다.
도 13은 본 발명의 일실시예에 따라 얼굴영상의 진위여부를 판별하는 과정을 나타내는 흐름도이다.
도 14는 본 발명의 일실시예에 따라 3차원얼굴형상정보에 기반하여 얼굴영상의 진위여부를 판별하는 과정을 나타내는 흐름도이다.
도 15은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
본 발명은 시선경로 분석을 기반으로 한 능동적 신원확인 방법 및 장치에 관한 것으로써, 카메라와 조작이 가능한 조명이 장착된 스마트폰, 카메라, 도어락, 키오스크 등의 단말에서 사람의 신원을 위조식별하고 시선의 경로 대조를 통하여 능동적으로 확인할 수 있는 기술에 관한 것이다.
구체적으로 살펴보면, 본 발명의 일실시예는 사용자의 얼굴을 촬영할 수 있는 웹캠 등의 비디오 카메라와 능동적으로 조명의 온오프나 색상을 제어할 수 있는 조명 모듈이 장착된 시스템으로 구현될 수 있다.
본 발명의 일실시예는 근접 또는 조명의 제어에 의한 칼라변화를 식별할 수 있는 일정 허용거리에서 사용자의 얼굴을 촬영하고, 상기 촬영된 영상으로부터 능동적 조명제어에 따른 얼굴의 밝기 또는 색상 변화가 얼굴의 형상정보와 연동해 자연스럽게 쉐이딩이 발생하는지 판단하여 실제 사람에 관한 진위여부를 판단할 수 있다.
또한, 본 발명의 일실시예는 사전에 설정된 신원식별정보와 연계하여 저장된 시선의 경로 정보와 실시간으로 입력되는 시선의 경로 정보를 상호 비교하여 신원 일치 여부를 판단할 수 있다.
또한, 본 발명의 일실시예는 상술한 진위여부와 신원 일치 여부를 동시에 판단하여 능동적으로 신원을 확인할 수 있다.
본 발명의 일실시예는 기존 영상기반 얼굴인식을 통한 신원확인 시 발생되는 위조에 대한 대비와 동시에 소비에너지를 최소화할 수 있으며, 사용자 편의성을 향상시키는 보다 능동적이고 고차원의 신원확인이 가능하다.
또한, 본 발명의 일실시예는 상술한 구성 및 효과에 의하여 휴대폰 등 모바일 단말이나 도어락 등 임베디드 단말, 키오스크 등 설치형 단말 등에 적용되어 고수준의 보안을 요구하는 신원확인 전반에 활용될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 시선경로 분석을 기반으로 한 능동적 신원확인 장치의 사용예시도이다.
도 1을 참조하면, 본 발명의 일실시예에 다른 시선경로 분석을 기반으로 한 능동적 신원확인 장치는 사용자의 얼굴을 촬영할 수 있는 촬영수단(110)과 능동적으로 조명을 제어할 수 있는 조명 모듈(120)을 포함할 수 있다.
예를 들면, 본 발명의 일실시예는 촬영수단(110)으로 사용할 수 있는 카메라와 조명 모듈(120)로 사용할 수 있는 디스플레이를 포함하는 스마트폰일 수 있다.
이 때, 촬영수단(110)은 통상적인 컬라영상이나 적외선 IR 영상, 흑백(Gray) 영상, 혹은 RGBD 영상을 촬영할 수 있는 카메라 등 얼굴을 촬영할 수 있고 조명변화에 의해 발생하는 얼굴의 밝기 변화를 감지할 수 있는 영상센서는 모두 적용될 수 있다.
이 때, 조명 모듈(120)은 디스플레이, 플래시 조명, LED 포인트 조명 등과 같이 밝기 및/또는 컬러를 제어하여 촬영수단에 의해 촬영된 사용자의 얼굴영상의 픽셀에 대한 밝기나 컬러 변화를 발생시킬 수 있는 모든 구성이 적용될 수 있다.
도 2는 본 발명의 일실시예에 따라 시선경로 등록 과정을 나타내는 예시도이고, 도 3은 본 발명의 일실시예에 따라 정규화된 홍채 및 공막의 변화를 나타내는 예시도이고, 도 4는 본 발명의 일실시예에 따른 시선경로를 나타내는 예시도이다.
도 2를 참조하면, 시선경로 등록 과정은 시선을 중심으로 전방에 존재하는 가상의 허용가능 시선위치(210, 220)에 대하여 자유롭게 시선경로를 생성할 수 있다.
이 때, 시선위치(210, 220)는 별도의 디스플레이에 의하여 가이드될 수도 있으며, 별도의 가이드 없이 시선의 움직임에 의하여 자동적으로 생성될 수 있다.
이 때, 허용가능한 시선위치(210, 220)는 가이드되는 화면속의 GUI에 의해 표출되는 위치를 응시사는 것이 아니고, 공간상에 가상으로 존재하며, 사용자의 동공이 움직일 수 있는 방향(200)에 따라 사용자가 수용가능한 수준에서 움직여지는 동공의 위치일 수 있다.
도 3을 참조하면, 공막과 홍채의 모양은 시선위치별로 상이할 수 있다. 또한, 사용자별로 홍채(또는 동공)의 위치나 아이라인의 모양은 특정 시선위치별로 상이하게 나타날 수 있다.
그러나, 본 발명의 일실시예는 사용자별로 나타나는 고유한 시선위치별 눈꺼풀(Eyelid) 이동이나 동공(Pupil), 홍채(Iris), 공막(Sclera) 등의 이동에 의해 나타나는 영상 특징을 저장하여 일률적 처리가 가능하다.
이 때, 영상 특징은 도 3에 도시된 바와 같이 간략화된 2개의 타원(Ellipse) 모델일 수 있으며, 영상의 에지(Edge)와 같은 영상처리를 통한 특징일 수도 있다. 예를 들면, 간략화된 2개의 타원은 홍채(310)와 공막(320)에 상응하는 것일 수 있다.
이 때, 사용자는 도 4에 도시된 바와 같이 시선경로 등록과정을 통하여 자유롭게 허용가능한 시선위치들을 이동하며 자신만의 고유한 시선경로를 생성할 수 있다.
이 때, 사용자가 의도한 시선위치에 있음에 대한 인식은 일정시간동안 시선이 허용가능한 방향과 위치에서 이동이 없을 경우에 해당 시선위치를 의도한 시선위치로 판단할 수 있으며, 이 때, 상기 해당 시선위치는 시선경로에 등록될 수 있어, 번거로운 절차없이 자연스럽게 시선경로가 생성될 수 있다.
도 4를 참조하면, 편의상 시선경로는 프로토콜 일치를 위하여 중앙 시선위치에서 시작하고 종료하는 예시를 나타내고 있으나, 시작에 대한 프로토콜 재정의에 의해 이러한 제한없이 임의의 시선경로를 생성할 수도 있다.
또한, 상기 시선경로는 화면이나 공간상의 특정 위치에 대한 시선일치를 기반으로 진행되는 것이 아니라, 시선방향에 대한 가정에서 사용자별로 편안한 상태에서 도달 가능한 시선의 위치와 그 때의 눈의 특징적 모양을 이용할 수 있다.
상술한 방식은 단순 영상인식만으로 확보가 어려운 사용자의 개인화된 안구모델의 캘리브레이션 정보 없이도 사용자가 의도한 시선경로를 쉽게 추출할 수 있다는 장점이 있다.
따라서, 상술한 본 발명의 일실시예에 따른 방식은 선행기술들과는 달리 디스플레이가 없는 상황에서도 시선경로를 통한 신원확인이 가능하며, 시스템이 시선을 유도하는 방식이 아니라 사용자에 의해 제약없이 시선경로가 생성되는 방식으로써, 충분한 복잡성이 보장된 고수준의 신원식별이 가능하다.
또한, 본 발명의 일실시예에 따른 방식은 다른 선행기술과 달리 사용자의 얼굴 변형을 요구하지 않아 최소한의 에너지와 사용자 편의성을 확보할 수 있고, 이를 통해, 사용자에 의해 정의된 고유한 식별정보를 외부의 노출을 최소화한 상태에서 비접촉 기반으로 식별할 수 있다.
도 5는 본 발명의 일실시예에 따라 랜덤하게 변화하는 조명을 나타내는 예시도이고, 도 6은 본 발명의 일실시예에 따라 사용자의 얼굴에 조사되는 조명을 나타내는 예시도이다.
도 5 및 도 6을 참조하면, 본 발명의 일실시예에 따른 시선경로 분석을 기반으로 한 능동적 신원확인 장치는 상술한 시선경로 인식과정이 시작되면, 사용자의 얼굴에 조명의 위치와 밝기, 색상 등을 조합한 조명을 조명 모듈을 통하여 조사할 수 있고, 촬영수단을 통하여 사용자의 얼굴에 나타난 조명의 반영정도를 촬영할 수 있다.
상기 반영정도를 촬영하는 이유는 사전에 촬영된 얼굴 사진이나 비디오를 통한 위법적 신원확인을 검출하기 위함이다.
실제 사람의 얼굴은 입체적이기 때문에 조명이 조사될 경우, 카메라에 촬영된 조명의 반영정도는 얼굴의 형태 및 위치에 따라 다른 쉐이딩으로 나타나는데 반하여, 사진이나 비디오의 경우에는 쉐이딩의 양상이 다르게 나타나 이를 이용하면 상술한 위법적 신원확인을 검출할 수 있다.
본 발명의 일실시예는 조명 변화에 따른 쉐이딩의 변화를 통한 위조식별을 위하여 얼굴의 3D 형상정보가 요구될 수 있다.
이 때, 상기 얼굴의 3D 형상정보는 RGBD 센서를 이용할 경우 Depth 채널의 정보를 이용해 쉽게 획득할 수 있으며, 스테레오 카메라를 사용할 경우 두 카메라 간의 Disparity 정보를 이용해 쉽게 획득할 수 있다.
또한, 본 발명의 일실시예는 웹캠과 같은 한 대의 RGB 카메라를 이용해 촬영된 얼굴영상에 대해 CNN(Convolution Neural Network) 기반의 딥러닝 기법을 이용하여 얼굴의 3D 형상정보를 예측할 수도 있다.
이 때, 스케일 값은 정확하게 예측될 수 없지만, 얼굴 영상의 픽셀별로 상대적이 Depth 혹은 형상(Geometry)을 예측할 수 있기 때문에 비디오 시퀀스에서 조명의 변화에 의한 얼굴의 밝기 변화가 얼굴의 형태에 부합하는지 유무를 판단할 수 있으며, 이를 통하여 위법한 신원확인 유무를 식별할 수 있다.
도 7은 본 발명의 일실시예에 따른 시선경로 분석을 기반으로 한 능동적 신원확인 장치의 동작 블록도이다.
도 7을 참조하면, 본 발명의 일실시예는 시선경로 기반의 능동적 신원확인 모듈(710), 영상센서(720), 수동 신원확인 모듈(730), 조명모듈(740), 신원확인 어플리케이션(750)을 통하여 실시될 수 있다.
이 때, 수동 신원확인 모듈(730)은 종래의 영상인식기반의 신원확인 방법 중 사용자의 신원식별이 가능한 어떠한 모듈도 적용될 수 있다.
이 때, 본 발명의 일실시예는 위조식별과 고수준의 신원확인을 위한 시선경로 기반의 능동적 신원확인 모듈(710)을 통하여 실제 사람인지 여부를 판단한 Liveness와 신원 ID를 포함하는 신원확인 정보를 고수준의 신원확인 어플리케이션(750)에 제공할 수 있다.
도 8은 본 발명의 일실시예에 따른 시선경로 분석을 기반으로 한 능동적 신원확인모듈의 블록도이다.
도 8을 참조하면, 시선경로 기반의 능동적 신원확인 모듈(710)은 얼굴의 형상검출 모듈(801), 정규화 모듈(803), 시선경로 검출 모듈(805), 조명제어 모듈(807), Liveness 식별 모듈(809), 능동 신원확인 모듈(811) 및 사용자의 시선경로 데이터베이스(813)를 포함할 수 있다.
시선경로 기반의 능동적 신원확인 모듈(710)은 영상센서를 통해 입력받은 사용자의 얼굴영상을 기반으로 사용자의 얼굴형태, 얼굴의 특징정보, 헤드포즈 등을 검출할 수 있는데, 이와 관련해서는 이하에서 도 9 및 도 10을 참조하여 자세하게 설명한다.
수동 신원확인 모듈을 통하여 신원이 확인되면 시계열 시선경로 검출 과정이 진행되고, 이 과정 중에 조명모듈은 조명제어 모듈을 통하여 조명 모듈의 개별 조명의 온오프, 색상변경 등을 통하여 임의의 랜던 조명을 생성해낼 수 있다.
상기 생성된 조명 정보는 Liveness 식별 모듈(809)로 전달될 수 있다.
Liveness 식별 모듈(809)은 사용자의 얼굴 형태를 이용하여 조명이 조사된 시점의 조명정보와 촬영된 영상 내 얼굴에 반영된 조명정보를 분석하여 실제 사람이 신원확인 중인지를 식별할 수 있다.
상기 식별은 형상검출 모듈(801)에서 확보된 얼굴 형상 정보를 기반으로 조사된 조명이 형상에 맞게 쉐이딩이 발생하였는지를 영상 분석을 통해 판별해낼 수 있다.
상기 판별방법은 실제 사람이 아닌 경우 상기 조명에 의한 쉐이딩 효과가 상이하게 포착되는 것을 이용하여, 실시간으로 랜덤하게 조합되는 조명에 의한 반영정도를 추출하여 판별하되, CNN 학습기 등을 통하여 학습시킨 후 Liveness 여부를 검출할 수 있다.
능동 신원확인 모듈(811)은 실시간으로 입력되는 사용자의 시선경로가 사용자 ID로 저장된 시선경로와 일치하는지 여부를 통해 고도화된 신원확인을 수행할 수 있고, 동시에 해당 시선경로 검출 중에 Liveness 여부 판단을 수행하여, 사용자의 ID에 따른 신원확인 경과를 다양한 신원확인 어플리케이션에 제공할 수 있다.
도 9는 본 발명의 일실시예에 따라 사용자의 눈 영역을 추출하는 과정을 나타내는 예시도이고, 도 10은 본 발명의 일실시예에 따라 눈 영역을 정규화하는 과정을 나타내는 예시도이다.
도 9를 참조하면, 시선경로 기반의 능동적 신원확인 모듈은 영상센서로부터 입력되는 얼굴영상을 형상검출 모듈(801)을 통하여 도 9에 도시된 바와 같이 2D-3D CNN 딥러닝 기법을 적용하여 사용자의 얼굴 형태(901)와 얼굴의 특징정보(903) 및 헤드포즈(907) 등을 검출할 수 있다.
이 때, 정규화 모듈(803)은 상기 헤드포즈와 3D 얼굴 형태 및 좌/우 눈 양쪽 끝에 위치한 특징정보(903)를 이용하여 영상 내에서 사용자의 눈 영역(905, ROI, Region Of Interest)을 검출할 수 있다.
이 때, 도 10에 도시된 바와 같이, 상기 눈 영역은 헤드포즈에 따라 그 형태가 달라지기 때문에 연산 효율성을 위하여 정규화 과정을 거칠 수 있다.
이 때, 눈 영역은 헤드포즈에 따라 2개의 회전축에 의한 Yaw/Pitch의 움직임으로 시선방향을 설명할 수 있으며(1001), 이를 통해 상기 눈 영역의 시선방향이 정면을 향하도록 정규화할 수 있다(1003).
이 때, 정규화된 눈 영역은 홍채와 공막으로 특징을 추출할 수 있고(1005), 이를 통하여 간단한 CNN 딥러닝 기법만으로 헤드포즈와 무관하게 눈의 시선위치를 추정할 수 있다.
이 때, 시선경로 검출 모듈은 상기 시선위치를 시계열로 연결하여 시선경로를 검출할 수 있다.
또한, 본 발명의 일실시예에 따른 시선경로 분석을 기반으로 한 능동적 신원확인모듈은 형상검출 모듈을 통하여 사용자가 신원확인 중 얼굴을 자연스럽게 움직이거나 회전하는 경우에도 이를 보상하고 정규화하여 시선경로를 검출할 수 있다.
도 11은 본 발명의 일실시예에 따른 시선경로 분석을 기반으로 한 능동적 신원확인 방법의 흐름도이다.
도 11을 참조하면, 본 발명의 일실시예에 따른 시선경로 분석을 기반으로 한 능동적 신원확인 방법은 먼저, 사용자의 얼굴영상을 추출한다(S1110).
또한, 본 발명의 일실시예에 따른 시선경로 분석을 기반으로 한 능동적 신원확인 방법은 상기 얼굴영상에 기반하여 사용자의 시선경로를 추출한다(S1120).
또한, 본 발명의 일실시예에 따른 시선경로 분석을 기반으로 한 능동적 신원확인 방법은 상기 시선경로에 기반하여 사용자의 신원을 확인한다(S1130).
이 때, 단계(S1130)는, 사용자의 고유ID에 상응하는 등록시선경로와 상기 시선경로를 비교하여 사용자의 신원을 확인할 수 있다.
이 때, 상기 등록시선경로는, 별도로 고정된 시선위치를 지시하는 가이드없이, 사용자의 동공의 위치와 방향에 추출하고, 상기 동공이 임의의 시간동안 정지된 위치를 시선위치로 설정하고, 상기 시선위치를 시계열순으로 연결한 것일 수 있다.
또한, 본 발명의 일실시예에 따른 시선경로 분석을 기반으로 한 능동적 신원확인 방법은 상기 얼굴영상의 진위여부를 판별한다(S1140).
도 12는 본 발명의 일실시예에 따라 시선경로를 추출하는 과정을 나타내는 흐름도이다.
도 12를 참조하면, 시선경로를 추출하는 단계(S1120)는, 상기 얼굴영상에서 사용자의 얼굴정보를 검출하는 단계(S1210), 상기 얼굴정보에 기반하여 사용자의 눈 영역을 추출하는 단계(S1220), 상기 눈 영역을 상기 얼굴정보에 기반하여 정규화하는 단계(S1230) 및 정규화된 상기 눈 영역을 기반으로 상기 시선경로를 추출하는 단계(S1240)를 포함할 수 있다.
이 때, 상기 얼굴정보는, 얼굴형상정보와 이목구비의 특징점을 포함하는 특징정보 및 얼굴의 기울기에 상응하는 헤드포즈를 포함할 수 있다.
이 때, 단계(S1220)는, 상기 얼굴형상정보와 상기 특징정보 및 상기 헤드포즈에 기반하여 눈 영역을 추출할 수 있다.
이 때, 단계(S1230)는, 상기 헤드포즈에 상응하는 요/피치(Yaw/Pitch) 정보에 기반하여 상기 눈 영역이 정면을 바라보도록 정규화할 수 있다.
이 때, 단계(S1240)는, 정규화된 상기 눈 영역에서 홍채(Iris) 및 공막(Sclera) 영역을 추출하고, 상기 홍채 및 상기 공막의 형태 변화에 기반하여 상기 시선경로를 추출할 수 있다.
도 13은 본 발명의 일실시예에 따라 얼굴영상의 진위여부를 판별하는 과정을 나타내는 흐름도이다.
도 13을 참조하면, 본 발명의 일실시예에 따른 시선경로 분석을 기반으로 한 능동적 신원확인 방법은 사용자의 얼굴에 조명을 조사하는 단계를 더 포함할 수 있고, 이 때, 얼굴영상의 진위여부를 판별하는 단계(S1140)는, 상기 얼굴영상에서 상기 조명의 반영정보를 추출하는 단계(S1310) 및 상기 반영정보에 기반하여 진위여부를 판별하는 단계(S1320)를 포함할 수 있다.
이 때, 상기 조명을 조사하는 단계는, 상기 조명의 밝기, 색상 및 조사하는 위치 중 적어도 어느 하나 이상을 무작위로 조합하여 조사할 수 있다.
도 14는 본 발명의 일실시예에 따라 3차원얼굴형상정보에 기반하여 얼굴영상의 진위여부를 판별하는 과정을 나타내는 흐름도이다.
도 14를 참조하면, 반영정보에 기반하여 진위여부를 판별하는 단계(S1320)는, 상기 얼굴영상에서 3차원얼굴형상정보를 추출하는 단계(S1410), 상기 3차원얼굴형상정보를 기반으로 상기 조명의 가상반영정보를 추출하는 단계(S1420) 및 상기 가상반영정보와 상기 반영정보를 비교하여 진위여부를 판별하는 단계(S1430)를 포함할 수 있다.
이 때, 단계(S1410)는, 상기 얼굴영상을 입력으로 CNN(Convolutional neural network) 기반의 딥러닝 기법을 이용하여 상기 3차원얼굴형상정보를 추출할 수 있다.
도 15은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 15을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 15에 도시된 바와 같이, 컴퓨터 시스템(1500)은 버스(1520)를 통하여 서로 통신하는 하나 이상의 프로세서(1510), 메모리(1530), 사용자 인터페이스 입력 장치(1540), 사용자 인터페이스 출력 장치(1550) 및 스토리지(1560)를 포함할 수 있다. 또한, 컴퓨터 시스템(1500)은 네트워크(1580)에 연결되는 네트워크 인터페이스(1570)를 더 포함할 수 있다. 프로세서(1510)는 중앙 처리 장치 또는 메모리(1530)나 스토리지(1560)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1530) 및 스토리지(1560)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1531)이나 RAM(1532)을 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.
이 때, 시선경로 분석을 기반으로 한 능동적 신원확인 장치는, 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리를 포함하고, 상기 적어도 하나 이상의 프로그램은, 사용자의 얼굴영상을 추출하고, 상기 얼굴영상에 기반하여 사용자의 시선경로를 추출하고, 상기 시선경로에 기반하여 사용자의 신원을 확인하고, 상기 얼굴영상의 진위여부를 판별한다.
이 때, 상기 적어도 하나 이상의 프로그램은, 사용자의 고유ID에 상응하는 등록시선경로와 상기 시선경로를 비교하여 사용자의 신원을 확인할 수 있다.
이 때, 상기 등록시선경로는, 별도로 고정된 시선위치를 지시하는 가이드없이, 사용자의 동공의 위치와 방향에 추출하고, 상기 동공이 임의의 시간동안 정지된 위치를 시선위치로 설정하고, 상기 시선위치를 시계열순으로 연결한 것일 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 얼굴영상에서 사용자의 얼굴정보를 검출하고, 상기 얼굴정보에 기반하여 사용자의 눈 영역을 추출하고, 상기 눈 영역을 상기 얼굴정보에 기반하여 정규화하고, 정규화된 상기 눈 영역을 기반으로 상기 시선경로를 추출할 수 있다.
이 때, 상기 얼굴정보는, 얼굴형상정보와 이목구비의 특징점을 포함하는 특징정보 및 얼굴의 기울기에 상응하는 헤드포즈를 포함하고, 상기 적어도 하나 이상의 프로그램은, 상기 얼굴형상정보와 상기 특징정보 및 상기 헤드포즈에 기반하여 눈 영역을 추출하고, 상기 헤드포즈에 상응하는 요/피치(Yaw/Pitch) 정보에 기반하여 상기 눈 영역이 정면을 바라보도록 정규화할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 정규화된 상기 눈 영역에서 홍채(Iris) 및 공막(Sclera) 영역을 추출하고, 상기 홍채 및 상기 공막의 형태 변화에 기반하여 상기 시선경로를 추출할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 사용자의 얼굴에 조명을 조사한 후 사용자의 상기 얼굴영상을 추출하고, 상기 얼굴영상에서 상기 조명의 반영정보를 추출하고, 상기 반영정보에 기반하여 진위여부를 판별할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 조명을 밝기, 색상 및 조사하는 위치 중 적어도 어느 하나 이상을 무작위로 조합하여 조사할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 얼굴영상에서 3차원얼굴형상정보를 추출하고, 상기 3차원얼굴형상정보를 기반으로 상기 조명의 가상반영정보를 추출하고, 상기 가상반영정보와 상기 반영정보를 비교하여 진위여부를 판별할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은, 상기 얼굴영상을 입력으로 CNN(Convolutional neural network) 기반의 딥러닝 기법을 이용하여 상기 3차원얼굴형상정보를 추출할 수 있다.
이상에서와 같이 본 발명에 따른 시선경로 분석을 기반으로 한 능동적 신원확인 방법 및 장치는 상기한 바와 같이 설명한 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
110, 720 : 촬영수단
120, 740 : 조명 모듈
710 : 시선경로 기반의 능동적 신원확인 모듈
730 : 수동적 신원확인 모듈
750 : 신원확인 어플리케이션

Claims (20)

  1. 사용자의 얼굴에 조명의 밝기, 색상 및 조사하는 위치 중 적어도 어느 하나 이상을 실시간 무작위로 조합하여 조사하는 단계;
    사용자의 얼굴영상을 추출하는 단계;
    상기 얼굴영상에 기반하여 사용자의 시선경로를 추출하는 단계;
    상기 시선경로에 기반하여 사용자의 신원을 확인하는 단계; 및
    상기 얼굴영상의 진위여부를 판별하는 단계; 를 포함하되,
    상기 얼굴영상의 진위여부를 판별하는 단계는,
    상기 얼굴영상에서 상기 조명의 반영정보를 추출하는 단계;
    상기 얼굴영상에서 3차원얼굴형상정보를 추출하고, 상기 추출된 3차원 얼굴 형상 정보를 기반으로 상기 조명의 가상 반영정보를 추출하는 단계; 및
    상기 가상 반영 정보와 상기 반영정보를 비교하여 상기 얼굴 영상이 실제 사람으로부터 촬영된 것인지의 진위여부를 판별하는 단계;를 포함하되,
    상기 반영 정보 및 가상 반영 정보는,
    상기 실시간 무작위로 조합되어 조사된 조명에 따른 쉐이딩의 효과를 나타내는, 시선경로 분석을 기반으로 한 능동적 신원확인 방법.
  2. 청구항 1에 있어서,
    상기 신원을 확인하는 단계는,
    사용자의 고유ID에 상응하는 등록시선경로와 상기 시선경로를 비교하여 사용자의 신원을 확인하는 것을 특징으로 하는 시선경로 분석을 기반으로 한 능동적 신원확인 방법.
  3. 청구항 2에 있어서,
    상기 등록시선경로는,
    별도로 고정된 시선위치를 지시하는 가이드없이, 사용자의 동공의 위치와 방향을 추출하고, 상기 동공이 임의의 시간동안 정지된 위치를 시선위치로 설정하고, 상기 시선위치를 시계열순으로 연결한 것을 특징으로 하는 시선경로 분석을 기반으로 한 능동적 신원확인 방법.
  4. 청구항 1에 있어서,
    상기 시선경로를 추출하는 단계는,
    상기 얼굴영상에서 사용자의 얼굴정보를 검출하는 단계;
    상기 얼굴정보에 기반하여 사용자의 눈 영역을 추출하는 단계;
    상기 눈 영역을 상기 얼굴정보에 기반하여 정규화하는 단계; 및
    정규화된 상기 눈 영역을 기반으로 상기 시선경로를 추출하는 단계; 를 포함하는 것을 특징으로 하는 시선경로 분석을 기반으로 한 능동적 신원확인 방법.
  5. 청구항 4에 있어서,
    상기 얼굴정보는,
    얼굴형상정보와 이목구비의 특징점을 포함하는 특징정보 및 얼굴의 기울기에 상응하는 헤드포즈를 포함하고,
    상기 눈 영역을 추출하는 단계는,
    상기 얼굴형상정보와 상기 특징정보 및 상기 헤드포즈에 기반하여 눈 영역을 추출하고,
    상기 정규화하는 단계는,
    상기 헤드포즈에 상응하는 요/피치(Yaw/Pitch) 정보에 기반하여 상기 눈 영역이 정면을 바라보도록 정규화하는 것을 특징으로 하는 시선경로 분석을 기반으로 한 능동적 신원확인 방법.
  6. 청구항 4에 있어서,
    상기 눈 영역을 기반으로 상기 시선경로를 추출하는 단계는,
    정규화된 상기 눈 영역에서 홍채(Iris) 및 공막(Sclera) 영역을 추출하고, 상기 홍채 및 상기 공막의 형태 변화에 기반하여 상기 시선경로를 추출하는 것을 특징으로 하는 시선경로 분석을 기반으로 한 능동적 신원확인 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 청구항 1에 있어서,
    상기 3차원얼굴형상정보를 추출하는 단계는,
    상기 얼굴영상을 입력으로 CNN(Convolutional neural network) 기반의 딥러닝 기법을 이용하여 상기 3차원얼굴형상정보를 추출하는 것을 특징으로 하는 시선경로 분석을 기반으로 한 능동적 신원확인 방법.
  11. 하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리;
    를 포함하고,
    상기 적어도 하나 이상의 프로그램은,
    사용자의 얼굴에 조명의 밝기, 색상 및 조사하는 위치 중 적어도 어느 하나 이상을 실시간 무작위로 조합하여 조사하고, 사용자의 얼굴영상을 추출하고, 상기 얼굴영상에 기반하여 사용자의 시선경로를 추출하고, 상기 시선경로에 기반하여 사용자의 신원을 확인하고, 상기 얼굴영상의 진위여부를 판별하되,
    상기 얼굴영상의 진위여부를 판별함에 있어,
    상기 얼굴영상에서 상기 조명의 반영정보를 추출하고,
    상기 얼굴영상에서 추출된 3차원얼굴형상정보를 기반으로 상기 조명의 가상 반영정보를 추출하고,
    상기 가상 반영 정보와 상기 반영정보를 비교하여 상기 얼굴 영상이 실제 사람으로부터 촬영된 것인지의 진위여부를 판별하되,
    상기 반영 정보 및 가상 반영 정보는,
    상기 실시간 무작위로 조합되어 조사된 조명에 따른 쉐이딩의 효과를 나타내는, 시선경로 분석을 기반으로 한 능동적 신원확인 장치.
  12. 청구항 11에 있어서,
    상기 적어도 하나 이상의 프로그램은,
    사용자의 고유ID에 상응하는 등록시선경로와 상기 시선경로를 비교하여 사용자의 신원을 확인하는 것을 특징으로 하는 시선경로 분석을 기반으로 한 능동적 신원확인 장치.
  13. 청구항 12에 있어서,
    상기 등록시선경로는,
    별도로 고정된 시선위치를 지시하는 가이드없이, 사용자의 동공의 위치와 방향을 추출하고, 상기 동공이 임의의 시간동안 정지된 위치를 시선위치로 설정하고, 상기 시선위치를 시계열순으로 연결한 것을 특징으로 하는 시선경로 분석을 기반으로 한 능동적 신원확인 장치.
  14. 청구항 11에 있어서,
    상기 적어도 하나 이상의 프로그램은,
    상기 얼굴영상에서 사용자의 얼굴정보를 검출하고, 상기 얼굴정보에 기반하여 사용자의 눈 영역을 추출하고, 상기 눈 영역을 상기 얼굴정보에 기반하여 정규화하고, 정규화된 상기 눈 영역을 기반으로 상기 시선경로를 추출하는 것을 특징으로 하는 시선경로 분석을 기반으로 한 능동적 신원확인 장치.
  15. 청구항 14에 있어서,
    상기 얼굴정보는,
    얼굴형상정보와 이목구비의 특징점을 포함하는 특징정보 및 얼굴의 기울기에 상응하는 헤드포즈를 포함하고,
    상기 적어도 하나 이상의 프로그램은,
    상기 얼굴형상정보와 상기 특징정보 및 상기 헤드포즈에 기반하여 눈 영역을 추출하고, 상기 헤드포즈에 상응하는 요/피치(Yaw/Pitch) 정보에 기반하여 상기 눈 영역이 정면을 바라보도록 정규화하는 것을 특징으로 하는 시선경로 분석을 기반으로 한 능동적 신원확인 장치.
  16. 청구항 14에 있어서,
    상기 적어도 하나 이상의 프로그램은,
    정규화된 상기 눈 영역에서 홍채(Iris) 및 공막(Sclera) 영역을 추출하고, 상기 홍채 및 상기 공막의 형태 변화에 기반하여 상기 시선경로를 추출하는 것을 특징으로 하는 시선경로 분석을 기반으로 한 능동적 신원확인 장치.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 청구항 11에 있어서,
    상기 적어도 하나 이상의 프로그램은,
    상기 얼굴영상을 입력으로 CNN(Convolutional neural network) 기반의 딥러닝 기법을 이용하여 상기 3차원얼굴형상정보를 추출하는 것을 특징으로 하는 시선경로 분석을 기반으로 한 능동적 신원확인 장치.
KR1020200034540A 2020-03-20 2020-03-20 시선경로 분석을 기반으로 한 능동적 신원확인 방법 및 장치 KR102534582B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200034540A KR102534582B1 (ko) 2020-03-20 2020-03-20 시선경로 분석을 기반으로 한 능동적 신원확인 방법 및 장치
US17/081,725 US11709919B2 (en) 2020-03-20 2020-10-27 Method and apparatus of active identity verification based on gaze path analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200034540A KR102534582B1 (ko) 2020-03-20 2020-03-20 시선경로 분석을 기반으로 한 능동적 신원확인 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210117798A KR20210117798A (ko) 2021-09-29
KR102534582B1 true KR102534582B1 (ko) 2023-05-22

Family

ID=77747962

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200034540A KR102534582B1 (ko) 2020-03-20 2020-03-20 시선경로 분석을 기반으로 한 능동적 신원확인 방법 및 장치

Country Status (2)

Country Link
US (1) US11709919B2 (ko)
KR (1) KR102534582B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023063861A1 (en) * 2021-10-13 2023-04-20 Fingerprint Cards Anacatum Ip Ab A method and a system configured to reduce impact of impairment data in captured iris images
CN113886791A (zh) * 2021-10-19 2022-01-04 中国科学院上海微系统与信息技术研究所 一种身份信息的确定方法、装置、电子设备及存储介质
KR102625656B1 (ko) * 2022-03-23 2024-01-16 전남대학교산학협력단 비대면 소통 플랫폼 맞춤형 영상 합성 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017010459A (ja) * 2015-06-25 2017-01-12 レノボ・シンガポール・プライベート・リミテッド ユーザ認証の方法、電子機器およびコンピュータ・プログラム
KR101706992B1 (ko) * 2016-01-27 2017-02-15 숭실대학교산학협력단 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714665B1 (en) * 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
KR100734849B1 (ko) 2005-11-26 2007-07-03 한국전자통신연구원 얼굴 인식 방법 및 그 장치
KR100842258B1 (ko) 2006-10-26 2008-06-30 한국전자통신연구원 얼굴 영상의 위조 여부를 판별하는 방법 및 그 장치
KR100809431B1 (ko) 2006-11-21 2008-03-05 한국전자통신연구원 가림 현상에 강인한 눈 검출 방법 및 장치
US8856541B1 (en) 2013-01-10 2014-10-07 Google Inc. Liveness detection
US20150302252A1 (en) * 2014-04-16 2015-10-22 Lucas A. Herrera Authentication method using multi-factor eye gaze
KR102477190B1 (ko) 2015-08-10 2022-12-13 삼성전자주식회사 얼굴 인식 방법 및 장치
US10102358B2 (en) 2015-12-29 2018-10-16 Sensory, Incorporated Face-controlled liveness verification
US10282530B2 (en) 2016-10-03 2019-05-07 Microsoft Technology Licensing, Llc Verifying identity based on facial dynamics
KR101946253B1 (ko) 2017-08-04 2019-02-11 부산가톨릭대학교 산학협력단 시선 인식을 이용한 잠금해제 장치 및 방법
KR102115546B1 (ko) * 2018-02-21 2020-05-26 한국과학기술연구원 전자기기, 그것의 사용자 인증 방법, 및 그것의 사용자 생체정보 등록 방법
JP2019197426A (ja) 2018-05-10 2019-11-14 パナソニックＩｐマネジメント株式会社 顔認証装置、顔認証方法および顔認証システム
US11163995B2 (en) * 2019-12-31 2021-11-02 Logitech Europe S.A. User recognition and gaze tracking in a video system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017010459A (ja) * 2015-06-25 2017-01-12 レノボ・シンガポール・プライベート・リミテッド ユーザ認証の方法、電子機器およびコンピュータ・プログラム
KR101706992B1 (ko) * 2016-01-27 2017-02-15 숭실대학교산학협력단 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체

Also Published As

Publication number Publication date
US11709919B2 (en) 2023-07-25
US20210294883A1 (en) 2021-09-23
KR20210117798A (ko) 2021-09-29

Similar Documents

Publication Publication Date Title
KR102534582B1 (ko) 시선경로 분석을 기반으로 한 능동적 신원확인 방법 및 장치
US9971920B2 (en) Spoof detection for biometric authentication
US9117109B2 (en) Facial recognition
EP2680192B1 (en) Facial recognition
JP4675492B2 (ja) 顔画像を使用した個人認証装置
KR20170078729A (ko) 홍채 기반 생체 측정 시스템에서의 도용 검출을 위한 시스템 및 방법
KR20210062381A (ko) 라이브니스 검사 방법 및 장치, 생체 인증 방법 및 장치
US11227170B2 (en) Collation device and collation method
KR102317180B1 (ko) 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
KR20210069404A (ko) 라이브니스 검사 방법 및 라이브니스 검사 장치
US11714889B2 (en) Method for authentication or identification of an individual
JP7192872B2 (ja) 虹彩認証装置、虹彩認証方法、虹彩認証プログラムおよび記録媒体
KR101919090B1 (ko) 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
US20210256244A1 (en) Method for authentication or identification of an individual
KR102160137B1 (ko) 특징점 변동을 이용한 위조 얼굴 판별장치 및 그 방법
CN115376212A (zh) 伪造图像检测
KR102176882B1 (ko) 특징점 변동을 이용한 위조 홍채 판별장치 및 그 방법
KR102473523B1 (ko) 홍채 인식 방법 및 장치
KR102072168B1 (ko) 생체 구분이 가능한 홍채 인식 방법 및 이를 이용한 시스템
KR102483647B1 (ko) 라이브니스 검증 방법 및 장치
KR100585640B1 (ko) 홍채의 진위 판단방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant