KR102598434B1 - 마스크 착용에 강건한 신원 확인 모델 학습 방법 및 상기 신원 확인 모델을 사용한 신원 확인 시스템 - Google Patents

마스크 착용에 강건한 신원 확인 모델 학습 방법 및 상기 신원 확인 모델을 사용한 신원 확인 시스템 Download PDF

Info

Publication number
KR102598434B1
KR102598434B1 KR1020210046476A KR20210046476A KR102598434B1 KR 102598434 B1 KR102598434 B1 KR 102598434B1 KR 1020210046476 A KR1020210046476 A KR 1020210046476A KR 20210046476 A KR20210046476 A KR 20210046476A KR 102598434 B1 KR102598434 B1 KR 102598434B1
Authority
KR
South Korea
Prior art keywords
subset
identity verification
image
mask
input
Prior art date
Application number
KR1020210046476A
Other languages
English (en)
Other versions
KR20220140240A (ko
Inventor
김익재
남기표
김민수
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020210046476A priority Critical patent/KR102598434B1/ko
Publication of KR20220140240A publication Critical patent/KR20220140240A/ko
Application granted granted Critical
Publication of KR102598434B1 publication Critical patent/KR102598434B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

실시예들은, 입력 영상에서 특징 세트를 추출하는 특징 추출 레이어; 및 상기 특징 세트를 수신하여 제1 서브 세트와 제2 서브 세트로 분류하는 분류 레이어를 포함한 신원 확인 모델을 학습하는 방법 및 상기 신원 확인 모델을 사용하는 신원 확인 모델에 관련된다. 상기 방법은 하나 이상의 입력 영상의 쌍을 상기 신원 확인 모델에 입력하여 상기 한 쌍의 각 입력영상별 제1 서브 세트와 제2 서브 세트를 각각 취득하는 단계; 및 각 입력영상별 제1 서브 세트와 제2 서브 세트에 기초하여 상기 분류 레이어의 파라미터의 값을 학습하는 단계를 포함할 수도 있다.

Description

마스크 착용에 강건한 신원 확인 모델 학습 방법 및 상기 신원 확인 모델을 사용한 신원 확인 시스템{METHOD FOR TRAINING ROBUST IDENTIFICATION MODEL AND IDENTIFICATION SYSTEM USING THE IDENTIFICATION MODEL}
본 발명은 신원 확인 기술에 관한 것으로서, 보다 상세하게는 마스크 착용에 의해 얼굴의 일부가 가려진 대상자의 신원 확인을 강건하게 수행할 수 있는 신원 확인 모델을 학습하는 방법 및 이를 사용한 신원 확인 시스템에 관한 것이다.
현대 사회에서는 건물 및 사내 출입을 효율적으로 수행하고자 RFID 모듈이 포함된 사내 출입증을 활용한 출입 출입 통제 시스템이 활발히 활용되고 있다. 그러나, 사용자의 RFID 카드가 분실, 도난될 경우 사용자 불편이 발생하는 문제점을 지니고 있다.
이러한 문제점으로 인해, 종래의 시스템이 생체인식 기반의 출입출입 통제 시스템으로 점차적으로 대체되고 있는 추세이다. 생체인식 기반의 출입출입 통제 시스템은 홍채, 지문 등 대상자의 고유한 생체 정보를 식별 수단으로 사용하는데, 이 식별 수단은 분실, 도난될 우려가 없기 ‹š문이다.
하지만, 홍채 인식의 경우, 홍채 영역 검출 등에 소요되는 시간이 타 기술 대비 오래 걸린다는 점, 그리고 안경이나 콘택트렌즈 착용 등으로 인해 인식 성능이 저하된다는 한계가 있다.
그리고, 지문 인식은 단말기로의 직접적인 접촉을 요하기 때문에 대상자에게 거부감을 줄 수 있다는 한계가 있다.
최근 인공지능 기술의 발전으로 인해 얼굴인식 기반 출입 출입 통제 시스템이 이러한 한계를 극복할 수 있는 수단으로 주목받고 있다. 예를 들어, 특허문헌 1 (공개특허공보 제10-2019-0107867호 (2019.09.23.))은 출입 통제 단말기를 통해 취득된 얼굴 이미지와 데이터베이스 내에 저장되어 있는 대상자 얼굴 이미지 간의 비교를 통해 본인 인증을 수행함으로써 출입 허용 대상자 여부를 판단하고, 출입 허용 대상자의 출입을 허가한다.
그러나, 마스크를 착용하는 것과 같이, 부분적으로 가려진 얼굴영상이 입력되면, 오인식률이 높은 문제가 있다. 특히, 최근 COVID-19로 인한 위험도가 증가함에 따라 감염 확산 예방을 위해 마스크 착용이 필수화 되고 있으며, 많은 인원이 출입하는 건물 등에서 출입 시 대상자를 상대로 마스크 착용 유무 체크를 수행하는 것이 의무화 되고 있다.
따라서, 마스크 착용이 일반화 되는 시대에는 마스크로 인한 얼굴 가림으로 인해 얼굴 인식 기반 신원 확인 성능이 저하되는 문제에 대한 해결이 필요하다.
특허공개공보 10-2019-0107867 (2019.09.23.)
본 발명의 실시예들에 따르면, 마스크 착용에 의해 얼굴의 일부가 가려진 대상자의 신원 확인을 강건하게 수행할 수 있는 신원 확인 모델을 학습하는 방법 및 이를 사용한 신원 확인 시스템을 제공하고자 한다.
본 발명의 일 측면에 따른, 입력 영상에서 특징 세트를 추출하는 특징 추출 레이어; 및 상기 특징 세트를 수신하여 제1 서브 세트와 제2 서브 세트로 분리하는 분리 레이어를 포함한 신원 확인 모델을 학습하는 방법은 프로세서에 의해 수행될 수도 있다. 상기 방법은: 하나 이상의 입력 영상의 쌍을 상기 신원 확인 모델에 입력하여 상기 한 쌍의 각 입력영상별 제1 서브 세트와 제2 서브 세트를 각각 취득하는 단계; 및 각 입력영상별 제1 서브 세트와 제2 서브 세트에 기초하여 상기 분리 레이어의 파라미터의 값을 학습하는 단계를 포함한다. 상기 입력 영상의 쌍은 동일한 사람의 마스크 착용 영상과 마스크 미착용 얼굴영상으로 이루어진 것이다.
일 실시예에서, 상기 각 입력영상별 제1 서브 세트와 제2 서브 세트를 각각 취득하는 단계는: 상기 입력 영상의 쌍 중에서 상기 마스크 착용 영상을 상기 특징 추출 레이어에 입력하여 제1 특징 세트를 추출하는 단계; 상기 입력 영상의 쌍 중에서 상기 마스크 미착용 얼굴영상을 상기 특징 추출 레이어에 입력하여 제2 특징 세트를 추출하는 단계; 상기 제1 특징 세트를 상기 분리 레이어에 입력하여 상기 마스크 착용 영상의 제1 서브 세트와 제2 서브 세트로 분리하는 단계; 상기 제2 특징 세트를 상기 분리 레이어에 입력하여 상기 마스크 미착용 얼굴영상의 제1 서브 세트와 제2 서브 세트로 분리하는 단계;를 포함할 수도 있다.
일 실시예에서, 상기 분리 레이어는 입력 데이터 세트에 포함된 데이터의 특성에 기초하여 단일 데이터 세트를 서로 다른 서브 세트로 분리하는 것일 수도 있다.
일 실시예에서, 상기 학습하는 단계는, 상기 분리 레이어에 의해 분리되는 제1 서브 세트와 제2 서브 세트 간의 유사도가 보다 낮아지도록 상기 분리 레이어의 적어도 일부 파라미터를 학습하는 것일 수도 있다.
일 실시예에서, 상기 제1 서브 세트와 제2 서브 세트 중 어느 하나는 고유속성 서브 세트이다. 상기 학습하는 단계는, 상기 마스크 착용 영상의 제1 서브 세트와 제2 서브 세트 간의 유사도 및 상기 마스크 미착용 얼굴영상의 제1 서브 세트와 제2 서브 세트 간의 유사도 중 적어도 하나의 유사도가 보다 낮아지고, 그리고 상기 마스크 미착용 얼굴영상의 고유특성 서브 세트와 상기 마스크 착용 영상의 고유특성 서브 세트 간의 유사도가 보다 높아지도록 상기 분리 레이어의 적어도 일부 파라미터를 학습하는 것일 수도 있다.
일 실시예에서, 입력 영상별 제1 서브 세트와 제2 서브 세트 간의 유사도는 최대화 되고, 고유특성 서브 세트 간의 유사도는 최소가 되도록 학습될 수도 있다.
일 실시예에서, 상기 특징 추출 레이어의 파라미터는, 마스크 착용 영상이 입력되면 신원 확인을 위해 얼굴 특징을 추출하거나 마스크 미착용 얼굴영상이 입력되면 신원 확인을 위해 얼굴 특징을 추출하도록 이미 학습된 것일 수도 있다.
본 발명의 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는 상술한 실시예들에 따른 방법을 수행하기 위한 프로그램을 기록할 수도 있다.
본 발명의 또 다른 일 측면에 따른 신원확인 시스템은 상술한 실시예들에 따른 방법에 의해 학습된 신원 확인 모델을 포함한다. 상기 신원확인 시스템은: 신원 확인 대상의 얼굴이 표시된 대상 영상을 취득하고, 상기 신원 확인 대상의 얼굴 영역을 상기 학습된 신원 확인 모델에 적용하여 상기 신원 확인 대상의 고유특성을 취득하며, 미리 저장된 후보자의 고유특성과 취득된 상기 신원 확인 대상의 고유특성에 기초하여 상기 신원 확인 대상의 신원을 확인하는 것일 수도 있다.
일 실시예에서, 상기 신원 확인 시스템은, 상기 신원 확인 대상의 고유특성을 취득하기 위해, 상기 신원 확인 대상의 얼굴 영역을 상기 학습된 신원 확인 모델의 특징 추출 레이어에 입력하여 상기 신원 확인 대상의 특징 세트를 취득하고, 상기 신원 확인 대상의 특징 세트를 상기 학습된 신원 확인 모델의 분리 레이어에 입력하여 상기 신원 확인 대상의 고유특성 서브 세트를 취득할 수도 있다.
일 실시예에서, 상기 신원 확인 시스템은, 상기 신원 확인 대상의 고유특성을 취득하기 이전에, 상기 대상 영상에서 상기 대상의 얼굴 영역을 검출하도록 더 구성될 수도 있다.
일 실시예에서, 상기 신원 확인 시스템은, 상기 신원 확인 대상의 신원을 확인하기 위해, 미리 저장된 후보자의 고유특성과 취득된 상기 신원 확인 대상의 고유특성 간의 특성거리를 계산하고, 그리고 계산된 특성거리가 미리 설정된 임계치 미만일 경우 상기 신원 확인 대상의 신원이 확인된 것일 수도 있다.
일 실시예에서, 상기 데이터베이스에 미리 저장된 후보자의 고유속성은 상기 후보자의 마스크 미착용 영상 및 마스크 착용 영상 중 어느 하나로부터 취득된 것일 수도 있다.
본 발명의 실시예들에 따르면, 종래의 기술들과 대비되어 마스크 착용 여부와 관련없는 특징만을 사용하여 신원을 확인하기 때문에, 마스크를 착용한 경우의 신원 확인이 높아진다.
특히, 마스크 미착용 인물의 신원 확인을 위한 모델, 마스크 착용 인물의 신원 확인을 위한 모델과 같이, 모델을 개별적으로 여러 개 생성 및 학습하지 않고, 단일 모델 기반의 범용 애플리케이션으로 활용할 수 있다. 이로 인해, 상대적으로 애플리케이션의 용량이 적고, 높은 신원 확인 성능을 위해 특정 유형의 영상이 요구되는 한계가 없다.
더욱이 이러한 단일 애플리케이션은 입력된 영상에 대해 특별한 전처리나 센싱 과정이 불필요하기 때문에, 처리속도가 빠르고 임베디드 소프트웨어로서 사용되기 용이하다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 위한 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 실시예에 따른, 신원 확인 시스템의 개략도이다.
도 2는, 본 발명의 일 실시예에 따른, 신원 확인 모델의 개략도이다.
도 3은, 도 2의 신원 확인 모델을 학습하는 방법의 흐름도이다.
도 4는, 도 3의 학습 방법에 의해 학습된 신원 확인 모델의 동작의 개념도이다.
도 5는, 본 발명의 일 실시예에 따른, 신원 확인 시스템의 동작의 흐름도이다.
도 6은, 본 발명의 일 실시예에 따른, 영역 검출 과정의 개략도이다.
도 7은, 본 발명의 일 실시예예 따른, 대상자의 고유특성을 추출하는 과정의 개략도이다.
도 8은, 본 발명의 일 실시예에 따른, 상기 대상자의 신원을 확인하는 과정의 개략도이다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된(disclosed) 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은, 본 발명의 일 실시예에 따른, 신원 확인 시스템의 개략도이다.
도 1을 참조하면, 상기 신원 확인 시스템(1)은 영상 취득 모듈(100); 및 신원 확인 모듈(300)를 포함한다. 특정 실시예들에서, 상기 신원 확인 시스템(1)은 학습 모듈(10) 및/또는 영역 검출 모듈(200)를 더 포함할 수도 있다.
실시예들에 따른 신원 확인 시스템(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 시스템은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 가능한 컴퓨팅 장치일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
상기 신원 확인 시스템(1)은 부분 가림 얼굴영상이 입력되어도 높은 정확도로 신원을 확인할 수 있는, 강인한 신원 확인 모델을 사용하도록 구성된다.
상기 신원 확인 모델의 일부 또는 전부의 파라미터 값은 학습 모듈(10)에 의해 학습된다.
도 2는, 본 발명의 일 실시예에 따른, 신원 확인 모델의 개략도이다.
도 2를 참조하면, 상기 신원 확인 모델은 입력영상에서 신원 확인을 위해 사용되는 특징(feautres)을 추출하도록 구성된다. 상기 신원 확인 모델은 특징 추출 레이어(Ff) 및 분리 레이어(Fc)를 포함한다.
입력영상은 신원 확인 대상(이하, “대상자”)의 얼굴 영역의 일부 또는 전부가 표시된 영상이다. 입력영상은 대상자의 얼굴 영역이 부분적으로 가려진 영상 또는 대상자의 얼굴이 가려지지 않고 완전히 노출된 영상이다. 특정 실시예들에서, 대상자의 얼굴 영역이 부분적으로 가려진 영상은 마스크 착용 영상일 수도 있다.
특징 추출 레이어(Ff)는 입력영상에서 특징을 추출하도록 구성된다. 특징(features)은 입력영상에 표시된 얼굴에서 인물의 신원을 확인하는 함축된 얼굴 표현(facial representation)으로서, 특징 값 또는 특징 벡터로 입력영상에서 추출된다.
특징 추출 레이어(Ff)는 입력영상(예컨대, 픽셀)에서 특징을 추출하는 특징 서술자를 포함한다. 상기 특징 서술자는 특징 추출 알고리즘으로 구현될 수도 있다. 상기 특징 추출 알고리즘은, 예를 들어, PCA(Principal Components Analysis), LDA(Local Discriminant Analysis), ICA(Independent Components Analysis), CNN(Convolution Neural Network), LBP(Local Binary Pattern), SIFT(Scale Invariant Feature Transform), LE(Learning-based Encoding), HOG(Histogram of Oriented Gradient) 방식 등 중 하나 또는 이들의 조합을 수행하는 알고리즘을 포함하나, 이에 제한되지 않는다.
이러한 특징 추출 알고리즘을 통해 추출되는 특징은 입력영상의 얼굴에 대한 전역적 특징(global features) 및/또는 지역적 특징(local features)을 포함할 수도 있다.
일 실시예에서, 상기 특징 추출 레이어(Ff)는 다른 기계학습 모델로부터 취득된 것일 수도 있다. 상기 다른 기계학습 모델로부터 취득된 특징 추출 레이어(Ff)는 종래의 신원 확인(또는 얼굴 인식)에 요구되는 기계학습 모델의 학습에 의해 결정된 값을 갖는 레이어일 수도 있다.
예를 들어, 상기 신원 확인 모델과 다른 얼굴 인식 모델이 CNN 기반 딥러닝 모델로서 컨볼루션 레이어 및 완전 연결 레이어(FCL)을 포함하고, 컨볼루션 레이어에서 특징 맵(feature map)이 출력되어 완전 연결 레이어를 통해 분리되도록 구성된 것으로 가정해보자. 이 다른 얼굴 인식 모델은 얼굴 인식을 위한 별도의 학습 데이터 세트를 사용해 컨볼루션 레이어 및 완전 연결 레이어의 파라미터 값이 학습될 것이다. 그러면, 학습된 얼굴 인식 모델에서 특징을 추출하는 네트워크 부분인 컨볼루션 레이어가 도 2의 특징 추출 레이어(Ff)로 사용될 수도 있다.
분리 레이어(Fc)는 입력된 특징 세트를 서로 다른 서브 세트로 분리하는 레이어이다.
분리 레이어(Fc)는 입력 데이터 세트의 데이터 특성에 기초하여 두 서브 세트로 분리할 수도 있다. 예를 들어, 데이터 특성은 분포도일 수도 있다. 이 경우, 분리 레이어(Fc)는 입력된 특징 세트에 포함된 특징 벡터의 분포에 기초하여 서로 다른 두 개의 그룹을 형성함으로써 단일 특징 세트를 두 개의 서브 세트로 분리할 수도 있다.
일 실시예에서, 분리 레이어(Fc)는 입력 데이터 세트에서 특정 데이터 특성을 갖는 일부 입력 데이터를 필터링하도록 구성될 수도 있다. 그러면, 분리 레이어(Fc)에 의해 필터링된 서브 세트와 그렇지 않은 서브 세트가 분리되어 취득된다.
일부 실시예에서, 분리 레이어(Fc)는 아래에서 서술할 고유특성을 필터링할 수도 있다. 다른 일부 실시예들에서, 분리 레이어(Fc)는 상기 고유특성이 아닌 다른 일부 데이터를 필터링할 수도 있다.
학습 모듈(10)는 신원 확인 모델의 일부 또는 전부의 파라미터의 값을 학습한다. 특정 실시예들에서, 학습 모듈(10)는 신원 확인 모델의 분리 레이어(Fc)의 파라미터의 값을 학습할 수도 있다.
이러한 학습 모듈(10)의 동작에 대해서는 아래의 도 3을 참조하여 보다 상세하게 서술한다.
도 3은, 도 2의 신원 확인 모델을 학습하는 방법의 흐름도이다.
도 3을 참조하면, 프로세서(예를 들어, 학습 모듈(10))에 의해 수행되는 신원 확인 모델을 학습하는 방법은: 하나 이상의 입력영상 쌍 각각의 입력영상에서 특징을 추출해 특징 세트를 취득하는 단계(S310); 각 입력영상별 특징 세트를 제1 서브 세트와 제2 서브 세트로 분리하는 단계(S330): 각 입력영상별 제1 서브 세트와 제2 서브 세트 중 적어도 일부 서브 세트에 기초하여 적어도 분리 레이어(Fc)의 파라미터를 학습하는 단계(S370)를 포함한다. 일부 실시예들에서, 상기 방법은: 각 입력영상별 제1 서브 세트 또는 제2 서브 세트를 각 입력영상별 고유특성으로 결정하는 단계(S350)를 더 포함할 수도 있다.
입력영상의 쌍은 학습 데이터로 사용될 학습 영상이다. 입력영상의 쌍은 동일한 대상자의 부분 가림 영상과 완전 노출 영상으로 이루어진다. 일 실시예에서, 입력영상의 쌍에 포함되는 부분 가림 영상은 다수의 사람들의 얼굴들에서 부분 가림의 위치가 유사한 영상일 수도 있다. 예를 들어, 부분 가림 영상은 모든 또는 대부분의 사람들이 코의 일부와 입을 가리는 마스크 착용 영상일 수도 있다. 그러면, 도 2에 도시된 바와 같이, 입력영상의 쌍은 동일한 대상자의 마스크 착용 영상과 마스크 미착용 얼굴영상으로 이루어질 수도 있다.
단계(S310)에서, 입력영상의 쌍은 각각 특징 추출 레이어(Ff)에 입력된다. 상기 도 2의 예시에서, 마스크 착용 영상으로부터 특징이 추출되어 마스크 착용 영상의 특징 세트(Rm)가 출력되고 그리고 마스크 미착용 얼굴영상으로부터 특징이 추출되어 마스크 미착용 얼굴영상의 특징 세트(Rr)가 출력된다.
상기 특징 세트(Rm, Rr)는 마스크에 의해 노출되는 영역에서 추출된 특징과 마스크에 의해 가려지는 가능성이 있는, 가림 가능 영역에서 추출된 특징이 혼합되어 있다.
입력영상의 쌍을 이루는 동일한 대상자의 마스크 착용 영상과 대상자의 마스크 미착용 얼굴영상은 마스크에 의해 가려지지 않는 노출 영역을 공유한다. 따라서, 마스크 착용 영상의 특징 세트(Rm)와 마스크 미착용 얼굴영상의 특징 세트(Rr)는 노출 영역에서 추출된 특징 중 일부 또는 전부가 공통된다.
단계(S330)에서, 상기 마스크 착용 영상의 특징 세트를 상기 분리 레이어(Fc)에 입력하여 상기 마스크 착용 영상의 제1 서브 세트와 제2 서브 세트로 분리하고, 상기 마스크 미착용 얼굴영상의 특징 세트를 상기 분리 레이어(Fc)에 입력하여 상기 마스크 미착용 얼굴영상의 제1 서브 세트와 제2 서브 세트로 분리한다.
상기 도 2의 예시에서, 전술한 바와 같이, 상기 특징 세트(Rm, Rr)는 마스크에 의해 노출되는 영역에서 추출된 특징과 가림 가능성 영역에서 추출된 특징이 혼합되어 있다. 그러면, 특징 세트(Rm, Rr)는 마스크 착용과 관련없는 얼굴 부위에서 추출된 특징, 마스크 착용과 관련이 있는 특징 및/또는 신원과 관련없는 특징을 포함한, 혼합된 특징의 그룹이다.
단일 데이터 세트를 임의의 두 서브 세트로 분리하도록 구성된 분리 레이어(Fc)에 이러한 혼합된 특징(즉, 특징 세트)가 입력되면, 분리 레이어(Fc)에 의해 분리된 제1 서브 세트와 제2 서브 세트 중 어느 하나는 마스크 착용과 관련없는 얼굴 부위에서 추출된 특징의 그룹이고, 나머지 하나는 가림 가능성 영역에서 추출된 특징의 그룹이다. 이러한 마스크 착용과 관련없는 얼굴 부위에서 추출된 특징은 고유특성으로 지칭된다.
상기 고유특성(unique characteristics)은 동일한 사람의 마스크 영상 또는 맨얼굴영상으로부터 공통적으로 취득 가능한 대상자의 얼굴 관련 특징을 의미한다. 예를 들어, 상기 고유특성은 얼굴 영역 중에서 부분 가림되지 않는 노출 영역에서 추출되는 특징 중 일부 또는 전부일 수도 있다.
서브 세트 간의 유사도는 각 서브 세트를 이루는 데이터 간의 유사도로 계산된다. 예를 들어, 특징 세트가 특징 벡터일 경우, 서브 세트도 벡터 형태로 분리될 수도 있다. 그러면, 서브 세트 간의 유사도는 벡터 간의 유사도를 계산하는 다양한 방식에 의해 계산된다.
상기 도 2의 예시에서, 상기 마스크 착용 영상의 제2 서브 세트와 상기 마스크 미착용 영상의 제2 서브 세트가 모두 노출 영역에서 추출된 특징의 일부 또는 전부로 이루어졌다고 가정해보자.
입력영상에서 서로 다른 영역에서 추출된 특징 간의 유사도는 상대적으로 낮다. 위의 가정에 따르면, 마스크 착용 영상의 제1 서브 세트와 마스크 미착용 영상의 제2 서브 세트, 그리고 마스크 착용 영상의 제 2 서브 세트와 마스크 미착용 영상의 제1 서브 세트는 서로 다른 영상 영역에서 추출되었기 때문에 상대적으로 낮은 유사도를 각각 가진다.
또한 동일한 입력영상의 제1 서브 세트와 제2 서브 세트는 동일한 입력영상의 제1 서브 세트와 제2 서브 세트 간의 유사도는 상대적으로 낮다.
반면, 상기 마스크 착용 영상의 제2 서브 세트와 상기 마스크 미착용 영상의 제2 서브 세트가 모두 노출 영역에서 추출된 특징의 일부 또는 전부로 이루어졌으므로, 가장 높은 유사도를 가질 것이다.
이와 같이, 각 입력영상의 고유특성를 갖는 서브 세트들이 서브 세트 간의 유사도 중에서 가장 높은 유사도를 갖게 한다.
일 실시예에서, 상기 학습하는 단계(S370)에서 제1 목표 조건 및/또는 제2 목표 조건을 달성하도록 신원 확인 모델의 파라미터 중 일부 또는 전부(예를 들어, 분리 레이어(Fc)의 파라미터의 일부 또는 전부)가 학습될 수도 있다.
상기 제1 목표 조건은 상기 입력영상의 쌍 각각의 고유특성 서브 세트 간의 유사도가 높아지는 것이다. 일부 실시예에서, 상기 제1 목표 조건에 따르면, 상기 신원 확인 모델은 상기 입력영상의 쌍 각각의 고유특성 서브 세트 간의 유사도가 최대가 되도록 파라미터를 학습한다. 즉, 상기 신원 확인 모델은 대상자의 입력영상이 마스크 착용 영상인지 또는 마스크 미착용 영상인지와 관련이 없이 입력영상의 노출 영역에서 고유특성을 보다 잘 추출하도록 학습된다(S370).
상기 제2 목표 조건은 동일한 입력영상의 제1 서브 세트와 제2 서브 세트 간의 유사도를 낮추는 것이다. 일부 실시예에서, 상기 제2 목표 조건은 상기 마스크 착용 영상의 제1 서브 세트와 제2 서브 세트 간의 유사도 및/또는 상기 마스크 미착용 얼굴영상의 제1 서브 세트와 제2 서브 세트 간의 유사도는 보다 낮아지는 것을 포함할 수도 있다. 이러한 상기 제2 목표 조건에 따르면, 상기 신원 확인 모델은 마스크 착용 영상 의 제1 서브 세트와 제2 서브 세트 간의 유사도 및/또는 마스크 미착용 영상의 제1 서브 세트와 제2 서브 세트 간의 유사도가 최소가 되도록 파라미터를 학습한다. 즉, 상기 신원 확인 모델은 일차적으로 추출된 특징들 중에서 고유특성에 해당하는 특징을 보다 잘 필터링하도록 파라미터가 학습된다(S370).
동일한 사람의 마스크 미착용 영상 및 마스크 착용 영상의 쌍을 하나 이상 포함한 학습 데이터 세트를 사용하여 상기 제1 목표 조건 및/또는 제2 목표 조건에 따라 신원 확인 모델의 파라미터(예컨대, 분리 레이어(Fc)의 파라미터)가 학습된다.
일 실시예에서, 분리 레이어(Fc)가 입력 데이터를 서로 다른 속성을 가진 일부 입력 데이터와 다른 일부 입력 데이터로 분리하도록 구성될 경우, 상기 분리 레이어(Fc)는 이들 중 하나는 제1 서브 세트이고 다른 하나는 제2 서브 세트로 분리되도록 학습된다. 여기서, 제2 서브 세트는 마스크 착용 여부와 관련이 없는 신원과 관련된 속성만을 추출한 벡터를 포함한, 전술한 고유속성 서브 세트이다.
학습이 완료된 분리 레이어(Fc)는 혼합된 특징(도 2의 R)로부터 마스크 착용 여부와 관련없이 신원과 관련된 특징을 포함한 고유속성 서브 세트(도 2의 S)와 마스크 착용과 관련이 있거나 신원과 관련없는 특징을 포함한 다른 서브 세트(도 2의 E)를 잘 분리해내는 능력을 가진다.
도 4는, 도 3의 학습 방법에 의해 학습된 신원 확인 모델의 동작의 개념도이다.
도 4를 참조하면, 단계(S370)에서 제1 목표 조건 및/또는 제2 목표 조건을 따르도록 신원 확인 모델의 학습이 완료될 경우, 대상자의 마스크 착용 얼굴 또는 마스크 미착용 얼굴이 표시된 단일 입력영상의 노출 영역에서 고유특성을 보다 잘 추출하고 및/또는 상기 단일 입력영상에서 고유특성 또는 고유특성이 아닌 나머지 특징을 보다 잘 필터링한다. 그러면, 마스크 착용 여부에도 변함없는 개인의 고유한 얼굴 특징을 일괄적으로 추출하게 된다.
이러한 신원 확인 모델을 신원 확인에 사용할 경우, 동일한 대상의 부분 가림 여부(예컨대, 마스크를 착용 유무)에 의존하지 않은 채 얼굴영상이 대상별로 인식된다.
일 실시예에서, 상기 학습 데이터 세트는 서로 다른 촬영 시점(view point)에서 촬영된 입력 영상의 쌍을 포함할 수도 있다. 그러면, 상기 신원 확인 모델은 대상자의 포즈에도 강인하면서, 마스크 착용 여부에도 변함없는 개인의 고유한 얼굴 특징을 일괄적으로 추출하게 된다.
상기 신원 확인 시스템(1)은 이러한 학습 방법에 따라 학습된 신원 확인 모델을 사용해 대상자의 신원을 확인한다.
도 5는, 본 발명의 일 실시예에 따른, 신원 확인 시스템의 동작의 흐름도이다.
도 5를 참조하면, 상기 신원 확인 시스템(1)은 예컨대, 영상 취득 모듈(100)에 의해 대상자의 영상을 취득한다(S510).
영상 취득 모듈(100)은 신원 확인을 위해 사용되는 대상자의 얼굴이 표시된 대상 영상을 취득할 수도 있다(S510). 상기 대상 영상은 신원 확인 대상의 얼굴 영역이 표시된 영상이다. 상기 얼굴 영역은 마스크 등에 의해 부분적으로 가려지거나, 또는 완전 노출될 수도 있다. 상기 신원 확인 시스템(1)은 높은 신원 확인 성능을 위해 특정 유형의 영상이 요구되지 않는다.
일 실시예에서 상기 영상 취득 모듈(100)은 촬영 유닛 및/또는 통신 유닛을 포함할 수도 있다.
상기 촬영 유닛은 신원 확인 대상의 얼굴을 촬영하여 영상 데이터를 취득하는 구성요소로서, 예를 들어, 카메라, CCTV, 이미지 센서 등을 포함할 수도 있다. 상기 이미지 센서는 예를 들어, 열화상, 깊이, 라이다 센서 등을 포함할 수도 있다.
상기 통신 유닛은 영상 데이터를 유무선 전기통신을 통해 수신하는 구성요소로서, 전기 신호를 전자파로 변환하거나, 또는 전자파를 전기 신호로 변환한다. 상기 통신 유닛은 객체와 객체가 네트워킹할 수 있는, 유선 통신, 무선 통신, 3G, 4G, 유선 인터넷 또는 무선 인터넷 등을 포함한, 다양한 통신 방법에 의해 다른 장치와 통신할 수 있다. 예를 들어, 통신 유닛은 월드 와이드 웹(WWW, World Wide Web)과 같은 인터넷, 인트라넷과 같은 네트워크 및/또는 셀룰러 전화 네트워크, 무선 네트워크, 그리고 무선 통신을 통해 통신하도록 구성된다.
일 실시예에서, 상기 대상 영상은 전처리되지 않은 원본 영상일 수도 있다. 신원 확인 시스템(1)은 색상 보정 등의 특별한 전처리 과정이 적용되지 않은 원본 촬영 영상을 신원 확인을 위해 전처리 없이 곧바로 사용할 수도 있다.
도 6은, 본 발명의 일 실시예에 따른, 영역 검출 과정의 개략도이다.
도 6을 참조하면, 상기 신원 확인 시스템(1)은 (예컨대, 영역 검출 모듈(200)에 의해) 단계(S510)에서 취득한 대상 영상에서 얼굴 영역을 검출할 수도 있다(S520).
영역 검출 모듈(200)은 미리 저장된 얼굴 검출 알고리즘을 통해 입력영상에서 얼굴 부분을 포함한 서브 영역을 얼굴 영역을 검출할 수도 있다(S520). 얼굴 영역이 검출될 경우, 신원 확인 동작이 수행된다. 만약 원본 영상이 얼굴이 표시되지 않은 것 등의 이유로 얼굴 영역이 검출되지 않을 경우, 새로운 원본 영상을 재-취득할 수도 있다(S510).
상기 얼굴 검출 알고리즘은, 예를 들어, Haar, Convolution Neural Network (CNN), Scale Invariant Feature Transform (SIFT), Histogram of Gradients (HOG), Neural Network (NN), Support Vector Machine (SVM), 및 Gabor 방식 등 중 하나 또는 이들의 조합을 수행하는 알고리즘을 포함하나, 이에 제한되진 않는다.
도 7은, 본 발명의 일 실시예예 따른, 대상자의 고유특성을 추출하는 과정의 개략도이다.
도 7을 참조하면, 상기 신원 확인 시스템(1)은 (예컨대, 신원 확인 모듈(300)에 의해) 단계(S520)에서 검출된 얼굴 영역에서 상기 대상자의 고유속성을 취득할 수도 있다(S530).
신원 확인 모듈(300)은 도 2의 학습 방법에 의해 미리 학습된 신원 확인 모델을 포함한다. 신원 확인 모듈(300)은 얼굴 영역의 패치를 상기 신원 확인 모델에 입력한다. 그러면, 신원 확인 모델의 특징 추출 레이어(Ff)에 에 의해 단계(S520)의 얼굴 영역으로부터 상기 대상자의 고유속성을 포함한, 상기 대상자의 특징 세트를 취득한다. 이 특징 세트는 상기 신원 확인 모델의 분리 레이어(Fc)에 입력된다. 그러면, 분리 레이어(Fc)는 상기 대상자의 특징 세트를 상기 대상자의 고유특성으로 이루어진 서브 세트와 나머지 특징으로 이루어진 서브 세트로 분리한다(S530).
일 실시예에서, 분리 레이어(Fc)가 일부 입력 데이터를 필터링하도록 구성될 경우, 상기 신원 확인 모듈(300)은 대상자의 고유특성 서브 세트는 필터링 결과에 따라 자동으로 결정하도록 더 구성될 수도 있다(S530).
예를 들어, 분리 레이어(Fc)에 의해 필터링된 상기 대상자의 일부 특징이 고유특성 서브 세트로 결정될 수도 있다.
도 8은, 본 발명의 일 실시예에 따른, 상기 대상자의 신원을 확인하는 과정의 개략도이다.
도 8을 참조하면, 상기 신원 확인 시스템(1)은 (예컨대, 신원 확인 모듈(300)에 의해) 데이터베이스(미도시)에 미리 저장된 후보자의 고유특성과 신원 확인 대상의 고유특성에 기초하여 상기 대상자의 신원을 확인한다(S540).
여기서, 데이터베이스는 복수의 후보자 각각의 고유특성 서브 세트를 미리 저장한다. 또한, 상기 데이터베이스는 복수의 후보자 각각과 관련된 정보를 각 고유특성 서브 세트와 함께 저장할 수도 있다.
일 실시예에서, 상기 후보자와 관련된 정보는 후보자의 신원 정보를 포함할 수도 있다. 신원 정보는 예를 들어, 성별, 성명, 소속, 주소, 전화번호, 주민번호, 운전면허 번호 등을 포함하나, 이에 제한되진 않는다.
상기 데이터베이스는 아마존닷컴(Amazon.Com, Inc.)이 제공하는 심플 스토리지 서비스(S3; Simple Storage Service)), 구글(Google Inc.)이 제공하는 구글 파일 시스템(GFS; Google File System)), 또는 마이크로소프트(Microsoft Corporation)가 제공하는 마이크로소프트 오피스 온라인(Microsoft Office Online)) 등과 같이, 애플리케이션 및 데이터가 원격 서버에 저장되는 클라우딩 데이터베이스 컴퓨팅 리소스를 나타낸다.
신원 확인 모듈(300)은 미리 저장된 후보자의 고유특성과 단계(S540)에서 취득된 대상자의 고유특성을 비교하여 후보자와 대상자 간의 신원 유사도를 계산한다.
상기 신원 확인 모듈(300)은 다양한 유사도 비교 알고리즘을 이용하여 신원 유사도를 계산할 수도 있다. 상기 유사도 비교 알고리즘은, 예를 들어 유클리디언 거리(Euclidean Distance), 코사인 거리 (Cosine Distance), 마할라노비스 거리 (Mahalanobis Distance) 등을 포함할 수 있으나, 이에 제한되진 않는다.
상기 대상자가 데이터베이스에 미리 저장된 후보자일 경우, 미리 설정된 신원 임계치 보다 높은 신원 유사도가 산출될 것이다. 대상자가 상기 신후보자가 아닐 경우, 신원 임계치 미만의 낮은 신원 유사도가 산출된다.
신원 임계치는 특징 추출 알고리즘, 및/또는 입력 영상의 특성에 의존하여 결정된 값이거나, 사용자에 의해 지정된 특정 값일 수도 있다.
신원 확인 모듈(300)은 데이터베이스에서 비교 대상으로 검색된 후보자와 대상자 간의 신원 유사도가 임계치 이상이면, 상기 대상자의 신원을 후보자의 신원으로 확인한다(S550).
신원 확인 모듈(300)은 데이터베이스에서 비교 대상으로 검색된 후보자와 대상자 간의 신원 유사도가 임계치 미만이면, 데이터베이스에 저장된 다른 후보자를 검색하여 상기 다른 후보자와 대상자 간의 새로운 신원 유사도를 계산하고, 상기 다른 후보자가 상기 대상자인지 확인한다(S550).
신원 확인 모듈(300)은 신원 확인 결과를 사용자에게 제공할 수도 있다. 상기 신원 확인 결과는 일치 결과 또는 불일치 결과를 포함한다. 신원 확인 모듈(300)은 데이터베이스의 후보자 중에서 상기 대상자와 매칭하는 후보자가 검색되지 않을 경우, 불일치 결과를 사용자에게 제공할 수도 있다.
이러한 신원 확인 시스템(1)은 동일한 마스크 착용의 유무와 관계 없이 관측된 영상에서 추출된 특징 중에서 공통적으로 추출되는 일부만을 사용하여 신원을 확인한다. 따라서, 마스크를 착용한 대상자에 대해서도 높은 신원 확인 성능을 보장한다.
특히, 마스크를 착용하지 않은 얼굴(또는 이로부터 추출된 특징)과 착용한 얼굴(또는 이로부터 추출된 특징)을 모두 시스템에 등록할 필요가 없다. 상기 신원 확인 시스템(1)은 마스크를 착용하지 않은 얼굴만 등록된 상태에서 마스크를 착용한 얼굴 영상이 입력되는 경우에도 인식 성공률이 현저하게 낮아지지 않고, 마스크를 착용하지 않은 얼굴 영상이 입력되는 경우와 유사한 인식 성공률을 가진다.
상기 신원 확인 시스템(1)이 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 또한, 상기 신원 확인 시스템(1)은, 네트워크 인터페이스 및 프로토콜, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.
이상에서 설명한 실시예들에 따른 신원 확인 시스템(1)의 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원 확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원 확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (13)

  1. 프로세서에 의해 수행되는 신원 확인 모델을 학습하는 방법에 있어서,
    상기 신원 확인 모델은 입력 영상에서 특징 세트를 추출하는 특징 추출 레이어; 및 상기 특징 세트를 수신하여 제1 서브 세트와 제2 서브 세트로 분리하는 분리 레이어를 포함하고,
    상기 방법은:
    하나 이상의 입력 영상의 쌍을 상기 신원 확인 모델에 입력하여 상기 한 쌍의 각 입력영상별 제1 서브 세트와 제2 서브 세트를 각각 취득하는 단계; 및
    각 입력영상별 제1 서브 세트와 제2 서브 세트에 기초하여 상기 분리 레이어의 파라미터의 값을 학습하는 단계를 포함하고,
    상기 입력 영상의 쌍은 동일한 사람의 마스크 착용 영상과 마스크 미착용 얼굴영상으로 이루어지고,
    상기 분리 레이어는 입력 데이터 세트에 포함된 데이터의 특성에 기초하여 단일 데이터 세트를 서로 다른 서브 세트로 분리하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 각 입력영상별 제1 서브 세트와 제2 서브 세트를 각각 취득하는 단계는:
    상기 입력 영상의 쌍 중에서 상기 마스크 착용 영상을 상기 특징 추출 레이어에 입력하여 제1 특징 세트를 추출하는 단계;
    상기 입력 영상의 쌍 중에서 상기 마스크 미착용 얼굴영상을 상기 특징 추출 레이어에 입력하여 제2 특징 세트를 추출하는 단계;
    상기 제1 특징 세트를 상기 분리 레이어에 입력하여 상기 마스크 착용 영상의 제1 서브 세트와 제2 서브 세트로 분리하는 단계; 및
    상기 제2 특징 세트를 상기 분리 레이어에 입력하여 상기 마스크 미착용 얼굴영상의 제1 서브 세트와 제2 서브 세트로 분리하는 단계;를 포함하는 것을 특징으로 하는 방법.
  3. 삭제
  4. 제1항에 있어서, 상기 학습하는 단계는,
    상기 분리 레이어에 의해 분리되는 제1 서브 세트와 제2 서브 세트 간의 유사도가 보다 낮아지도록 상기 분리 레이어의 적어도 일부 파라미터를 학습하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 제1 서브 세트와 제2 서브 세트 중 어느 하나는 고유속성 서브 세트이고,
    상기 학습하는 단계는,
    상기 마스크 착용 영상의 제1 서브 세트와 제2 서브 세트 간의 유사도 및 상기 마스크 미착용 얼굴영상의 제1 서브 세트와 제2 서브 세트 간의 유사도 중 적어도 하나의 유사도가 보다 낮아지고, 그리고 상기 마스크 미착용 얼굴영상의 고유특성 서브 세트와 상기 마스크 착용 영상의 고유특성 서브 세트 간의 유사도가 보다 높아지도록 상기 분리 레이어의 적어도 일부 파라미터를 학습하는 것을 특징으로 하는 방법.
  6. 제5항에 있어서,
    입력 영상별 제1 서브 세트와 제2 서브 세트 간의 유사도는 최대화 되고, 고유특성 서브 세트 간의 유사도는 최소가 되도록 학습되는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 특징 추출 레이어의 파라미터는, 마스크 착용 영상이 입력되면 신원 확인을 위해 얼굴 특징을 추출하거나 마스크 미착용 얼굴영상이 입력되면 신원 확인을 위해 얼굴 특징을 추출하도록 이미 학습된 것을 특징으로 하는 방법.
  8. 제1항, 제2항 및 제4항 내지 제7항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램을 기록한, 컴퓨터 판독가능 기록매체.
  9. 제1항, 제2항 및 제4항 내지 제7항 중 어느 하나의 항에 따른 방법에 의해 학습된 신원 확인 모델을 포함한 신원 확인 시스템에 있어서, 상기 신원 확인 시스템은,
    신원 확인 대상의 얼굴이 표시된 대상 영상을 취득하고,
    상기 신원 확인 대상의 얼굴 영역을 상기 학습된 신원 확인 모델에 적용하여 상기 신원 확인 대상의 고유특성을 취득하며, 그리고
    미리 저장된 후보자의 고유특성과 취득된 상기 신원 확인 대상의 고유특성에 기초하여 상기 신원 확인 대상의 신원을 확인하는 것을 특징으로 하는 신원 확인 시스템.
  10. 제9항에 있어서, 상기 신원 확인 시스템은,
    상기 신원 확인 대상의 고유특성을 취득하기 위해, 상기 신원 확인 대상의 얼굴 영역을 상기 학습된 신원 확인 모델의 특징 추출 레이어에 입력하여 상기 신원 확인 대상의 특징 세트를 취득하고, 상기 신원 확인 대상의 특징 세트를 상기 학습된 신원 확인 모델의 분리 레이어에 입력하여 상기 신원 확인 대상의 고유특성 서브 세트를 취득하는 것을 특징으로 하는 신원 확인 시스템.
  11. 제9항에 있어서, 상기 신원 확인 시스템은,
    상기 신원 확인 대상의 고유특성을 취득하기 이전에, 상기 대상 영상에서 상기 대상의 얼굴 영역을 검출하도록 더 구성되는 것을 특징으로 하는 신원 확인 시스템.
  12. 제9항에 있어서, 상기 신원 확인 시스템은,
    상기 신원 확인 대상의 신원을 확인하기 위해, 미리 저장된 후보자의 고유특성과 취득된 상기 신원 확인 대상의 고유특성 간의 특성거리를 계산하고, 그리고 계산된 특성거리가 미리 설정된 임계치 미만일 경우 상기 신원 확인 대상의 신원이 확인된 것으로 결정하는 것을 특징으로 하는 신원 확인 시스템.
  13. 제9항에 있어서,
    데이터베이스에 미리 저장된 후보자의 고유속성은 상기 후보자의 마스크 미착용 영상 및 마스크 착용 영상 중 어느 하나로부터 취득된 것을 특징으로 하는 신원 확인 시스템.
KR1020210046476A 2021-04-09 2021-04-09 마스크 착용에 강건한 신원 확인 모델 학습 방법 및 상기 신원 확인 모델을 사용한 신원 확인 시스템 KR102598434B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210046476A KR102598434B1 (ko) 2021-04-09 2021-04-09 마스크 착용에 강건한 신원 확인 모델 학습 방법 및 상기 신원 확인 모델을 사용한 신원 확인 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210046476A KR102598434B1 (ko) 2021-04-09 2021-04-09 마스크 착용에 강건한 신원 확인 모델 학습 방법 및 상기 신원 확인 모델을 사용한 신원 확인 시스템

Publications (2)

Publication Number Publication Date
KR20220140240A KR20220140240A (ko) 2022-10-18
KR102598434B1 true KR102598434B1 (ko) 2023-11-07

Family

ID=83803335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210046476A KR102598434B1 (ko) 2021-04-09 2021-04-09 마스크 착용에 강건한 신원 확인 모델 학습 방법 및 상기 신원 확인 모델을 사용한 신원 확인 시스템

Country Status (1)

Country Link
KR (1) KR102598434B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101998112B1 (ko) * 2017-08-09 2019-07-10 한국과학기술연구원 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102074312B1 (ko) 2018-03-13 2020-02-06 (주)비에스케이 카메라를 이용한 중앙통제방식의 출입자 인식 자동문 시스템
KR102178521B1 (ko) * 2018-05-02 2020-11-16 동국대학교 산학협력단 딥 러닝 기반의 홍채 영역 검출 장치 및 방법
KR20200110064A (ko) * 2019-03-15 2020-09-23 삼성전자주식회사 변환 모델을 이용한 인증 방법 및 장치

Also Published As

Publication number Publication date
KR20220140240A (ko) 2022-10-18

Similar Documents

Publication Publication Date Title
KR101998112B1 (ko) 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
CN113614731B (zh) 使用软生物特征的认证验证
El Kaddouhi et al. Eye detection based on the Viola-Jones method and corners points
Arigbabu et al. Recent advances in facial soft biometrics
Soldera et al. Facial biometrics and applications
Hafner et al. Deep iris feature extraction
KR102063745B1 (ko) 측면 프로파일링 기반 신원확인 장치 및 방법
KR102493322B1 (ko) 사용자의 얼굴 속성 및 마스크 속성 기반 사용자 인증 장치 및 방법
CN110688872A (zh) 基于唇部的人物识别方法、装置、程序、介质及电子设备
KR102598434B1 (ko) 마스크 착용에 강건한 신원 확인 모델 학습 방법 및 상기 신원 확인 모델을 사용한 신원 확인 시스템
Dubey et al. Deep Perusal of Human Face Recognition Algorithms from Facial Snapshots
Pravinthraja et al. Multimodal biometrics for improving automatic teller machine security
KR102249663B1 (ko) 귀 인식 기반 신원확인 방법 및 시스템
Mohammed et al. Conceptual analysis of Iris Recognition Systems
Chowdhury et al. Biometric authentication using facial recognition
Booysens et al. Exploration of ear biometrics using EfficientNet
Chen Design and simulation of AI remote terminal user identity recognition system based on reinforcement learning
Szymkowski et al. A multimodal face and fingerprint recognition biometrics system
Ding Combining 2D facial texture and 3D face morphology for estimating people's soft biometrics and recognizing facial expressions
Sriman et al. Robust Smart Face Recognition System Based on Integration of Local Binary Pattern (LBP), CNN and MTCNN for Attendance Registration
Ramalingam et al. Fundamentals and advances in 3D face recognition
Sindhuja et al. Efficient fusion based multi-modal biometric authentication system using machine learning
KR102583982B1 (ko) 비대면 출입 통제 방법 및 이를 수행하는 출입 통제 시스템
Singh et al. A Systematic Review Of Face Detection And Face Recognition Techniques Using Machine Learning
KR20210096817A (ko) 얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20210409

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230329

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230808

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20231101

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20231102

End annual number: 3

Start annual number: 1

PG1601 Publication of registration