KR102063745B1

KR102063745B1 - 측면 프로파일링 기반 신원확인 장치 및 방법

Info

Publication number: KR102063745B1
Application number: KR1020180051640A
Authority: KR
Inventors: 김익재; 남기표
Original assignee: 한국과학기술연구원
Priority date: 2018-05-04
Filing date: 2018-05-04
Publication date: 2020-02-11
Also published as: KR20190127255A

Abstract

실시예들은 대상자의 측면 얼굴을 포함한 대상자 영상을 촬영한 촬영기로부터 상기 대상자 영상을 획득하는 영상 획득부; 상기 대상자 영상에서 측면 얼굴 영역 및 상기 측면 얼굴 영역의 서브 영역을 검출하는 영역 검출부; 상기 측면 얼굴 영역 및 상기 서브 영역으로부터 상기 대상자에 대한 측면 특징 벡터를 산출하는 특징 벡터 산출부; 및 상기 측면 특징 벡터와 데이터베이스 내에 저장되어 있는 측면 특징 벡터 간에 유사도를 측정하여 대상자의 신원을 확인하는 신원확인부를 포함한 신원확인 장치 및 방법에 관한 것이다.

Description

측면 프로파일링 기반 신원확인 장치 및 방법{APPARATUS AND METHOD FOR USER IDENTIFYING BASED ON FACE PROFILING}

본 발명은 신원확인 장치 및 방법에 관한 것으로서, 보다 상세하게는 얼굴에 일부 가림이 있는 대상자에 대해서도 얼굴의 측면 전체 및/또는 측면의 특정 영역(예를 들어, 귀 부분)의 특성을 고려하여 신원확인할 수 있는 측면 프로파일링(face profiling) 기반 신원확인 기술에 관한 것이다.

최근 대상자의 신원 확인 방법으로 기존 비밀번호나 신분증과 같은 방법이 아닌 대상자의 고유한 생체 정보를 활용하는 바이오인식 기술이 활용되고 있다.

바이오인식 기술은 얼굴, 지문 등과 같이 인체의 고유한 식별력을 지닌 특성을 활용하여 대상자의 신원을 확인하는 기술로 기존 방법이 지닌 분실, 도난이나 망각 등의 문제를 해결하는 대안으로 각광받고 있는 기술로써, 출입 통제, 범죄자 식별, 금융권에서의 비대면 인증 등 다양한 분야에서 활용되고 있으며, 특히 얼굴 인식의 경우 지문 인식이나 홍채 인식과 같이 카메라 혹은 센서에 접촉 등의 불필요한 작업을 요구하지 않아 대상자에게 거부감없이 활용이 가능하여 최근 가장 많이 활용되고 있는 기술 중 하나이다. 하지만, 신원확인 대상자가 모자나 마스크 등의 액세서리를 착용할 경우 얼굴의 주요 부위를 가리게 되어 신원 식별에 어려움이 있다는 단점을 지니고 있다.

이러한 문제를 해결하기 위한 하나의 수단으로 한국 특허등록공보 제10-1713891호에서는 ATM 기기나 모바일 기기 등에서 부분 영역을 활용하여 대상자를 확인하는 기술에 대한 방법을 기술하고 있다. 그러나, 상기 선행 기술은 사전에 대상자를 인증한 상황에서 추후에 대상자를 확인하면 사용자 인증이 갱신되어 인증이 유지되는 방식으로서, 전체 얼굴 영상이 기 인증된 상황에서 사용 시간 등 갱신 시에만 활용이 가능한 기술이다. 또한, 대상자 인증에 사용되는 전체 얼굴 이미지가 정면이어서, 얼굴 정면의 대부분을 가릴 수 있는 마스크 등의 착용 시 활용이 용이하지 않은 한계가 있다.

특히, 최근 급격히 악화되고 있는 미세먼지 환경으로 인해 국민들의 마스크 착용이 빈번해지고 있는 현재 상황에 비추어 볼 때, 마스크 등의 착용으로 얼굴의 대부분이 가려지는 상황에도 간편한 신원확인 기술이 그 어느 때 보다 필요한 시점이다.

특허등록공보 제10-1713891호

본 발명은 얼굴의 일부가 가려진 (또는 특정 서브 영역을 제외한 얼굴 전부가 가려진) 대상자에 대해서도 얼굴의 측면 전체 및/또는 측면의 특정 영역(예를 들어, 귀 부분)의 특성을 고려하여 신원확인할 수 있는 신원확인 장치 및 방법을 제공할 수 있다.

본 발명의 일 측면에 따른 신원확인 장치에 의해 수행되는 신원확인 방법은 대상자의 측면 얼굴을 포함한 대상자 영상을 획득하는 단계; 상기 대상자 영상에서 측면 얼굴 영역을 검출하는 단계; 상기 대상자 영상에서 측면 얼굴의 서브 영역을 검출하는 단계; 상기 측면 얼굴 영역에 대한 특징 벡터를 산출하는 단계; 상기 서브 영역에 대한 특징 벡터를 산출하는 단계; 상기 측면 얼굴 영역 및 서브 영역에 대한 특징 벡터를 결합하여 측면 특징 벡터를 산출하는 단계; 및 상기 대상자에 대한 측면 특징 벡터와 얼굴 데이터베이스 내에 저장되어 있는 후보자에 대한 측면 특징 벡터 간에 유사도를 측정하여 대상자의 신원을 확인하는 단계를 포함할 수 있다.

일 실시예에서, 상기 방법은 상기 측면 얼굴 영역의 가림 정도를 판단하는 단계를 더 포함할 수 있다. 여기서, 상기 측면 얼굴 영역에 대한 특징 벡터는 상기 측면 얼굴 영역의 가림 정도에 따른 가림 가중치가 더 적용된다.

일 실시예에서, 상기 가림 가중치는 0 내지 1 사이의 값으로 표현될 수 있다. 여기서, 0은 해당 영역에 가림이 없는 경우를 나타내고, 1은 해당 영역이 전부 가려진 경우를 나타낸다.

일 실시예에서, 상기 방법은 상기 서브 영역의 가림 정도를 판단하는 단계를 더 포함할 수 있다. 여기서, 상기 서브 영역에 대한 특징 벡터에는 해당 영역의 가림 정도에 따른 가림 가중치가 더 적용된다.

일 실시예에서, 상기 측면 얼굴 영역의 가림 정도가 측면 얼굴 영역 대비 소정 비율 이상인 경우, 상기 측면 얼굴 영역에 연관된 가림 가중치는 측면 얼굴 영역이 전부 가려진 경우에 대응하는 값일 수 있다.

일 실시예에서, 상기 측면 특징 벡터를 산출하는 단계는 특징 벡터에 포함된 특징 파라미터 중에서 일부 특징 파라미터를 추출하여 측면 특징 벡터를 산출하는 단계를 포함할 수 있다.

일 실시예에서, 상기 일부 특징 파라미터는 얼굴 데이터베이스에 저장된 후보자들의 특징 벡터의 분포 결과에 기초하여 추출될 수 있다.

일 실시예에서, 상기 서브 영역은 귀 부분을 포함할 수 있다.

일 실시예에서, 상기 가림 정도를 판단하는 단계는 CNN(Convolutional Neural Network), SVM(Support Vector Machine), SVR(Support Vector Regression) 및 K-평균 클러스터링(K-means clustering) 알고리즘 중 적어도 하나를 이용하여 해당 영역에서의 가림 정도를 판단하는 단계를 포함할 수 있다.

일 실시예에서, 상기 측면 얼굴 영역 및 서브 영역에 대한 특징 벡터를 산출하는 단계는 CNN(Convolutional Neural Network), LBP(Local Binary pattern), LE(Learning-based Encoding), SIFT(Scale Invariant Feature Transform) 및 HOG(Histogram of Gradients) 중 적어도 하나를 이용하여 해당 영역에 대한 특징 벡터를 각각 산출하는 단계를 포함할 수 있다.

일 실시예에서, 상기 일부 특징 파라미터는 CNN(Convolutional Neural Network), PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis), 베이지안(Bayesian) 및 결합 베이지안(Joint Bayesian) 중 적어도 하나를 이용하여 추출될 수 있다.

본 발명의 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는 컴퓨터에 의해 판독가능하고, 상기 컴퓨터에 의해 동작 가능한 프로그램 명령어를 저장할 수 있다. 여기서, 상기 프로그램 명령어는 상기 컴퓨터의 프로세서에 의해 실행되는 경우 상기 프로세서가 상술한 실시예들에 따른 신원확인 방법을 수행하게 한다.

본 발명의 또 다른 일 측면에 따른 신원확인 장치는 대상자의 측면 얼굴을 포함한 대상자 영상을 촬영한 촬영기로부터 상기 대상자 영상을 획득하는 영상 획득부; 상기 대상자 영상에서 측면 얼굴 영역 및 상기 측면 얼굴 영역의 서브 영역을 검출하는 영역 검출부; 상기 측면 얼굴 영역 및 상기 서브 영역으로부터 상기 대상자에 대한 측면 특징 벡터를 산출하는 특징 벡터 산출부; 및 상기 측면 특징 벡터와 데이터베이스 내에 저장되어 있는 측면 특징 벡터 간에 유사도를 측정하여 대상자의 신원을 확인하는 신원확인부를 포함할 수 있다.

본 발명의 일 측면에 따른 신원확인 장치는 ATM 등 근접 CCTV에서 취득된 측면 얼굴 영상에 마스크나 모자 등으로 인한 가림이 존재하더라도 측면 얼굴 전체의 특성 및/또는 측면 얼굴의 서브 영역(예를 들어, 귀 부분)의 특성을 활용하여 신원 확인을 수행할 수 있다. 나아가, 측면 얼굴 전체에 대한 특성과 측면 얼굴의 서브 영역에 대한 특성을 모두 고려하기 때문에 가림이 있더라도 보다 강화된 신원확인이 가능하다.

이와 같이, 모자나 마스크 등의 액세서리에 의한 가림에도 강인하게 신원 확인을 수행하기 때문에, 모자나 마스크를 착용시 얼굴 영역에 가림이 발생하여 얼굴 인식만으로는 신원확인이 불가하던 문제점을 해결할 수 있다.

또한, 금융권에서 활용되는 비대면 인증 등에서도 대상자가 착용된 액세서리를 벗어야 하는 불편함 없이 활용이 가능하다는 이점을 지니고 있다. 특히, 미세먼지 문제로 인해 마스크 착용이 급증하고 있는 현재의 국내 상황을 비추어 볼 때, 인증 대상자의 편의성을 극대화할 수 있는 장점이 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 실시예에 따른, 신원확인 장치의 블록도이다.
도 2는, 본 발명의 일 실시예에 따른, 신원확인 장치의 동작을 개략적으로 도시한 도면이다.
도 3은, 본 발명의 일 실시예에 따른, 신원확인 방법의 흐름도이다.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.

도1은, 본 발명의 일 실시예에 따른, 신원확인 장치의 블록도이다.

도 1을 참조하면, 신원확인 장치(1)는 영상 획득부(10), 영역 검출부(20), 특징 벡터 산출부(40), 및 신원확인부(50)를 포함한다. 또한, 일 실시예에서, 신원확인 장치(1)는 가림 판단부(30)를 더 포함할 수 있다.

실시예들에 따른 신원확인 장치(1)는 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 신원확인 장치(1)는 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", "시스템" 및 "신원확인 장치" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

실시예들에 따른 신원확인 장치(1)를 구성하는 각각의 부(10, 20, 30, 40, 50)는 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다. 즉, 각각의 부(10, 20, 30, 40, 50)는 이들이 구현된 컴퓨팅 신원확인 장치에서 수행하는 동작에 따라 신원확인 장치를 기능적으로 구분한 것일 뿐, 반드시 각각의 부가 서로 독립적으로 구비되어야 하는 것이 아니다.

상기 신원확인 장치(1)는 미리 구축된 얼굴 데이터베이스(미도시)를 이용할 수 있다. 상기 얼굴 데이터베이스는 대상자의 신원확인을 위한 비교 대상인 후보자에 연관된 데이터를 저장한다. 일 실시예에서, 후보자에 연관된 데이터는 개개인의 측면 얼굴 영역의 특징 벡터, 서브 영역의 특징 벡터, 및/또는 상기 특징 벡터들을 결합한 특징 벡터를 포함한다.

또한, 후보자에 연관된 정보는 후보자 신원(ID) 정보, 후보 이미지 정보를 포함한다. 또한, 후보자에 연관된 정보는 지역, 인종, 국가, 성별 등 사용 환경에 따라 적합한 정보를 더 포함할 수 있다. 후보자에 연관된 정보는 사용 환경에 따라 업데이트될 수도 있다.

신원 정보와 이미지 정보는 식별자를 각각 포함할 수 있다. 일 후보자에 대한 신원 정보에 포함된 식별자와 이미지 정보에 포함된 식별자는 서로 대응된다. 따라서, 얼굴 데이터베이스 내 하나의 이미지를 결정하면, 이미지 정보에 포함된 식별자를 통해 해당 이미지의 신원 정보를 확인할 수 있다.

일 실시예에서, 상기 신원확인 장치(1)는 클라우드 서버와 같은 외부 데이터베이스 정보를 이용할 수 있는 컴퓨팅 신원확인 장치일 수도 있다. 이 경우, 상기 신원확인 장치(1)는 사용자의 요구에 따라 외부의 얼굴 데이터베이스에 접속하여 데이터 통신을 할 수 있는 모든 종류의 단말일 수도 있다. 예컨데, 상기 신원확인 장치(1)는 데이터망(예; 인터넷)에 무선 접속하는 무선단말(예; 핸드폰, PDA(Personal Digital Assistant), 노트북, PMP(Portable Multimedia Player) 등) 또는, 데이터망에 유선 접속하는 유선단말(예: PC, 노트북 등)일 수도 있다.

다른 실시예에서, 상기 신원확인 장치(1)는 내부에 얼굴 데이터베이스를 더 포함할 수도 있다. 상기 실시예와 같이 상기 신원확인 장치(1)가 얼굴 데이터베이스를 더 포함하는 경우, 저장되는 데이터베이스 정보는 외부 데이터베이스로부터 획득될 수도 있고, 사용자의 입력으로부터 획득될 수도 있다.

상기 신원확인 장치(1)가 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 당업자에게 명백할 것이다. 예를 들어, 상기 신원확인 장치(1)는, 네트워크 인터페이스 및 프로토콜, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.

도 2는, 본 발명의 일 실시예에 따른, 신원확인 장치의 동작을 개략적으로 도시한 도면이다.

도 2를 참조하면, 신원확인 장치(1)는 ATM 등 근접 CCTV에서 취득된 측면 얼굴 영상에 마스크나 모자 등으로 인한 가림이 존재하더라도 얼굴의 측면 특성을 활용하여 신원 확인을 수행할 수 있다. 도 2에 도시된 신원확인 장치의 동작에 대해서는 아래의 도 3을 참조하여 보다 상세하게 서술한다.

도 3은, 본 발명의 일 실시예에 따른, 신원확인 방법의 흐름도이다.

도 1 및 도 3을 참조하면, 영상 획득부(10)는 신원확인 대상인 대상자의 측면 얼굴을 포함하는 대상자 영상을 획득한다(S310). 여기서, 대상자 영상은 측면 얼굴의 일부 또는 전부와 더불어, 얼굴의 정면 일부를 더 포함할 수도 있다.

영상 획득부(10)는, 카메라, ATM에 설치된 실시간 카메라 또는 폐쇄회로카메라(CCTV) 등과 같은, 영상 촬영 장치를 이용하여 대상자를 직접 촬영하고, 측면 얼굴 영상을 생성하는 모듈을 포함할 수도 있다. 일 실시예에서, 측면 얼굴 영상은 일부가 가려진 측면 얼굴을 포함할 수도 있다. 이 경우, 영상 획득부(10)는 대상자의 얼굴 일부가 가려진 대상자 영상을 획득한다(S310).

다른 실시예에서, 영상 획득부(10)는 상황에 따라 적외선 카메라와 같은 영상 촬영을 보조하기 위한 구성요소를 더 포함할 수도 있다. 또 다른 실시예에서, 영상 획득부(10)는 스캐너를 이용하여 상이한 유형의 이미지를 더 생성할 수도 있다.

또한, 영상 획득부(10)는 유선 또는 무선 인터페이스(예를 들어, USB 2.0, USB 3.0, BUS, 시리얼 케이블, LTE, WiFi, 3G, 2G, LAN 또는 임의의 적절한 통신 연결 인터페이스)를 통해 읽어내거나 수신하는 모듈을 포함할 수도 있다. 따라서, 영상 획득부(10)는 얼굴 데이터베이스와 상기 신원확인 장치(1)를 전기적으로 연결하는 유선 또는 무선 인터페이스를 통해 얼굴 데이터베이스에 저장된 후보에 연관된 데이터(예를 들어, 후보자의 측면 특징 벡터)를 획득할 수도 있다.

영역 검출부(20)는 효율적인 데이터 처리를 위해 특징 추출에 요구되는 영역들을 검출한다. 일 실시예에서, 영역 검출부(20)는 대상자 영상에서 측면 얼굴 영역을 검출하고(S321), 측면 얼굴의 서브 영역을 검출할 수 있다(S323). 여기서 서브 영역은 얼굴의 측면에서 개개인마다 고유한 특성을 검출할 수 있는 특정 영역으로서, 귀와 같이 생물학적 기준에 따라 결정될 수도 있다. 다른 일부 실시예에서, 서브 영역은 사용자의 입력에 따라 결정될 수도 있다. 예를 들어, 얼굴 측면에 특이한 요소(예컨대, 문신, 또는 점 등)를 포함하는 특정 대상자를 인증(및/또는 탐색)하고자 하는 경우, 해당 부분이 서브 영역으로 설정될 수도 있다.

도 2에 도시된 바와 같이, 일 실시예에서 측면 얼굴 영역(A) 은 얼굴 측면 및 얼굴 측면의 배경을 포함한다. 또한, 서브 영역(B)은 귀 부분 및 귀 부분의 배경을 포함한다.

일 실시예에서, 영역 검출부(20)는 얼굴 영역 및/또는 귀 부분 검출 시, Haar feature, NN(Neural Network), SVM (Support Vector Machine), Gabor, SIFT(Scale Invariant Feature Transform), HOG(Histogram of Gradients) 중 적어도 하나를 이용하여 해당 영역을 검출할 수 있으나, 이에 제한되지 않으며 다양한 얼굴 및 귀 영역 검출 방법을 이용할 수 있다.

가림 판단부(30)는 검출된 영역에 가림이 있는지 여부를 판단한다. 일 실시예에서, 가림 판단부(30)는 검출된 측면 얼굴 영역에 가림 정도를 산출하고(S331), 검출된 서브 영역에 대해서 가림 정도를 산출한다(S333). 나아가, 상기 가림 정도에 기초하여 해당 영역에 가림이 있는지 판단한다. 여기서, 가림은 얼굴 표면이 선글라스, 마스크, 모자 등의 물품, 또는 머리카락, 손과 같은 인체의 일부에 의해 일부 또는 전부 가려지는 것을 나타낸다.

가림 판단부(30)는 측면 얼굴 영역(A) 및/또는 서브 영역(B) 대비 가림 영역의 비율을 산출하여 해당 영역에서의 가림 정도를 판단할 수 있다. 일 실시예에서, 가림 판단부(30)는 측면 얼굴 영역 및/또는 귀 영역 대비 가림 영역의 비율을 0 내지 1 범위 내의 값으로 산출할 수 있다. 또한, 가림 판단부(30)는 0은 대상자의 얼굴 영역에 가림이 없는 경우를 나타내고, 0은 해당 영역에 가림이 없는 경우를 나타내고, 1은 해당 영역이 전부 가려진 경우를 나타내도록 가림 정도를 산출할 수 있다. 예를 들어, 가림 판단부(30)는 얼굴 영역 내에 가림이 존재하지 않을 경우 계산된 출력값은 0일 수 있고, 마스크를 착용하여 얼굴 영역의 40%를 가리고 있을 시에는 0.4의 출력 값을 가질 수 있다. 다른 실시예들에서, 가림 판단부(30)는 가림 정도를 다른 형식으로 점수화할 수도 있다.

추가적으로, 가림 판단부(30)는 가림 정도에 따른 가림 가중치를 산출할 수 있다. 가림 정도가 0 내지 1과 같은 값으로 산출되는 경우, 가림 가중치는 가림 정도와 동일할 수 있다. 다른 실시예에서, 산출된 가림 정도를 추가로 변환하여 가림 가중치를 산출할 수도 있다.

일부 실시예에서, 가림 가중치는 측면 얼굴 영역에 대해서만 적용될 수도 있다. 다른 일부 실시예에서, 측면 얼굴 영역에 가림이 있다고 판단된 경우에 (예컨대, 측면 얼굴 영역에서 가림이 소정 비율 이상인 경우) 서브 영역에 연관된 가림 가중치만 실질적으로 신원확인을 위해 사용될 수 있다.

가림 판단부(30)는 CNN(Convolutional Neural Network), SVM(Support Vector Machine), SVR(Support Vector Regression) 및 K-평균 클러스터링(K-means clustering) 알고리즘 중 적어도 하나를 이용하여 해당 영역에서의 가림 정도를 산출할 수 있다.

일 예에서, 가림 판단부(30)는 CNN 알고리즘을 이용하여 가림 정도를 산출할 수 있다. 상기 CNN 알고리즘 기반의 가림 판단부(30)는 컨볼루션 레이어(convolution layer), 풀링 레이어(pooling layer), 및 완전 연결 레이어(fully connected layer) 중 적어도 하나를 포함한다.

컨볼루션 레이어는 미리 정한 크기의 컨볼루션 필터를 사용하여 각 프레임에서 검출된 영역(크기: 32Х32)으로부터 특징을 추출하고, 추출된 특징을 특징 맵(feature map)으로 출력한다. 상기 CNN 기반 가림 판단부(30)의 컨볼루션 필터는 가림 정도에 연관된 특징을 추출한다.

그 후, 풀링 레이어는 특징 맵에 포함된 특징 값에 대하여 미리 정한 크기의 윈도우로 일정 칸식 스트라이드(stride)하면서, 해당 윈도우 내에 포함된 특징 값들을 대표 값으로 변환하여 특징 맵의 크기(size)를 스케일링할 수 있다. 이 과정은 서브 샘플링(sub-sampling) 또는 풀링(pooling) 이라고 지칭된다. 가림 판단부(30)는 특징 맵을 풀링 처리함으로써 특징 맵의 크기를 스케일링 다운하여 효율적인 계산을 가능하게 하고, 입력 영상을 추상화하여 왜곡에 강하게 할 수 있다.

일 실시예에서, 풀링 레이어에서는 해당 윈도우 내 최대 값을 추출하는 맥스 풀링을 통해 풀링 과정이 수행된다. 그러나, 이에 제한되지 않으며 평균 값을 추출하는 평균 풀링, L2-norm 풀링 등과 같은 다양한 풀링 방식이 사용될 수 있다.

상기CNN 기반 가림 판단부(30)는 2개 이상의 완전 연결 레이어(Fully connected layer)를 포함할 수 있다. 완전 연결 레이어는 기존 신경망과 같은 형태의 레이어로서, 모든 입력 노드(Input Node)가 모든 출력 노드(Output Node)로 연결된 상태이다.

컨볼루션 필터의 가중치와 완전 연결 레이어의 노드 가중치는 복수의 훈련 이미지(training image)에 의해 미리 학습될 수도 있다. 예컨대, 가림 판단부(30)의 컨볼루션 필터 및 완전 연결 레이어는 복수의 훈련 영상를 사용하여 얼굴의 가림 여부 및 가림 정도를 산출하도록 학습될 수 있다.

추가적으로, 컨볼루션 필터의 가중치와 완전 연결 레이어의 노드 가중치는 이전에 획득되었던 대상자 영상 및 이에 대한 인증 결과에 기초하여 업데이트될 수도 있다. 이로 인해, 신원확인 장치(1)의 가림 여부 판단 기능이 더욱 강화될 수 있다.

일 실시예에서, CNN 기반 가림 판단부(30)는 각 영역별 서브 가림 판단부, 예를 들어 측면 얼굴 가림 판단부, 그리고 서브 영역 가림 판단부를 포함할 수 있다. 도 2에 도시된 바와 같이, 각 영역에 대한 가림 판단부는 해당 영역의 가림 여부를 판단하는 능력을 학습하는데 사용될 수 있는 훈련 이미지에 기초하여 학습될 수 있다. 상기 서브 영역 가림 판단부는 하나 이상의 서브 영역에 대해 가림 여부를 판단할 수 있도록 구성될 수 있다.

특징 벡터 산출부(40)는 검출된 측면 얼굴 영역 및 서브 영역으로부터 대상자에 대한 측면 특징 벡터를 산출한다. 일 실시예에서, 특징 벡터 산출부(40)는 측면 얼굴 영역에 대한 특징 벡터(이하, "얼굴 특징 벡터")를 측면 얼굴 영역으로부터 산출하고(S341), 서브 영역에 대한 특징 벡터(이하, "서브 특징 벡터")를 서브 영역으로부터 산출할 수 있다(S343). 상기 측면 특징 벡터는 얼굴 특징 벡터, 서브 특징 벡터, 및 이들의 조합을 포함할 수 있다.

여기서, 특징은 대상자 영상의 대상자가 가지고 있는 객체 고유의 분별 가능한 특성으로서, 특징 벡터는 n개의 특징들을 포함한 n차원 열벡터로 나타낼 수 있다.

일 실시예에서, 특징 벡터 산출부(40)는 CNN(Convolutional Neural Network), LBP(Local Binary pattern), LE(Learning-based Encoding), SIFT(Scale Invariant Feature Transform) 및 HOG(Histogram of Gradients) 중 적어도 하나를 통해 측면 얼굴 영역 및/또는 서브 영역(예컨대, 귀 부분)으로부터 해당 영역에 대한 특징 벡터를 산출할 수 있다.

일 예에서, 특징 벡터 산출부(40)는 CNN 알고리즘을 이용하여 해당 영역에 대한 특징 벡터를 산출할 수 있다. 상기 CNN 알고리즘 기반의 특징 벡터 산출부(40)는 컨볼루션 레이어(convolution layer), 풀링 레이어(pooling layer), 및 완전 연결 레이어(fully connected layer) 중 적어도 하나를 포함한다.

특징 벡터 산출부(40)의 컨볼루션 레이어는 신원확인을 위한 대상자 식별에 연관된 특징을 추출한다. 또한, 컨볼루션 필터의 가중치와 완전 연결 레이어의 노드 가중치는 측면 얼굴에 기반하여 대상자를 식별하는 것에 연관된 복수의 훈련 영상을 사용하여 미리 학습될 수 있다. 상기 CNN 기반 특징 벡터 산출부(40)는 전술한 CNN 기반 가림 판단부(30)와 그 구조 및 원리가 유사하므로 자세한 설명은 생략한다.

다른 실시예에서, 특징 벡터 산출부(40)는 전술한 알고리즘에 제한되지 않고, 다양한 특징 서술자 방법에 의해 특징 벡터를 산출할 수 있다.

특징 벡터 산출부(40)는 산출된 각 영역에 대한 특징 벡터를 결합하여 측면 특징 벡터를 산출한다(S345). 일 실시예에서, 특징 벡터 산출부(40)는 얼굴 특징 벡터에 측면 얼굴 영역의 가림 정도를 고려할 수 있다. 예를 들어, 측면 얼굴 영역에 있어서 가림 정도에 따른 가림 가중치가 산출된 경우, 특징 벡터 산출부(40)는 측면 얼굴 영역에 대한 가림 가중치를 더 적용하여 얼굴 특징 벡터를 산출할 수 있다.

또한, 특징 벡터 산출부(40)는 서브 영역에 대한 가림 가중치를 더 적용하여 서브 특징 벡터를 산출할 수 있다.

그 후, 특징 벡터 산출부(40)는 해당 영역의 가림 가중치가 더 적용된 특징 벡터를 결합하여 측면 특징 벡터를 산출한다(S345). 일 실시예에서, 특징 벡터 산출부(40)는 가림 정도의 점수를 기초하여 Weighted SUM, SVM 알고리즘 중 하나를 이용하여 각각에 대한 가림 가중치를 달리해 얼굴 특징 벡터와 서브 특징 벡터를 결합할 수 있다. 이로 인해, 특징 벡터에 가림 정도가 반영되고, 상기 신원확인 장치(1)는 각각의 영역의 특징들 및 가림 정도를 모두 고려하여 대상자의 신원확인이 가능하게 된다. 결국, 측면 영상에서 얼굴 영역 및 귀 영역의 가림 여부에 따라 가중치가 달리 주어진 얼굴 특징 벡터 및 서브 특징 벡터를 결합하여 모자, 마스크, 액세서리 등에 의한 가림이 있는 대상자에 대하여 신원확인이 가능하다.

추가적으로, 특징 벡터 산출부(40)는 얼굴 특징 벡터, 서브 특징 벡터, 및/또는 측면 특징 벡터에 포함된 특징 파라미터에서 일부 특징 파라미터를 추출하고, 상기 일부 파라미터를 포함하는 새로운 측면 특징 벡터를 생성할 수 있다(S347). 여기서, 추출되는 특징 파라미터는 측면 얼굴에 기초한 신원확인 측면에서 대상자 식별을 위해 주로 사용되는 보다 중요한 특징 파라미터로서, 측면 얼굴 및/또는 귀 부분에 기초한 신원확인 시 개개인마다 고유한 특성이 많이 반영된 특징 파라미터들일 수 있다. 예를 들어, 측면 얼굴 형상이 동일하지 않는 한 서로 다른 값을 갖는 특정한 특징 파라미터가 있는 경우, 추출되는 특징 파라미터는 상기 특정한 특징 파라미터일 수 있다.

일부 실시예에서, 추출되는 일부 특징 파라미터는 얼굴 데이터베이스에 저장된 다른 후보자의 특징 벡터(예를 들어, 후보자의 특징 벡터의 분포 등)에 기초하여 설정될 수도 있다. 예를 들어, 다수의 후보자에 대하여 분산 값이 소정 임계치 보다 큰 특징 파라미터를 추출할 수도 있다.

일 실시예에서, 특징 벡터 산출부(40)는 CNN, PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis), 베이지안(Bayesian) 및 결합 베이지안(Joint Bayesian) 중 적어도 하나를 이용하여 보다 강화된 측면 특징 벡터를 생성할 수도 있다.

일 예에서, 특징 벡터 산출부(40)는 강화 레이어를 더 포함할 수 있으며, 상기 강화 레이어는 데이터의 최적의 관점에서 데이터를 축소할 수 있는 PCA 기반의 레이어로 이루어질 수 있다. 특징 벡터 산출부(40)는 결합 이전의 각각의 특징 벡터에서 하나 이상의 특징 파라미터를 검출하거나, 또는 결합 이후의 특징 벡터에서 하나 이상의 특징 파라미터를 검출하도록 구성될 수 있다. 특징 벡터 산출부(40)는 강화 레이어를 통해 보다 효율적이고 강화된 측면 특징 벡터를 생성할 수 있다(S347).

신원확인부(50)는 대상자의 측면 특징 벡터와 얼굴 데이터베이스에 저장된 후보자의 측면 특징 벡터를 비교하여 대상자의 신원을 확인한다(S350). 일 실시예에서, 신원확인부(50)는 측면 특징 벡터 간의 유사도를 산출하여 신원확인을 수행한다. 상기 측면 특징 벡터 간의 유사도가 소정 임계치 이상인 경우 신원확인부(50)는 대상자에 대응하는 후보자를 결정하여 대상자의 신원을 확인할 수 있다.

나아가, 상기 신원확인 장치(1)는 대응하는 후보자의 이미지를 상기 데이터베이스에서 검색하고 신원확인된 대상자의 얼굴 이미지로 출력할 수 있다.

일부 실시예에서, 신원확인부(50)는 는 유클리디안 거리(Euclidian distance), 코사인 거리(Cosine distance), 마할라노비스 거리(Mahalanobis distance) 중 적어도 하나를 이용하여 대상자의 측면 특징 벡터와 후보자의 측면 특징 벡터 사이의 유사도를 산출할 수 있다.

이와 같이, 상기 신원확인 장치(1)는 측면 얼굴 영상에서 얼굴 영역 내 가림 여부를 판단하고 얼굴 영역에 대한 특성을 추출하면서, 동시에 서브 영역(예컨대, 귀 부분)을 검출하고 상기 서브 영역에 대한 특성을 추출할 수 있다. 또한, 각 영역에서 추출된 특성을 결합하여 신원확인에 이용할 수도 있다.

그 결과, 모자나 마스크를 착용시 얼굴 영역에 가림이 발생하여 얼굴 인식만으로는 신원확인이 불가하던 문제점을 해결할 수 있다

상기 도 3를 참조하여 서술된 단계들은 단지 예시적인 것으로, 신원확인 장치(1)의 상태에 따라 순서가 상이, 변형, 또는 생략될 수도 있다.

다른 일 실시예에서, 신원확인 장치(1)에 의해 수행되는 신원확인 방법은 측면 얼굴 영역을 검출하고(S321), 측면 얼굴 영역의 가림 정도를 판단한 이후에(S321), 서브 영역에 대한 일련의 단계들(S323, S333, S343)을 수행할 수도 있다. 이 경우, 도 3의 실시예와 달리, 신원확인 장치(1)는 주된 바이오 인증 기준으로 측면 얼굴 전체를 사용하고, 주된 기준에 의해 인증이 불가능한 경우, 보조 바이오 인증 기준으로 귀 부분을 추가적으로 사용하는 것이다.

이상에서 설명한 실시예들에 따른 신원확인 장치 및 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.

상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

한국지식정보보안사업협회에 따르면 2017년 국내 바이오인식 시장은 약 3,400 억원 규모로 잠정 산출되었고, 점점 그 규모가 증가될 것으로 예측된다.

본 발명의 일 측면에 따른 측면 얼굴 기반 신원확인 방법은 얼굴 영역 내 모자나 마스크 등에 의해 가림이 존재하더라도, 측면 얼굴 및/또는 귀 부분의 고유 특성을 활용하여 신원을 확인할 수 있다. 특히, 최근 4차 산업 기술 중 하나인 머신 러닝(machine learning)을 이용하여 신원확인을 위한 최적의 특징 벡터를 산출할 수 있다.

이로 인해, 기존 출입 통제 시스템이나 현금 자동 입출금기 등과 같은 금융 서비스에서 활용 시 사용자가 액세서리 착용 시에도 자유롭게 인식이 가능하여 사용자 편의성을 극대화할 수 있다. 나아가, 미세먼지 문제로 인해 마스크 착용이 급증하고 있는 현재의 국내 상황을 비추어 볼 때, 인증 대상자의 편의성을 극대화할 수 있는 장점이 있다.

Claims

신원확인 장치에 의해 수행되는 신원확인 방법으로서,
대상자의 측면 얼굴을 포함한 대상자 영상을 획득하는 단계;
상기 대상자 영상에서 측면 얼굴 영역을 검출하는 단계;
상기 측면 얼굴 영역의 가림 정도를 판단하는 단계 - 상기 획득된 대상자의 측면 얼굴 영역의 가림 정도는 복수의 훈련 영상을 사용하여 얼굴의 가림 정도를 산출하도록 학습된 컨볼루션 필터 및 완전 연결 레이어를 사용하여 산출됨;
상기 대상자 영상에서 측면 얼굴의 서브 영역을 검출하는 단계;
상기 측면 얼굴 영역에 대한 특징 벡터를 산출하는 단계;
상기 서브 영역에 대한 특징 벡터를 산출하는 단계;
상기 측면 얼굴 영역 및 서브 영역에 대한 특징 벡터를 결합하여 측면 특징 벡터를 산출하는 단계; 및
상기 대상자에 대한 측면 특징 벡터와 얼굴 데이터베이스 내에 저장되어 있는 후보자에 대한 측면 특징 벡터 간에 유사도를 측정하여 대상자의 신원을 확인하는 단계를 포함하되,
상기 측면 얼굴 영역에 대한 특징 벡터는 상기 측면 얼굴 영역의 서브 영역을 포함한 영역의 특징을 추출하여 산출되고,
상기 서브 영역에 대한 특징 벡터는 상기 서브 영역만의 특징을 추출하여 산출되는 것을 특징으로 하는 신원확인 방법.
제1항에 있어서,
상기 측면 얼굴 영역에 대한 특징 벡터는 상기 측면 얼굴 영역의 가림 정도에 따른 가림 가중치가 더 적용되는 신원확인 방법.
제2항에 있어서,
상기 가림 가중치는 0 내지 1 사이의 값으로 표현되며,
여기서, 0은 해당 영역에 가림이 없는 경우를 나타내고, 1은 해당 영역이 전부 가려진 경우를 나타내는 신원확인 방법.
제2항에 있어서,
상기 서브 영역의 가림 정도를 판단하는 단계를 더 포함하되,
상기 서브 영역에 대한 특징 벡터에는 해당 영역의 가림 정도에 따른 가림 가중치가 더 적용되는 신원확인 방법.
제4항에 있어서, 상기 측면 얼굴 영역에 연관된 가림 가중치는
상기 측면 얼굴 영역의 가림 정도가 측면 얼굴 영역 대비 소정 비율 이상인 경우, 측면 얼굴 영역이 전부 가려진 경우에 대응하는 값인 것을 특징으로 하는 신원확인 방법.
제1항에 있어서, 상기 측면 특징 벡터를 산출하는 단계는,
특징 벡터에 포함된 특징 파라미터 중에서 일부 특징 파라미터를 추출하여 측면 특징 벡터를 산출하는 단계를 포함하는 신원확인 방법.
제6항에 있어서, 상기 일부 특징 파라미터는,
얼굴 데이터베이스에 저장된 후보자들의 특징 벡터의 분포 결과에 기초하여 추출되는 신원확인 방법.
제1항에 있어서, 상기 서브 영역은,
귀 부분을 포함하는 것을 특징으로 하는 신원확인 방법.
제1항에 있어서, 상기 가림 정도를 판단하는 단계는,
CNN(Convolutional Neural Network) 알고리즘을 이용하여 해당 영역에서의 가림 정도를 판단하는 단계를 포함하는 신원확인 방법.
제1항에 있어서, 상기 측면 얼굴 영역 및 서브 영역에 대한 특징 벡터를 산출하는 단계는,
CNN(Convolutional Neural Network), LBP(Local Binary pattern), LE(Learning-based Encoding), SIFT(Scale Invariant Feature Transform) 및 HOG(Histogram of Gradients) 중 적어도 하나를 이용하여 해당 영역에 대한 특징 벡터를 각각 산출하는 단계를 포함하는 신원확인 방법.
제6항에 있어서, 상기 일부 특징 파라미터는,
CNN(Convolutional Neural Network), PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis), 베이지안(Bayesian) 및 결합 베이지안(Joint Bayesian) 중 적어도 하나를 이용하여 추출되는 것을 특징으로 하는 신원확인 방법.
컴퓨터에 의해 판독가능하고, 상기 컴퓨터에 의해 동작 가능한 프로그램 명령어를 저장한 컴퓨터 판독가능한 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨터의 프로세서에 의해 실행되는 경우 상기 프로세서가 제1항 내지 제11항 중 어느 하나의 항에 따른 신원확인 방법을 수행하게 하는 프로그램 명령어를 저장한 컴퓨터 판독가능한 기록매체.
대상자의 측면 얼굴을 포함한 대상자 영상을 촬영한 촬영기로부터 상기 대상자 영상을 획득하는 영상 획득부;
상기 대상자 영상에서 측면 얼굴 영역 및 상기 측면 얼굴 영역의 서브 영역을 검출하는 영역 검출부;
상기 측면 얼굴 영역의 가림 정도를 판단하는 가림 판단부 - 상기 가림 판단부는 복수의 훈련 영상을 사용하여 얼굴의 가림 여부 및 가림 정도를 산출하도록 학습된 컨볼루션 필터 및 완전 연결 레이어를 사용하여 측면 얼굴 영역의 가림 정보를 산출함;
상기 측면 얼굴 영역 및 상기 서브 영역으로부터 상기 대상자에 대한 측면 특징 벡터를 산출하는 특징 벡터 산출부; 및
상기 측면 특징 벡터와 데이터베이스 내에 저장되어 있는 측면 특징 벡터 간에 유사도를 측정하여 대상자의 신원을 확인하는 신원확인부를 포함하되,
상기 측면 얼굴 영역에 대한 특징 벡터는 상기 측면 얼굴 영역의 서브 영역을 포함한 영역의 특징을 추출하여 산출되고,
상기 서브 영역에 대한 특징 벡터는 상기 서브 영역만의 특징을 추출하여 산출되는 것을 특징으로 하는 신원확인 장치.