KR102249663B1 - 귀 인식 기반 신원확인 방법 및 시스템 - Google Patents

Abstract

본 발명의 실시예들은 대상자의 영상을 획득하는 단계; 상기 대상자의 영상에서 귀 영역 영상을 검출하는 단계; 상기 귀 영역 영상에서 대상자의 귀가 갖는 복수의 특성을 각각 나타내는 복수의 특징 벡터를 추출하는 단계; 상기 대상자의 특징 벡터와 후보자의 특징 벡터에 기초하여 상기 대상자의 귀의 특성과 후보자의 귀의 특성 간의 유사도를 산출하는 단계; 및 상기 유사도 산출 결과에 기초하여 신원을 확인하는 단계를 포함한 귀 인식 기반 신원확인 방법 및 이를 수행하는 귀 인식 기반 신원확인 시스템에 관련된다

Description

귀 인식 기반 신원확인 방법 및 시스템{IDENTIFICATION SYSTEM AND METHOD BASED ON EAR RECOGNITION}

본 발명의 실시예들은 신원확인 기술에 관한 것으로서, 보다 상세하게는 입력된 영상에서 귀의 고유 특성 정보를 추출함으로써 대상자의 신원을 확인하는 귀 인식 기반 신원확인 기술에 관한 것이다.

신원을 확인하기 위하여 대상자의 고유한 생체 정보를 활용하는 생체 인식 기술이 보안, 금융 등의 다양한 분야에서 범용적으로 사용되고 있으며 이 때, 개인을 식별하기 위한 고유 정보로서 얼굴, 지문, 귀, 걸음걸이 등이 활용될 수 있다.

최근 영상 인식 기술의 발전으로 인해, 신원확인을 위한 수단으로서 얼굴 인식을 이용하는 얼굴 인식 기반 신원확인 기술이 활발히 개발되고 있다. 얼굴 인식의 경우 사용자가 신원확인을 위한 얼굴 인식 기기에 얼굴을 위치시키면 신원확인 동작이 수행되므로, 사용자 편의성이 매우 뛰어난 장점이 있다.

그러나, 얼굴 인식 기반 신원확인 기술의 경우, 영상 내에 측면 얼굴만 포함되어 있거나 모자/안경/마스크 등으로 인하여 얼굴 영상(특히, 얼굴 정면부)에 일부 또는 전부의 가림이 존재하는 경우에 인식률이 저하되는 단점이 존재한다.

따라서, 얼굴 영상에 가림이 존재하는 경우에도 신원을 확인할 수 있는 기술의 필요성이 요구된다.

특허공개공보 10-2015-0069799

본 발명의 일 측면에 따르면 입력된 영상에서 귀의 고유 특성 정보를 추출함으로써 대상자의 신원을 확인하는 귀 인식 기반 신원확인 시스템이 제공된다.

이 외에도, 상기 귀 인식 기반 신원확인 시스템에 의해 수행되는 귀 인식 기반 신원확인 방법이 제공된다.

본 발명의 일 측면에 따른 귀 인식 기반 신원확인 방법은: 대상자의 영상을 획득하는 단계; 상기 대상자의 영상에서 귀 영역 영상을 검출하는 단계; 상기 귀 영역 영상에서 대상자의 귀가 갖는 복수의 특성을 각각 나타내는 복수의 특징 벡터를 추출하는 단계; 상기 대상자의 특징 벡터와 후보자의 특징 벡터에 기초하여 상기 대상자의 귀의 특성과 후보자의 귀의 특성 간의 유사도를 산출하는 단계; 및 상기 유사도 산출 결과에 기초하여 상기 대상자의 신원을 결정하는 단계를 포함할 수 있다.

일 실시예에서, 상기 귀 영역 영상에서 대상자의 귀가 갖는 복수의 특성을 각각 나타내는 복수의 특징 벡터를 추출하는 단계는 상기 영상으로부터 귀의 전역적 특성에 대한 제1 특징 벡터를 추출하는 단계; 및 상기 영상으로부터 귀의 지역적 특성에 대한 제2 특징 벡터를 추출하는 단계를 포함할 수 있다.

일 실시예에서, 상기 귀 영역 영상에서 대상자의 귀가 갖는 복수의 특성을 각각 나타내는 복수의 특징 벡터를 추출하는 단계는 상기 대상자의 제1 특징 벡터와 데이터베이스 내에 미리 저장되어 있는 후보자의 제1 특징 벡터에 기초하여 상기 대상자의 귀의 전역적 특성과 상기 후보자의 귀의 전역적 특성 간의 제1 유사도를 산출하는 단계; 및 상기 대상자의 제2 특징 벡터와 상기 데이터베이스 내에 미리 저장되어 있는 상기 후보자의 제2 특징 벡터에 기초하여 상기 대상자의 귀의 지역적 특성과 상기 후보자의 귀의 지역적 특성 간의 제2 유사도를 산출하는 단계를 포함할 수 있다.

일 실시예에서, 상기 대상자의 귀의 특성과 후보자의 귀의 특성 간의 유사도를 산출하는 단계는, 상기 제1 유사도 및 제2 유사도를 결합하여 상기 대상자의 귀의 특성과 후보자의 귀의 특성 간의 유사도를 산출하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 귀 인식 기반 신원확인 방법은, 상기 특징 벡터를 추출하기 이전에, 상기 귀 영역 영상을 귀 영역에 형태적 변형 및 왜곡이 없도록 미리 설정된 크기로 변형하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 전역적 특성은 귀의 윤곽 및 구성 중 하나 이상을 포함할 수 있다.

일 실시예에서, 상기 지역적 특성은 귀에 존재하는 국소적 패턴을 포함할 수 있다.

일 실시예에서, 상기 대상자의 신원을 결정하는 단계는, 상기 산출된 유사도가 임계치 이상인 경우, 상기 후보자의 신원을 상기 대상자의 신원으로 결정하는 단계를 포함할 수 있다.

일 실시예에서, 상기 대상자의 신원을 결정하는 단계는, 상기 대상자로 결정된 후보자의 신원 정보 및 얼굴 영상 중 하나 이상을 제공하는 단계를 포함할 수 있다.

본 발명의 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장할 수 있다. 여기서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 상술한 실시예들에 따른 귀 인식 기반 신원확인 방법을 수행할 수 있다.

본 발명의 또 다른 일 측면에 따른 귀 인식 기반 신원확인 장치는: 대상자의 영상을 획득하는 영상 획득부; 상기 영상에서 귀 영역 영상을 검출하는 귀 영역 영상 검출부; 상기 귀 영역 영상에서 귀의 복수의 특성을 각각 나타내는 복수의 특징 벡터를 추출하는 특성 추출부; 및 상기 대상자의 특징 벡터와 미리 저장된 후보자의 특징 벡터 간의 유사도를 산출하고, 유사도 산출 결과에 기초하여 대상자의 신원을 확인하는 신원확인부를 포함할 수 있다.

일 실시예에서, 상기 귀 인식 기반 신원확인 장치는, 상기 검출된 귀 영역 영상에 대해 크기 정규화 처리하도록 구성된 영상 전처리부를 더 포함할 수 있다.

본 발명의 일 측면에 따른 귀 인식 기반 신원확인 시스템을 이용하면, 영상 장비에서 촬영된 대상자의 영상에서 귀 영역을 검출하고, 상기 귀 영역에서 대상자를 표현하는 귀의 고유한 특성을 나타내는 특징 벡터를 추출하여 신원을 확인하는 동작을 수행할 수 있다.

이러한 귀 인식을 이용하는 상기 시스템은 기기 접촉을 요구하는 지문 인식이나, 카메라와의 일정 거리에서 정면 응시를 필요로 하는 홍채 인식과 달리 인식 대상자에게 특정 행위를 요구하지 않기 때문에 대상자가 느끼는 거부감이 적다는 장점을 가진다.

또한, 상기 시스템에 의한 신원확인 동작은 마스크, 모자, 선글라스 등의 착용으로 인해 발생하는, 얼굴 영역(특히, 얼굴 정면부) 상의 가림이 있어도 노출되어 있는 귀를 통해 대상자의 신원을 확인할 수 있어, 부분 가림이 있는 경우 신원확인이 불가하거나, 또는 신원확인의 정확성이 매우 떨어지는 종래의 얼굴 인식 기반 신원확인 기술의 단점을 극복할 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 실시예에 따른, 신원확인을 위한 귀 인식 기반 신원확인 시스템의 구성도이다.
도 2는, 본 발명의 일 실시예에 따른, 귀 인식 기반 신원확인 방법의 흐름도이다.
도 3은, 본 발명의 일 실시예에 따른, 도 2의 귀 인식 기반 신원확인 과정의 개념도이다.
도 4는, 본 발명의 일 실시예에 따른, 영상을 전처리한 결과를 도시한 도면이다.
도 5는, 본 발명의 실시예에 따른, 복수의 특성 추출 모델에서 추출된 귀의 특성을 이미지로 나타낸 도면이다.

실시예들은 여기에 첨부된 도면들을 참조하여 설명될 것이다 그러나, 여기에 개시된 원리들은 많은 상이한 형태로 구현될 수도 있으며 여기에서 기재된 실시예로 제한되어 생각되지 않아야 한다. 발명의 상세한 설명에서, 잘 알려진 특징 및 기술에 대한 상세한 설명이 실시예의 특징을 불필요하게 불명확하게 하는 것을 피하기 위해 생략될 수도 있다.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.

도 1은, 본 발명의 일 실시예에 따른, 신원확인을 위한 귀 인식 기반 신원확인 시스템의 구성도이다.

도 1을 참조하면, 귀 인식 기반 신원확인 시스템1은 귀 인식 기반 신원확인 장치(100) 및 데이터베이스(200)를 포함한다.

실시예들에 따른 귀 인식 기반 신원확인 시스템(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 신원확인 장치(100)는 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치", 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

상기 귀 인식 기반 신원확인 장치(100)는 신원확인 대상자의 영상을 수신하는 영상 획득부(110), 수신한 영상에서 귀 영역을 검출하는 영역 검출부(120), 귀의 특성을 나타내는 특징 벡터를 추출하는 특성 추출부(140), 추출된 특징 벡터와 데이터베이스(200)에 미리 저장된 특징 벡터에 기초하여 대상자의 신원을 확인하는 신원확인부(150)를 포함한다. 또한, 일부 실시예에서, 상기 신원확인 장치(100)는 귀 영역을 보정하는 영상 전처리부(130)를 더 포함할 수 있다.

상기 신원확인 장치(100)는 귀 인식 기반 신원확인 동작을 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 신원확인 장치(100)의 구성(10 내지 50)은 상기 장치(100)에서 실행되는 귀 인식 기반 신원확인 동작을 수행하기 위한 소프트웨어에 의해 제어될 수 있다. 상기 신원확인 장치(100)에서 수행되는 귀 인식 기반 신원확인 동작은 아래의 도 2 내지 도 5b를 참조하여 보다 상세하게 서술한다.

상기 신원확인 장치(100)는 미리 구축된 데이터베이스(200)를 이용할 수 있다. 상기 데이터베이스(200)는 대상자의 신원을 인증하기 위해 사용되는 하나 이상의 후보자에 연관된 정보를 저장한다. 후보자에 연관된 정보는 후보자 신원(ID) 정보, 후보자 영상 정보 및 특징 정보를 포함한다.

일 실시예에서, 데이터베이스(200)에 미리 저장된 후보자의 특징 정보는 각 후보자가 갖고 있는 귀의 개별적이고 고유한 특성을 나타내는 특징 벡터(이하, "후보자의 특징 벡터")를 포함한다.

각 특징 서술자 방식에 의해 추출된 후보자 및 대상자의 특징 벡터 간의 각각의 비교를 위해, 데이터베이스(200)에 저장된 후보자의 특징 벡터와 관련된 특징 서술자는 대상자의 영상에서 추출되는 특징 벡터와 관련된 특징 서술자를 포함한다.

특성 및 특징 벡터에 대해서는 아래의 특성 추출부(140)를 참조하여 보다 상세하게 서술한다.

신원 정보와 영상 정보는 식별자를 각각 포함한다. 일 후보자에 대한 신원 정보에 포함된 식별자와 영상 정보에 포함된 식별자는 서로 연관된다. 따라서, 데이터베이스(200) 내 하나의 영상을 결정하면, 영상 정보에 포함된 식별자를 통해 해당 영상의 신원 정보를 확인할 수 있다.

일 실시예에서, 상기 장치(100)는 클라우드 서버와 같은 외부 데이터베이스 정보를 이용할 수 있는 컴퓨팅 장치일 수도 있다. 이 경우, 상기 장치(100)는 사용자의 명령에 따라 외부의 데이터베이스(200)에 접속하여 데이터 통신을 할 수 있는 모든 종류의 단말일 수도 있다. 예컨데, 상기 장치(100)는 프로세서를 포함하며, 데이터망(예; 인터넷)에 무선 접속하는 무선단말(예; 핸드폰, PDA(Personal Digital Assistant), 노트북, 스마트 폰(smart phone) 등) 또는, 데이터망에 유선 접속하는 유선단말(예: PC, 노트북, ATM 등)일 수도 있다.

다른 실시예에서, 상기 장치(100)는 내부에 데이터베이스(200)를 더 포함할 수도 있다. 상기 실시예와 같이 상기 장치(100)가 데이터베이스(200)를 더 포함하는 경우, 저장되는 데이터베이스 정보는 외부 데이터베이스로부터 획득될 수도 있고, 사용자의 입력으로부터 획득될 수도 있다.

도 2는, 본 발명의 일 실시예에 따른, 귀 인식 기반 신원확인 방법의 흐름도고, 도 3은 도 2의 신원확인 방법의 개념도이다.

도 2 및 도 3을 참조하면, 귀 인식 기반 신원확인 시스템(1)(예컨대, 신원확인 장치(100))는 귀 인식 기반 신원확인 방법을 수행한다. 상기 귀 인식 신원확인 방법은: 대상자의 영상을 획득하는 단계(S10); 상기 대상자의 영상에서 귀 영역을 검출하는 단계(S20); 상기 귀 영역에서 대상자가 갖는 귀의 특성을 나타내는 특징 벡터를 추출하는 단계(S40); 상기 대상자의 귀의 특성과 후보자의 귀의 특성 간의 유사도를 산출하는 단계(S50); 및 상기 유사도 산출 결과에 기초하여 대상자의 신원을 확인하는 단계(S60)를 포함한다. 일부 실시예에서, 상기 신원확인 방법은 단계(S40) 이전에, 상기 귀 영역을 정규화하는 전처리하는 단계(S30)를 더 포함할 수 있다.

대상자의 영상은 영상 획득부(110)에 의해 획득된다(S10). 영상 획득부(110)는 유선 및/또는 무선 전기적 연결에 의해 내부 또는 외부 구성요소로부터 대상자의 영상을 획득하도록 구성된다.

일 실시예에서, 영상 획득부(110)는 촬영 기기 자체일 수 있다. 상기 영상 촬영 기기는, 예를 들어 카메라(예컨대, 스마트 폰 카메라), CCTV, 근접 CCTV(예컨대, Webcam, ATM 카메라) 등을 포함하나, 이에 제한되지 않으며 대상자를 촬영하여 대상자의 영상을 획득할 수 있는 다양한 기기를 포함한다.

다른 일 실시예에서, 영상 획득부(110)는 이미 생성된 대상자의 영상을 전기 통신을 통해 수신함으로써 영상을 획득하도록 구성될 수도 있다.

영역 검출부(120)는 단계(S10)에서 획득된 대상자의 영상에서 귀의 적어도 일부가 위치하는 영역인 귀 영역을 검출한다.

일 실시예에서, 영역 검출부(120)는 영역 검출 알고리즘을 이용하여 귀 영역을 검출할 수 있다. 상기 영역 검출 알고리즘은, 예를 들어 Haar, Convolution Neural Network (CNN), Scale Invariant Feature Transform (SIFT), Histogram of Gradients (HOG), Neural Network (NN), Support Vector Machine (SVM), Gabor 방식 등을 수행하는 알고리즘을 포함하나, 이에 제한되진 않는다.

또한, 영역 검출부(120)는 귀 영상을 기반으로 귀의 형태적 특성 등을 적용한 영역 검출 알고리즘을 이용하여 귀 영역을 검출하도록 구성될 수 있다.

도 3에 도시된 바와 같이, 단계(S20)의 수행 결과, 대상자의 측면 얼굴을 포함한 단계(S10)의 영상으로부터 귀 영역이 검출된다. 그러나, 영역 검출부(120)의 동작은 이에 제한되지 않으며, 영역 검출부(120)는 대상자의 영상이 얼굴 측면은 물론, 정확한 얼굴 측면이 아니면서 귀의 적어도 일부를 포함한 경우에도 상기 대상자의 귀의 적어도 일부를 포함한 귀 영역을 검출하도록 구성될 수 있다.

영역 검출부(120)는 단계(S20)의 수행 결과로서 귀 영역 영상을 생성하고, 영상을 처리하도록 구성된 다른 구성요소(예컨대, 영상 전처리부(130) 또는 특성 추출부(140))에 상기 귀 영역 영상을 제공할 수 있다.

이하, 영역 검출부(120)가 귀 영역을 검출한 것을 가정하고 신원확인 동작을 계속하여 서술한다.

일부 실시예에서, 귀의 특성을 나타내는 특징 벡터를 추출하기 이전에, (예컨대, 영상 전처리부(130)에 의해) 귀 영상을 전처리할 수 있다.

영상 전처리부(130)는 귀 영역 영상을 전처리하도록 구성된다. 일 실시예에서, 영상 전처리부(130)는 이후 특징 추출부(140)에서 활용되기 적합한 영상의 크기로 정규화를 수행하는 크기 정규화 처리를 귀 영역 영상에 대하여 수행하도록 구성된다. 여기서, 특징 추출부(140)에서 활용되기 적합한 영상의 크기는 신원확인을 위해 요구되는 (예컨대, 유사도 계산을 위한 특징 벡터 추출을 위해 요구되는) 크기로 미리 설정된다.

도 4는, 본 발명의 일 실시예에 따른, 크기 정규화 처리 결과를 도시한 도면이다.

귀 영역 영상을 단순하게 미리 설정된 크기로 변형할 경우, 영상 내 구성에 대한 기하학적 변형이 발생하여 귀의 형태적 변형 및 왜곡이 발생될 수 있다. 가령, 영역 검출부로 부터 검출된 귀 영역의 크기가 가로 50픽셀, 세로 100 픽셀이라고 가정하고, 신원 확인을 위해 요구되는 영상의 크기가 가로 200 픽셀, 세로 200 픽셀이라고 한다면, 입력된 귀 영역 영상은 가로 방향으로 4배가 확장되고, 세로 방향으로 2배가 확장되는 과정을 거치게 된다.

즉, 단순한 크기 정규화는 영상 내 실제 대상자의 귀 형태에 변형을 야기하므로 귀의 형태적 변형 및 왜곡을 방지하기 위해 귀 영역 영상의 비율을 유지하면서 미리 설정된 크기로 귀 영역 영상을 변형한다. 전술한 예시에서, 입력된 귀 영역 영상의 크기를 가로 100픽셀, 세로 200픽셀로 확장하고, 신원 확인부(150)에서 요구되는 영상 크기를 만족시키기 위하여 여백 공간을 검정 픽셀로 채워 놓는 제로-패딩 (Zero-Padding) 방식, 혹은 귀 영역 영상의 크기를 가로 200픽셀, 세로 400픽셀 이상의 크기로 확장한 후, 확장된 영상 내에서 신원 확인부에서 요구하는 영상 크기인 가로 200 픽셀, 세로 200픽셀 크기의 일부 구간을 잘라내어 활용하는 크롭핑 (cropping) 방식 등을 활용하여 정규화를 수행할 수 있으나, 이에 제한되지 않고 귀의 비율을 유지하는 다양한 크기 정규화 방식을 이용하여 정규화 동작을 수행하도록 구성된다.

이와 같이, 영상 전처리부(130)의 크기 정규화에 의해, 검출된 귀 영역 영상의 가로 대 세로 비율을 유지하여 영상의 기하학적 변형 및 왜곡을 방지하여 크기에 따른 귀의 특성 추출 오차를 줄일 수 있다.

또한, 영상 전처리부(130)는, 예를 들어 데이터베이스(200)의 특징 벡터가 추출되었던 환경에 매칭되도록, 영상의 조명을 보정하도록 더 구성될 수 있다.

특성 추출부(140)는 대상자의 귀가 갖는 특성을 나타내는 특징 벡터(이하, "대상자의 특징 벡터")를 추출한다(S40). 귀는 사람마다 형상, 피부 질감, 피부 표면 구성(예컨대, 점 등)이 상이하도록 구성된다. 즉, 귀의 고유한 특성은 귀를 분석하는 관점에 대응한다. 이로 인해, 두 개의 귀를 비교 분석할 경우, 귀의 고유한 특성에 기초하여 두 개의 귀가 동일한지, 상이한지 여부가 결정될 수 있다.

귀의 특성은 예를 들어 귀의 전체 또는 부분적 윤곽, 피부 질감, 골격 구조, 점 등을 포함하며, 상기 귀의 특성을 나타내는 특징 벡터는 영상을 통해 표현된 귀의 특성을 각각 수치화한 값(들)을 포함한다.

일 실시예에서, 특성 추출부(140)는 대상자의 귀가 갖는 복수의 특성을 각각 나타내는 복수의 특징 벡터를 귀 영역 영상에서 추출한다. 이를 위해, 특성 추출부(140)는 특정 특성을 나타내는 특징 벡터를 추출하도록 구성된 복수의 특성 추출 모델을 포함할 수 있다.

일 실시예에서, 특성 추출부(140)는 귀의 전역적 특성 및 귀의 지역적 특성을 귀 영역 영상으로부터 추출할 수 있다(S40A 및 S40B). 이를 위해, 특성 추출부(140)는 귀의 전역적 특성을 나타내는 특징 벡터를 출력하는 전역적 특성 추출 모델 및 귀의 지역적 특성을 나타내는 특징 벡터를 출력하는 지역적 특성 추출 모델을 포함할 수 있다.

전역적 특성은, 예를 들어 영상 내의 전체적인 윤곽이나 구성과 관련된다. 전역적 특성 추출 모델은 귀의 특성을 추출하는데 있어서 귀 영역 영상의 전체를 사용한다. 전역적 특성 추출 모델은, 예를 들어 PCA(Principal Components Analysis), LDA(Local Discriminant Analysis), ICA(Independent Components Analysis) 등을 포함한 전역적 특징 서술자 방식을 이용하여 귀 영역 영상에 표현된 전역적 특성을 나타내는 특징 벡터를 추출할 수 있으나, 이에 제한되진 않는다.

지역적 특성은 국소적인 패턴으로 표현되는 특성으로서, 예를 들어 귀의 이주, 주간절흔 등의 국소적 가지(branch) 형태, 귀에 존재하는 점, 피부 질감, 주름 등과 관련된다. 지역적 특성 추출 모델은, 예를 들어 CNN(Convolution Neural Network), LBP(Local Binary Pattern), SIFT(Scale Invariant Feature Transform), LE(Learning-based Encoding), HOG(Histogram of Oriented Gradient) 등을 포함한 지역적 특징 서술자 방식을 이용하여 귀 영역 영상에 표현된 지역적 특성을 나타내는 특징 벡터를 추출할 수 있으나, 이에 제한되진 않는다.

도 5는, 본 발명의 실시예에 따른, 특성 추출 모델에서 추출 가능한 다양한 특징 벡터를 영상으로 나타낸 도면이다.

전술한 바와 같이, 대상자를 표현하는 귀의 고유한 특성은 지역적 또는 전역적 특성으로 분류될 수 있으며, 나아가 동일한 특성에 대하여도 (예를 들어, 지역적 특성을 추출하기 위해) 사용되는 특징 서술자가 다양하기 때문에, 하나의 귀 영역 영상으로부터, 도 5에 도시된 바와 같이, 다양한 영상으로 표현되는 다양한 특징 벡터가 추출된다. 즉, 상기 신원확인 장치(100)는 특성 추출 모델의 설정에 의해 귀의 특성을 다양한 측면에서 분석할 수 있다.

신원확인부(150)는 단계(S40)에서 추출된 대상자의 귀의 특성과 후보자의 귀의 특성 간의 유사도를 산출하고(S50), 유사도 산출 결과에 기초하여 대상자의 신원을 확인한다(S60).

단계(S50)에서, 상기 대상자의 특징 벡터와 후보자의 특징 벡터는 특성별로 비교된다. 예를 들어, 도 3에 도시된 바와 같이, 대상자의 지역적 특성을 나타내는 특징 벡터는 후보자의 지역적 특성을 나타내는 특징 벡터와 비교되고, 대상자의 전역적 특성을 나타내는 특징 벡터는 후보자의 전역적 특성을 나타내는 특징 벡터와 비교된다.

신원확인부(150)는 상기 대상자의 특징 벡터와 미리 저장된 후보자의 특징 벡터를 각 특성별로 비교하여 상기 대상자의 귀의 특성과 후보자의 귀의 특성 간의 유사도를 산출하기 위해 다양한 유사도 비교 알고리즘을 이용할 수 있다. 상기 유사도 비교 알고리즘은, 예를 들어 유클리디언 거리(Euclidean Distance), 코사인 거리 (Cosine Distance), 마할라노비스 거리 (Mahalanobis Distance) 등을 포함할 수 있으나, 이에 제한되진 않는다.

또한, 단계(S50)는 산출된 특성별 유사도를 결합하여 대상자의 귀의 특성과 후보자의 귀의 특성 간의 최종 유사도(즉, 대상자와 후보자 간의 귀 유사도)를 산출할 수 있다.

신원확인부(150)는, 예를 들어 SUM, MIN, MAX, PRODUCT, Weighted SUM, SVM 등을 포함한 결합 방식을 통해 복수의 특성별 유사도(예컨대, 지역적 특성과 관련된 유사도 및 전역적 특성과 관련된 유사도)를 결합할 수 있으나, 이에 제한되진 않는다.

신원확인부(150)는 단계(S50)에서 대상자와 후보자 간의 특성을 비교하여 유사도를 산출한 이후(예컨대, 특징 벡터 간의 비교 결과), 이어서 유사도 산출 결과에 기초하여 신원을 확인한다(S60).

일 실시예에서, 신원확인부(150)는 상기 비교 결과 산출된 유사도가 임계치 이상인 경우, 상기 후보자의 신원을 상기 대상자의 신원으로 결정한다(S60). 산출된 유사도가 임계치 미만인 경우, 신원확인 장치(100)는 데이터베이스(200)의 다른 후보자에 대하여 전술한 단계(S50)를 수행한다.

임계치는 추출되는 귀의 특성, 유사도의 결합 방식 및/또는 상기 귀의 특성 추출을 위해 사용되는 영상 특성에 의존하여 결정된 값일 수 있다.

예를 들어, 지역적 특성만이 추출되는 경우, 또는 전역적 특성만이 추출되는 경우, 또는 전역적 특성 및 지역적 특성이 모두 추출되는 경우의 임계치는 서로 상이할 수 있다.

상기 영상 특성은 단계(S40) 이전에 생성된 영상(예컨대, 전처리된 귀 영역 영상)의 특성을 나타낸다. 상기 영상 특성은, 예를 들어, 영상에서 귀가 차지하는 비율, 영상에 나타난 귀의 부분, 귀의 촬영 각도 등을 포함하나, 이에 제한되진 않는다.

그러나, 임계치는 전술한 실시예에 제한되진 않는다. 예를 들어, 상기 임계치는 사용자의 입력에 의해 설정된 특정 값일 수 있다.

신원확인부(150)는 대상자의 신원을 확인하고, 대상자의 신원확인 정보를 제공하도록 더 구성될 수 있다. 일 실시예에서, 신원확인부(150)는 상기 대상자로 결정된 후보자의 신원 정보 및 얼굴 영상 중 하나 이상을 제공할 수 있다.

상기 신원확인 시스템(1)(예컨대, 신원확인 장치(100))이 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 또한, 상기 신원확인 시스템(1)은, 네트워크 인터페이스 및 프로토콜, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.

이상에서 설명한 실시예들에 따른 귀 인식 기반 신원확인 시스템 및 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.

상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

본 발명의 실시예들에 따르면, 모자, 안경, 마스크 등의 액세서리 착용으로 인한 얼굴 가림을 내포하여 얼굴 인식 등의 활용이 어려운 환경에서도 귀의 특성을 이용하여 강인하게 신원확인을 수행할 수 있다.

따라서, 본 발명은 마스크, 모자 및 선글라스 등의 착용으로 인해 얼굴 영역 내 가림으로 인해 신원 식별이 불가 하더라도 노출되어있는 귀를 통해 대상자의 신원확인을 수행할 수 있다는 장점을 지니고 있다.

특히, 4차 산업 기술 분야 중 하나인 기계학습 기술에 기초하여, 대상자를 표현하는 귀의 고유한 특성을 다양한 측면에서 객관적으로 분석 가능하다.

이에 따라 유괴, 납치, 보이스 피싱 등 금품을 요구하는 범죄 용의자에 대해 ATM 기에서 획득된 영상을 활용한 용의자 검색 시스템, 키오스크나 ATM 기에서 본인 인증 방식으로의 활용 등 치안 및 금융권 등에서의 활용이 가능하여 높은 경제적 효과를 얻을 수 있다.

1: 귀 인식 기반 신원확인 시스템
100: 귀 인식 기반 신원확인 장치
110: 영상 획득부
120: 영역 검출부
130: 영상 전처리부
140: 특성 추출부
150: 신원확인부
200: 데이터베이스

Claims (12)

1. 귀 인식 기반 신원확인을 수행하는 방법으로서,
   대상자의 영상을 획득하는 단계;
   상기 대상자의 영상에서 귀 영역 영상을 검출하는 단계;
   상기 귀 영역 영상에서 대상자의 귀가 갖는 복수의 특성을 각각 나타내는 복수의 특징 벡터를 추출하는 단계;
   상기 대상자의 특징 벡터와 후보자의 특징 벡터에 기초하여 상기 대상자의 귀의 특성과 후보자의 귀의 특성 간의 유사도를 산출하는 단계; 및
   상기 유사도 산출 결과에 기초하여 상기 대상자의 신원을 결정하는 단계를 포함하되,
   상기 귀 영역 영상에서 대상자의 귀가 갖는 복수의 특성을 각각 나타내는 복수의 특징 벡터를 추출하는 단계는,
   귀 영역 영상 내의 전체적인 윤곽 또는 구성과 관련된 귀의 전역적 특성을 나타낸 제1 특징 벡터 및 국소적 패턴에 관련된 귀의 지역적 특성을 나타낸 제2 특징 벡터를 상기 귀 영역 영상으로부터 각각 추출하는 단계를 포함하고,
   상기 유사도는 상기 대상자의 귀 영역 영상으로부터 추출된 귀의 전역적 특성을 나타낸 제1 특징 벡터 및 지역적 특성을 나타낸 제2 특징 벡터, 그리고 상기 후보자의 귀 영역 영상으로부터 추출된 귀의 전역적 특성을 나타낸 제1 특징 벡터 및 지역적 특성을 나타낸 제2 특징 벡터에 기초한 것을 특징으로 하는 귀 인식 기반 신원확인 방법.
   
2. 삭제
3. 제1항에 있어서, 상기 유사도를 산출하는 단계는,
   상기 대상자의 제1 특징 벡터와 데이터베이스 내에 미리 저장되어 있는 후보자의 제1 특징 벡터에 기초하여 상기 대상자의 귀의 전역적 특성과 상기 후보자의 귀의 전역적 특성 간의 제1 유사도를 산출하는 단계; 및
   상기 대상자의 제2 특징 벡터와 상기 데이터베이스 내에 미리 저장되어 있는 상기 후보자의 제2 특징 벡터에 기초하여 상기 대상자의 귀의 지역적 특성과 상기 후보자의 귀의 지역적 특성 간의 제2 유사도를 산출하는 단계를 포함하는 귀 인식 기반 신원확인 방법.
   
4. 제3항에 있어서, 상기 대상자의 귀의 특성과 후보자의 귀의 특성 간의 유사도를 산출하는 단계는,
   상기 제1 유사도 및 제2 유사도를 결합하여 상기 대상자의 귀의 특성과 후보자의 귀의 특성 간의 유사도를 산출하는 단계를 더 포함하는 것을 특징으로 하는 귀 인식 기반 신원확인 방법.
   
5. 제1항에 있어서,
   상기 특징 벡터를 추출하기 이전에, 상기 귀 영역 영상을 귀 영역에 형태적 변형 및 왜곡이 없도록 미리 설정된 크기로 변형하는 단계를 더 포함하는 것을 특징으로 하는 귀 인식 기반 신원확인 방법.
   
6. 삭제
7. 삭제
8. 제1항에 있어서, 상기 대상자의 신원을 결정하는 단계는,
   상기 산출된 유사도가 임계치 이상인 경우, 상기 후보자의 신원을 상기 대상자의 신원으로 결정하는 단계를 포함하는 귀 인식 기반 신원확인 방법.
   
9. 제1항에 있어서,
   상기 대상자로 결정된 후보자의 신원 정보 및 얼굴 영상 중 하나 이상을 제공하는 단계를 더 포함하는 것을 특징으로 하는 귀 인식 기반 신원확인 방법.
   
10. 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 제1항, 제3항 내지 제5항, 제8항 및 제9항 중 어느 하나의 항에 따른 귀 인식 기반 신원확인 방법을 수행하게 하는 컴퓨터 판독가능 기록매체.
    
11. 대상자의 영상을 획득하는 영상 획득부;
    상기 영상에서 귀 영역 영상을 검출하는 귀 영역 영상 검출부;
    상기 귀 영역 영상에서 귀의 복수의 특성을 각각 나타내는 복수의 특징 벡터를 추출하는 특성 추출부; 및
    상기 대상자의 특징 벡터와 미리 저장된 후보자의 특징 벡터 간의 유사도를 산출하고, 유사도 산출 결과에 기초하여 대상자의 신원을 확인하는 신원확인부를 포함하되,
    상기 특성 추출부는,
    귀 영역 영상 내의 전체적인 윤곽 또는 구성과 관련된 귀의 전역적 특성을 나타낸 제1 특징 벡터 및 국소적 패턴에 관한, 귀의 지역적 특성을 나타낸 제2 특징 벡터를 상기 귀 영역 영상으로부터 각각 추출하도록 구성되고,
    상기 유사도는 상기 대상자의 귀 영역 영상으로부터 추출된 귀의 전역적 특성을 나타낸 제1 특징 벡터 및 지역적 특성을 나타낸 제2 특징 벡터, 그리고 상기 후보자의 귀 영역 영상으로부터 추출된 귀의 전역적 특성을 나타낸 제1 특징 벡터 및 지역적 특성에 대한 제2 특징 벡터에 기초한 것을 특징으로 하는 귀 인식 기반 신원확인 장치.
    
12. 제11항에 있어서,
    상기 검출된 귀 영역 영상에 대해 크기 정규화 처리하도록 구성된 영상 전처리부를 더 포함하는 귀 인식 기반 신원확인 장치.
    

Images