KR20180108361A - 얼굴 인증 방법 및 장치 - Google Patents

Abstract

얼굴 인증 방법 및 장치가 개시된다. 일 실시예에 따른 얼굴 인증 방법은 입력 영상에서 얼굴 영역을 검출하는 단계, 상기 얼굴 영역에 나타난 입력 얼굴이 부분 얼굴인지 여부를 결정하는 단계, 입력 얼굴이 부분 얼굴이라는 결정에 응답하여, 기준 영상과 상기 얼굴 영역의 얼굴 영상을 합성하여 합성 영상을 생성하는 단계 및 합성 영상에 기초하여 인증 성공 여부를 결정하는 단계를 포함한다.

Description

얼굴 인증 방법 및 장치{METHOD AND APPARATUS FOR VERIFYING FACE}

아래의 설명은 얼굴 인증 기술에 관한 것이다.

생체 인증 기술 중 하나인 얼굴 인증 기술은 정지 영상이나 동영상에 나타난 얼굴에 기초하여 사용자가 정당한 사용자인지 여부를 결정하는 인증 기술이다. 얼굴 인증 기술은 인증 대상자를 비접촉식으로 확인 가능하다는 이점을 가지고 있다. 최근에는, 얼굴 인증 기술의 편리함 및 효율성 때문에 보안 시스템, 모바일 인증 및 멀티미디어 데이터 검색 등의 다양한 응용 분야에서 얼굴 인증 기술이 널리 활용되고 있다.

일 실시예에 따른 얼굴 인증 방법은, 입력 영상에서 얼굴 영역을 검출하는 단계; 상기 얼굴 영역에 나타난 입력 얼굴이 부분 얼굴인지 여부를 결정하는 단계; 상기 입력 얼굴이 부분 얼굴이라는 결정에 응답하여, 기준 영상과 상기 얼굴 영역의 얼굴 영상을 합성하여 합성 영상을 생성하는 단계; 및 상기 합성 영상에 기초하여 인증 성공 여부를 결정하는 단계를 포함할 수 있다.

일 실시예에 따른 얼굴 인증 방법에서, 상기 입력 얼굴이 부분 얼굴인지 여부를 결정하는 단계는, 상기 입력 영상에서 검출된 상기 얼굴 영역의 위치에 기초하여 상기 입력 얼굴이 부분 얼굴인지 여부를 결정할 수 있다.

일 실시예에 따른 얼굴 인증 방법에서, 상기 입력 얼굴이 부분 얼굴인지 여부를 결정하는 단계는, 상기 검출된 얼굴 영역이 상기 입력 영상의 경계 중 일 부분을 포함하는 경우, 상기 입력 얼굴이 부분 얼굴이라고 결정할 수 있다.

일 실시예에 따른 얼굴 인증 방법에서, 상기 합성 영상을 생성하는 단계는, 상기 검출된 얼굴 영역에 기초하여 상기 기준 영상의 영상 정보와 상기 얼굴 영상의 영상 정보를 합성하는 것에 의해 상기 합성 영상을 생성할 수 있고, 상기 기준 영상의 영상 정보는, 전체 얼굴에 대응하는 얼굴 영역에서 상기 검출된 얼굴 영역을 제외한 나머지 얼굴 영역에 대응하는 영역의 영상 정보일 수 있다.

일 실시예에 따른 얼굴 인증 방법에서, 상기 입력 얼굴이 부분 얼굴인지 여부를 결정하는 단계는, 상기 얼굴 영역에서 얼굴의 랜드마크들을 검출하는 단계; 및 상기 검출된 얼굴 영역에서, 미리 정의된 얼굴 부위 영역들 중 적어도 하나에 대응하는 랜드마크들이 검출되지 않은 경우, 상기 입력 얼굴이 부분 얼굴이라고 결정하는 단계를 포함할 수 있다.

일 실시예에 따른 얼굴 인증 방법에서, 상기 합성 영상을 생성하는 단계는, 상기 랜드마크들이 검출되지 않은 얼굴 영역에 대응하는 상기 기준 영상의 대응 영역의 영상 정보와 상기 얼굴 영상의 영상 정보를 합성하는 것에 의해 상기 합성 영상을 생성할 수 있다.

일 실시예에 따른 얼굴 인증 방법에서, 상기 얼굴 영상에 기초하여 인증 성공 여부를 결정하는 단계는, 상기 얼굴 영상과 상기 기준 영상 간의 차분 영상에 기초하여 상기 입력 얼굴에 대한 특징을 추출하는 단계; 및 상기 추출된 특징과 등록 특징들 중 전체 얼굴에 대응하는 등록 특징 간의 비교 결과에 기초하여 인증 성공 여부를 결정하는 단계를 포함할 수 있다.

일 실시예에 따른 얼굴 인증 방법은, 상기 얼굴 영상에 나타난 입력 얼굴에 폐색 영역이 존재하는지 여부를 결정하는 단계; 및 상기 폐색 영역이 존재한다는 결정에 응답하여, 상기 기준 영상에서 상기 폐색 영역에 대응하는 대응 영역의 영상 정보와 상기 얼굴 영상의 영상 정보를 합성하는 것에 의해 합성 영상을 생성하는 단계를 더 포함할 수 있다.

일 실시예에 따른 얼굴 인증 장치는, 프로세서를 포함하고, 상기 프로세서는, 입력 영상에서 얼굴 영역을 검출하고, 상기 얼굴 영역에 나타난 입력 얼굴이 부분 얼굴인지 여부를 결정하고, 상기 입력 얼굴이 부분 얼굴이라는 결정에 응답하여, 기준 영상과 상기 얼굴 영역의 얼굴 영상을 합성하여 합성 영상을 생성하고, 상기 합성 영상에 기초하여 인증 성공 여부를 결정할 수 있다.

일 실시예에 따른 뉴럴 네트워크 모델이 포함된 장치는, 얼굴 영상을 입력 받아 중간 특징을 출력하는 공통 특징 추출기; 상기 공통 특징 추출기와 연결되고, 상기 얼굴 영상이 사용자의 전체 얼굴 정보를 포함하는 경우에 상기 중간 특징을 입력 받아 얼굴 인증에 사용될 특징을 추출하는 제1 특징 추출기; 및 상기 공통 특징 추출기와 연결되고, 상기 얼굴 영상이 사용자의 부분 얼굴 정보를 포함하는 경우에 상기 중간 특징을 입력 받아 얼굴 인증에 사용될 특징을 추출하는 제2 특징 추출기를 포함할 수 있다.

일 실시예에 따른 컴퓨팅 장치는, 사용자의 얼굴 영상을 획득하는 카메라; 및 상기 획득된 얼굴 영상과 등록된 얼굴 영상을 비교하여 얼굴 인증을 수행하는 프로세서를 포함하고, 상기 컴퓨팅 장치는, 상기 얼굴 인증이 수행되는 동안 상기 사용자가 볼 수 있는 상기 컴퓨팅 장치의 디스플레이 스크린에 상기 획득된 얼굴 영상을 표시하지 않을 수 있다.

도 1a 및 도 1b는 일 실시예에 따른 얼굴 인증을 설명하기 위한 도면들이다.
도 2a 내지 도 2d는 부분 얼굴이 촬영된 영상들의 일례를 도시하는 도면들이다.
도 3 내지 도 5는 일 실시예에 따른 얼굴 인증 방법을 설명하기 위한 흐름도들이다.
도 6은 일 실시예에 따른 얼굴 등록 과정과 얼굴 인증 과정의 일례를 설명하기 위한 도면이다.
도 7a 내지 도 7d는 일 실시예에 따른 얼굴 등록 과정에서 등록 특징들을 추출하는 일례들을 설명하기 위한 도면들이다.
도 8a 및 도 8b는 일 실시예에 따른 얼굴 인증 과정에서 합성 영상을 생성하는 일례를 설명하기 위한 도면들이다.
도 9는 일 실시예에 따른 부분 얼굴의 타입에 따른 합성 영상들의 일례를 도시하는 도면이다.
도 10은 다른 실시예에 따른 얼굴 인증 방법을 설명하기 위한 흐름도이다.
도 11은 일 실시예에 따른 입력 영상에 폐색 영역이 존재하는 경우에 합성 영상을 생성하는 일례를 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 얼굴 인증 장치의 구성을 도시하는 도면이다.
도 13은 일 실시예에 따른 컴퓨팅 장치의 구성을 도시하는 도면이다.
도 14는 일 실시예에 따른 학습 장치의 구성을 도시하는 도면이다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시 형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다. 또한, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 달리 명시되지 않는 한 일반적으로 "하나 이상의"를 의미하는 것으로 해석되어야 한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.

도 1a는 일 실시예에 따른 얼굴 인증을 설명하기 위한 도면이다.

얼굴 인증은 인증을 시도한 사용자의 얼굴 정보에 기초하여 해당 사용자가 유효한(valid) 사용자인지 여부를 판단하는 인증 방법으로, 사용자 로그인, 결제 서비스 또는 출입 통제 등에서 유효한 사용자를 인증하는데 이용될 수 있다. 도 1a를 참조하면, 얼굴 인증을 수행하는 장치인 얼굴 인증 장치는 컴퓨팅 장치(120)에 포함되어 동작할 수 있다. 컴퓨팅 장치(120)는 예를 들어, 스마트폰, 웨어러블 기기(wearable device), 태블릿 컴퓨터, 넷북, 랩탑, 데스크탑, PDA(personal digital assistant), 셋탑 박스, 가전 기기, 생체 도어락, 보안 장치 또는 차량 시동 장치일 수 있다.

컴퓨팅 장치(120)는 얼굴 인증을 통해 컴퓨팅 장치(120)에 액세스하려는 사용자(110)에 대한 인증 과정을 수행할 수 있다. 예를 들어, 사용자(110)가 컴퓨팅 장치(120)의 잠금 상태를 해제하고자 컴퓨팅 장치(120)에 사용자 인증을 시도하는 경우, 컴퓨팅 장치(120)는 카메라(130)와 같은 영상 획득 장치를 이용하여 사용자(110)의 얼굴 영상을 획득하고, 획득된 얼굴 영상을 분석하여 컴퓨팅 장치(100)의 잠금 상태를 해제할지 여부를 결정할 수 있다. 일 실시예에서, 사용자(110)가 얼굴 인증을 위해 카메라(130)를 통해 촬영하는 얼굴 영상은 컴퓨팅 장치(120)의 스크린을 통해 제공될 수 있다. 해당 얼굴 영상은 프리뷰 영상(preview image)으로서 기능한다. 사용자(110)는 프리뷰 영상을 참고하여 얼굴 인증을 위해 입력하고자 하는 얼굴의 형태를 조정할 수 있다.

일 실시예에서, 컴퓨팅 장치(120)는 획득한 얼굴 영상에서 얼굴 영역(140)을 검출하고, 특징 추출기를 이용하여 얼굴 영역(140)에서 특징을 추출할 수 있다. 컴퓨팅 장치(120)는 추출된 특징과 유효한 사용자에 대한 등록 특징 간의 비교 결과에 기초하여 사용자 인증의 성공 여부를 결정할 수 있다. 특징 추출기는 입력된 정보에 기초하여 특징 정보를 출력하는 모델로서, 일례로 학습 데이터(training data)에 의해 미리 학습된 뉴럴 네트워크 모델일 수 있다. 뉴럴 네트워크 모델은 인간의 생물학적 신경 세포의 특성을 수학적 표현에 의해 모델링한 모델이다. 사용자 인증이 성공한 것으로 결정된 경우, 사용자(110)는 컴퓨팅 장치(120)의 잠금 모드를 성공적으로 해제시킬 수 있다. 반대로, 사용자 인증이 실패한 것으로 결정된 경우, 컴퓨팅 장치(120)는 계속적으로 잠금 모드에서 동작하게 된다. 유효한 사용자는 얼굴 등록 과정을 통해 자신의 얼굴을 컴퓨팅 장치(120)에 미리 등록할 수 있고, 컴퓨팅 장치(120)는 저장 장치 또는 클라우드 저장매체(cloud storage)에 해당 유효한 사용자를 식별하기 위한 정보를 저장할 수 있다. 예를 들어, 유효한 사용자의 얼굴 영상 또는 해당 얼굴 영상으로부터 추출된 특징이 유효한 사용자의 등록 정보로서 저장될 수 있다.

얼굴 인증을 시도하기 위해, 사용자(110)는 카메라(130)를 통해 자신의 얼굴을 촬영한다. 이 때, 카메라(130)의 시야(field of view; FoV)를 벗어나 얼굴이 촬영되는 경우, 전체 얼굴(full face)이 아닌 부분 얼굴(partial face)이 촬영될 수 있다. 도 1b에 도시된 것과 같이, 사용자(110)는 컴퓨팅 장치(120)를 비스듬히 든 상태에서 얼굴 인증을 시도할 수 있고, 이 경우 카메라(130)의 시야에 전체 얼굴이 포함되지 않아 부분 얼굴이 촬영될 수 있다. 도 1a에서와 다르게, 얼굴 인증 과정에서 카메라(130)에 의해 촬영된 프리뷰 영상이 사용자가 볼 수 있는 스크린(150)에 나타나지 않는 경우, 얼굴 인증 과정에서 부분 얼굴이 촬영되는 경우가 상대적으로 많을 것이다. 사용자(110)는 얼굴 인증을 위해 부분 얼굴보다는 전체 얼굴을 촬영하고자 하는 경향이 있을 텐데, 프리뷰 영상이 사용자(110)에게 제공되지 않는 경우에는, 사용자(110)가 전체 얼굴이 촬영되는지 아니면 부분 얼굴이 촬영되는지를 알 수가 없고, 이에 따라 사용자(110)가 전체 얼굴이 촬영되도록 조정하기가 어렵기 때문이다.

도 2a 내지 도 2d는 부분 얼굴이 촬영된 영상들의 일례를 도시한다. 도 2a 내지 도 2d의 각 영상들에는 일부의 얼굴 부위(facial part)가 누락된 부분 얼굴이 촬영되어 있다. 부분 얼굴에는 전체 얼굴보다 사용자를 식별하기 위한 특징이 적게 포함될 수 있기 때문에, 일반적으로 부분 얼굴에 기초하여 얼굴 인증이 수행되면 전체 얼굴에 기초하여 얼굴 인증이 수행되는 경우보다 얼굴 인증의 정확도가 낮아질 수 있다. 하지만, 얼굴 인증을 위해 항상 전체 얼굴이 입력되는 것을 기대할 수는 없기에, 부분 얼굴이 입력되더라도 얼굴 인증의 정확도를 높이는 것이 요구될 수 있다. 특히, 도 1b의 실시예와 같이, 얼굴 인증 과정에서 프리뷰 영상이 제공되지 않는 경우, 얼굴 인증을 위해 부분 얼굴이 촬영되는 경우가 잦을 텐데, 이렇게 촬영된 부분 얼굴에 대한 얼굴 인증 가능성 및 얼굴 인증의 정확도를 높이는 것이 요구될 수 있다. 이하에서 설명될 실시예들은 얼굴 촬영을 위한 프리뷰 영상이 제공되지 않더라도 얼굴 인증을 가능하게 하고, 또한 부분 얼굴에 기반하여 얼굴 인증이 수행되더라도 얼굴 인증을 보다 정확하게 수행하게 하는 해결책을 제시한다.

도 3 내지 도 5는 일 실시예에 따른 얼굴 인증 방법을 설명하기 위한 흐름도들이다. 어떤 실시예가 달리 구현 가능한 경우에 특정 단계의 기능 또는 동작이 순서도와 다르게 수행될 수 있다. 예를 들어, 도 3 내지 도 5에서 연속하는 두 단계들이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 해당 단계들의 순서가 뒤바뀌어 수행될 수도 있다.

도 3을 참조하면, 단계(310)에서 얼굴 인증 장치는 입력 영상을 수신한다. 입력 영상은 얼굴 인증 장치에 입력되는 영상으로, 얼굴 인증의 대상이 되는 영상이다. 입력 영상은 예를 들어, 디지털 스틸 카메라, 비디오 카메라와 같은 영상 획득 장치에 의해 획득될 수 있다. 도면에는 도시되어 있지 않지만, 실시예에 따라 얼굴 인증 장치는 수신한 입력 영상에 대한 전처리를 수행할 수 있다. 전처리 과정은 입력 영상을 얼굴 인증에 보다 적합한 형태로 처리하는 하나 이상의 과정을 포함할 수 있다. 예를 들어, 전처리 과정은 입력 영상에 포함된 노이즈를 제거하는 과정, 입력 영상의 컨트라스트(contrast)를 증가시키는 과정, 입력 영상에 포함된 블러(blur)를 제거하는 디블러링(deblurring) 과정, 배경 영역(background region)을 제거하는 과정, 입력 영상에 포함된 왜곡(distortion)을 보정하는 와핑(warping) 과정 및 입력 영상을 이진화(binarization)하는 과정 등을 포함할 수 있다.

단계(320)에서, 얼굴 인증 장치는 입력 영상에서 얼굴 영역을 검출한다. 예를 들어, 얼굴 인증 장치는 입력 영상에서 Haar 기반의 캐스케이드 에이다부스트 분류기(Haar-based cascade adaboost classifier)를 이용하여 얼굴 영역을 검출할 수 있다. 다만, 실시예의 범위가 이에 한정되는 것은 아니고, 얼굴 인증 장치는 다양한 얼굴 영역 검출 기법을 이용하여 입력 영상에서 얼굴 영역을 검출할 수 있다. 일 예에서, 입력 영상에서 추출된 얼굴 영역의 얼굴 영상은 패치(patch) 영상의 형태를 가질 수 있다

단계(330)에서, 얼굴 인증 장치는 얼굴 영역의 얼굴 영상을 선택적으로 정규화(normalization)할 수 있다. 일 실시예에서, 얼굴 인증 장치는 검출된 얼굴 영역에서 얼굴의 랜드마크들(facial landmarks)을 검출하고, 검출된 랜드마크들에 기초하여 입력 영상을 정규화할 수 있다. 정규화는 예를 들어, 입력 영상에서 얼굴 영상을 추출하는 영상 크롭핑(image cropping) 과정, 얼굴 영상에 나타난 랜드마크들의 위치를 미리 정의된 기준 위치에 매칭시키는 과정 및 얼굴 영상의 크기를 조정하는 과정 등을 포함할 수 있다.

얼굴 인증 장치는 예를 들어, ACM(Active Contour Model), ASM(Active Shape Model), AAM(Active Appearance model), SDM(Supervised Descent Method) 또는 뉴럴 네트워크 모델 등에 기초한 랜드마크 검출 기법을 이용하여 얼굴 영역에서 얼굴의 랜드마크들을 검출할 수 있다. 얼굴의 랜드마크들은 주요 얼굴 부위에 대한 특징점들로서, 예를 들어 눈썹, 눈, 코, 입술, 턱, 귀 또는 얼굴의 윤곽 등을 식별하기 위한 특징점들이다. 얼굴 인증 장치는 검출된 랜드마크들의 위치에 기초하여 얼굴 영역에 대해 아핀 변환(affine transformation)을 수행하는 것에 의해 랜드마크들의 위치를 기준 위치에 매칭시킬 수 있다. 여기서, 아핀 변환은 랜드마크들의 위치가 나타내는 벡터 공간을 다른 벡터 공간에 대응시키는 역할을 한다.

단계(330)의 정규화 과정이 수행되는 경우, 아래 단계(340) 내지 단계(370) 에서의 얼굴 영상은 정규화 과정이 수행된 얼굴 영상으로 대체될 수 있다.

단계(340)에서, 얼굴 인증 장치는 얼굴 영상에 나타난 입력 얼굴이 부분 얼굴인지 여부를 결정한다. 일 실시예에서, 얼굴 인증 장치는 얼굴 영역의 검출 결과(예를 들어, 검출된 얼굴 영역의 위치)에 기초하여 입력 얼굴이 부분 얼굴인지 여부를 결정할 수 있다. 얼굴 인증 장치는 예를 들어, 검출된 얼굴 영역이 입력 영상의 경계 중 일 부분을 포함하는 경우 또는 검출된 얼굴 영역이 입력 영상을 벗어나는 경우, 입력 얼굴이 부분 얼굴이라고 결정할 수 있다. 얼굴 인증 장치는 검출된 얼굴 영역이 입력 영상의 경계를 포함하지 않거나 또는 검출된 얼굴 영역이 입력 영상을 벗어나지 않고 입력 영상의 내부에 포함되는 경우에는, 입력 얼굴이 전체 얼굴인 것으로 결정할 수 있다.

일 실시예에서, 얼굴 인증 장치는 검출된 얼굴 영역이 입력 영상의 경계들 중 어느 경계를 포함하는지 여부 또는 검출된 얼굴 영역이 입력 영상을 벗어난 부분이 어느 부분인지 여부에 기초하여 부분 얼굴의 타입을 결정할 수 있다. 예를 들어, 얼굴 인증 장치는 입력 영상을 벗어난 부분이 위쪽인 경우에는 부분 얼굴의 타입을 제1 타입으로 결정하고, 입력 영상을 벗어난 부분이 아래쪽인 경우에는 부분 얼굴의 타입을 제1 타입과 구별되는 제2 타입으로 결정할 수 있다. 부분 얼굴의 타입에 따라 아래에서 설명될 합성 영상의 합성 형태가 달라질 수 있다.

다른 실시예에서, 부분 얼굴인지 여부에 대한 판단은 랜드마크들의 검출 결과에 기초할 수 있다. 예를 들어, 얼굴 인증 장치는 검출된 얼굴 영역에서 얼굴의 랜드마크들을 검출하고, 미리 정의된 얼굴 부위 영역들(facial part regions) 중 하나 이상에 대응하는 랜드마크들이 검출되지 않은 경우, 얼굴 영상에 나타난 입력 얼굴이 부분 얼굴이라고 결정할 수 있다. 이와 반대로, 얼굴 영상에 나타난 얼굴 영역에서 미리 정의된 얼굴 부위 영역들에 대한 랜드마크들이 모두 검출되었다면, 얼굴 인증 장치는 입력 얼굴이 부분 얼굴이 아니라 전체 얼굴이라고 결정할 수 있다. 입력 얼굴이 부분 얼굴이라고 결정된 경우, 얼굴 인증 장치는 검출된 랜드마크들에 기초하여 부분 얼굴의 타입도 결정할 수 있다. 예를 들어, 얼굴 인증 장치는 눈썹과 눈에 대응하는 랜드마크들이 검출되지 않은 경우에는 부분 얼굴의 타입을 제1 타입으로 결정하고, 턱과 입술에 대응하는 랜드마크들이 검출되지 않은 경우에는 부분 얼굴의 타입을 제2 타입으로 결정할 수 있다.

위 실시예들에서, 부분 얼굴에 대해 정의된 타입을 제1 타입 및 제2 타입으로 가정하여 설명하였지만, 실시예에 따라 부분 얼굴의 타입은 하나만이 존재하거나 또는 3개 이상 존재할 수도 있다.

단계(340)에서 입력 얼굴이 부분 얼굴인 것으로 결정된 경우, 얼굴 인증 장치는 단계(350)에서, 위 결정에 응답하여 기준 영상과 얼굴 영상을 합성하여 합성 영상을 생성한다. 일 실시예에서, 얼굴 인증 장치는 검출된 얼굴 영역에 기초하여 기준 영상의 영상 정보와 얼굴 영상의 영상 정보를 합성하는 것에 의해 합성 영상을 생성한다. 여기서, 합성 영상의 생성에 이용되는 기준 영상의 영상 정보는 부분 얼굴이 포함하지 않는 정보이다. 다시 말해, 얼굴 인증 장치는 전체 얼굴에 대응하는 얼굴 영역에서, 단계(320)에서 검출된 얼굴 영역을 제외한 나머지 얼굴 영역에 대응하는 영상 정보를 기준 영상에서 가져온다. 다른 실시예에서, 얼굴 인증 장치는 기준 영상에서 랜드마크들이 검출되지 않은 얼굴 영역에 대응하는 대응 영역의 영상 정보와 얼굴 영상의 영상 정보를 합성하는 것에 의해 합성 영상을 생성할 수 있다. 합성 영상은, 따라서 얼굴 영상과 기준 영상 각각의 영상 정보를 포함하며 카메라의 시야를 벗어나서 촬영되어 입력 영상에 나타나지 않은 얼굴 영역에 대한 영상 정보는 기준 영상의 영상 정보에 의해 채워질 수 있다. 위 실시예들에서, 영상 정보는 영상에 포함된 픽셀의 픽셀 값을 나타낸다.

일 실시예에서, 입력 얼굴에 나타나지 않은 얼굴 영역에 따라 합성에 이용할 기준 영상의 영역이 결정될 수 있다. 얼굴 인증 장치는 랜드마크들의 검출 결과에 기초하여 부분 얼굴의 타입을 결정하고, 결정된 타입에 따라 합성에 이용할 기준 영상의 영역을 결정할 수 있다. 예를 들어, 부분 얼굴의 타입이 제1 타입으로 결정된 경우, 얼굴 인증 장치는 기준 영상에서 제1 타입의 결정에 대응하는 제1 대응 영역의 영상 정보와 얼굴 영상의 영상 정보를 합성하여 합성 영상을 생성할 수 있다. 다른 예로, 부분 얼굴의 타입이 제2 타입으로 결정된 경우, 얼굴 인증 장치는 기준 영상에서 제2 타입의 결정에 대응하는 제2 대응 영역의 영상 정보와 얼굴 영상의 영상 정보를 합성하여 합성 영상을 생성할 수 있다. 여기서, 제1 대응 영역과 제2 대응 영역은 서로 다를 수 있다.

기준 영상은 합성 영상을 생성하는데 이용되는 미리 정의된 영상이다. 얼굴 등록 과정에서도 동일한 기준 영상이 합성 영상을 생성하는데 이용된다. 일 실시예에서, 기준 영상은 특징 추출기를 학습시키는데 이용되는 학습 영상들에 기초하여 결정될 수 있다. 예를 들어, 기준 영상은 학습 영상들의 평균 영상 또는 평균 값 영상일 수 있다. 평균 영상은 학습 영상들 사이에서 서로 대응되는 위치에서 가지는 픽셀 값들을 평균하는 것에 의해 생성될 수 있다. 평균 값 영상은 학습 영상들에 포함된 전체 픽셀의 픽셀 값들을 평균하고, 평균 픽셀 값을 전체 픽셀들에 할당하는 것에 의해 생성될 수 있다. 평균 영상에서는 각 픽셀 위치에 따라 픽셀 값이 달라질 수 있어 형태가 나타날 수 있지만, 평균 값 영상에서는 전체 픽셀들이 모두 동일한 픽셀 값을 가지므로 형태가 나타나지 않는다. 다만, 기준 영상의 예가 위 실시예에 한정되지 않으며, 기준 영상의 형태는 다양할 수 있다. 예를 들어, 기준 영상은 학습 영상에 관계 없이 단색의 컬러 영상일 수도 있다.

단계(360)에서, 얼굴 인증 장치는 합성 영상에 기초하여 인증 성공 여부를 결정한다. 단계(360)은 도 4를 참조하여 이하에서 설명한다. 도 4를 참조하면, 단계(410)에서, 얼굴 인증 장치는 합성 영상과 기준 영상 간의 차분 영상(difference image)을 생성한다. 차분 영상은 합성 영상과 기준 영상 사이에서 서로 대응되는 위치에서의 픽셀 값 차이 정보를 포함할 수 있다. 예를 들어, 얼굴 인증 장치는 합성 영상의 각 픽셀 값에서 기준 영상의 대응되는 위치의 픽셀 값을 빼는 것에 의해 차분 영상을 생성할 수 있다.

단계(420)에서, 얼굴 인증 장치는 특징 추출기를 이용하여 입력 얼굴에 대한 특징을 추출한다. 특징 추출기에는 차분 영상의 영상 정보가 입력될 수 있고, 특징 추출기는 차분 영상의 영상 정보에 대응하는 특징 벡터를 출력할 수 있다. 일 예에서, 특징 추출기는 부분 얼굴의 타입들 각각에 대응하는 출력 레이어들을 포함하는 뉴럴 네트워크 모델일 수 있다. 일 예에서, 특징 추출기의 최상단 레이어인 출력 레이어에서 출력된 특징 벡터 또는 특징 추출기의 히든 레이어(hidden layer)에서 추출된 값과 출력 레이어에서 추출된 값에 기초하여 결정된 특징 벡터가 입력 얼굴에 대한 특징으로서 추출될 수 있다. 특징 추출기는 학습 과정을 통해 학습될 수 있는데, 이에 대해서는 도 14에서 상세히 설명한다.

단계(430)에서, 얼굴 인증 장치는 특징 추출기에 의해 추출된 특징과 등록 특징 간의 비교 결과에 기초하여 인증 성공 여부를 결정한다. 등록 특징은 얼굴 등록 과정에서 등록된 유효한 사용자에 대한 특징을 나타낸다. 얼굴 등록 과정에서 전체 얼굴에 대응하는 등록 특징 및 미리 정의된 부분 얼굴의 각 타입들에 대응하는 등록 특징들이 등록될 수 있다. 일 실시예에서, 얼굴 인증 장치는 미리 등록된 여러 등록 특징들 중 부분 얼굴의 타입에 대응하는 등록 특징과 추출된 특징을 비교하고, 그 비교 결과에 기초하여 입력 얼굴에 대한 인증 성공 여부를 결정할 수 있다.

일 예에서, 얼굴 인증 장치는 추출된 특징과 등록 특징 간의 유사도를 결정하고, 유사도에 기초하여 입력 얼굴에 나타난 사용자가 유효한 사용자인지 여부를 결정할 수 있다. 추출된 특징과 등록 특징 간의 차이가 클수록 유사도는 작아지고, 해당 차이가 작을수록 유사도는 커질 수 있다. 얼굴 인증 장치는 유사도가 임계 값보다 큰 경우에 인증이 성공한 것으로 결정하고, 유사도가 임계 값 이하인 경우에는 인증이 실패한 것으로 결정할 수 있다.

다시 도 3으로 돌아오면, 단계(340)에서 입력 얼굴이 부분 얼굴이 아닌 것으로 결정된 경우, 단계(370)에서 얼굴 인증 장치는 얼굴 영상에 기초하여 인증 성공 여부를 결정한다. 부분 얼굴이 아니라는 것은, 입력 얼굴이 전체 얼굴이라는 것을 의미한다. 단계(370)은 도 5를 참조하여 이하에서 설명한다. 도 5를 참조하면, 단계(510)에서 얼굴 인증 장치는 얼굴 영상과 기준 영상 간의 차분 영상을 생성한다. 차분 영상은 얼굴 영상과 기준 영상 사이에서 서로 대응되는 위치에서의 픽셀 값 차이 정보를 포함할 수 있다.

단계(520)에서, 얼굴 인증 장치는 특징 추출기를 이용하여 입력 얼굴에 대한 특징을 추출한다. 특징 추출기에는 단계(510)에서 생성된 차분 영상의 영상 정보가 입력될 수 있고, 특징 추출기는 차분 영상의 영상 정보에 대응하는 특징 벡터를 출력할 수 있다. 도 4의 단계(420)에서와 유사한 방식으로 차분 영상에서 입력 얼굴에 대한 특징이 추출될 수 있다.

단계(530)에서, 얼굴 인증 장치는 추출된 특징과 등록 특징 간의 비교 결과에 기초하여 인증 성공 여부를 결정한다. 얼굴 인증 장치는 등록 특징들 중 전체 얼굴에 대응하는 등록 특징과 추출된 특징을 비교하고, 그 비교 결과에 기초하여 입력 얼굴에 대한 인증 성공 여부를 결정할 수 있다. 도 4의 단계(430)에서와 유사한 방식으로, 위 추출된 특징과 등록 특징 간의 유사도가 결정되고, 유사도에 기초하여 인증 성공 여부가 결정될 수 있다.

도 6은 일 실시예에 따른 얼굴 등록 과정과 얼굴 인증 과정의 일례를 설명하기 위한 도면이다.

도 6을 참조하면, 얼굴 등록 과정(610)에서는 등록 영상(615)으로부터 특징이 추출되고, 추출된 특징이 등록 특징으로서 저장된다. 일 실시예에서, 사용자가 얼굴 등록을 위해 카메라를 이용하여 자신의 얼굴을 촬영하는 것에 의해 등록 영상(615)이 획득된다. 얼굴 등록 과정(610)에서는 전체 얼굴이 촬영된 등록 영상(615)이 이용될 수 있다.

도 3의 단계(310) 내지 단계(330)와 유사한 과정에 따라, 등록 영상(615)으로부터 전체 얼굴에 대응하는 정규화된 등록 영상(625)이 획득될 수 있다. 단계(310) 내지 단계(330)의 과정에서 '입력 영상'이 '등록 영상(615)'으로 바뀌는 것을 제외하고는, 단계(310) 내지 단계(330)의 처리 과정이 여기에 그대로 적용될 수 있다.

또한, 정규화된 등록 영상(625)과 기준 영상(620)에 기초하여 하나 이상의 합성 영상(630)이 생성된다. 실시예에 따라 합성 영상(630)은 하나만 생성될 수도 있고, 각 부분 얼굴의 타입들에 대응하는 합성 영상(630)들이 생성될 수도 있다. 합성 영상(630)은 부분 얼굴의 각 타입에 따라 등록 영상(625)에서 일부 영역이 기준 영상의 영상 정보로 대체된 합성 영상일 수 있다. 일 예에서, 기준 영상(620)은 특징 추출기를 학습하는데 이용된 학습 영상들의 평균 영상 또는 평균 값일 수 있다. 특징 추출기를 이용하여 정규화된 등록 영상(625) 및 합성 영상(630)(합성 영상이 복수 개인 경우 각 합성 영상들)에 대응하는 특징이 추출(635)되고, 추출된 각 특징들은 등록 특징들로서 저장(640)된다. 이 때, 등록 영상(625)에 대응하는 특징 및 합성 영상(630)에 대응하는 특징이 서로 구별되어 저장될 수 있다.

얼굴 인증 과정(650)에서는 입력 영상(660)으로부터 추출된 특징과 얼굴 등록 과정(610)에서 등록된 특징 간의 비교 결과에 기초하여 얼굴 인증이 수행된다. 일 실시예에서, 얼굴 인증 장치가 얼굴 인증의 대상인 입력 영상(660)을 수신하면, 얼굴 인증 장치는 입력 영상(660)에서 얼굴 영역을 검출하고, 얼굴 영역에 나타난 입력 얼굴이 부분 얼굴인지 여부를 결정할 수 있다. 도 6에서는 입력 영상에 나타난 얼굴 영역에서 입 영역이 누락되어 있으므로, 입력 얼굴이 부분 얼굴인 것으로 결정된다. 이 경우, 얼굴 인증 장치는 검출된 얼굴 영역의 얼굴 영상과 얼굴 등록 과정(610)에서 이용된 기준 영상(620)에 기초하여 합성 영상(670)을 생성한다. 입력 영상(660)으로부터 합성 영상(670)이 생성되는 과정은 도 3의 단계(310) 내지 단계(350)의 과정을 참조할 수 있다.

얼굴 인증 장치는 얼굴 등록 과정(610)에서 이용된 특징 추출기를 이용하여 합성 영상(670)으로부터 입력 얼굴에 대한 특징을 추출(680)한다. 그 후, 얼굴 인증 장치는 추출된 특징과 등록 특징을 비교하고, 그 비교 결과에 기초하여 인증 성공 여부를 판단(685)할 수 있다. 일 실시예에서, 추출된 특징과 비교되는 등록 특징은 입력 영상(660)에 나타난 입력 얼굴의 형태에 기초하여 결정될 수 있다. 예를 들어, 입력 영상(660)에서와 같이 입 영역이 누락된 경우에는, 얼굴 등록 과정(610)에서 합성 영상들(630) 중 첫 번째 합성 영상(입 영역이 기준 영상(620)의 영상 정보로 대체된 합성 영상)에 기초하여 추출된 등록 특징이 입력 영상(660)에서 추출된 특징과 비교된다.

다른 실시예에서, 얼굴 등록 과정(610)에서 하나의 합성 영상(630)만이 생성되고, 해당 합성 영상(630)으로부터 추출된 특징이 부분 얼굴에 대응하는 특징으로서 등록된 경우, 입력 영상(660)에 나타난 입력 얼굴이 부분 얼굴이라고 결정되면 위 합성 영상(630)과 동일한 합성 형태로 얼굴 인증을 위한 합성 영상(670)이 생성될 수 있다. 예를 들어, 얼굴 등록 과정(610)의 합성 영상(630)이 얼굴의 아래 부분(예를 들어, 입 영역을 포함하는 부분)을 기준 영상(620)의 영상 정보로 대체하는 것에 의해 생성된 것이라면, 얼굴 인증 과정(650)에서 생성되는 합성 영상(670)도 얼굴의 아래 부분이 기준 영상(620)의 영상 정보로 대체되는 합성 형태를 가진다.

도 7a 내지 도 7d는 일 실시예에 따른 얼굴 등록 과정에서 등록 특징들을 추출하는 일례들을 설명하기 위한 도면들이다.

도 7a를 참조하면, 얼굴 등록 과정에서 등록 영상(615)에 나타난 얼굴을 등록하기 위해 특징 추출기(740)를 이용하여 등록 영상(615)으로부터 등록 특징들이 추출된다. 이 때, 등록 영상(615)으로부터 전체 얼굴에 대응하는 정규화된 영상(705), 및 등록 영상(615)(또는 영상(705))과 기준 영상(620)에 기초하여 합성 영상들(710, 715, 720, 725, 730)이 생성될 수 있다. 합성 영상들(710, 715, 720, 725, 730) 각각은 부분 얼굴의 각 타입에 대응할 수 있다.

특징 추출기(740)에는 영상(705)과 기준 영상(620) 간의 차분 영상이 입력되고, 특징 추출기(740)는 영상(705)에 대응하는 제1 특징을 출력할 수 있다. 또한, 특징 추출기(740)에는 각 합성 영상들(710, 715, 720, 725, 730)과 기준 영상(620) 간의 차분 영상들이 개별적으로 또는 동시에 입력되고, 특징 추출기(740)는 각 합성 영상들(710, 715, 720, 725, 730)에 대응하는 특징을 출력할 수 있다. 예를 들어, 합성 영상(710)과 기준 영상(620) 간의 차분 영상이 특징 추출기(740)에 입력되면, 특징 추출기(740)로부터 합성 영상(710)의 부분 얼굴의 타입에 대응하는 제2 특징이 출력될 수 있다. 제1 특징은 전체 얼굴에 대응하는 특징이고, 제2 특징 내지 제6 특징은 부분 얼굴의 각 타입에 대응하는 특징들이다.

합성 영상들(720, 725, 730)의 경우, 얼굴의 왼쪽 영역이 기준 영상(620)의 영상 정보로 합성되어 있다. 본 실시예에서는, 위 합성 영상들(720, 725, 730)의 합성 형태와 좌우 대칭적인 합성 형태를 가지는 합성 영상들로부터는 특징을 추출하지는 않는다. 예를 들어, 합성 영상(720)은 얼굴의 왼쪽 영역이 기준 영상(620)의 영상 정보로 합성되는데, 얼굴의 오른쪽 영역이 기준 영상(620)의 영상 정보로 합성되는 합성 영상을 생성하고 해당 합성 영상으로부터 특징을 추출하지는 않는다. 얼굴 인증의 대상인 입력 얼굴이 얼굴의 오른쪽 영역이 나타나지 않는 부분 얼굴이라고 하더라도, 영상 처리를 통하여 입력 얼굴을 얼굴의 왼쪽 영역이 나타나지 않는 부분 얼굴로 변형시킬 수 있기 때문이다. 예를 들어, 입력 얼굴을 좌우 반전시키는 것에 위와 같은 변형된 부분 얼굴이 획득될 수 있다. 이것은 얼굴의 형태가 거의 좌우 대칭이라는 점에 기인한다. 좌우 반전된 부분 얼굴의 영상으로부터 특징이 추출되고, 추출된 특징을 합성 영상(720)으로부터 추출된 등록 특징과 비교하는 것에 의해 동일 타입의 부분 얼굴에 대한 특징 비교가 가능해 진다. 물론, 실시예에 따라 합성 영상들(720, 725, 730)의 합성 형태와 좌우 대칭적인 합성 형태를 가지는 추가적인 합성 영상들을 더 생성하고, 생성된 합성 영상들로부터 얼굴 등록을 위한 특징을 추출하는 것도 가능하다.

다른 실시예에 따르면, 특징 추출기는 도 7b에 도시된 바와 같이 전체 얼굴과 부분 얼굴의 각 타입에 따라 서로 개별적으로 존재할 수 있다. 예를 들어, 영상(705)에 기초하여 전체 얼굴에 대응하는 특징을 추출하는 제1 특징 추출기(750)와 합성 영상(710, 715, 720, 725, 730)에 기초하여 부분 얼굴의 각 타입에 대응하는 특징을 추출하는 특징 추출기들(752, 754, 756, 758, 760)이 개별적으로 존재할 수 있다.

또 다른 실시예에 따르면, 특징 추출기는 도 7c에 도시된 바와 같이 공통 특징 추출기(762)와 개별적인 특징 추출기들(764, 766, 768, 770, 772, 774)로 구성될 수 있다. 공통 특징 추출기(762)와 특징 추출기들(764, 766, 768, 770, 772, 774)은 서로 연결되어 있다. 공통 특징 추출기(762)로부터 출력된 중간 특징이 특징 추출기들(764, 766, 768, 770, 772, 774)에 전달되고, 각 특징 추출기들(764, 766, 768, 770, 772, 774)로부터는 전체 얼굴 또는 부분 얼굴의 각 타입에 대응하는 특징이 출력된다. 예를 들어, 영상(705)과 기준 영상(620) 간의 차분 영상이 공통 특징 추출기(762)에 입력되면, 공통 특징 추출기(762)로부터 해당 차분 영상에 대응하는 중간 특징이 출력되고, 출력된 중간 특징은 제1 특징 추출기(764)에 전달된다. 제1 특징 추출기(764)는 공통 특징 추출기(762)로부터 전달받은 중간 특징에 기초하여 영상(705)에 대응하는 제1 특징을 출력한다.

다른 예로, 합성 영상(710)과 기준 영상(620) 간의 차분 영상이 공통 특징 추출기(762)에 입력되면, 공통 특징 추출기(762)로부터 해당 차분 영상에 대응하는 중간 특징이 출력되고, 출력된 중간 특징은 제2 특징 추출기(766)에 전달된다. 제2 특징 추출기(766)는 공통 특징 추출기(762)로부터 전달받은 중간 특징에 기초하여 합성 영상(710)에 대응하는 제2 특징을 출력한다. 일 실시예에서, 공통 특징 추출기(762)와 개별적인 특징 추출기들(764, 766, 768, 770, 772, 774)은 하나의 뉴럴 네트워크 모델로 구현될 수 있다. 이 때, 공통 특징 추출기(762)는 컨볼루션 레이어(convolutional layer) 및 완전 연결 레이어(fully connected layer) 중 하나 이상을 포함하고, 특징 추출기들(764, 766, 768, 770, 772, 774) 각각은 완전 연결 레이어를 포함할 수 있다.

도 7a 내지 도 7c에서 부분 얼굴의 타입의 개수는 도면에 도시된 것에 의해 한정되지 않으며, 실시예에 따라 부분 얼굴의 타입은 하나 이상일 수 있다. 부분 얼굴의 타입이 하나인 실시예가 도 7d에 도시되어 있다.

도 7d를 참조하면, 얼굴 등록 과정에서 등록 영상(615)에 나타난 얼굴을 등록하기 위한 특징이 추출된다. 등록 영상(615)으로부터 전체 얼굴에 대응하는 정규화된 영상(705)과 등록 영상(615)(또는 영상(705))과 기준 영상(620)에 기초하여 합성 영상(710)이 생성된다. 본 실시예에서는 합성 영상(710)에서 얼굴의 아래 부분이 기준 영상(620)의 영상 정보로 합성되어 있다. 영상(705)과 기준 영상(620) 간의 차분 영상이 공통 특징 추출기(780)에 입력되고, 공통 특징 추출기(780)로부터 영상(705)에 대응하는 중간 특징이 출력된다. 출력된 중간 특징은 제1 특징 추출기(782)에 입력되고, 제1 특징 추출기(782)는 입력된 중간 특징에 기초하여 전체 얼굴에 대응하는 제1 특징을 출력한다. 또한, 합성 영상(710)과 기준 영상(620) 간의 차분 영상이 공통 특징 추출기(780)에 입력되고, 공통 특징 추출기(780)로부터 합성 영상(710)에 대응하는 중간 특징이 출력된다. 출력된 중간 특징은 제2 특징 추출기(784)에 입력되고, 제2 특징 추출기(784)는 입력된 중간 특징에 기초하여 부분 얼굴에 대응하는 제2 특징을 출력한다. 도 7c의 실시예와 유사하게, 공통 특징 추출기(780)와 개별적인 특징 추출기들(782, 784)은 하나의 뉴럴 네트워크 모델로 구현될 수 있다.

도 7a 내지 도 7d에서 설명된 특징 추출기의 구조는 얼굴 인증 과정에서도 이용될 수 있다. 여기서, 특징 추출기의 구조는 하나 이상의 뉴럴 네트워크 모델로 구현될 수 있으며, 특징 추출기는 얼굴 인증을 수행하기 위한 컴퓨팅 장치에 포함될 수 있다.

만약, 얼굴 등록 과정에서 등록 특징을 추출하는데 도 7a에 도시된 특징 추출기(740)가 이용되었다면, 해당 특징 추출기(740)에 기초하여 얼굴 인증 과정이 수행될 수 있다. 또는, 얼굴 등록 과정에서 도 7b에 도시된 특징 추출기들(750, 752, 754, 756, 758, 760)이 이용되었다면, 얼굴 인증 과정에서도 해당 특징 추출기들(750, 752, 754, 756, 758, 760)이 동일하게 이용될 수 있다. 얼굴 영상에 나타난 입력 얼굴이 전체 얼굴 정보를 포함하는 경우, 얼굴 영상에 대한 영상 정보는 제1 특징 추출기(750)에 입력되고, 제1 특징 추출기(750)로부터 추출된 특징에 기초하여 얼굴 인증이 수행된다. 얼굴 영상에 나타난 입력 얼굴이 부분 얼굴 정보를 포함하는 경우, 부분 얼굴의 타입에 따라 제2 내지 제6 특징 추출기들(752, 754, 756, 758, 760) 중 이용될 특징 추출기가 선택될 수 있다. 이후에, 선택된 특징 추출기에 얼굴 영상의 영상 정보가 전달되고, 해당 특징 추출기로부터 추출된 특징에 기초하여 얼굴 인증이 수행된다.

등록 특징을 추출하는데 도 7d에 도시된 공통 특징 추출기(780)와 제1 및 제2 특징 추출기들(782, 784)이 이용되었다면, 해당 공통 특징 추출기(780)와 제1 및 제2 특징 추출기들(782, 784)에 기초하여 얼굴 인증 과정이 수행될 수 있다. 공통 특징 추출기(780)는 얼굴 영상을 입력 받아 중간 특징을 출력할 수 있고, 제1 및 제2 특징 추출기들(782, 784)와 연결될 수 있다. 제1 특징 추출기(782)는 전체 얼굴에 대응하는 특징을 추출하고, 제2 특징 추출기(784)는 부분 얼굴에 대응하는 특징을 추출한다. 제1 특징 추출기(782)는 얼굴 영상이 사용자의 전체 얼굴 정보를 포함하는 경우, 공통 특징 추출기(780)로부터 중간 특징을 입력 받아 얼굴 인증에 사용될 특징을 추출할 수 있다. 제2 특징 추출기(784)는 얼굴 영상이 사용자의 부분 얼굴 정보를 포함하는 경우, 공통 특징 추출기(780)로부터 중간 특징을 입력 받아 얼굴 인증에 사용될 특징을 추출할 수 있다. 공통 특징 추출기(780)는 예를 들어, 컨볼루션 레이어 및 완전 연결 레이어 중 하나 이상을 포함하고, 제1 및 제2 특징 추출기들(782, 784) 각각은 완전 연결 레이어를 포함할 수 있다. 부분 얼굴에 대응하는 특징을 추출하는 제2 특징 추출기(784)는 도 7c에 도시된 일례와 같이 복수 개의 특징 추출기들(766, 768, 770, 772, 774)로 구성될 수도 있다. 여기서, 특징 추출기들(766, 768, 770, 772, 774) 각각은 서로 다른 타입의 부분 얼굴 영상에 대하여 얼굴 인증에 사용될 특징을 추출할 수 있다.

도 8a 및 도 8b는 일 실시예에 따른 얼굴 인증 과정에서 합성 영상을 생성하는 일례를 설명하기 위한 도면들이다.

도 8a를 참조하면, 입력 영상(810)이 얼굴 인증 장치에 입력되면, 얼굴 인증 장치는 입력 영상(810)에서 얼굴 영역(815)을 검출한다.

일 실시예에서, 얼굴 인증 장치는 얼굴 영역(815)이 입력 영상(810)의 경계 중 일 부분을 포함하는지 여부 또는 얼굴 영역(815)이 입력 영상(810)을 벗어나는지 여부에 기초하여 입력 영상(810)에 나타난 입력 얼굴이 부분 얼굴인지 여부를 결정할 수 있다. 본 실시예에서는, 얼굴 영역(815)이 입력 영상(810)의 경계를 포함하고, 또한 검출된 얼굴 영역(815)을 정의하기 위한 위치 값들 중 일부 위치 값들이 입력 영상(810)을 벗어나서 존재하기 때문에, 입력 얼굴이 부분 얼굴로 결정된다. 다른 실시예에서, 얼굴 인증 장치는 얼굴 영역(815) 내에서 얼굴의 랜드마크(820)들을 검출하고, 랜드마크(820)들의 검출 결과에 기초하여 입력 얼굴이 부분 얼굴인지 여부를 결정할 수도 있다. 본 실시예에서, 얼굴 인증 장치는 얼굴 영역(815) 내에서 입 영역에 대응하는 랜드마크가 검출되지 않았기 때문에, 입력 얼굴이 부분 얼굴인 것으로 결정할 수 있다.

얼굴 인증 장치는 검출된 랜드마크(820)들의 위치에 기초하여 입력 영상(810)을 정규화할 수 있다. 정규화 과정은 입력 영상(810)에서 얼굴 영역을 추출하고, 랜드마크(820)들의 위치를 미리 정의된 기준 위치에 매칭시키는 과정을 포함할 수 있다.

얼굴 영상(840)에 나타난 입력 얼굴이 부분 얼굴이라고 판단된 경우, 얼굴 인증 장치는 기준 영상(850)을 이용하여 합성 영상(860)을 생성하는 과정(830)을 수행한다. 여기서, 기준 영상(850)은 특징 추출기를 학습하는데 이용된 학습 영상들의 평균 영상일 수 있다. 일 실시예에서, 얼굴 인증 장치는 검출된 얼굴 영역(815)의 위치 또는 랜드마크(820)들의 검출 결과에 기초하여, 검출된 얼굴 영역을 나타내는 얼굴 영상(840)에 나타난 부분 얼굴의 타입을 결정할 수 있다. 결정된 부분 얼굴의 타입에 따라 기준 영상(850)에서 얼굴 영상(840)과 합성될 영역이 결정될 수 있다. 얼굴 인증 장치는 기준 영상(850)에서 얼굴 영상(840)에 나타나지 않은 얼굴 영역(845)에 대응하는 대응 영역(855)의 영상 정보와 얼굴 영상(840)의 영상 정보를 합성하는 것에 의해 합성 영상(860)을 생성한다. 이 때, 합성이 이루어지는 경계는 반드시 직선일 필요는 없으며, 실시예에 따라 해당 경계의 형태는 곡선이나 다각형일 수도 있다. 합성 영상(860)은 얼굴 영상(840)의 영상 정보를 나타내는 영역(865)과 기준 영상(850)의 영상 정보를 나타내는 영역(870)을 포함한다.

합성 영상(860)이 생성된 이후에, 합성 영상(860)과 기준 영상(850) 간의 차분 영상이 특징 추출을 위한 특징 추출기에 입력된다. 합성 영상(860)이 아닌, 부분 얼굴이 나타난 얼굴 영상(840)과 기준 영상(850) 간의 차분 영상이 특징 추출에 이용되는 경우, 해당 차분 영상에서 얼굴 영역(845)에 대응하는 영역은 기준 영상(850)의 영상 정보에 의해 노이즈로 작용할 수 있고, 이는 얼굴 인증의 정확도를 낮추는 요인이 될 수 있다. 하지만, 본 실시예와 같이, 합성 영상(860)과 기준 영상(850) 간의 차분 영상을 이용하는 경우에는, 차분 영상에서 얼굴 영역(845)에 대응하는 영역의 영상 정보가 합성 영상(860)과 기준 영상(850) 간의 차분 과정에 의해 상쇄되어 노이즈가 발생하지 않는다. 따라서, 얼굴 인증 장치는 부분 얼굴이 입력되더라도 얼굴 인증의 정확도를 높게 유지할 수 있다.

일 실시예에서, 기준 영상(850)은 도 8a에 도시된 것처럼 학습 영상들의 평균 영상이거나, 또는 도 8b에 도시된 것처럼 학습 영상들의 평균 값 영상 또는 전체 픽셀들이 동일한 픽셀 값을 가지는 영상일 수 있다. 도 8b를 참조하면, 평균 값 영상인 기준 영상(880)에 기초하여 합성 영상(890)이 생성되는 일례가 도시된다. 기준 영상(880)은 학습 영상들의 전체 픽셀들이 가지는 픽셀 값들을 평균한 평균 값을 전체 픽셀에 할당하는 것에 의해 생성된 영상일 수 있다. 얼굴 인증 장치는 기준 영상(880)에서 얼굴 영상(840)에 나타나지 얼굴 영역(845)에 대응하는 대응 영역(885)의 영상 정보와 얼굴 영상(840)의 영상 정보를 합성하는 것에 의해 합성 영상(890)을 생성한다.

도 9는 일 실시예에 따른 부분 얼굴의 타입에 따른 합성 영상들의 일례를 도시하는 도면이다.

도 9를 참조하면, 입력 영상에 나타난 부분 얼굴의 타입에 따라 서로 다른 형태로 합성 영상이 생성될 수 있다. 입력 영상들(912, 914, 916, 918, 920)에서와 같이, 부분 얼굴의 형태는 다양할 수 있다. 예를 들어, 입력 영상(912)과 같이 입력 얼굴에 입 영역이 나타나지 않거나 또는 입력 영상(914)과 같이 입력 얼굴에 눈썹 위의 얼굴 영역이 나타나지 않을 수 있다. 얼굴 인증 장치는 이러한 부분 얼굴의 타입을 구별하고, 부분 얼굴의 타입에 기초하여 기준 영상(910)과 각 입력 영상들(912, 914, 916, 918, 920)을 합성하여 합성 영상들(922, 924, 926, 928, 930)을 생성할 수 있다. 부분 얼굴의 타입에 따라 각 합성 영상들(922, 924, 926, 928, 930)에 반영될 기준 영상(910)의 영역이 결정될 수 있다.

다만, 얼굴 인증에서 부분 얼굴에 대응되는 합성 영상의 합성 형태는 도 9의 실시예에 한정되지 아니하며, 합성 영상의 합성 형태는 하나일 수도 있고 복수 개일 수 있다. 예를 들어, 합성 영상의 합성 형태가 합성 영상(922)과 같이 얼굴의 아래 부분을 기준 영상의 영상 정보로 합성하는 것만 존재한다고 가정하면, 입력 영상에 나타난 입력 얼굴이 부분 얼굴이라고 결정되는 경우 얼굴 인증 장치는 부분 얼굴의 형태에 관계 없이 입력 영상에 나타난 입력 얼굴의 아래 부분을 기준 영상의 영상 정보로 합성하는 합성 형태로 합성 영상을 생성한다.

도 10은 다른 실시예에 따른 얼굴 인증 방법을 설명하기 위한 흐름도이다.

어떤 실시예가 달리 구현 가능한 경우에 특정 단계의 기능 또는 동작이 순서도와 다르게 수행될 수 있다. 예를 들어, 도 10에서 연속하는 두 단계들이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 해당 단계들의 순서가 뒤바뀌어 수행될 수도 있다.

일 실시예에 따르면, 얼굴 인증 장치는 얼굴 인증 과정에서 입력 영상에 나타난 폐색 영역(occlusion region)을 더 고려할 수 있다. 폐색 영역은 예를 들어, 안경, 선글라스, 마스크 또는 헤어 밴드 등으로 인하여 입력 얼굴에서 가려진 영역이다. 이러한 폐색 영역은 입력 영상에 나타난 입력 얼굴로부터 사용자의 고유한 특징을 추출하는 것을 방해하며, 얼굴 인증의 정확도를 저하시키는 요인이 된다. 얼굴 인증 장치는 입력 영상에 폐색 영역이 존재하는지 여부를 판단하고, 폐색 영역이 존재하는 경우에는 해당 폐색 영역의 영상 정보를 기준 영상의 영상 정보로 대체하고 얼굴 인증을 수행할 수 있다. 본 실시예를 위한 얼굴 인증 방법을 이하에서 설명한다.

도 10을 참조하면, 단계(340)에서 얼굴 인증 장치는 얼굴 영상에 나타난 입력 얼굴이 부분 얼굴인지 여부를 결정한다. 도 3의 단계(310)부터 단계(340)까지의 내용은 여기에 그대로 포함된다. 입력 얼굴이 부분 얼굴인 것으로 결정된 경우, 단계(1010)에서 얼굴 인증 장치는 얼굴 영상에 나타난 입력 얼굴에 폐색 영역이 존재하는지 여부를 결정한다.

폐색 영역이 존재하는 것으로 결정된 경우, 단계(1020)에서 얼굴 인증 장치는 기준 영상에서 부분 얼굴의 타입에 대응하는 제1 대응 영역의 영상 정보, 폐색 영역에 대응하는 제2 대응 영역의 영상 정보 및 얼굴 영상의 영상 정보를 합성하는 것에 의해 합성 영상을 생성한다. 일 예에서, 얼굴 인증 장치는 얼굴 영상에 기준 영상의 제1 대응 영역의 영상 정보를 결합시키고, 얼굴 영상에서 검출된 폐색 영역의 영상 정보를 기준 영상의 제2 대응 영역의 영상 정보로 대체하는 것에 의해 합성 영상을 생성할 수 있다. 실시예에 따라 제1 대응 영역과 제2 대응 영역은 서로 중첩될 수도 있다.

단계(1010)에서 폐색 영역이 존재하지 않는 것으로 결정된 경우, 단계(1030)에서 얼굴 인증 장치는 기준 영상에서 부분 얼굴의 타입에 대응하는 제1 대응 영역의 영상 정보와 얼굴 영상의 영상 정보를 합성하는 것에 의해 합성 영상을 생성한다. 이 과정은 도 3의 단계(350), 도 8a, 도 8b 및 도 9 등의 실시예들에서 설명한 합성 영상을 생성하는 과정과 동일하다.

단계(340)에서 입력 얼굴이 부분 얼굴이 아닌 것으로 결정된 경우, 단계(1040)에서 얼굴 인증 장치는 얼굴 영상에 나타난 입력 얼굴에 폐색 영역이 존재하는지 여부를 결정한다. 폐색 영역이 존재하는 것으로 결정된 경우, 단계(1050)에서 얼굴 인증 장치는 기준 영상에서 폐색 영역에 대응하는 제2 대응 영역의 영상 정보와 얼굴 영상의 영상 정보를 합성하는 것에 의해 합성 영상을 생성한다. 얼굴 인증 장치는 얼굴 영상에서 폐색 영역의 영상 정보를 기준 영상의 제2 대응 영역의 영상 정보로 대체하는 것에 의해 합성 영상을 생성할 수 있다.

위 단계(1020), 단계(1030) 또는 단계(1050)에서 합성 영상이 생성되면, 단계(1060)에서 얼굴 인증 장치는 합성 영상에 기초하여 인증 성공 여부를 결정한다. 이 과정은 도 3의 단계(360)의 과정과 동일하다.

단계(1040)에서 폐색 영역이 존재하지 않는 것으로 결정된 경우, 단계(1070)에서 얼굴 인증 장치는 얼굴 영상에 기초하여 인증 성공 여부를 결정한다. 이 경우는 입력 영상에 폐색 영역의 존재 없이 전체 얼굴이 나타난 것으로, 단계(1070)은 도 3의 단계(370)의 과정과 동일하다.

위와 같이 얼굴 인증 방법을 실시하는 경우, 폐색 영역의 유무에 따른 인식률의 저하를 방지할 수 있다. 본 실시예의 경우, 얼굴 등록 과정에서도 등록 영상에서 폐색 영역을 검출하고, 폐색 영역이 존재하는 경우에는 폐색 영역을 기준 영상의 영상 정보로 대체하여 합성 영상을 생성한 후 해당 합성 영상으로부터 등록 특징이 추출된다. 실시예에 따라, 등록 영상에 실제로 폐색 영역이 존재하지 않더라도, 등록 영상에 다양한 형태의 폐색 영역이 존재하는 것으로 가정하여 각 폐색 영역의 타입에 대응하는 합성 영상들을 생성한 후, 해당 합성 영상들로부터 등록 특징을 추출할 수도 있다.

도 11은 일 실시예에 따른 입력 영상에 폐색 영역이 존재하는 경우에 합성 영상을 생성하는 일례를 설명하기 위한 도면이다.

도 11을 참조하면, 얼굴 인증 장치는 얼굴 영상(1110)에 나타난 입력 얼굴이 부분 얼굴인 경우, 얼굴 영상(1110)에 나타나지 않은 얼굴 영역(1114)에 대응하는 기준 영상(1120)의 제1 대응 영역(1124)의 영상 정보를 얼굴 영상(1110)에 부가할 수 있다. 한편, 얼굴 영상(1110)에 안경(1112)의 폐색 영역이 존재하고 있다. 얼굴 인증 장치는 얼굴 영상(1110)에서 안경(1112)을 검출한 경우, 안경(1112)이 나타난 영역에 대응되는 기준 영상(1120)의 제2 대응 영역(1122)의 영상 정보로 대체할 수 있다. 이러한 과정을 통해 생성된 합성 영상(1130)은 얼굴 영상(1110)의 영상 정보(1135), 기준 영상(1120)의 제1 대응 영역의 영상 정보(1145) 및 기준 영상(1120)의 제2 대응 영역의 영상 정보(1140)로 구성된다.

도 12는 일 실시예에 따른 얼굴 인증 장치의 구성을 도시하는 도면이다.

도 12를 참조하면, 얼굴 인증 장치(1200)는 얼굴 인증을 위한 입력 영상을 수신한다. 얼굴 인증 장치(1200)는 입력 영상으로부터 추출된 특징과 데이터베이스(1230)에 미리 저장된 등록 특징 간의 비교 결과에 기초하여 인증 성공 여부를 결정할 수 있다. 유효한 사용자는 얼굴 등록 과정을 통해 자신의 얼굴에 대한 특징 또는 영상을 미리 등록할 수 있고, 이렇게 등록된 정보는 데이터베이스(1230)에 저장될 수 있다

얼굴 인증 장치(1200)는 얼굴 인증 방법과 관련하여 본 명세서에 기술되거나 또는 도시된 하나 이상의 동작을 수행할 수 있고, 얼굴 인증의 결과를 사용자에게 제공할 수 있다. 얼굴 인증 장치(1200)는 얼굴 인증의 결과를 음성, 진동, 글자, 그림 또는 동영상 등의 형태로 출력할 수 있으나, 실시에의 범위가 이에 한정되지는 않으며, 얼굴 인증 장치(1200)는 다양한 형태로 인증 결과를 출력할 수 있다.

얼굴 인증 장치(1200)는 하나 이상의 프로세서(1210) 및 메모리(1220)를 포함할 수 있다. 메모리(1220)는 프로세서(1210)에 연결되고, 프로세서(1210)에 의해 실행가능한 인스트럭션들, 프로세서(1210)가 연산할 데이터 또는 프로세서(1210)에 의해 처리된 데이터를 저장할 수 있다. 메모리(1220)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예컨대, 하나 이상의 디스크 저장 장치, 플래쉬 메모리 장치, 또는 기타 비휘발성 솔리드 스테이트 메모리 장치)를 포함할 수 있다.

프로세서(1210)는 도 1 내지 도 11을 참조하여 설명된 하나 이상의 동작을 실행하기 위한 인스트럭션들을 실행할 수 있다. 예를 들어, 프로세서(1210)는 입력 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에 나타난 입력 얼굴이 부분 얼굴인지 아니면 전체 얼굴인지 여부를 결정한다. 예를 들어, 프로세서(1210)는 검출된 얼굴 영역이 입력 영상의 경계 중 일 부분을 포함하는 경우 또는 검출된 얼굴 영역이 입력 영상을 벗어나는 경우, 입력 얼굴이 부분 얼굴이라고 결정할 수 있다. 프로세서(1210)는 검출된 얼굴 영역이 입력 영상의 경계를 포함하지 않거나 또는 검출된 얼굴 영역이 입력 영상을 벗어나지 않고 입력 영상의 내부에 포함되는 경우에는, 입력 얼굴이 전체 얼굴인 것으로 결정할 수 있다. 다른 예로, 프로세서(1210)는 미리 정의된 얼굴 부위 영역들 중 하나 이상에 대응하는 랜드마크들이 검출되지 않은 경우, 입력 얼굴이 부분 얼굴인 것으로 결정할 수 있다. 이와 반대로, 프로세서(1210)는 미리 정의된 얼굴 부위 영역들 모두에 대응하는 랜드마크들이 검출된 경우에는, 입력 얼굴이 전체 얼굴인 것으로 결정할 수 있다.

입력 얼굴이 부분 얼굴인 것으로 결정된 경우, 프로세서(1210)는 기준 영상과 얼굴 영상을 합성하여 합성 영상을 생성한다. 일 예에서, 프로세서(1210)는 위 랜드마크들이 검출되지 않은 얼굴 영역에 대응하는 기준 영상의 대응 영역의 영상 정보와 얼굴 영상의 영상 정보를 합성하는 것에 의해 합성 영상을 생성할 수 있다. 다른 실시예에서, 프로세서(1210)는 얼굴 영상에 나타난 입력 얼굴에 폐색 영역이 존재하는지 여부를 결정하고, 폐색 영역이 존재하는 것으로 결정된 경우, 기준 영상에서 해당 폐색 영역에 대응하는 대응 영역의 영상 정보와 얼굴 영상의 영상 정보를 합성하는 것에 의해 합성 영상을 생성할 수 있다. 프로세서(1210)는 특징 추출기를 이용하여 합성 영상으로부터 입력 얼굴에 대한 특징을 추출하고, 추출된 특징과 등록 특징을 비교하고, 그 비교 결과에 기초하여 인증 성공 여부를 결정한다. 프로세서(1210)는 입력 얼굴이 부분 얼굴이 아니라는 결정(즉, 입력 얼굴이 전체 얼굴이라는 결정)에 응답하여, 특징 추출기를 이용하여 얼굴 영상으로부터 입력 얼굴에 대한 특징을 추출하고, 추출된 특징과 등록 특징을 비교하고, 그 비교 결과에 기초하여 인증 성공 여부를 결정한다.

도 13은 일 실시예에 따른 컴퓨팅 장치의 구성을 도시하는 도면이다.

도 13을 참조하면, 컴퓨팅 장치(1300)는 사용자의 얼굴이 나타난 영상을 획득하고, 획득된 영상에서 추출한 특징을 미리 저장된 등록 특징과 비교하는 과정을 통해 얼굴 인증 과정을 수행할 수 있다. 컴퓨팅 장치(1300)는 도 1의 컴퓨팅 장치(120)에 대응할 수 있고, 기능적으로 도 12의 얼굴 인증 장치(1200)의 기능을 포함할 수 있다.

컴퓨팅 장치(1300)는 프로세서(1310), 메모리(1320), 카메라(1330), 저장 장치(1340), 입력 장치(1350), 출력 장치(1360) 및 네트워크 인터페이스(1370)를 포함할 수 있다. 프로세서(1310), 메모리(1320), 카메라(1330), 저장 장치(1340), 입력 장치(1350), 출력 장치(1360) 및 네트워크 인터페이스(1370)는 통신 버스(1380)를 통해 서로 통신할 수 있다.

카메라(1330)는 정지 영상, 비디오 영상, 또는 이들 모두를 캡쳐할 수 있다. 카메라(1330)는 사용자가 얼굴 인증을 시도하기 위해 입력하는 얼굴 영역을 캡쳐하여 사용자의 얼굴 영상을 획득할 수 있다.

프로세서(1310)는 컴퓨팅 장치(1300) 내에서 실행하기 위한 기능 및 인스트럭션들을 실행한다. 예를 들어, 프로세서(1310)는 메모리(1320) 또는 저장 장치(1340)에 저장된 인스트럭션들을 처리할 수 있다. 프로세서(1310)는 도 1 내지 도 12를 통하여 전술한 하나 이상의 동작을 수행할 수 있다. 예를 들어, 프로세서(1310)는 카메라(1330)에 의해 획득된 얼굴 영상과 등록된 얼굴 영상을 비교하여 얼굴 인증을 수행할 수 있다. 프로세서(1310)는 획득된 얼굴 영상이 사용자의 전체 얼굴 정보를 포함하지 않아도 얼굴 인증을 수행할 수 있다. 프로세서(1310)는 획득된 얼굴 영상이 사용자의 부분 얼굴 정보를 포함하는 경우, 부분 얼굴 정보의 타입에 기초하여, 얼굴 영상과 미리 정의된 기준 영상 간의 합성 영상을 생성하고, 생성된 합성 영상에 기초하여 얼굴 인증을 수행할 수 있다.

메모리(1320)는 얼굴 인증 과정을 위한 정보를 저장한다. 메모리(1320)는 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 판독가능한 저장 장치를 포함할 수 있다. 예를 들어, 메모리(1320)는 RAM(random access memories), DRAM(dynamic random access memories), SRAM(static random access memories) 또는 이 기술 분야에서 알려진 다른 형태의 비휘발성 메모리를 포함할 수 있다. 메모리(1320)는 프로세서(1310)에 의해 실행하기 위한 인스트럭션들을 저장할 수 있고, 컴퓨팅 장치(1300)에 의해 소프트웨어 또는 애플리케이션이 실행되는 동안 관련 정보를 저장할 수 있다.

저장 장치(1340)는 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 판독가능한 저장 장치를 포함한다. 저장 장치(1340)는 등록 특징들 또는 등록 영상을 포함하는 데이터베이스를 저장할 수 있다. 일 실시예에 따르면, 저장 장치(1340)는 메모리(1320)보다 더 많은 양의 정보를 저장하고, 정보를 장기간 저장할 수 있다. 예를 들어, 저장 장치(1340)는 자기 하드 디스크, 광 디스크, 플래쉬 메모리, 전기적으로 프로그래밍가능한 메모리(EPROM), 플로피 디스크 또는 이 기술 분야에서 알려진 다른 형태의 비휘발성 메모리를 포함할 수 있다.

입력 장치(1350)는 촉각, 비디오, 오디오 또는 터치 입력을 통해 사용자로부터 입력을 수신할 수 있다. 예를 들어, 입력 장치(1350)는 키보드, 마우스, 터치 스크린, 마이크로폰, 또는 사용자로부터 입력을 검출하고, 검출된 입력을 컴퓨팅 장치(1300)에 전달할 수 있는 임의의 다른 장치를 포함할 수 있다.

출력 장치(1360)는 시각적, 청각적 또는 촉각적인 채널을 통해 사용자에게 컴퓨팅 장치(1300)의 출력을 제공할 수 있다. 예를 들어, 출력 장치(1360)는 얼굴 인증과 관련된 정보를 시각화하여 사용자에게 제공할 수 있다. 출력 장치(1360)는 예를 들어, 액정 디스플레이, LED(light emitting diode) 디스플레이, 터치 스크린, 스피커, 진동 발생 장치 또는 사용자에게 출력을 제공할 수 있는 임의의 다른 장치를 포함할 수 있다. 일 실시예에서, 컴퓨팅 장치(1300)는 얼굴 인증이 수행되는 동안, 사용자가 볼 수 있는 디스플레이 스크린에 카메라(1330)에 의해 획득된 얼굴 영상(프리뷰 영상)을 표시할 수도 있고, 해당 얼굴 영상을 표시하지 않을 수도 있다.

네트워크 인터페이스(1370)는 유선 또는 무선 네트워크를 통해 외부 장치와 통신할 수 있다. 예를 들어, 네트워크 인터페이스(1370)는 이더넷(Ethernet) 카드, 광학 트랜시버, 무선 주파수 트랜시버 또는 정보를 송수신할 수 있는 임의의 다른 네트워크 인터페이스 카드를 포함할 수 있다. 네트워크 인터페이스(1370)는 블루투스(Bluetooth), 와이파이(WiFi), 3G 또는 4G 등의 통신 방식을 이용하여 외부 장치와 무선으로 통신할 수 있다.

도 14는 일 실시예에 따른 학습 장치의 구성을 도시하는 도면이다.

도 14를 참조하면, 학습 장치(1400)는 얼굴 인증에서 이용되는 특징 추출기(1430)를 학습시키는 장치이다. 일례에서, 특징 추출기(1430)는 입력 값에 대응하는 결과 값을 출력하는 뉴럴 네트워크 모델로, 학습 영상과 기준 영상에 기초하여 학습될 수 있다. 여기서, 기준 영상은 위 얼굴 등록 과정 및 얼굴 인증 과정에서 설명된 기준 영상과 동일하다.

학습 장치(1400)는 하나 이상의 프로세서(1410) 및 메모리(1420)를 포함할 수 있다. 메모리(1420)는 프로세서(1410)에 연결되고, 프로세서(1410)에 의해 실행가능한 인스트럭션들, 프로세서(1410)가 연산할 데이터 또는 프로세서(1410)에 의해 처리된 데이터를 저장할 수 있다.

학습 영상이 학습 장치(1400)에 입력되면, 프로세서(1410)는 학습 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에 나타난 얼굴이 부분 얼굴 또는 전체 얼굴인지 여부를 판단할 수 있다. 학습 영상에 나타난 얼굴이 부분 얼굴로 판단된 경우, 프로세서(1410)는 부분 얼굴에 타입에 기초하여 학습 영상의 영상 정보에 기준 영상의 영상 정보를 합성하여 합성 영상을 생성하고, 특징 추출기(1430)를 이용하여 합성 영상으로부터 특징을 추출한다. 이 과정들에는 본 명세서에서 설명된 얼굴 인증 과정에 설명된 내용이 그대로 적용될 수 있다. 일 예에서, 프로세서(1410)는 특징 추출기(1430)에 의해 추출된 특징과 의도한 특징 간의 차이로 인한 손실(loss)를 계산하고, 계산된 손실이 줄어들도록 특징 추출기(1430)를 구성하는 파라미터들을 조정하는 것에 의해 특징 추출기(1430)를 학습시킬 수 있다.

학습 장치(1400)는 많은 수의 학습 영상들 각각에 대해 위 과정을 반복적으로 수행하여 특징 추출기(1430)의 파라미터들을 점차 바람직한 방향으로 조정할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (33)

1. 입력 영상에서 얼굴 영역을 검출하는 단계;
   상기 얼굴 영역에 나타난 입력 얼굴이 부분 얼굴(partial face)인지 여부를 결정하는 단계;
   상기 입력 얼굴이 부분 얼굴이라는 결정에 응답하여, 기준 영상과 상기 얼굴 영역의 얼굴 영상을 합성하여 합성 영상을 생성하는 단계; 및
   상기 합성 영상에 기초하여 인증 성공 여부를 결정하는 단계
   를 포함하는 얼굴 인증 방법.
2. 제1항에 있어서,
   상기 입력 얼굴이 부분 얼굴인지 여부를 결정하는 단계는,
   상기 입력 영상에서 검출된 상기 얼굴 영역의 위치에 기초하여 상기 입력 얼굴이 부분 얼굴인지 여부를 결정하는, 얼굴 인증 방법.
3. 제2항에 있어서,
   상기 입력 얼굴이 부분 얼굴인지 여부를 결정하는 단계는,
   상기 검출된 얼굴 영역이 상기 입력 영상의 경계 중 일 부분을 포함하는 경우, 상기 입력 얼굴이 부분 얼굴이라고 결정하는, 얼굴 인증 방법.
4. 제2항에 있어서,
   상기 합성 영상을 생성하는 단계는,
   상기 검출된 얼굴 영역에 기초하여 상기 기준 영상의 영상 정보와 상기 얼굴 영상의 영상 정보를 합성하는 것에 의해 상기 합성 영상을 생성하고,
   상기 기준 영상의 영상 정보는, 전체 얼굴에 대응하는 얼굴 영역에서 상기 검출된 얼굴 영역을 제외한 나머지 얼굴 영역에 대응하는 영역의 영상 정보인, 얼굴 인증 방법.
5. 제1항에 있어서,
   상기 입력 얼굴이 부분 얼굴인지 여부를 결정하는 단계는,
   상기 얼굴 영역에서 얼굴의 랜드마크들을 검출하는 단계; 및
   상기 검출된 얼굴 영역에서, 미리 정의된 얼굴 부위 영역들(facial part regions) 중 적어도 하나에 대응하는 랜드마크들이 검출되지 않은 경우, 상기 입력 얼굴이 부분 얼굴이라고 결정하는 단계
   를 포함하는 얼굴 인증 방법.
6. 제5항에 있어서,
   상기 합성 영상을 생성하는 단계는,
   상기 랜드마크들이 검출되지 않은 얼굴 영역에 대응하는 상기 기준 영상의 대응 영역의 영상 정보와 상기 얼굴 영상의 영상 정보를 합성하는 것에 의해 상기 합성 영상을 생성하는, 얼굴 인증 방법.
7. 제6항에 있어서,
   상기 랜드마크들이 검출되지 않은 얼굴 부위 영역에 기초하여 상기 대응 영역의 위치 및 형태가 결정되는, 얼굴 인증 방법.
8. 제1항에 있어서,
   상기 인증 성공 여부를 결정하는 단계는,
   특징 추출기를 이용하여 상기 입력 얼굴에 대한 특징을 추출하는 단계; 및
   등록 특징들 중 상기 부분 얼굴의 타입에 대응하는 등록 특징과 상기 추출된 특징 간의 비교 결과에 기초하여 인증 성공 여부를 결정하는 단계
   를 포함하는 얼굴 인증 방법.
9. 제8항에 있어서,
   상기 부분 얼굴의 타입은,
   미리 정의된 얼굴 부위 영역들 중 적어도 하나에 대응하는 랜드마크들의 검출 결과에 기초하여 결정되는, 얼굴 인증 방법.
10. 제8항에 있어서,
    상기 특징 추출기에는,
    상기 합성 영상과 상기 기준 영상 간의 차분 영상(difference image)의 영상 정보가 입력되는, 얼굴 인증 방법.
11. 제8항에 있어서,
    상기 특징 추출기는,
    상기 부분 얼굴의 타입들 각각에 대응하는 출력 레이어들을 포함하는 뉴럴 네트워크 모델인, 얼굴 인증 방법.
12. 제8항에 있어서,
    상기 등록 특징들은,
    미리 정의된 부분 얼굴의 타입들 각각에 대응하는 등록 특징을 포함하는, 얼굴 인증 방법.
13. 제1항에 있어서,
    상기 기준 영상은,
    상기 합성 영상으로부터 특징을 추출하는데 이용되는 특징 추출기를 트레이닝(training)하는데 이용된 학습 영상들에 기초하여 결정된 영상인, 얼굴 인증 방법.
14. 제1항에 있어서,
    상기 입력 얼굴이 부분 얼굴이 아니라는 결정에 응답하여, 상기 얼굴 영상에 기초하여 인증 성공 여부를 결정하는 단계
    를 더 포함하는 얼굴 인증 방법.
15. 제14항에 있어서,
    상기 얼굴 영상에 기초하여 인증 성공 여부를 결정하는 단계는,
    상기 얼굴 영상과 상기 기준 영상 간의 차분 영상에 기초하여 상기 입력 얼굴에 대한 특징을 추출하는 단계; 및
    상기 추출된 특징과 등록 특징들 중 전체 얼굴에 대응하는 등록 특징 간의 비교 결과에 기초하여 인증 성공 여부를 결정하는 단계
    포함하는 얼굴 인증 방법.
16. 제1항에 있어서,
    상기 얼굴 영상에 나타난 입력 얼굴에 폐색 영역(occlusion region)이 존재하는지 여부를 결정하는 단계; 및
    상기 폐색 영역이 존재한다는 결정에 응답하여, 상기 기준 영상에서 상기 폐색 영역에 대응하는 대응 영역의 영상 정보와 상기 얼굴 영상의 영상 정보를 합성하는 것에 의해 합성 영상을 생성하는 단계
    를 더 포함하는 얼굴 인증 방법.
17. 제1항에 있어서,
    상기 얼굴 영역에서 얼굴의 랜드마크들을 검출하는 단계; 및
    상기 검출된 랜드마크들의 위치에 기초하여 상기 입력 영상에 나타난 얼굴 영역을 조정하는 단계
    를 더 포함하는 얼굴 인증 방법.
18. 제1항 내지 제17항 중 어느 하나의 항의 방법을 실행하기 위한 인스트럭션들을 저장하는 컴퓨터 판독 가능한 저장 매체.
19. 프로세서를 포함하고,
    상기 프로세서는,
    입력 영상에서 얼굴 영역을 검출하고,
    상기 얼굴 영역에 나타난 입력 얼굴이 부분 얼굴인지 여부를 결정하고,
    상기 입력 얼굴이 부분 얼굴이라는 결정에 응답하여, 기준 영상과 상기 얼굴 영역의 얼굴 영상을 합성하여 합성 영상을 생성하고,
    상기 합성 영상에 기초하여 인증 성공 여부를 결정하고, 얼굴 인증 장치.
20. 제19항에 있어서,
    상기 프로세서는,
    상기 검출된 얼굴 영역이 상기 입력 영상의 경계 중 일 부분을 포함하는 경우, 상기 입력 얼굴이 부분 얼굴이라고 결정하는, 얼굴 인증 장치.
21. 제19항에 있어서,
    상기 프로세서는,
    상기 검출된 얼굴 영역에 기초하여 상기 기준 영상의 영상 정보와 상기 얼굴 영상의 영상 정보를 합성하는 것에 의해 상기 합성 영상을 생성하고,
    상기 기준 영상의 영상 정보는, 전체 얼굴에 대응하는 얼굴 영역에서 상기 검출된 얼굴 영역을 제외한 나머지 얼굴 영역에 대응하는 영역의 영상 정보인, 얼굴 인증 장치.
22. 제19항에 있어서,
    상기 프로세서는,
    상기 얼굴 영역에서 얼굴의 랜드마크들을 검출하고,
    상기 검출된 얼굴 영역에서, 미리 정의된 얼굴 부위 영역들 중 적어도 하나에 대응하는 랜드마크들이 검출되지 않은 경우, 상기 입력 얼굴이 부분 얼굴이라고 결정하는, 얼굴 인증 장치.
23. 제22항에 있어서,
    상기 프로세서는,
    상기 랜드마크들이 검출되지 않은 얼굴 영역에 대응하는 상기 기준 영상의 대응 영역의 영상 정보와 상기 얼굴 영상의 영상 정보를 합성하는 것에 의해 상기 합성 영상을 생성하는, 얼굴 인증 장치.
24. 제19항에 있어서,
    상기 프로세서는,
    특징 추출기를 이용하여 상기 입력 얼굴에 대한 특징을 추출하고,
    등록 특징들 중 상기 부분 얼굴의 타입에 대응하는 등록 특징과 상기 추출된 특징 간의 비교 결과에 기초하여 인증 성공 여부를 결정하는, 얼굴 인증 장치.
25. 제19항에 있어서,
    상기 프로세서는,
    상기 얼굴 영상에 나타난 입력 얼굴에 폐색 영역이 존재하는지 여부를 결정하고,
    상기 폐색 영역이 존재한다는 결정에 응답하여, 상기 기준 영상에서 상기 폐색 영역에 대응하는 대응 영역의 영상 정보와 상기 얼굴 영상의 영상 정보를 합성하는 것에 의해 합성 영상을 생성하는, 얼굴 인증 장치.
26. 얼굴 영상을 입력 받아 중간 특징을 출력하는 공통 특징 추출기;
    상기 공통 특징 추출기와 연결되고, 상기 얼굴 영상이 사용자의 전체 얼굴 정보를 포함하는 경우에 상기 중간 특징을 입력 받아 얼굴 인증에 사용될 특징을 추출하는 제1 특징 추출기; 및
    상기 공통 특징 추출기와 연결되고, 상기 얼굴 영상이 사용자의 부분 얼굴 정보를 포함하는 경우에 상기 중간 특징을 입력 받아 얼굴 인증에 사용될 특징을 추출하는 제2 특징 추출기
    를 포함하는 뉴럴 네트워크 모델이 포함된 장치
27. 제26항에 있어서,
    상기 공통 특징 추출기는, 컨볼루션 레이어(convolutional layer)를 포함하는, 뉴럴 네트워크 모델이 포함된 장치
28. 제26항에 있어서,
    상기 공통 특징 추출기는, 완전 연결 레이어(fully-connected layer)를 포함하는, 뉴럴 네트워크 모델이 포함된 장치.
29. 제26항에 있어서,
    상기 제1 특징 추출기 및 상기 제2 특징 추출기는, 완전 연결 레이어를 포함하는, 뉴럴 네트워크 모델이 포함된 장치.
30. 제26항에 있어서,
    상기 장치는, 복수의 제2 특징 추출기들을 포함하고,
    상기 제2 특징 추출기들 각각은, 서로 다른 타입의 부분 얼굴 영상에 대하여 얼굴 인증에 사용될 특징을 추출하는, 뉴럴 네트워크 모델이 포함된 장치.
31. 컴퓨팅 장치에 있어서,
    사용자의 얼굴 영상을 획득하는 카메라; 및
    상기 획득된 얼굴 영상과 등록된 얼굴 영상을 비교하여 얼굴 인증을 수행하는 프로세서를 포함하고,
    상기 컴퓨팅 장치는, 상기 얼굴 인증이 수행되는 동안 상기 사용자가 볼 수 있는 상기 컴퓨팅 장치의 디스플레이 스크린에 상기 획득된 얼굴 영상을 표시하지 않는, 컴퓨팅 장치.
32. 제31항에 있어서,
    상기 프로세서는,
    상기 획득된 얼굴 영상이 상기 사용자의 전체 얼굴 정보를 포함하지 않아도 상기 얼굴 인증을 수행하는, 컴퓨팅 장치.
33. 제31항에 있어서,
    상기 프로세서는,
    상기 획득된 얼굴 영상이 상기 사용자의 부분 얼굴 정보를 포함하는 경우, 상기 부분 얼굴 정보의 타입에 기초하여 상기 획득된 얼굴 영상과 미리 정의된 기준 영상 간의 합성 영상을 생성하고, 상기 합성 영상에 기초하여 상기 얼굴 인증을 수행하는, 컴퓨팅 장치.

Images