KR101241625B1

KR101241625B1 - 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체

Info

Publication number: KR101241625B1
Application number: KR1020120020523A
Authority: KR
Inventors: 박민제; 김태훈
Original assignee: 인텔 코오퍼레이션
Priority date: 2012-02-28
Filing date: 2012-02-28
Publication date: 2013-03-11
Also published as: US9213886B2; US20160063033A1; US20150016733A1; CN104185849B; EP2821938A4; US9864756B2; WO2013129825A1; EP2821938A1; CN104185849A

Abstract

본 발명의 일 태양에 따르면, 얼굴 인식 환경 통지 방법으로서, (a) 프리뷰 상태로 입력되는 입력 이미지를 획득하는 단계; (b) 상기 입력 이미지에 포함된 얼굴의 특징 정보를 소정의 데이터베이스에 저장된 참조 인물 이미지의 특징 정보와 비교하여 상기 입력 이미지에 포함된 얼굴을 기 설정된 정확도 이상으로 인식하기 위하여 필요로 되는 조건에 관한 정보인 기 설정된 유효 촬영 조건을 상기 입력 이미지가 충족하는지 여부를 실시간으로 판단하는 단계; 및 (c) 상기 기 설정된 유효 촬영 조건의 충족 여부에 상응하는 기 설정된 촬영 가이드 피드백을 사용자에게 제공하는 단계를 포함하는 방법이 제공된다. 이를 통하여 본 발명은 얼굴 인식을 위하여 검출되는 얼굴 이미지의 상태를 사전에 검사하여 얼굴 인식에 부적합한 요소가 있다고 판단되는 경우 이를 사용자에게 통지함으로써 사용자가 얼굴을 인지하는데 방해가 되는 장애 환경을 제거할 수 있도록 하여 얼굴 인식의 성공률을 향상시키는 효과가 있다.

Description

얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체{METHOD, APPARATUS FOR INFORMING A USER OF VARIOUS CIRCUMSTANCES OF FACE RECOGNITION, AND COMPUTER-READABLE RECORDING MEDIUM FOR EXECUTING THE METHOD}

본 발명은 얼굴 인식을 위하여 검출되는 얼굴 이미지의 상태를 검사하여 얼굴 인식에 부적합한 부분이 있을 경우 이를 사용자에게 사전에 통지함으로써 사용자의 위치를 조정하게 하거나, 얼굴을 인지하는데 방해가 되는 장애 환경을 개선 또는 제거하도록 하여 얼굴 인식의 성공률을 향상시키고, 얼굴 인식에 부적합한 이유를 사용자게 통지하여 사용자가 이를 인식할 수 있도록 하는 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

생체 인식 기술은 개인마다 다른 지문, 얼굴, 홍채, 정맥 등의 신체 특징을 인식하는 기술이다. 이와 같은 신체 특징은 열쇠나 비밀번호처럼 타인에게 도용이나 복제될 수 없으며, 변경되거나 분실할 위험성이 없어 보안 분야 등에 활용될 수도 있다.

이중 얼굴 인식 기술은 비디오 혹은 사진 이미지에서 얼굴 영역을 검출한 후 검출된 얼굴 영역에 포함된 얼굴의 신원을 식별하는 기술을 포함하므로, 보안 분야뿐만 아니라 스마트폰 시대에 발맞추어 다양한 애플리케이션 등에도 활용될 수 있다.

일반적으로, 얼굴 인식 기술은 비디오 혹은 사진 이미지에서 얼굴 영역이 검출된 후 검출된 얼굴 이미지를 데이터베이스와 같은 저장부에 기저장된 얼굴 이미지와 비교하여 매칭 여부를 판단하도록 구현된다.

그러나 이러한 방식으로 이루어지는 얼굴 인식 기술의 정확도를 향상시키기 위해서는 그 전제 조건으로 비디오 혹은 사진으로부터 획득되는 얼굴 이미지가 데이터베이스에 기 저장되어 있는 얼굴 이미지와 비교할 수 있을 정도로 명확하게 입력될 필요성이 있다. 그러나 입력되는 얼굴 이미지가 항상 얼굴 인식에 적합한 수준을 유지할 수는 없다.

따라서, 사용자의 위치 변동, 자세의 불안정, 주변 환경 등과 같은 여러 가지 요인들에 의하여 정상적인 얼굴 인식이 불가능한 수준의 얼굴 이미지가 입력되는 경우 상기 얼굴 이미지 중 어느 부분에 얼굴 인식에 부적합한 요소가 있는지를 통지할 필요성이 있다.

이를 위하여 종래 1999. 5. 25. 공개된 공개번호 10-1999-0037927 발명의 명칭 '정상거래유도기능을 지니는 화상인식 은행거래처리장치의 거래처리방법'을 통하여 안면인지 시스템이 탑재된 화상인식 은행거래처리장치에서 안면인지가 성공하지 못할 경우, 사용자의 위치, 얼굴의 형태, 실패 원인을 사용자에게 제시하여, 사용자의 위치를 조정하게 하고, 얼굴을 인지하는데 방해가 되는 장애 환경을 제거하도록 정상거래를 유도하기 위한 정상거래유도기능을 지니는 화상인식 은행거래처리장치의 거래처리방법이 개시된 바 있다.

그러나 이와 같은 종래 기술은 얼굴 인식을 수행한 뒤 얼굴 인식에 실패하는 경우 사후적으로 얼굴 인식에 부적합한 요소를 통지하는 것으로서 사용자가 위와 같은 오류를 회피하기 위하여 얼굴 이미지 입력 단계에서 사전적으로 대응할 수 없다는 문제점이 있다. 따라서 이러한 종래 기술에 따르면 얼굴 이미지 상에 존재하는 오류를 시정하고 얼굴 인식을 완료하는데 소요되는 시간이 상당히 길어지게 된다는 문제점이 있었다.

본 발명은 상술한 문제점들을 모두 해결하는 것을 그 목적으로 한다.

또한, 본 발명은 얼굴 인식을 위하여 이미지에서 검출되는 얼굴 영역의 상태를 사전에 검사하여 얼굴 인식에 부적합한 요소가 있다고 판단되는 경우 이를 사용자에게 통지함으로써 사용자가 얼굴을 인지하는데 방해가 되는 장애 환경을 개선 또는 제거하도록 하여 얼굴 인식의 성공률을 향상시키는 것을 목적을 한다.

또한, 본 발명은 위와 같은 장애 환경을 인지하는 경우 구체적인 장애 이유를 실시간으로 사용자게 통지하여 사용자가 이를 인식할 수 있도록 하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 일 태양에 따르면, 얼굴 인식 환경 통지 방법으로서, (a) 프리뷰 상태로 입력되는 입력 이미지를 획득하는 단계; (b) 상기 입력 이미지에 포함된 얼굴의 특징 정보를 소정의 데이터베이스에 저장된 참조 인물 이미지의 특징 정보와 비교하여 상기 입력 이미지에 포함된 얼굴을 기설정된 정확도 이상으로 인식하기 위하여 필요로 되는 조건에 관한 정보인 기 설정된 유효 촬영 조건을 상기 입력 이미지가 충족하는지 여부를 실시간으로 판단하는 단계; 및 (c) 상기 기 설정된 유효 촬영 조건의 충족 여부에 상응하는 기설정된 촬영 가이드 피드백을 사용자에게 제공하는 단계를 포함하는 방법이 제공된다.

본 발명의 다른 태양에 따르면, 얼굴 인식 환경 통지 장치로서, 프리뷰 상태로 입력되는 입력 이미지를 획득하는 단계이미지 입력부; 상기 입력 이미지에 포함된 얼굴의 특징 정보를 소정의 데이터베이스에 저장된 참조 인물 이미지의 특징 정보와 비교하여 상기 입력 이미지에 포함된 얼굴을 기설정된 정확도 이상으로 인식하기 위하여 필요로 되는 조건에 관한 정보인 기 설정된 유효 촬영 조건을 상기 입력 이미지가 충족하는지 여부를 실시간으로 판단하는 조건 판단부; 및 상기 기 설정된 유효 촬영 조건의 충족 여부에 상응하는 기설정된 촬영 가이드 피드백을 사용자에게 제공하는 피드백 제공부를 포함하는 장치가 제공된다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 장치 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

본 발명은 얼굴 인식을 위하여 검출되는 얼굴 이미지의 상태를 사전에 검사하여 얼굴 인식에 부적합한 요소가 있다고 판단되는 경우 이를 사용자에게 실시간으로 통지함으로써 사용자가 얼굴을 인지하는데 방해가 되는 장애 환경을 개선 또는 제거할 수 있도록 하여 얼굴 인식의 성공률을 향상시키는 효과가 있다.

또한, 본 발명은 위와 같은 장애 환경을 인지하는 경우 구체적인 장애 이유를 사용자게 통지하여 사용자가 이를 인식할 수 있도록 하는 효과가 있다. 이를 통하여 얼굴 인식 시스템의 신뢰성을 더욱 향상시키고, 얼굴 인식을 수행함에 부족한 부분을 사용자가 인식할 수 있도록 하여 사용자의 불편을 해소하고 궁극적으로 얼굴 인식 시스템의 기능을 더욱 완벽하게 하여 그 사용을 보편화시킬 수 있게 된다.

또한, 기존의 발명에 따르면, 얼굴 인식이 잘 안되는 단말기 자체를 탓할 뿐이었지만, 본 발명에 따르면, 단말기의 탓이 아니라 사용자 스스로가 얼굴 인식이 잘 안되는 장애 환경에 있기 때문이라는 점을 인지시킴으로써, 사용자의 불만을 합리적으로 해소할 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 얼굴 인식 시스템의 대략적인 구성을 도시한 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 검출 장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 얼굴 인식 장치의 구성을 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 얼굴 인식 환경 통지 장치의 구성을 도시한 블럭도이다.
도 5는 본 발명의 일 실시예에 따라 입력되는 이미지가 조명 조건을 충족하는지 여부를 판단하는 방법을 설명하기 위한 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

[본 발명의 바람직한 실시예]

전체 시스템의 구성

도 1은 본 발명의 일 실시예에 따른 얼굴 인식 시스템의 대략적인 구성을 도시한 블럭도이다.

도 1을 참조하면, 본 발명의 얼굴 인식 시스템은 얼굴 검출 장치(100), 얼굴 인식 장치(200), 및 얼굴 인식 환경 통지 장치(300)를 포함할 수 있다.

여기서, 본 발명의 일 실시예에 따른 얼굴 인식 시스템은 디지털 기기로서, 개인용 컴퓨터(예를 들어, 타블렛 컴퓨터, 노트북 컴퓨터 등), PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 휴대용 디지털 기기라면 얼마든지 본 발명에 따른 얼굴 인식 시스템으로서 채택될 수 있다. 다만, 얼굴 검출 장치(100), 얼굴 인식 장치(200), 및 얼굴 인식 환경 통지 장치(300)가 반드시 하나의 장치로 구현될 필요는 없고, 편의에 따라 다양한 변형예를 상정할 수 있을 것이다.

먼저, 본 발명의 일 실시예에 따른 상기 얼굴 검출 장치(100)는 촬상소자(미도시)를 통하여 촬영된 이미지에 얼굴이 포함된 경우 FD(Face Detection) 기술을 이용하여 촬상된 이미지 속에서 얼굴 영역을 검출하는 기능을 수행한다. 상기 FD 기술로는 종래 공지되어 있는 다양한 기술이 사용될 수 있으며, 예를 들어, 아다부스트 학습 알고리즘에 의해 학습되어 선택된 특징 패턴들을 이용하여 수행될 수 있다. 본 발명의 출원인은 이미지 속에서 얼굴을 검출하는 방법 및 장치에 대하여 출원번호 제10-2011-0114160호, 발명의 명칭 '얼굴 검출 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체'를 통하여 이미 출원한 바 있으며, 위 발명은 본 발명과 합체될 수 있다.

한편, 상기 얼굴 검출 장치(100)는 HT(Head Tracking) 기술을 이용하여 촬상된 이미지 속에서 얼굴 영역의 방향 정보를 획득할 수도 있다. 상기 HT 기술로는 종래 공지되어 있는 다양한 기술이 적용될 수 있으며, 상기 HT 기술을 이용하여 획득된 얼굴 영역의 방향 정보는 후술할 얼굴 인식 환경 통지 장치(300) 상에서 얼굴 방향 조건 판단에 사용될 수 있다.

이와 같은 얼굴 검출 장치(100)는 프리뷰 상태로 입력되는 입력 이미지에 얼굴이 등장하는지 검출하는 기능을 수행할 수 있다.

또한, 본 발명의 일 실시예에 따른 상기 얼굴 인식 장치(200)는 상기 얼굴 검출 장치(100)를 통하여 검출된 얼굴 이미지에 대한 정보(즉, 특징 정보)와 데이터베이스(미도시)에 저장된 복수의 얼굴 이미지들 각각에 대한 정보(즉, 특징 정보)를 비교하여 얼굴 인식 결과를 출력한다. 즉, 상기 얼굴 검출 장치(100)를 통하여 검출된 얼굴 이미지가 기 저장된 복수의 얼굴 이미지들 중 적어도 하나의 이미지와의 동일(또는 유사) 여부를 검출하여 특정 인물과 기 설정도 이상의 유사도를 가지는 것으로 판단되면 일치임을 나타내는 신호, 즉, 상기 특정 인물로 인식되었음을 나타내는 신호를 얼굴 인식 결과로서 출력할 수 있고, 반대로 어느 누구와 비교해도 기 설정도 이상의 유사도를 가지지 않는 것으로 판단되면 불일치임을 나타내는 신호를 얼굴 인식 결과로서 출력할 수 있다. 또한, 상기 데이터베이스에 저장된 복수의 얼굴 이미지들 각각은 식별 기호를 가질 수 있으며, 상기 얼굴 인식 장치(200)는 일치임을 나타내는 신호로서 복수의 얼굴 이미지들 중 일치하는 얼굴 이미지의 식별 기호를 출력할 수 있다. 본 발명의 출원인은 검출된 얼굴 이미지를 기 저장되어 있는 얼굴과 매칭시켜 인식하는 방법 및 장치에 대하여 출원번호 제10-2011-0105547호, 발명의 명칭 '얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체'를 통하여 이미 출원한 바 있으며, 위 발명은 본 발명과 합체될 수 있다.

마지막으로, 본 발명의 일 실시예에 따른 얼굴 인식 환경 통지 장치(300)는 상기 얼굴 검출 장치(100)를 통하여 얼굴 영역이 검출된 이미지를 입력받아 얼굴 인식 환경의 상태를 사용자에게 통지하는 기능을 수행한다. 즉, 상기 얼굴 검출 장치(100)를 통하여 검출된 얼굴 이미지와 기 저장된 복수의 얼굴 이미지들 중 적어도 하나의 이미지를 비교하여 상기 검출된 얼굴 이미지(즉, 입력 이미지)에 포함된 얼굴을 기 설정된 정확도 이상으로 인식하기 위하여 필요로 되는 조건에 관한 정보인 기 설정된 유효 촬영 조건을 상기 검출된 얼굴 이미지가 충족하는지 여부를 실시간으로 판단하고, 상기 기 설정된 유효 촬영 조건의 충족 여부에 상응하는 기 설정된 촬영 가이드 피드백을 사용자에게 제공할 수 있다. 상기 얼굴 인식 환경 통지 장치(300)로부터 얼굴 영역을 인식하는데 부적격하다는 신호가 통지되면 사용자는 부적격으로 판정된 조건을 개선하여 다시 얼굴 인식 과정을 수행할 수 있으므로 얼굴 인식의 성공 가능성이 향상될 수 있다. 상기 얼굴 인식 환경 통지 장치(300)는 아래 도 4를 참조로 하여 보다 상세히 후술한다.

도 2는 본 발명의 일 실시예에 따른 얼굴 검출 장치의 구성을 도시한 블록도이다.

도 2를 참조하면, 본 발명의 얼굴 검출 장치(100)는 얼굴 검출부(110), 및 정규화부(120)를 포함할 수 있다.

상기 얼굴 검출부(110)는 입력 이미지로부터 얼굴 영역을 검출할 수 있다. 상기 얼굴 검출부(110)는 얼굴 영역의 검출을 위하여, 눈을 검출할 수 있으며, 추가적으로, 눈썹, 코, 입 등을 검출할 수도 있다. 이와 같이 검출을 하는 이유 중에는 기 저장된 얼굴 이미지와 동일한 방향으로 입력 얼굴 이미지를 배열하기 위한 것도 포함된다.

상기 정규화부(120)는 검출된 얼굴 이미지를 미리 정해진 크기의 그레이(gray) 이미지로 정규화할 수 있다. 이와 같이 상기 정규화부(120)는 입력된 이미지가 데이터베이스(미도시)에 기 저장된 얼굴 이미지들과 다른 크기 및 배열을 가지고, 얼굴 이미지 이외의 다른 이미지를 포함하는 경우에 기 저장된 얼굴 이미지들과 동일한 크기와 배열을 가지는 얼굴 이미지를 대상으로 검출 작업을 수행하기 위한 것일 수 있다. 하지만, 이러한 정규화부(120)가 반드시 필요한 것은 아닐 수 있다.

도 3은 본 발명의 일 실시예에 따른 얼굴 인식 장치의 구성을 도시한 블록도이다.

도 3을 참조하면, 얼굴 인식 장치(200)는 특징 추출부(210), 매칭부(220), 및 결정부(230)를 포함할 수 있다.

상기 특징 추출부(210)는 얼굴 이미지로부터 얼굴의 특징 정보를 추출할 수 있다.

상기 매칭부(220)는 상기 특징 추출부(210)에 의해 획득된 특징 정보와 데이터베이스(미도시) 내의 복수의 얼굴 이미지의 특징 정보를 각각 매칭하여, 유사도가 높은 이미지를 검색하는 기능을 수행한다.

구체적으로, 매칭부(220)가 얼굴 매칭을 수행함에 있어서, 얼굴을 전체적으로 비교하는 방법이 있을 수 있고, 얼굴의 각 구성요소, 즉 눈, 코, 입 등의 구성요소를 비교하는 방법이 있을 수 있다.

후자의 경우, 매칭부(220)는 이와 같이 추출된 눈, 코, 입 등의 구성요소를 데이터베이스(미도시)에 존재하는 얼굴 이미지의 얼굴 영역에 포함된 눈, 코, 입 등의 구성요소와 비교하여 유사도가 높은 인물을 결정할 수 있을 것이다.여기서, 얼굴의 각 구성요소에 가중치를 적용한 가중치 합(weighted sum) 등을 이용하여 전체 얼굴의 유사도를 구할 수도 있을 것이다. 이 때, 각 구성요소의 가중치는 인간 인지(human perception)에서의 중요성에 기반하여 정해질 수 있다.

본 발명의 다른 실시예에 따르면, 데이터베이스(미도시) 내에 기록되어 있는 복수의 인물 이미지마다 미리 각 구성요소를 추출하여 얼굴 구성요소 데이터베이스(미도시)에 기록해 놓을 수 있으며, 이 경우 매칭부(220)에 의해 수행되는 매칭 작업이 보다 빨라질 수 있을 것이다.

도 4는 본 발명의 일 실시예에 따른 얼굴 인식 환경 통지 장치(300)의 구성을 도시한 블럭도이다.

도 4를 참조하면, 얼굴 인식 환경 통지 장치(300)는 이미지 입력부(310), 조건 판단부(320), 데이터베이스(330), 피드백 제공부(340), 및 제어부(350)를 포함하며, 상기 조건 판단부(320)는 조명 조건 판단부(321), 얼굴 크기 조건 판단부(322), 및 얼굴 방향 조건 판단부(323)를 포함할 수 있다.

상기 얼굴 인식 환경 통지 장치(300)는 상기 얼굴 검출 장치(100)로부터 얼굴 영역이 검출된 이미지를 전달받아 전달된 상기 이미지가 기 설정된 유효 촬영 조건을 충족하는지 여부를 판단하고, 상기 기 설정된 유효 촬영 조건의 충족 여부에 상응하는 기 설정된 촬영 가이드 피드백을 사용자에게 제공하는 기능을 수행할 수 있다.

이를 위하여 상기 이미지 입력부(310)는 상기 얼굴 검출 장치(100)와 상호 연동하며, 상기 얼굴 검출 장치(100)에서 FD 기술이 적용되어 얼굴 영역이 검출된 이미지를 입력받는 기능을 수행한다. 더 나아가서는, 상기 얼굴 검출 장치(100)에서 FD 기술과 HT 기술이 적용되어 얼굴 영역의 방향 정보가 포함된 이미지를 입력받는 기능을 수행할 수도 있다.

상기 조건 판단부(320)는 상기 이미지 입력부(310)를 통하여 입력된 이미지가 기 설정된 유효 촬영 조건을 충족하는지 여부를 판단하는 기능을 수행한다. 상기 기 설정된 유효 촬영 조건은 조명 조건, 얼굴 크기 조건, 얼굴 방향 조건 중 적어도 하나 이상일 수 있다. 상기 조명 조건은 조명 조건 판단부(321)에서, 얼굴 크기 조건은 얼굴 크기 조건 판단부(322)에서, 얼굴 방향 조건은 얼굴 방향 조건 판단부(323)에서 각 조건의 충족 여부를 판단하게 된다.

도 5는 본 발명의 일 실시예에 따라 입력되는 이미지가 조명 조건을 충족하는지 여부를 판단하는 방법을 설명하기 위한 도면이다.

도 5를 참조하면, 먼저 상기 조명 조건 판단부(321)는 상기 얼굴 검출 장치(100)로부터 얼굴 영역이 검출된 이미지를 전달받아 상기 이미지 상에서 얼굴 영역(A)과 얼굴 외 영역(B)을 분리하고, 각 분리된 영역의 히스토그램(Histogram)을 연산한다.

상기 히스토그램이란 디지털 영상신호에서 각 화소의 밝기를 나타내는 레벨(Level)에 따라 분류하여 정리한 것으로 영상의 화소 레벨의 분포를 의미한다. 영상이 전체적으로 어두우면 히스토그램은 어두운 값(0에 가까운 값)에 많이 분포되어 있고 반대로 전체적으로 밝으면 히스토그램은 밝은 값(255에 가까운 값)에 많이 분포되어 있다. 상기 히스토그램은 영상 내의 객체를 구성하는 요소에 대한 자세한 정보보다는 전체적인 영상의 성질을 나타내는데 적합하다. 또한 상기 히스토그램은 객체의 회전이나 이동 등과 같은 기하학적 변형에도 비교적 영향을 받지 않으며 구현 알고리즘도 간단한 장점이 있다.

도 5에 도시된 히스토그램 상에서 그래프의 x 축은 밝기를 y 축은 화소의 수를 의미하며, x 축의 값 중 임의의 임계치(t)가 설정될 수 있다. 상기 조명 조건 판단부(321)는 상기 얼굴 영역과 얼굴 외 영역에 관한 각각의 히스토그램을 이용하여 각각의 기준 비율을 계산하게 된다. 상기 기준 비율은 빗금친 부분과 같이 상기 임계치 이하의 밝기를 가지는 화소의 수를 색칠한 부분과 같이 전체 화소의 수로 나눈 비율을 의미한다.

상기 얼굴 영역에 대한 기준 비율을 제1 기준 비율이라 정의하고 얼굴 외 영역에 대한 기준 비율을 제2 기준 비율이라 정의하면, 상기 제1 기준 비율이 기 설정된 임계 비율보다 낮은 경우에는 항상 조명 조건을 충족하는 것으로 판단하고, 상기 제1 기준 비율이 기 설정된 임계 비율보다 높고, 제2 기준 비율이 상기 임계 비율보다 낮은 경우에는 백릿(backlit)으로 판단한다. 또한, 상기 제1 기준 비율과 제2 기준 비율이 상기 임계 비율보다 모두 높은 경우에는 광량이 충분하지 않은 것으로 판단한다.

또한, 상기 이미지 입력부(310)로부터 입력된 이미지의 얼굴 영역을 좌우 또는 상하와 같이 제1 영역과 제2 영역으로 분할하고 각 부분의 히스토그램 분포를 비교하여 양자의 차이가 임계값을 초과하는 경우에는 촬영 시 조광 방향이 좋지 않아 그림자가 생겼다고 판단하게 된다.

상기 얼굴 크기 조건 판단부(322)는 상기 이미지 입력부(310)를 통하여 입력되는 영상에 있어 얼굴 영역의 크기가 임계 크기 이상인지 여부를 판단하고, 얼굴 영역이 상기 임계 크기에 미치지 못하는 경우 유효 촬영 조건을 충족하지 못한 것으로 판단하는 기능을 수행한다. 이미지 상에서 얼굴 영역의 크기는 상기 얼굴 검출 장치(100) 상에서 이미 알려진 얼굴 검출알고리즘을 사용하여 계산될 수 있다. 예를 들어 상기 얼굴 영역 내에 얼굴 부분이 최소 100 픽셀 이상 존재하는 경우 유효 촬영 조건을 충족한 것으로 판단하게 된다. 또한, 역으로 상기 얼굴 크기 조건 판단부(322)는 상기 이미지 입력부(310)를 통하여 입력된 이미지 상의 얼굴 영역의 크기가 지나치게 커서 얼굴 부위 중 일부가 잘려나간 경우 유효 촬영 조건을 충족하지 못한 것으로 판단하는 기능을 수행할 수도 있다.

상기 얼굴 방향 조건 판단부(323)는 상기 얼굴 영역 내에 위치하게 되는 얼굴이 소정각도 회전하였을 경우 유효 촬영 조건을 충족하지 못한 것으로 판단하는 기능을 수행한다. 예를 들어, 얼굴이 정면에서 상하 좌우로 15도 이상 벗어나는 경우 유효 촬영 조건을 충족하지 못한 것으로 판단할 수 있다. 여기서 15도는 예시적으로 든 수치일 뿐 다양한 변형예가 가능할 수 있음은 물론이라 할 것이다. 한편, 이를 위하여 상기 얼굴 방향 조건 판단부(323)는 직접 HT을 수행하여 얼굴 방향을 판단할 수도 있고, 상기 얼굴 검출 장치(100)에서 수행된 FD 결과 또는 HT 결과 정보를 전달받아 이를 기초로 상기 얼굴 방향을 판단할 수도 있다.

상기 데이터베이스(330)는 상기 이미지 입력부(310)를 통하여 입력된 이미지 정보를 저장하고, 상기 조건 판단부(320)에서 입력된 이미지의 얼굴 인식 가능 여부를 판단하기 위한 임계치, 임계 비율, 임계 값, 임계 크기 등을 저장할 수 있다. 또한, 하기 설명하는 바와 같이 얼굴 인식에는 실패하였으나, 얼굴 인식 환경이 양호하다고 판단되는 이미지를 저장할 수 있다.

상기 피드백 제공부(340)는 상기 조건 판단부(320)에서 판단된 정보에 기초하여 얼굴 인식 환경과 관련한 촬영 가이드 피드백을 사용자에게 제공한다.

보다 상세히, 상기 조명 조건 판단부(321)는 입력된 이미지가 백릿으로 판단된 경우 광량은 충분하나 조광방향이 좋지 않으므로 얼굴방향을 회전할 것을 지시하거나 조광방향이 좋은 장소에서 촬영할 것을 지시하는 촬영 가이드 피드백을 제공할 수 있다. 또는, 얼굴 인식에 장애가 되는 환경에 대한 구체적인 정보를 단순히 제공하는 것으로 갈음할 수도 있다. 다른 예로서, 얼굴 인식에 필요한 광량이 부족한 경우 광량이 충분하지 않으므로 더 밝은 곳으로 이동할 것을 지시하는 촬영 가이드 피드백을 제공할 수 있다. 또 다른 예로서, 얼굴 영역을 분할한 제1 영역과 제2 영역의 각 히스토그램 값의 차이가 기 설정된 임계값 이상이어서 그림자가 형성되었다고 판단되는 경우 조광 방향이 좋지 않다는 것을 의미하는 촬영 가이드 피드백을 제공할 수 있다.

또한, 상기 얼굴 크기 조건 판단부(322)는 입력된 이미지의 얼굴 영역이 지나치게 작다고 판단된 경우 상기 촬상소자에 보다 근접할 것을 지시하는 촬영 가이드 피드백을 제공할 수 있으며, 반대로 입력된 이미지의 얼굴 영역이 지나치게 크다고 판단된 경우 상기 촬상소자로부터 보다 떨어질 것을 지시하는 촬영 가이드 피드백을 제공할 수 있다.

또한, 상기 얼굴 방향 조건 판단부(323)는 입력된 이미지의 얼굴 영역의 방향이 촬상소자의 정면 주시 방향에서 기 설정된 각도 이상 벌어진 경우 얼굴을 회전할 것을 지시하는 촬영 가이드 피드백을 제공할 수 있다.

이와 같이 상기 피드백 제공부(340)는 바람직한 얼굴 인식 환경을 구현하기 위한 촬영 가이드 피드백을 제공하기 위하여 텍스트 디스플레이 출력, 컬러문양 디스플레이 출력, 오디오 출력 또는 진동 중 적어도 하나의 방법으로 신호를 전달할 수 있다.

한편, 상기 얼굴 인식 장치(200)와 얼굴 인식 환경 통지 장치(300)는 상기 얼굴 검출 장치(100)로부터 각각 이미지를 따로 입력받아 각 장치의 기능을 병렬적으로 수행하며, 따라서, 얼굴 인식 시스템의 구동 결과 아래와 같은 4가지 결과가 도출될 수 있다. 첫째, 상기 얼굴 인식 장치(200)에서 얼굴 인식에 성공하고, 상기 얼굴 인식 환경 통지 장치(300)에서 유효 촬영 조건을 충족한다고 판단하는 경우, 둘째, 상기 얼굴 인식 장치(200)에서 얼굴 인식에 성공하고, 상기 얼굴 인식 환경 통지 장치(300)에서 유효 촬영 조건을 충족하지 못한다고 판단하는 경우, 셋째, 상기 얼굴 인식 장치(200)에서 얼굴 인식에 실패하고, 상기 얼굴 인식 환경 통지 장치(300)에서 유효 촬영 조건을 충족한다고 판단하는 경우, 넷째, 상기 얼굴 인식 장치(200)에서 얼굴 인식에 실패하고, 상기 얼굴 인식 환경 통지 장치(300)에서 유효 촬영 조건을 충족하지 못한다고 판단하는 경우를 들 수 있다.

이 중 첫 번째와 네 번째의 경우는 상기 얼굴 인식 장치(200)와 얼굴 인식 환경 통지 장치(300)의 구동 결과가 동일하므로 제대로 된 결과를 얻었다고 볼 수 있으며, 두 번째 경우는 상기 얼굴 인식 환경 통지 장치(300)에서는 유효 촬영 조건을 충족하지 않는다고 판단하였으나 얼굴 인식에 성공하였으므로 얼굴 인식 엔진의 성능이 아주 뛰어난 것이라고 볼 수 있거나 행운이라고 볼 수 있으며, 세 번째 경우는 얼굴 인식 환경 통지 장치(300)에서 유효 촬영 조건을 충족한다고 판단하였으나 얼굴 인식에 실패한 경우이므로, 상기 피드백 제공부(340)를 통하여 해당 이미지를 데이터베이스(330)에 얼굴 인식 비교 이미지로 등록할 것을 지시하는 추가 가이드 피드백을 제공할 수 있다(물론, 이와 같은 피드백 없이 자동적으로 이미지가 등록되도록 하여 추후 얼굴 인식률이 보다 높도록 지원할 수도 있다).

상기 제어부(350)는 이미지 입력부(310), 조건 판단부(320), 데이터베이스(330), 및 피드백 제공부(340) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 제어부(350)는 얼굴 인식 환경 통지 장치(300)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 이미지 입력부(310), 조건 판단부(320), 데이터베이스(330), 및 피드백 제공부(340)에서 각각 고유 기능을 수행하도록 제어한다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

100: 얼굴 검출 장치
110: 얼굴 검출부
120: 정규화부
200: 얼굴 인식 장치
210: 특징 추출부
220: 매칭부
230: 결정부
300: 얼굴 인식 환경 통지 장치
310: 이미지 입력부
320: 조건 판단부
321: 조명 조건 판단부
322: 얼굴 크기 조건 판단부
323: 얼굴 방향 조건 판단부
330: 데이터베이스
340: 피드백 제공부
350: 제어부

Claims

얼굴 인식 환경 통지 방법으로서,
(a) 프리뷰 상태로 입력되는 입력 이미지를 획득하는 단계;
(b) 상기 입력 이미지에 포함된 얼굴의 특징 정보를 소정의 데이터베이스에 저장된 참조 인물 이미지의 특징 정보와 비교함으로써, 상기 입력 이미지에 포함된 얼굴을 기 설정된 정확도 이상으로 인식하기 위해 필요한 조건에 관한 정보인 기 설정된 유효 촬영 조건을 상기 입력 이미지가 충족하는지 여부를 실시간으로 판단하는 단계 - 상기 기 설정된 유효 촬영 조건은 조명 조건을 포함하고, 상기 입력 이미지의 얼굴 영역에 관한 히스토그램(Histogram)을 이용하여 계산된 제1 기준 비율이 기 설정된 임계 비율 이하인 경우 상기 조명 조건을 충족하는 것임 -; 및
(c) 상기 기 설정된 유효 촬영 조건의 충족 여부에 상응하는 기 설정된 촬영 가이드 피드백을 사용자에게 제공하는 단계
를 포함하고,
상기 조명 조건을 충족하지 않는 경우에는, 상기 입력 이미지의 얼굴 외 영역에 관한 히스토그램을 이용하여 계산된 제2 기준 비율이 상기 기 설정된 임계 비율 이하인지 여부를 판단하고, 상기 제2 기준 비율은 소정의 임계치 이하의 밝기를 가지는 상기 얼굴 외 영역의 화소의 수를 상기 얼굴 외 영역의 전체 화소의 수로 나눈 비율로 계산되는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 (b) 단계에서 상기 유효 촬영 조건을 충족하는 것으로 판단되었음에도 얼굴 인식에 실패한 것으로 판단된 경우,
상기 입력 이미지를 상기 데이터베이스에 참조 인물 이미지로 새롭게 등록하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 (b) 단계에서,
상기 기 설정된 유효 촬영 조건은 얼굴 크기 조건 및 얼굴 방향 조건 중 적어도 하나 이상을 추가적으로 포함하는 것을 특징으로 하는 방법.
삭제
제1항에 있어서,
상기 제1 기준 비율은 소정의 임계치 이하의 밝기를 가지는 상기 얼굴 영역의 화소의 수를 상기 얼굴 영역의 전체 화소의 수로 나눈 비율로 계산되는 것을 특징으로 하는 방법.
삭제
제1항에 있어서,
상기 제2 기준 비율이 상기 기 설정된 임계 비율 이하인 경우,
상기 (c) 단계에서,
광량은 충분하나 조명이 백릿(backlit)이라는 것을 나타내는 촬영 가이드 피드백을 제공하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 제2 기준 비율이 상기 기 설정된 임계 비율을 초과하는 경우,
상기 (c) 단계에서,
광량이 충분하지 않다는 것을 나타내는 촬영 가이드 피드백을 제공하는 것을 특징으로 하는 방법.
제3항에 있어서,
상기 입력 이미지의 얼굴 영역을 상하 또는 좌우로 분할하여 생성된 제1 영역과 제2 영역 간의 각 히스토그램 값의 차이가 기 설정된 임계값 이하인지 여부를 판단함으로써, 상기 조명 조건이 충족하는지 여부를 판단하는 것을 특징으로 하는 방법.
제9항에 있어서,
상기 히스토그램 값의 차이가 상기 기 설정된 임계값을 초과하는 경우,
상기 (c) 단계에서,
조광 방향이 좋지 않다는 것을 나타내는 촬영 가이드 피드백을 제공하는 것을 특징으로 하는 방법.
제3항에 있어서,
상기 얼굴 크기 조건은 상기 입력 이미지 상의 얼굴 영역의 크기가 기 설정된 임계 크기 이상인 경우 충족하는 것을 특징으로 하는 방법.
제11항에 있어서,
상기 입력 이미지 상의 얼굴 영역의 크기는 얼굴 검출 장치에서 FD(Face Detection) 기술을 이용하여 획득된 것을 특징으로 하는 방법.
제3항에 있어서,
상기 얼굴 방향 조건은 상기 입력 이미지 상의 얼굴의 주시 방향이 촬상 소자의 정면 주시 방향에서 기 설정된 각도 이내로 벌어진 경우 충족하는 것을 특징으로 하는 방법.
제13항에 있어서,
상기 입력 이미지 상의 얼굴의 주시 방향은 HT(Head Tracking) 기술을 이용하여 획득된 것을 특징으로 하는 방법.
제1항에 있어서,
상기 (c) 단계에서,
상기 촬영 가이드 피드백은 텍스트 디스플레이 출력, 컬러문양 디스플레이 출력, 오디오 출력 또는 진동 중 적어도 하나로 제공되는 것을 특징으로 하는 방법.
얼굴 인식 환경 통지 장치로서,
프리뷰 상태로 입력되는 입력 이미지를 획득하는 이미지 입력부;
상기 입력 이미지에 포함된 얼굴의 특징 정보를 소정의 데이터베이스에 저장된 참조 인물 이미지의 특징 정보와 비교함으로써, 상기 입력 이미지에 포함된 얼굴을 기 설정된 정확도 이상으로 인식하기 위해 필요한 조건에 관한 정보인 기 설정된 유효 촬영 조건을 상기 입력 이미지가 충족하는지 여부를 실시간으로 판단하는 조건 판단부; 및
상기 기 설정된 유효 촬영 조건의 충족 여부에 상응하는 기 설정된 촬영 가이드 피드백을 사용자에게 제공하는 피드백 제공부를 포함하고,
상기 조건 판단부는,
상기 이미지 입력부에서 획득된 상기 입력 이미지의 얼굴 영역에 관한 히스토그램(Histogram)을 이용하여 계산된 제1 기준 비율이 기 설정된 임계 비율 이하인 경우 조명조건을 충족하는 것으로 판단하고,
상기 조명 조건을 충족하지 않는다고 판단하는 경우, 상기 입력 이미지의 얼굴 외 영역에 관한 히스토그램을 이용하여 계산된 제2 기준 비율이 상기 기 설정된 임계 비율 이하인지 여부를 판단하는 조명 조건 판단부를 포함하며,
상기 제2 기준 비율은 소정의 임계치 이하의 밝기를 가지는 상기 얼굴 외 영역의 화소의 수를 상기 얼굴 외 영역의 전체 화소의 수로 나눈 비율로 계산되는 것을 특징으로 하는 장치.
제16항에 있어서,
상기 조건 판단부는,
상기 유효 촬영 조건을 충족하는 것으로 판단하였음에도 얼굴 인식에 실패한 것으로 판단된 경우, 상기 입력 이미지를 상기 데이터베이스에 참조 인물 이미지로 새롭게 등록하는 것을 특징으로 하는 장치.
제16항에 있어서,
상기 조건 판단부는,
얼굴 크기 조건 판단부 및 얼굴 방향 조건 판단부 중 적어도 하나를 추가적으로 포함하는 것을 특징으로 하는 장치.
삭제
제16항에 있어서,
상기 제1 기준 비율은 소정의 임계치 이하의 밝기를 가지는 상기 얼굴 영역의 화소의 수를 상기 얼굴 영역의 전체 화소의 수로 나눈 비율로 계산되는 것을 특징으로 하는 장치.
삭제
제16항에 있어서,
상기 제2 기준 비율이 상기 기 설정된 임계 비율 이하인 경우,
상기 피드백 제공부는 광량은 충분하나 조명이 백릿(backlit)이라는 것을 나타내는 촬영 가이드 피드백을 제공하는 것을 특징으로 하는 장치.
제16항에 있어서,
상기 제2 기준 비율이 상기 기 설정된 임계 비율을 초과하는 경우,
상기 피드백 제공부는 광량이 충분하지 않다는 것을 나타내는 촬영 가이드 피드백을 제공하는 것을 특징으로 하는 장치.
제18항에 있어서,
상기 조명 조건 판단부는,
상기 이미지 입력부에서 획득된 상기 입력 이미지의 얼굴 영역을 상하 또는 좌우로 분할하여 생성된 제1 영역과 제2 영역 간의 각 히스토그램 값의 차이가 기 설정된 임계값 이하인지 여부를 판단하는 것을 특징으로 하는 장치.
제24항에 있어서,
상기 히스토그램 값의 차이가 상기 기 설정된 임계값을 초과하는 경우,
상기 피드백 제공부는 조광 방향이 좋지 않다는 것을 나타내는 촬영 가이드 피드백을 제공하는 것을 특징으로 하는 장치.
제18항에 있어서,
상기 얼굴 크기 조건 판단부는
상기 이미지 입력부에서 획득된 상기 입력 이미지 상의 얼굴 영역의 크기가 기 설정된 임계 크기 이상인 경우 조건을 충족하는 것으로 판단하는 것을 특징으로 하는 장치.
제26항에 있어서,
상기 입력 이미지 상의 얼굴 영역의 크기는 얼굴 검출 장치에서 FD 기술을 이용하여 획득된 것을 특징으로 하는 장치.
제18항에 있어서,
상기 얼굴 방향 조건 판단부는,
상기 이미지 입력부에서 획득된 상기 입력 이미지 상의 얼굴의 주시 방향이 촬상소자의 정면 주시 방향에서 기 설정된 각도 이내로 벌어진 경우 얼굴 방향 조건을 충족하는 것으로 판단하는 것을 특징으로 하는 장치.
제28항에 있어서,
상기 입력 이미지 상의 얼굴의 주시 방향은 HT 기술을 이용하여 획득된 것을 특징으로 하는 장치.
제16항에 있어서,
상기 피드백 제공부에서 출력되는 상기 촬영 가이드 피드백은 텍스트 디스플레이 출력, 컬러문양 디스플레이 출력, 오디오 출력 또는 진동 중 적어도 하나로 제공되는 것을 특징으로 하는 장치.
제1항 내지 제3항, 제5항, 및 제7항 내지 제15항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.