KR20110014450A

KR20110014450A - 얼굴 인식률 개선 장치 및 방법

Info

Publication number: KR20110014450A
Application number: KR1020090072120A
Authority: KR
Inventors: 이승윤; 이이삭
Original assignee: 삼성전자주식회사
Priority date: 2009-08-05
Filing date: 2009-08-05
Publication date: 2011-02-11
Also published as: KR101661211B1; US20110033092A1; US9311522B2

Abstract

본 발명은 디지털 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 얼굴 인식률을 개선하여 영상 촬영 성공률을 높일 수 있는 얼굴 인식률 개선 장치 및 방법에 관한 것이다. 얼굴 인식률 개선 장치는 라이브뷰 영상과 다른 크기의 제1 영상을 생성하고, 상기 제1 영상으로부터 검출된 얼굴의 크기가 기준 크기보다 작은 경우, 상기 제1 영상에서 검출된 얼굴 정보를 상기 라이브뷰 영상에 매핑하여 스마일/블링크 인식을 수행하는 디지털 신호 처리수단을 포함한다.

리사이즈 영상, 얼굴 검출, 스마일, 블링크

Description

얼굴 인식률 개선 장치 및 방법{Apparatus and method for improving face recognition ratio}

본 발명은 디지털 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 얼굴 인식률을 개선하여 영상 촬영 성공률을 높일 수 있는 얼굴 인식률 개선 장치 및 방법에 관한 것이다.

일반적인 디지털 영상 처리 장치에서는 웃으면 자동으로 영상이 촬영되는 스마일샷, 영상 촬영 시에 블링크(blink, 눈깜빡임)을 감지하여 눈이 깜빡이지 않을 때 자동으로 영상이 촬영되는 블링크샷을 기본 기능으로 자리매김하고 있다.

디지털 영상 처리 장치에 대해, 사용자는 보다 넓은 화각을 요구하며, 최근 출시 되는 디지털 영상 처리 장치에는 고성능 줌렌즈 보다 광각렌즈가 탑재되고 있다. 이로 인하여 동일 거리의 피사체는, 도 4a에 도시된 바와 같이 광각렌즈를 사용하는 디지털 영상 처리 장치의 영상이, 도 4b에 도시된 바와 같이 일반렌즈를 사용하는 디지털 영상 처리 장치의 영상보다, 더 작게 보여진다.

이러한 광각렌즈가 탑재된 디지털 영상 처리기의 경우, 영상이 작게 보여지기 때문에 작은 얼굴에 대한 얼굴인식률이 저하되고 스마일 및/또는 블링크 검출이 어려운 문제점이 있다.

본 발명이 해결하고자 하는 기술적인 과제는 얼굴 인식률을 개선하고, 스마일 및/또는 블링크 검출을 용이하게 하여 영상 촬영 성공률을 높일 수 있는 얼굴 인식률 개선 장치 및 방법을 제공하는데 있다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 제1 실시 예에 따른 얼굴 인식률 개선 장치는 라이브뷰 영상과 다른 크기의 제1 영상을 생성하고, 상기 제1 영상으로부터 검출된 얼굴의 크기가 기준 크기보다 작은 경우, 상기 제1 영상에서 검출된 얼굴 정보를 상기 라이브뷰 영상에 매핑하여 스마일/블링크 인식을 수행하는 디지털 신호 처리수단을 포함하는 것이 바람직하다.

본 발명에 있어서, 상기 디지털 신호 처리수단은 상기 라이브뷰 영상 보다 더 작은 크기의 제1 영상으로 리사이즈 하는 리사이즈부; 상기 제1 영상으로부터 얼굴을 검출하고, 상기 검출된 얼굴의 좌표 및 상기 얼굴의 특징점 좌표를 산출하는 얼굴 검출부; 및 상기 제1 영상으로부터 스마일/블링크 검출이 불가능한 경우, 상기 제1 영상의 얼굴 정보를 상기 라이브뷰 영상에 매핑한 후, 상기 라이브뷰 영상으로부터 스마일/블링크 인식을 수행하는 제어부를 포함할 수 있다.

본 발명에 있어서, 적어도 하나 이상의 얼굴 검출 정보, 스마일 검출 정보 및 블링크 검출 정보를 저장하는 데이터베이스를 더 포함할 수 있다.

본 발명에 있어서, 상기 제어부는 상기 제1 영상의 얼굴 및 특징점 좌표가 매핑된 상기 라이브뷰 영상의 얼굴을 상기 데이터베이스 저장된 스마일/블링크 검출 정보와 비교하여 스마일/블링크 인식을 수행할 수 있다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 제2 실시 예에 따른 얼굴 인식률 개선 장치는 라이브뷰 영상과 다른 크기를 갖는 적어도 두 개 이상의 영상을 생성하고, 생성된 임의의 한 영상으로부터 검출된 얼굴의 크기가 기준크기 보다 작은 경우, 생성된 나머지 한 영상으로부터 검출된 얼굴을 표시하여 스마일/블링크 인식을 수행하는 디지털 신호 처리수단을 포함하는 것이 바람직하다.

본 발명에 있어서, 상기 디지털 신호 처리수단은 상기 생성된 임의의 한 영상으로부터 검출된 얼굴의 크기가 기준크기 이상인 경우, 상기 생성된 임의의 한 영상으로부터 검출된 얼굴을 표시하여 스마일/블링크 인식을 수행할 수 있다.

본 발명에 있어서, 상기 디지털 신호 처리수단은 상기 라이브뷰 영상 보다 더 작은 크기의 제1 영상으로, 상기 제1 영상보다 더 작은 크기의 제2 영상으로 리사이즈 하는 리사이즈부; 상기 영상들로부터 얼굴을 검출하고, 상기 검출된 얼굴의 좌표 및 상기 얼굴의 특징점 좌표를 산출하는 얼굴 검출부; 및 상기 제2 영상으로부터 검출된 얼굴의 크기가 기준크기 보다 작은 경우, 상기 제1 영상으로부터 검출된 얼굴을 상기 라이브뷰 영상 내에 표시하고, 제2 영상으로부터 검출된 얼굴의 크기가 기준 크기 한 이상인 경우 상기 제2 영상으로부터 검출된 얼굴을 상기 라이브뷰 영상 내에 표시한 후 스마일/블링크 인식을 수행하는 제어부를 포함할 수 있다.

본 발명에 있어서, 상기 제어부는 상기 제1 또는 제2 영상으로부터 검출된 얼굴을 상기 라이브뷰 영상의 얼굴에 덮어쓰기 하여 표시할 수 있다.

본 발명에 있어서, 상기 제어부는 상기 제1 또는 제2 영상으로부터 검출된 얼굴을 상기 라이브뷰 영상의 임의의 영역에 표시할 수 있다.

본 발명에 있어서, 상기 제어부는 상기 라이브뷰 영상에 표시된 상기 제1 또는 제2 영상의 얼굴 및 특징점 좌표를 상기 데이터베이스 저장된 스마일/블링크 검출 정보와 비교하여 스마일/블링크 인식을 수행할 수 있다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 제1 실시 예에 따른 얼굴 인식률 개선 방법은 (a) 라이브뷰 영상과 다른 크기의 제1 영상을 생성하는 단계; 및 (b) 상기 제1 영상으로부터 검출된 얼굴의 크기가 기준 크기보다 작은 경우, 상기 제1 영상에서 검출된 얼굴 정보를 상기 라이브뷰 영상에 매핑하여 스마일/블링크 인식을 수행하는 단계를 포함하는 것이 바람직하다.

본 발명에 있어서, 상기 (b)단계에서 상기 제1 영상의 얼굴 및 특징점 좌표가 매핑된 상기 라이브뷰 영상의 얼굴을 기 저장된 스마일/블링크 검출 정보와 비교하여 스마일/블링크 인식을 수행할 수 있다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 제2 실시 예에 따른 얼굴 인식률 개선 방법은 (a) 라이브뷰 영상과 다른 크기를 갖는 적어도 둘 이상의 영상을 생성하는 단계; (b) 상기 생성된 임의의 한 영상으로부터 검출된 얼굴의 크기가 기준크기 보다 작은 경우, 상기 생성된 나머지 한 영상으로부터 검출된 얼굴을 표시하여 스마일/블링크 인식을 수행하는 단계; 및 (c) 상기 생성된 임의의 한 영상으로부터 검출된 얼굴의 크기가 기준크기 이상인 경우, 상기 생성된 임의의 한 영상으로부터 검출된 얼굴을 표시하여 스마일/블링크 인식을 수행하는 단계를 포함하는 것이 바람직하다.

본 발명에 있어서, 상기 생성된 영상으로부터 검출된 얼굴을 상기 라이브뷰 영상의 얼굴에 덮어쓰기 하여 표시할 수 있다.

본 발명에 있어서, 상기 생성된 영상으로부터 검출된 얼굴을 상기 라이브뷰 영상의 임의의 영역에 표시할 수 있다.

본 발명에 있어서, 상기 라이브뷰 영상에 표시된 상기 생성된 영상의 얼굴 및 특징점 좌표를 기 저장된 스마일/블링크 검출 정보와 비교하여 스마일/블링크 인식을 수행할 수 있다.

상술한 바와 같이 본 발명에 따르면, 얼굴 인식률을 개선함으로써, 스마일 및/또는 블링크 검출을 용이하게 하여 영상 촬영 성공률을 높일 수 있다.

도 1은 본 발명에 따른 얼굴 인식률 개선 장치의 구성을 보이는 블록도 이다. 특히 도 1은 얼굴 인식률을 개선하는 디지털 영상 처리기의 일종으로서 디지털 촬영 장치를 개략적으로 도시하고 있다. 물론 본 발명이 도 1에 도시된 것과 같은 디지털 영상 처리기에 한정되는 것은 아니며, PDA(personal digital assistants), PMP(personal multimedia player) 등과 같은 이미지 처리장치에도 본 발명이 적용될 수 있음은 물론이다. 이는 후술하는 실시 예들 및 그 변형 예들에 서도 마찬가지이다.

디지털 영상 처리 장치의 전체 동작은 CPU(100)에 의해 통괄된다. 그리고 디지털 영상 처리 장치에는 사용자로부터의 전기적 신호를 발생시키는 키 등을 포함하는 조작부(200)가 구비된다. 이 조작부(200)로부터의 전기적 신호는 CPU(100)에 전달되어, CPU(100)가 전기적 신호에 따라 디지털 영상 처리 장치를 제어할 수 있도록 한다.

촬영 모드일 경우, 사용자로부터의 전기적 신호가 CPU(100)에 인가됨에 따라 CPU(100)는 그 신호를 파악하여 렌즈 구동부(11), 조리개 구동부(21) 및 촬상소자 제어부(31)를 제어하며, 이에 따라 각각 렌즈(10)의 위치, 조리개(20)의 개방 정도 및 촬상소자(30)의 감도 등이 제어된다. 촬상소자(30)는 입력된 광으로부터 데이터를 생성하며, 아날로그/디지털 변환부(40)는 촬상소자(30)에서 출력되는 아날로그 데이터를 디지털 데이터로 변환한다. 물론 촬상소자(30)의 특성에 따라 아날로그/디지털 변환부(40)가 필요 없는 경우도 있을 수 있다.

촬상소자(30)로부터의 데이터는 메모리(60)를 거쳐 디지털 신호 처리부(50)에 입력될 수도 있고, 메모리(60)를 거치지 않고 디지털 신호 처리부(50)에 입력될 수도 있으며, 필요에 따라 CPU(100)에도 입력될 수도 있다. 여기서 메모리(60)는 ROM 또는 RAM 등을 포함하는 개념이다. 디지털 신호 처리부(50)는 필요에 따라 감마(gamma) 보정, 화이트 밸런스 변경 등의 디지털 신호 처리를 할 수 있다. 또한, 도 2에 도시된 것과 같이, 디지털 신호 처리부(50)는 리사이즈부(51), 얼굴 검출부(52), 데이터베이스(53), 제어부(54) 및 제1-제3 버퍼(55, 56, 57) 등과 같은 구 성요소들을 구비할 수도 있다. 리사이즈부(51), 얼굴 검출부(52), 데이터베이스(53), 제어부(54) 및 제1-제3 버퍼(55, 56, 57) 등은 디지털 신호 처리부(50) 내의 구성요소가 아닌 별도의 구성요소일 수도 있는 등 다양한 변형이 가능하다. 즉, 본 실시 예에 따른 얼굴 인식률을 개선하는 디지털 영상 처리 장치가 리사이즈부(51), 얼굴 검출부(52), 데이터베이스(53), 제어부(54) 및 제1-제3 버퍼(55, 56, 57)를 구비하면 족하다. 리사이즈부(51), 얼굴 검출부(52), 데이터베이스(53), 제어부(54) 및 제1-제3 버퍼(55, 56, 57)의 작동에 대해서는 후술한다.

디지털 신호 처리부(50)로부터 출력된 데이터로부터의 이미지는 메모리(60)를 통하여 또는 직접 디스플레이 제어부(81)에 전달된다. 디스플레이 제어부(81)는 디스플레이부(80)를 제어하여 디스플레이부(80)에 영상을 디스플레이한다. 본 발명에서 디스플레이부(80)는 터치스크린일 수 있다. 그리고 디지털 신호 처리부(50)로부터 출력된 데이터는 메모리(60)를 통하여 또는 직접 저장/판독 제어부(71)에 입력되는데, 이 저장/판독 제어부(71)는 사용자로부터의 신호에 따라 또는 자동으로 이미지 데이터를 저장매체(70)에 저장한다. 물론 저장/판독 제어부(71)는 저장매체(70)에 저장된 영상 파일로부터 데이터를 판독하고, 이를 메모리(60)를 통해 또는 다른 경로를 통해 디스플레이 제어부(81)에 입력하여 디스플레이부(80)에 영상이 디스플레이 되도록 할 수도 있다. 저장매체(70)는 착탈가능한 것일 수도 있고 디지털 영상 처리 장치에 영구 장착된 것일 수 있다.

이하에서는 도 2를 참조하여 제1 실시 예에 따른 디지털 신호 처리부(50)의 기능을 설명한다.

제1 실시 예에 따른 디지털 신호 처리부(50)는 라이브뷰 영상과 다른 크기의 제1 영상을 생성하고, 상기 제1 영상으로부터 검출된 얼굴의 크기가 기준 크기보다 작은 경우, 상기 제1 영상에서 검출된 얼굴 정보를 상기 라이브뷰 영상에 매핑하여 스마일/블링크 인식을 수행하며, 리사이즈부(51), 얼굴 검출부(53), 데이터베이스(53), 제어부(54) 및 저장부로써의 제1 버퍼(55)를 포함한다.

디스플레이부(80)에 표시되는 라이브뷰 영상은 예를 들어, 960×240의 크기를 갖는다. 이러한 라이브뷰 영상은 33ms 마다 업데이트 되어 디스플레이부(80)에 표시된다.

리사이즈부(51)는 디스플레이부(80)에 표시되는 라이브뷰 영상의 크기를 더 작은 사이즈로 변환하여 제1 영상을 생성한 후 제1 버퍼(55)에 저장하는데, 예를 들어, 리사이즈된 제1 영상의 크기는 320×240일 수 있다. 리사이즈된 제1 영상과 라이브뷰 영상의 크기를 비교하면, 1:3 임을 알 수 있다.

얼굴 검출부(52)는 제1 버퍼(55)에 저장된 제1 영상으로부터 얼굴을 검출하고, 얼굴 검출 좌표를 산출한다. 얼굴 검출부(52)는 특징 기반 얼굴 검출 방법으로 얼굴의 불변하는 특징(눈, 코, 입과 같은 얼굴 요소, 질감, 살색)들을 찾고, 얼굴의 특징점 좌표를 산출한다. 얼굴의 여러 가지 특징들 중에서 특히 살색은 얼굴의 이동, 회전, 크기 변화 등에 덜 민감한 특성을 가지므로 가장 많이 사용되고 있는 방법이다. 그 이외에 얼굴 검출부(52)는 얼굴 형판(template) 기반 검출 방법은 얼굴에 대한 몇 가지의 표준 패턴을 만든 뒤에 패턴을 얼굴 검출을 위해 저장한다. 그런 뒤에 패턴들은 영상의 탐색 윈도우 안에서 영상과 하나씩 비교되어 얼굴 이 검출된다. 얼굴 검출의 방법으로 최근에 많이 사용되는 SVM(support vector machine)에 기반을 둔 얼굴 검출방법이 있다. SVM 기반 방법들은 영상으로부터 각기 다른 영역들을 서브 샘플링(sub-sampling)하여 학습기를 통해 얼굴과 비 얼굴(얼굴이 아닌 부분)에 대해 학습시킨 뒤 입력 영상에서 얼굴을 찾도록 하는 방법이다. 이러한 얼굴 검출부(52)의 얼굴 정보 검출에 관한 내용은 이미 공지된 내용이 많으므로 상세한 설명은 생략한다.

데이터베이스(53)에는 적어도 하나 이상의 얼굴 검출 정보, 스마일 검출 정보 및 블링크 검출 정보를 저장되어 있다. 얼굴 검출 정보로 다양한 얼굴 검출 크기들이 저장되어 있으며, 가장 작은 얼굴 검출 크기로 예를 들어, 14×14가 저장되어 있으며, 검출된 얼굴 크기가 이보다 작은 경우 얼굴 검출에 실패한다. 스마일/블링크 검출 정보로 다양한 스마일 검출 크기들이 저장되어 있는데, 가장 작은 스마일/블링크 검출 크기로 예를 들어, 20×20가 저장되어 있으며, 검출된 스마일/블링크 크기가 이보다 작은 경우 스마일/블링크 검출에 실패한다. 또한 데이터베이스(53)에는 스마일 정보로써 스마일 인식을 위한 다양한 종류의 웃은 입의 영상이 저장되어 있으며, 블링크 정보로써 블링크 인식을 위한 다양한 종류의 감은 눈의 영상이 저장되어 있다.

제어부(54)는 제1 영상으로부터 검출된 얼굴 크기가 기준 얼굴 크기보다 작은 경우, 리사이즈된 제1 영상의 얼굴 좌표를 라이브뷰 영상에 매핑하고, 라이브뷰 영상으로부터 스마일/블링크 인식을 수행한다. 여기서 기준 얼굴 크기는 최소의 스마일/블링크 검출 크기 예를 들어, 40×40 일 수 있다.

제어부(54)는 리사이즈된 제1 영상으로부터 검출된 얼굴 크기가 최소의 얼굴 검출크기 예를 들어, 14×14 이하인 경우 얼굴 검출 조차 실패한다. 또한 제어부(54)는 리사이즈된 제1 영상으로부터 검출된 얼굴 크기가 14×14 이상이더라도, 스마일/블링크 검출을 위해 리사이즈된 제1 영상으로부터 검출된 얼굴 사이즈가 20×20 이하인 경우, 스마일/블링크를 검출할 수 없다.

따라서, 이와 같이 리사이즈된 제1 영상으로부터 검출된 얼굴 크기가 기준 크기 보다 작은 경우, 제어부(54)는 리사이즈된 제1 영상의 얼굴 좌표를 라이브뷰 영상에 매핑하여 산출된 라이브뷰 영상의 얼굴로부터 스마일/블링크 인식을 수행한다. 리사이즈된 제1 영상과 라이브뷰 영상의 크기를 비교하면, 1:3 임을 알 수 있으므로, 이로부터 리사이즈된 제1 영상의 얼굴 좌표가 예를 들어 (10, 10)에서 시작한다고 가정하면, 라이브뷰 영상으로 얼굴 좌표를 옮기면 (30, 10)이 된다. 따라서 라이브뷰 영상으로부터 얼굴 좌표를 찾을 수 있고, 이를 이용하여 라이브뷰 영상의 얼굴에서 스마일/블링크 인식을 수행한다.

제어부(54)는 제1 영상의 얼굴 특징점 좌표 중 입에 해당하는 영상 좌표만을 만을 라이브뷰 영상에 맞게 계산하여 해당 부분의 데이터 데이터베이스(53)에 저장된 다양한 종류의 웃는 입 영상과 비교하여 스마일 인식을 수행한다.

또한 제어부(54)는 제1 영상의 얼굴 특징점 좌표 중 눈에 해당하는 영상 좌표만을 만을 라이브뷰 영상에 맞게 계산하여 해당 부분의 데이터 데이터베이스(53)에 저장된 다양한 종류의 감은 눈 영상과 비교하여 블링크 인식을 수행한다.

다음에 도 3을 참조하여 제2 실시 예에 따른 디지털 신호 처리부(50)의 기능 을 설명한다.

제2 실시 예에 따른 디지털 신호 처리부(50)는 라이브뷰 영상과 다른 크기를 갖는 적어도 두 개 이상의 영상을 생성하고, 생성된 임의의 한 영상으로부터 검출된 얼굴의 크기가 기준크기 보다 작은 경우, 생성된 나머지 한 영상으로부터 검출된 얼굴을 표시하여 스마일/블링크 인식을 수행하며, 리사이즈부(51), 얼굴 검출부(53), 데이터베이스(53), 제어부(54), 저장부로써의 제2 버퍼(56) 및 제3 버퍼(57)를 포함한다. 본 발명에서 버퍼는 두 개로 한정되지 않으며, 신호처리 속도가 다운 되지 않는 범위 내에서 추가가 가능하다.

디스플레이부(80)에 표시되는 라이브뷰 영상은 예를 들어, 960×240의 크기를 갖는다.

리사이즈부(51)는 디스플레이부(80)에 표시되는 라이브뷰 영상의 크기를 더 작은 사이즈로 변환하여 제1 및 제2 영상을 생성한 후 각각 제1 버퍼(56) 및 제2 버퍼(57)에 저장하는데, 예를 들어, 리사이즈된 제1 영상의 크기는 640×240일 수 있고, 리사이즈된 제2 영상의 크기는 320×240일 수 있다. 리사이즈된 제1 영상과 라이브뷰 영상의 크기를 비교하면, 1:2 임을 알 수 있고, 리사이즈된 제1 영상과 라이브뷰 영상의 크기를 비교하면, 1:3 임을 알 수 있다.

얼굴 검출부(52)는 제2 및 제3 버퍼(56, 57)에 저장된 제1 및 제2 영상으로부터 얼굴을 검출하고, 얼굴 검출 좌표를 산출한다. 또한 얼굴 검출부(52)는 특징 기반 얼굴 검출 방법으로 얼굴의 불변하는 특징(눈, 코, 입과 같은 얼굴 요소, 질감, 살색)들을 찾고, 얼굴의 특징점 좌표를 산출한다.

제어부(54)는 제2 영상으로부터 검출된 얼굴 크기가 기준 얼굴 크기보다 작은 경우, 제2 버퍼(56)에 저장된 제1 영상으로부터 얼굴을 검출하여 디스플레이부(80)에 표시한다. 여기서 기준 얼굴 크기는 최소의 스마일/블링크 검출 크기 예를 들어, 40×40 일 수 있다. 제어부(54)는 제2 영상으로부터 검출된 얼굴 크기가 최소의 얼굴 검출크기 예를 들어, 14×14 이하인 경우 얼굴 검출 조차 실패한다. 또한 제어부(54)는 제2 영상으로부터 검출된 얼굴 크기가 14×14 이상이더라도, 스마일/블링크 검출을 위해 제2 영상으로부터 검출된 얼굴 사이즈가 20×20 이하인 경우, 스마일/블링크를 검출할 수 없다.

따라서, 이와 같이 제2 영상으로부터 검출된 얼굴 크기가 기준 크기 보다 작은 경우, 제어부(54)는 제1 영상으로부터 검출된 얼굴을 디스플레이부(80)에 표시 한다. 제1 영상과 제2 영상의 크기를 비교하면, 1:2 임을 알 수 있으므로, 이로부터 제2 영상의 얼굴 좌표가 예를 들어 (10, 10)에서 시작한다고 가정하면, 제1 영상으로 얼굴 좌표를 옮기면 (20, 10)이 된다.

제어부(54)는 제1 영상으로부터 검출된 얼굴을 디스플레이부(80)에 표시하는데, 도 4a에 도시된 바와 같이 검출된 얼굴을 라이브뷰 영상 내의 임의의 영역에 디스플레이 할 수 있거나, 도 4b에 도시된 바와 같이 검출된 얼굴을 라이브뷰 영상 내의 얼굴에 덮어쓰기 하여 디스플레이 할 수 있다. 이와 같이 라이브뷰 영상 내에서 얼굴의 크기가 더 커져서 스마일 및/또는 블링크 검출을 용이하게 할 수 있다.

제어부(54)는 제1 영상의 얼굴 특징점 좌표 중 입에 해당하는 영상 좌표를 데이터베이스(53)에 저장된 다양한 종류의 웃는 입 영상과 비교하여 스마일 인식을 수행한다. 또한 제어부(54)는 제1 영상의 얼굴 특징점 좌표 중 눈에 해당하는 영상 좌표를 데이터 데이터베이스(53)에 저장된 다양한 종류의 감은 눈 영상과 비교하여 블링크 인식을 수행한다.

제어부(54)는 제2 영상으로부터 검출된 얼굴 크기가 기준 얼굴 크기 이상인 경우, 제2 영상으로부터 얼굴을 검출하여 디스플레이부(80)에 표시한다. 제어부(54)는 제2 영상의 얼굴 특징점 좌표 중 입에 해당하는 영상 좌표를 데이터베이스(53)에 저장된 다양한 종류의 웃는 입 영상과 비교하여 스마일 인식을 수행한다. 또한 제어부(54)는 제2 영상의 얼굴 특징점 좌표 중 눈에 해당하는 영상 좌표를 데이터 데이터베이스(53)에 저장된 다양한 종류의 감은 눈 영상과 비교하여 블링크 인식을 수행한다.

이하, 도 5 및 도 6을 참조하여 본 발명에 따른 얼굴 인식률 개선 방법을 상세히 설명한다. 본 발명에 따른 얼굴 인식률 개선 방법은 도 1에 도시된 바와 같은 디지털 영상 처리 장치의 내부에서 수행될 수 있는데, 실시 예에 따라 동작 방법의 주 알고리즘은 기기 내의 주변 구성 요소들의 도움을 받아 디지털 신호 처리부(50) 내부에서 수행될 수 있다.

먼저 도 5를 참조하여 본 발명의 제1 실시 예에 따른 얼굴 인식률 개선 방법을 설명한다.

디지털 영상 처리 장치가 스마일/블링크 인식 모드로 진입하면(501단계), 디지털 신호 처리부(50)는 디스플레이부(80)에 예를 들어, 960×240 크기의 라이브뷰 영상을 디스플레이 한다(503단계).

라이브뷰 영상이 디스플레이 되면, 디지털 신호 처리부(50)는 라이브뷰 영상을 리사이즈 하여 FD(face detection)용 제1 영상을 생성하는데, 예를 들어 960×240 크기의 라이브뷰 영상을 리사이즈하여 320×240 크기의 제1 영상을 생성한다(505단계).

FD용 제1 영상이 리사이즈 되면, 디지털 신호 처리부(50)는 FD용 제1 영상으로부터 얼굴을 검출한다(507단계). FD용 제1 영상을 이용한 얼굴 검출의 최소 크기는 예를 들어, 14×14일 수 있다.

이어서, 디지털 신호 처리부(50)는 FD용 제1 영상으로부터 검출한 얼굴 크기가 기준 크기보다 작은가를 판단한다(509단계). 예를 들어, 디지털 신호 처리 부(50) 스마일/블링크 검출의 기준 크기로 40×40를 설정할 수 있으며, 40×40 이하가되면 스마일/블링크 검출이 불가능하게 된다.

판단결과, FD용 제1 영상이 기준 크기 보다 작아 스마일/블링크 검출이 불가능한 경우, FD용 제1 영상에서 찾은 얼굴 좌표를 라이브뷰 영상에 매핑하고, 라이브뷰 영상으로부터 스마일/블링크 인식을 수행한다(511단계).

판단결과, FD용 제1 영상이 기준 크기 이상인 경우 디지털 신호 처리부(50)는 FD용 제1 영상에서 스마일/블링크 인식을 수행한다(513단계).

다음에 도 6을 참조하여 본 발명의 제2 실시 예에 따른 얼굴 인식률 개선 방법을 설명한다.

디지털 영상 처리 장치가 스마일/블링크 인식 모드로 진입하면(601단계), 디지털 신호 처리부(50)는 디스플레이부(80)에 예를 들어, 960×240 크기의 라이브뷰 영상을 디스플레이 한다(603단계).

라이브뷰 영상이 디스플레이 되면, 디지털 신호 처리부(50)는 라이브뷰 영상을 리사이즈 하여 제1 영상을 생성하는데, 예를 들어 960×240 크기의 라이브뷰 영상을 리사이즈하여 640×240 크기의 제1 영상을 생성한다(605단계).

제1 영상 생성이 완료되면, 디지털 신호 처리부(50)는 제1 영상을 리사이즈 하여 제2 영상을 생성하는데, 예를 들어 640×240 크기의 제1 영상을 리사이즈 하여 320×240 크기의 제2 영상을 생성한다(607단계).

제1 및 제2 영상 생성이 완료되면, 디지털 신호 처리부(50)는 제2 영상으로부터 얼굴을 검출한다(609단계). 제2 영상을 이용한 얼굴 검출의 최소 크기는 예 를 들어, 14×14일 수 있다.

이어서, 디지털 신호 처리부(50)는 제2 영상으로부터 검출한 얼굴 크기가 기준 크기보다 작은가를 판단한다(611단계). 예를 들어, 디지털 신호 처리부(50) 스마일/블링크 검출의 기준 크기로 40×40를 설정할 수 있으며, 40×40 이하가되면 스마일/블링크 검출이 불가능하게 된다.

판단 결과, 제2 영상으로부터 검출한 얼굴 크기가 기준 크기보다 작은 경우, 디지털 신호 처리부(50)는 제1 영상으로부터 얼굴을 검출하여 라이브뷰 영상에 표시한다(613단계). 기준 크기는 최소의 스마일/블링크 검출 크기 예를 들어, 40×40 일 수 있다.

판단결과, 제2 영상으로부터 검출한 얼굴 크기가 기준 크기 이상인 경우, 디지털 신호 처리부(50)는 제2 영상으로부터 얼굴을 검출하여 라이브뷰 영상에 표시한다(615단계). 디지털 신호 처리부(50)는 제1 또는 제2 영상으로부터 검출된 얼굴을 디스플레이부(80)에 표시하는데, 도 4a에 도시된 바와 같이 검출된 얼굴을 라이브뷰 영상 내의 임의의 영역에 디스플레이 할 수 있거나, 도 4b에 도시된 바와 같이 검출된 얼굴을 라이브뷰 영상 내의 얼굴에 덮어쓰기 하여 디스플레이 할 수 있다.

이후, 디지털 신호 처리부(50)는 검출된 얼굴이 표시된 라이브뷰 영상에 대한 스마일/블링크 인식을 수행한다(617단계). 디지털 신호 처리부(50)는 라이브뷰 영상에 표시된 제1 또는 제2 영상의 얼굴 특징점 좌표 중 입에 해당하는 영상 좌표를 데이터베이스(53)에 저장된 다양한 종류의 웃는 입 영상과 비교하여 스마일 인 식을 수행한다. 또한 디지털 신호 처리부(50)는 라이브뷰 영상에 표시된 제1 또는 제2 영상의 얼굴 특징점 좌표 중 눈에 해당하는 영상 좌표를 데이터 데이터베이스(53)에 저장된 다양한 종류의 감은 눈 영상과 비교하여 블링크 인식을 수행한다.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 1은 본 발명에 따른 얼굴 인식률 개선 장치의 구성을 보이는 블록도 이다.

도 2는 도 1 중 제1 실시 예에 따른 디지털 신호 처리부의 상세 블록도 이다.

도 3은 도 1 중 제2 실시 예에 따른 디지털 신호 처리부의 상세 블록도 이다.

도 4는 도 3에서 얼굴 인식률이 개선된 영상을 보이는 도면이다.

도 5는 본 발명의 제1 실시 예에 따른 얼굴 인식률 개선 방법의 동작을 보이는 흐름도 이다.

도 6은 본 발명의 제2 실시 예에 따른 얼굴 인식률 개선 방법의 동작을 보이는 흐름도 이다.

도 7은 종래 기술에 따른 광각렌즈에 의해 생성되는 영상 및 일반렌즈에 의해 생성되는 영상을 보이는 도면이다.

Claims

라이브뷰 영상과 다른 크기의 제1 영상을 생성하고, 상기 제1 영상으로부터 검출된 얼굴의 크기가 기준 크기보다 작은 경우, 상기 제1 영상에서 검출된 얼굴 정보를 상기 라이브뷰 영상에 매핑하여 스마일/블링크 인식을 수행하는 디지털 신호 처리수단을 포함하는 얼굴 인식률 개선 장치.
제 1항에 있어서, 상기 디지털 신호 처리수단은

상기 라이브뷰 영상 보다 더 작은 크기의 제1 영상으로 리사이즈 하는 리사이즈부;

상기 제1 영상으로부터 얼굴을 검출하고, 상기 검출된 얼굴의 좌표 및 상기 얼굴의 특징점 좌표를 산출하는 얼굴 검출부; 및

상기 제1 영상으로부터 스마일/블링크 검출이 불가능한 경우, 상기 제1 영상의 얼굴 정보를 상기 라이브뷰 영상에 매핑한 후, 상기 라이브뷰 영상으로부터 스마일/블링크 인식을 수행하는 제어부를 포함하는 것을 특징으로 하는 얼굴 인식률 개선 장치.
제 2항에 있어서,

적어도 하나 이상의 얼굴 검출 정보, 스마일 검출 정보 및 블링크 검출 정보를 저장하는 데이터베이스를 더 포함하는 것을 특징으로 하는 얼굴 인식률 개선 장 치.
제 3항에 있어서, 상기 제어부는

상기 제1 영상의 얼굴 및 특징점 좌표가 매핑된 상기 라이브뷰 영상의 얼굴을 상기 데이터베이스 저장된 스마일/블링크 검출 정보와 비교하여 스마일/블링크 인식을 수행하는 것을 특징으로 하는 얼굴 인식률 개선 장치.
라이브뷰 영상과 다른 크기를 갖는 적어도 두 개 이상의 영상을 생성하고, 생성된 임의의 한 영상으로부터 검출된 얼굴의 크기가 기준크기 보다 작은 경우, 생성된 나머지 한 영상으로부터 검출된 얼굴을 표시하여 스마일/블링크 인식을 수행하는 디지털 신호 처리수단을 포함하는 얼굴 인식률 개선 장치.
제 5항에 있어서, 상기 디지털 신호 처리수단은

상기 생성된 임의의 한 영상으로부터 검출된 얼굴의 크기가 기준크기 이상인 경우, 상기 생성된 임의의 한 영상으로부터 검출된 얼굴을 표시하여 스마일/블링크 인식을 수행하는 것을 특징으로 하는 얼굴 인식률 개선 장치.
제 6항에 있어서, 상기 디지털 신호 처리수단은

상기 라이브뷰 영상 보다 더 작은 크기의 제1 영상으로, 상기 제1 영상보다 더 작은 크기의 제2 영상으로 리사이즈 하는 리사이즈부;

상기 영상들로부터 얼굴을 검출하고, 상기 검출된 얼굴의 좌표 및 상기 얼굴의 특징점 좌표를 산출하는 얼굴 검출부; 및

상기 제2 영상으로부터 검출된 얼굴의 크기가 기준크기 보다 작은 경우, 상기 제1 영상으로부터 검출된 얼굴을 상기 라이브뷰 영상 내에 표시하고, 제2 영상으로부터 검출된 얼굴의 크기가 기준 크기 한 이상인 경우 상기 제2 영상으로부터 검출된 얼굴을 상기 라이브뷰 영상 내에 표시한 후 스마일/블링크 인식을 수행하는 제어부를 포함하는 것을 특징으로 하는 얼굴 인식률 개선 장치.
제 7항에 있어서, 상기 제어부는

상기 제1 또는 제2 영상으로부터 검출된 얼굴을 상기 라이브뷰 영상의 얼굴에 덮어쓰기 하여 표시하는 것을 특징으로 하는 얼굴 인식률 개선 장치.
제 7항에 있어서, 상기 제어부는

상기 제1 또는 제2 영상으로부터 검출된 얼굴을 상기 라이브뷰 영상의 임의의 영역에 표시하는 것을 특징으로 하는 얼굴 인식률 개선 장치.
제 7항에 있어서,

적어도 하나 이상의 얼굴 검출 정보, 스마일 검출 정보 및 블링크 검출 정보를 저장하는 데이터베이스를 더 포함하는 것을 특징으로 하는 얼굴 인식률 개선 장치.
제 10항에 있어서, 상기 제어부는

상기 라이브뷰 영상에 표시된 상기 제1 또는 제2 영상의 얼굴 및 특징점 좌표를 상기 데이터베이스 저장된 스마일/블링크 검출 정보와 비교하여 스마일/블링크 인식을 수행하는 것을 특징으로 하는 얼굴 인식률 개선 장치.
(a) 라이브뷰 영상과 다른 크기의 제1 영상을 생성하는 단계; 및

(b) 상기 제1 영상으로부터 검출된 얼굴의 크기가 기준 크기보다 작은 경우, 상기 제1 영상에서 검출된 얼굴 정보를 상기 라이브뷰 영상에 매핑하여 스마일/블링크 인식을 수행하는 단계를 포함하는 얼굴 인식률 개선 방법.
제 12항에 있어서, 상기 (b)단계에서

상기 제1 영상의 얼굴 및 특징점 좌표가 매핑된 상기 라이브뷰 영상의 얼굴을 기 저장된 스마일/블링크 검출 정보와 비교하여 스마일/블링크 인식을 수행하는 것을 특징으로 하는 얼굴 인식률 개선 장치.
(a) 라이브뷰 영상과 다른 크기를 갖는 적어도 둘 이상의 영상을 생성하는 단계;

(b) 상기 생성된 임의의 한 영상으로부터 검출된 얼굴의 크기가 기준크기 보다 작은 경우, 상기 생성된 나머지 한 영상으로부터 검출된 얼굴을 표시하여 스마 일/블링크 인식을 수행하는 단계; 및

(c) 상기 생성된 임의의 한 영상으로부터 검출된 얼굴의 크기가 기준크기 이상인 경우, 상기 생성된 임의의 한 영상으로부터 검출된 얼굴을 표시하여 스마일/블링크 인식을 수행하는 단계를 포함하는 얼굴 인식률 개선 방법.
제 14항에 있어서,

상기 생성된 영상으로부터 검출된 얼굴을 상기 라이브뷰 영상의 얼굴에 덮어쓰기 하여 표시하는 것을 특징으로 하는 얼굴 인식률 개선 방법.
제 14항에 있어서,

상기 생성된 영상으로부터 검출된 얼굴을 상기 라이브뷰 영상의 임의의 영역에 표시하는 것을 특징으로 하는 얼굴 인식률 개선 방법.
제 14항에 있어서,

상기 라이브뷰 영상에 표시된 상기 생성된 영상의 얼굴 및 특징점 좌표를 기 저장된 스마일/블링크 검출 정보와 비교하여 스마일/블링크 인식을 수행하는 것을 특징으로 하는 얼굴 인식률 개선 방법.