KR20050111183A

KR20050111183A - 눈검출 장치 및 방법

Info

Publication number: KR20050111183A
Application number: KR1020040036390A
Authority: KR
Inventors: 성영훈; 김재우
Original assignee: 삼성전자주식회사
Priority date: 2004-05-21
Filing date: 2004-05-21
Publication date: 2005-11-24
Also published as: US8457363B2; KR100552709B1; US20050259873A1

Abstract

본 발명은 입력된 얼굴영상에서 정확하게 눈을 검출하는 눈검출 장치 및 방법을 제공한다. 본 발명에 의한 눈검출 장치는, 입력된 얼굴영상을 좌·우 영상으로 각각 분할하고, 분할된 영상중 제한된 영상영역에서 적어도 하나 이상의 눈후보를 검출하는 눈후보 검출부; 좌·우 영상에 대해 상기 검출된 눈후보의 조합 각각에 대해 눈후보의 기하학적 정보를 이용하여 눈후보를 평가하여 눈이 될 수 없는 후보들을 걸러주는 눈후보 평가부; 눈의 위치가 정렬된 복수개의 얼굴영상 및 눈을 포함하지 있지 않거나 눈이 정렬되지 않은 복수개의 얼굴영상으로 분류되어 저장되어 있는 학습 DB; 및 상기 눈후보를 상기 학습 DB를 참조하여 검증하고, 눈검출 결과신호를 출력하는 눈후보 검증부를 포함함을 특징으로 한다. 본 발명에 따르면, 입력된 얼굴영상을 좌·우 영상으로 분할하고 분할된 좌·우 영상중 제한된 영상영역에서 눈후보를 검출하고, 검출된 눈후보를 기하학적 정보를 이용하여 평가하고, SVM 알고리즘을 사용하여 눈후보를 검증함으로써, 조명의 영향을 덜 받으면서도 정확하게 눈을 검출할 수 있다.

Description

눈검출 장치 및 방법{Apparatus and method for detecting eyes}

본 발명은 얼굴인식 시스템에 관한 것으로서, 특히 입력된 얼굴영상에서 정확하게 눈을 검출하는 눈검출 장치 및 방법에 관한 것이다.

얼굴인식 시스템이란 정지영상이나 동영상에 존재하는 한 사람 이상의 얼굴에 대하여 주어진 얼굴 데이터베이스를 이용하여 그 신원을 확인하는 시스템을 말한다. 이러한 얼굴인식 시스템은, 정지영상인 경우 스캐너 등을 이용하여, 또는 동영상일 경우에는 은행 등에서 흔히 보안용으로 설치되는 CCD 카메라나 또는 요즘 인터넷 화상 채팅용으로 많이 쓰이는 PC 카메라 등을 이용하여, 얼굴영상이 입력되면, 이 입력된 영상중에서 인식하고자 하는 얼굴영역만을 추출하고, 이 추출된 얼굴영역의 주요 특징을 추출한다. 예를 들어, 눈, 코, 입 및 얼굴의 윤곽 등과 같은 특징을 추출할 수 있는바, 이러한 특징을 얼굴 데이터베이스에 저장된 특징과 비교하여 얼굴을 인식한다.

추출된 얼굴 후보영상을 얼굴인식 시스템의 입력으로 사용하기 위해서는 추출된 얼굴 후보영역에서의 얼굴 구성요소나 얼굴에서 발생하는 특징의 정확한 위치를 검출하는 과정이 필요하다. 즉, 입력 영상을 모델과 비교하기 위해서는, 입력 영상에서 추출된 얼굴영상과 모델 템플릿의 얼굴영상간의 크기, 회전방향 및 위치차이 등을 보상하기 위한 위치추출 및 크기 정규화 과정이 인식 및 매칭 성능을 향상시키기 위해 필수적인 선결과정으로 요청된다. 대부분의 얼굴인식 시스템에서는 이러한 정렬 및 정규화 과정에서 필요한 기준이 되는 얼굴 구성요소로서 눈 영역 또는 눈동자의 중심 영역을 사용한다. 그 이유는 얼굴영상의 크기, 표정, 자세, 조명 등의 변화가 발생하더라도 얼굴 구성요소들 중 상대적으로 그 특징이 불변하는 형태를 유지하는 부분이 눈 영역이기 때문이다. 따라서, 눈의 위치를 정확하게 검출하는 것은 매우 중요하다.

미국 특허번호 제5,293,427호, 발명의 명칭 "Eye position detecting system and method therefor" 공보에는, 적외선 스트로브를 이용하여 적외선영상과 이진화된 일반영상과의 차이로서 눈위치를 검출하는 기술이 개시되어 있다. 그러나, 이 기술은 적외선 스트로브가 필요하고 안경을 착용했을 경우 안경 렌즈에 잔상이 맺히는 단점이 있다.

또한, 종래의 눈 검출방법은 얼굴영상 전체에서 모폴로지(morphology) 연산 또는 히스토그램 분석 등을 수행하여 눈을 검출하기 때문에, 조명의 변화에 민감하고 양쪽 눈을 정확히 동시에 검출할 수 없는 문제점이 있다.

본 발명이 이루고자 하는 기술적 과제는, 입력된 얼굴영상을 좌·우 영상으로 분할하고 분할된 좌·우 영상중 제한된 영상영역에서 눈후보를 검출하고, 검출된 눈후보를 기하학적 정보를 이용하여 평가하고, SVM 알고리즘을 사용하여 눈후보를 검증함으로써, 정확하게 눈을 검출할 수 있는 눈검출 장치 및 방법을 제공하는데 있다.

상기 기술적 과제를 이루기 위해, 본 발명에 의한 눈검출 장치는, 입력된 얼굴영상을 좌·우 영상으로 각각 분할하고, 분할된 영상중 제한된 영상영역에서 적어도 하나 이상의 눈후보를 검출하는 눈후보 검출부; 좌·우 영상에 대해 상기 검출된 눈후보의 조합 각각에 대해 눈후보의 기하학적 정보를 이용하여 눈후보를 평가하여 눈이 될 수 없는 후보들을 걸러주는 눈후보 평가부; 눈의 위치가 정렬된 복수개의 얼굴영상 및 눈을 포함하지 있지 않거나 눈이 정렬되지 않은 복수개의 얼굴영상으로 분류되어 저장되어 있는 학습 DB; 및 상기 눈후보를 상기 학습 DB를 참조하여 검증하고, 눈검출 결과신호를 출력하는 눈후보 검증부를 포함함을 특징으로 한다. 상기 눈후보 검증부는, 상기 눈후보가 포함된 얼굴영상을 입력으로 하여 SVM(Support Vector Machine) 알고리즘을 사용하여 출력값을 계산하는 SVM 분류부; 상기 계산된 출력값중 최고출력값을 선택하는 최고출력값 선택부; 및 상기 최고출력값이 소정의 임계치 이상이면, 눈검출 성공이라고 판정하고, 상기 최고출력값이 상기 소정의 임계치보다 작으면, 눈검출 실패라고 판정하는 눈 판정부를 포함할 수 있다.

또한, 본 발명에 의한 눈검출 방법은, (a) 입력된 얼굴영상을 좌·우 영상으로 각각 분할하는 단계; (b) 상기 분할된 영상중 제한된 영상영역에서 적어도 하나 이상의 눈후보를 검출하는 단계; (c) 상기 검출된 눈후보의 조합 각각에 대해 눈후보의 기하학적 정보를 이용하여 눈후보를 평가하여 눈이 될 수 없는 후보들을 걸러주는 단계; 및 (d) 눈의 위치가 정렬된 복수개의 얼굴영상 및 눈을 포함하지 있지 않거나 눈이 정렬되지 않은 복수개의 얼굴영상으로 분류되어 저장되어 있는 학습 DB를 참조하여 상기 눈후보를 검증하고, 눈검출 결과신호를 출력하는 단계를 포함함을 특징으로 한다. 상기 (a) 단계 전에, 상기 입력된 얼굴영상의 크기를 조정하고 히스토그램을 정규화하는 단계를 더 포함할 수 있다.

상기 눈검출 방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독가능 기록매체로 구현할 수 있다.

이하, 첨부 도면을 참조하여 본 발명에 의한 눈검출 장치 및 방법을 설명한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 눈검출 장치를 블록도로 도시한 것으로서, 얼굴영상 정규화부(100), 눈후보 검출부(110), 눈후보 평가부(120), 눈후보 검증부(130) 및 학습 DB(140)를 포함하여 이루어진다.

도 1을 참조하면, 상기 얼굴영상 정규화부(100)는, 입력된 얼굴영상(IN)의 크기 및 명도값을 정규화시킨다. 본 실시예에서는, 입력된 얼굴영상의 크기를 80×96 픽셀의 크기로 조정한다. 또한, 명도값의 분포가 한쪽으로 치우치거나 고르지 못한 얼굴영상을 명도값의 분포가 고르게 되도록 히스토그램을 조정한다.

상기 눈후보 검출부(110)는 얼굴영상을 좌·우 영상으로 분할하여 각각의 영역에 대해 적어도 하나 이상의 눈후보를 검출한다. 눈후보의 검출은 얼굴영상을 임계치 Th_binary를 기준으로 이진화하고, 이진화된 영상에 대해 모폴로지 필터링을 한 후, 윤곽선을 검출하는 방법으로 행해진다.

상기 눈후보 평가부(120)는 좌·우 영상에 대해 검출된 눈후보의 조합 각각에 대해 눈후보들간의 거리 및 기울기 등의 눈후보들의 기하학적 정보를 이용하여 눈후보를 평가하여 눈이 될 수 없는 후보들을 걸러 줌으로써 눈후보를 선택적으로 줄여준다.

상기 눈후보 검증부(130)는 학습 DB(140)를 참조하여 눈후보를 검증하고 눈검출 결과신호(OUT)를 출력한다. 본 실시예에서는, SVM(Support Vector Machine: 서포트 벡터 머신) 알고리즘을 사용하여 눈후보를 검증한다.

도 2는 눈후보 검증부(130)의 구성을 상세히 나타낸 블록도로서, SVM 분류부(131), 최고출력값 선택부(132) 및 눈 판정부(133)를 포함하여 이루어진다.

상기 SVM 분류부(131)는 보통 얼굴에 대한 제1 SVM 서브분류부(131a), 안경 쓴 얼굴에 대한 제2 SVM 서브분류부(131b) 및 머리카락이 긴 얼굴에 대한 제3 SVM 서브분류부(131c)를 포함한다. 제1 내지 제3 SVM 서브분류부(131a, 131b 및 131c) 각각은 눈후보 평가부(120)에서 선택된 눈후보가 포함된 영상(IN1)을 입력으로 하여 학습 DB(140)를 참조하여 출력값을 계산한다.

최고출력값 선택부(132)는 제1 내지 제3 SVM 서브분류부(131a, 131b 및 131c)의 출력값중 최고출력값을 선택한다. 눈 판정부(133)는 최고출력값이 임계치 Th_eye이상인지의 여부를 판정하여, 눈검출 성공 또는 눈검출 실패의 결과신호(OUT)를 출력한다.

학습 DB(140)에는, 수개의 25×20 픽셀의 크기를 가진 얼굴영상이 학습에 의해, 눈의 위치가 정확하게 정렬된 얼굴영상은 클래스 1로 분류되고 눈을 포함하지 있지 않거나 눈이 정확하게 정렬되지 않은 얼굴영상은 클래스 -1로 분류되어 저장되어 있다. 클래스 1로 분류된 얼굴영상들은 도 3a에 도시되어 있고, 클래스 -1로 분류된 얼굴영상들은 도 3b에 도시되어 있다.

도 4는 본 발명의 바람직한 일 실시예에 따른 눈검출 방법을 흐름도로서 도시한 것으로서, 도 1 및 도 2에 도시된 각 구성요소와 결부시켜 설명하기로 한다.

도 1, 도 2 및 도 4를 참조하면, S400 단계에서는 얼굴영상 정규화부(100)에 얼굴영상이 입력된다. CCD 카메라 등의 입력장치(미도시)를 통해 입력된 영상에 대해 얼굴영상만이 추출되어 얼굴영상 정규화부(100)에 추출된 얼굴영상이 입력된다. S410 단계에서는 얼굴영상 정규화부(100)는 얼굴영상의 크기를 소정의 크기(예를 들어, 80×96 픽셀)로 조정하고, 얼굴영상의 히스토그램을 정규화시킨다. 히스토그램의 정규화는, 다음과 같은 수학식 1에 의해 정규화된 빈도수 K(i)를 계산할 수 있다.

여기서, i는 0부터 255까지의 범위인 명도값의 레벨, g_max는 명도의 최대값, n은 전체 픽셀수, H(i)는 축적 히스토그램이다. 얼굴영상에 대해 히스토그램을 정규화함으로써, 콘트라스트(contrast)를 높일 수 있다.

S420 단계에서는 얼굴영상을 좌·우 영상으로 분할한다. 이 실시예에서, 영상의 가로 픽셀수를 80으로 하였으므로, 좌·우 영상을 각각 40픽셀이 되도록 분할한다. 얼굴영상을 좌·우 영상으로 분할하는 이유는, 얼굴의 양쪽 조명이 다를 경우 눈검출 오류를 방지하기 위한 것이다.

S430 단계에서는 분할된 좌·우 영상 각각에 대해 눈후보를 검출한다. S430 단계는 도 5를 참조하여 후술하기로 한다.

S440 단계에서는 좌·우 영상 각각에 대해 검출된 눈후보의 조합 각각에 대해 기하학적 정보를 이용하여 상기 눈후보를 평가하여 눈후보를 선택한다. 기하학적 정보에는 눈후보들간의 거리 및 기울기 등을 사용할 수 있다. S430 단계에서 좌·우 영상에서 눈후보가 각각 N개가 검출되었다면, N×N 개의 조합이 있을 수 있다. 눈후보 평가부(120)는 총 N×N 개의 조합에 대해 눈후보들간의 거리 및 기울기 등이 적당한지의 여부를 판정하여 눈후보를 선택한다.

눈후보들간의 거리는 다음 수학식 2를 만족하는지의 여부에 따라 결정된다.

여기서, D_centers는 각 눈후보의 중심들간의 거리, Th_distance,1는 적당한 눈후보들간의 거리의 하한값, Th_distance,2는 적당한 눈후보들간의 거리의 상한값이다. Th_distance,1및 Th_distance,2는 실험에 의해 정해진다.

눈후보들간의 기울기는 다음 수학식 3을 만족하는지의 여부에 따라 결정된다.

여기서, S_centers는 각 눈후보의 중심들간의 기울기, Th_slope,1는 적당한 눈후보들간의 기울기의 하한값, Th_slope,2는 적당한 눈후보들간의 기울기의 상한값이다. Th_slope,1 및 Th_slope,2는 실험에 의해 정해진다.

S450 단계에서는 SVM 알고리즘을 사용하여 눈후보를 검증하여 눈을 검출한다. S450 단계에 대해서는 도 6을 참조하여 후술하기로 한다.

다음, 도 5를 참조하여, 눈후보 검출부(110)에서 행해지는 S430 단계를 상세히 설명한다. 우선, S500 단계에서는 임계치 Th_binary를 기준으로 영상을 이진화한다. 이는 다음 수학식 4와 같이 정의할 수 있다.

여기서, g(x,y)는 얼굴영상의 각 픽셀(x,y)의 명도값이다. 임계치 Th_binary는 초기에 아주 작은 값으로 설정하고, 후술하는 양호한 윤곽선 검출여부에 따라 증가시킨다.

S510 단계에서는 모폴로지 필터링을 수행한다. 침식(erosion) 연산을 수행한 후 팽창(dilation) 연산을 수행함으로써, 잡음을 제거하고 검은색 영역들의 윤곽선을 부드럽게 한다.

S520 단계에서는 이진화된 얼굴영상에서 값이 변하는 지점을 찾아 주변이 변화된 좌표에 점을 찍어서 윤곽선을 검출한다. 이 때, 얼굴영상 전체에서 윤곽선을 검출하지 않고, 제한된 영상영역에서 윤곽선을 검출한다. 제한된 영상영역은 실험을 통해 얻은 결과치를 이용하여 결정된다. 실험결과를 통해 눈 위치의 평균값을 구한 경우, 그 평균값에서 좌우상하로 소정의 길이에 의해 정해지는 직사각형 영역을 제한된 영상영역으로 설정할 수 있다.

S530 단계에서는 검출된 윤곽선중 양호한 윤곽선이 있는지의 여부를 판정한다. 양호한 윤곽선이란 눈으로서 적당한 눈후보를 둘러싸는 외곽선을 말하며, 윤곽선이 양호한지의 여부는 윤곽선의 형태, 크기 등에 따라 판정할 수 있다. 윤곽선의 형태는 다음 수학식 5에 의해 구해지는 Δy/Δx를 통해 알아볼 수 있다.

여기서, y_max는 한 윤곽선의 픽셀중에서 가장 높이 위치한 픽셀의 y값, y_min는 그 윤곽선의 픽셀중에서 가장 낮게 위치한 픽셀의 y값, x_max는 그 윤곽선의 픽셀중에서 가장 좌측에 위치한 픽셀의 x값, x_min는 한 윤곽선의 픽셀중에서 가장 우측에 위치한 픽셀의 x값이다.

상기 Δy/Δx가 다음 수학식 6의 조건을 만족하는지의 여부에 따라 윤곽선의 형태가 양호한지의 여부를 판정할 수 있다.

여기서, Th_contour,1는 양호한 윤곽선의 Δy/Δx의 최소값, Th_contour,2는 양호한 윤곽선의 Δy/Δx의 최대값이다. Th_contour,1및 Th_contour,2는 실험에 의해 정해진다.

다음, 윤곽선의 크기가 양호한지의 여부는 윤곽선에 의해 정해지는 눈후보의 픽셀수가 다음 수학식 7의 조건을 만족하는지의 여부에 따라 판정된다.

여기서, N_pixel은 눈후보의 윤곽선의 픽셀수이고, Th_pixel,1는 양호한 윤곽선에 의한 눈후보 픽셀수의 하한값, Th_pixel,2는 양호한 윤곽선에 의한 눈후보 픽셀수의 상한값이다. Th_pixel,1 및 Th_pixel,2는 실험에 의해 정해진다.

본 실시예에서는 윤곽선의 형태 및 크기를 기준으로 윤곽선이 양호한지의 여부를 판정하였지만, 다른 평가기준으로 판정할 수 있다.

S530 단계의 판정결과, 양호한 윤곽선이 하나도 검출되지 않았으면, S540 단계에서는 임계치 Th_binary를 a만큼 증가시킨다. a값은 임의로 정할 수 있지만, 8 내지 12중 어느 한 정수값인 것이 바람직하다.

S530 단계의 판정결과, 양호한 윤곽선이 검출되었으면, S550 단계에서는 양호한 윤곽선이 M개 이상인지의 여부를 판정한다. M은 임의로 정할 수 있지만, 3 내지 5중 어느 한 정수값인 것이 바람직하다. 양호한 윤곽선이 M개 미만이면, S560 단계에서는 임계치 Th_binary가 상한값 Th_max이상인지의 여부를 판정한다. 상한값 Th_max는 임의로 설정할 수 있지만, 정확한 눈후보 검출을 위해서는 되도록 큰 값으로 설정하는 것이 바람직하다. 임계치 Th_binary가 상한값 Th_max보다 작으면, S570 단계에서는 임계치 Th_binary를 b만큼 증가시킨다. b값은 S540 단계의 a값보다 작은 정수값으로 설정한다.

S550 단계에서 양호한 윤곽선이 M개 이상이거나 또는 S560 단계에서 임계치 Th_binary가 Th_max이상이면, S580 단계에서는 추출된 양호한 윤곽선으로 둘러싸인 영역을 눈후보으로 검출한다.

다음, 도 6을 참조하여, 눈후보 검증부(130)에서 행해지는 S450 단계를 상세히 설명한다. 우선, S600 단계에서는 눈후보 평가부(120)에서 선택된 눈후보를 얼굴영상에 표시한다. S610 단계에서는 얼굴영상을 정규화시킨다. 본 실시예에서는, 25×20 픽셀의 크기로 정규화시킨다.

S620 단계에서는 정규화된 얼굴영상의 각각의 픽셀을 입력벡터로 하여, 학습 DB(140)를 참조하여 보통 얼굴에 대한 제1 SVM 서브분류부(131a), 안경 쓴 얼굴에 대한 제2 SVM 서브분류부(131b) 및 머리카락이 긴 얼굴에 대한 제3 SVM 서브분류부(131c)의 출력값중 최고출력값을 선택한다. 제1 내지 제3 SVM 서브분류부(131a, 131b 및 131c) 각각의 출력값은 다음 수학식 8에 의해 결정된다.

여기서, x는 입력벡터, w는 가중치벡터, b는 오프셋이며, w 및 b는 학습에 의해 구해진다.

S630 단계에서는 눈후보가 더 있는지의 여부를 판정한다. 눈후보가 더 있으면, S600 단계로 되돌아가 SVM 분류과정을 반복한다. 눈후보가 더 이상 있지 않으면, S640 단계에서는 각각의 눈후보에 대한 SVM 분류부(131)의 출력값중 최고출력값을 선택한다. S650 단계에서는 최고출력값이 임계치 Th_eye이상인지의 여부를 판정한다. SVM 분류방법은 눈을 검출한 얼굴영상을 클래스 1로 분류하고 눈을 검출하지 못한 얼굴영상을 클래스 -1로 분류하므로, Th_eye는 0으로 설정하는 것이 보통이나, 눈검출의 정확도를 높이기 위해서 0보다 큰 값으로 설정할 수도 있다. 최고출력값이 임계치 Th_eye이상이면, S660 단계에서는 눈검출이 성공하였음을 판정하고, 최고출력값이 임계치 Th_eye보다 작으면, S670 단계에서는 눈검출이 실패하였음을 판정한다. S680 단계에서는 눈검출 결과신호를 출력한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명에 따르면, 입력된 얼굴영상을 좌·우 영상으로 분할하고 분할된 좌·우 영상중 제한된 영상영역에서 눈후보를 검출하고, 검출된 눈후보를 기하학적 정보를 이용하여 평가하고, SVM 알고리즘을 사용하여 눈후보를 검증함으로써, 조명의 영향을 덜 받으면서도 정확하게 눈을 검출할 수 있다.

이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

도 1은 본 발명의 바람직한 일 실시예에 따른 눈검출 장치를 나타내는 블록도.

도 2는 도 1에 있어서 눈후보 검증부를 상세히 나타내는 블록도.

도 3a는 눈의 위치가 정확하게 정렬된 얼굴영상들을 나타내는 도, 및 도 3b는 눈의 위치가 정확하게 정렬되지 않은 얼굴영상들을 나타내는 도.

도 4는 본 발명의 바람직한 일 실시예에 따른 눈검출 방법을 나타내는 흐름도.

도 5는 도 4에 있어서 S430 단계를 상세히 나타내는 흐름도.

도 6은 도 4에 있어서 S450 단계를 상세히 나타내는 흐름도.

Claims

입력된 얼굴영상을 좌·우 영상으로 각각 분할하고, 분할된 영상중 제한된 영상영역에서 적어도 하나 이상의 눈후보를 검출하는 눈후보 검출부;

좌·우 영상에 대해 상기 검출된 눈후보의 조합 각각에 대해 눈후보의 기하학적 정보를 이용하여 눈후보를 평가하여 눈이 될 수 없는 후보들을 걸러주는 눈후보 평가부;

눈의 위치가 정렬된 복수개의 얼굴영상 및 눈을 포함하지 있지 않거나 눈이 정렬되지 않은 복수개의 얼굴영상으로 분류되어 저장되어 있는 학습 DB; 및

상기 눈후보를 상기 학습 DB를 참조하여 검증하고, 눈검출 결과신호를 출력하는 눈후보 검증부를 포함함을 특징으로 하는 눈검출 장치.
제1항에 있어서, 상기 눈후보 검증부는,

상기 눈후보가 포함된 얼굴영상을 입력으로 하여 서포트 벡터 머신 알고리즘을 사용하여 출력값을 계산하는 SVM 분류부;

상기 계산된 출력값중 최고출력값을 선택하는 최고출력값 선택부; 및

상기 최고출력값이 소정의 임계치 이상이면, 눈검출 성공이라고 판정하고, 상기 최고출력값이 상기 소정의 임계치보다 작으면, 눈검출 실패라고 판정하는 눈 판정부를 포함함을 특징으로 하는 눈검출 장치.
제2항에 있어서, 상기 SVM 분류부는,

보통 얼굴에 대해 출력값을 계산하는 제1 SVM 서브분류부;

안경 쓴 얼굴에 대해 출력값을 계산하는 제2 SVM 서브분류부; 및

머리카락이 긴 얼굴에 대해 출력값을 계산하는 제3 SVM 서브분류부를 포함함을 특징으로 하는 눈검출 장치.
(a) 입력된 얼굴영상을 좌·우 영상으로 각각 분할하는 단계;

(b) 상기 분할된 영상중 제한된 영상영역에서 적어도 하나 이상의 눈후보를 검출하는 단계;

(c) 상기 검출된 눈후보의 조합 각각에 대해 눈후보의 기하학적 정보를 이용하여 눈후보를 평가하여 눈이 될 수 없는 후보들을 걸러주는 단계; 및

(d) 눈의 위치가 정렬된 복수개의 얼굴영상 및 눈을 포함하지 있지 않거나 눈이 정렬되지 않은 복수개의 얼굴영상으로 분류되어 저장되어 있는 학습 DB를 참조하여 상기 눈후보를 검증하고, 눈검출 결과신호를 출력하는 단계를 포함함을 특징으로 하는 눈검출 방법.
제4항에 있어서, 상기 (a)단계 전에,

상기 입력된 얼굴영상의 크기를 조정하고 히스토그램을 정규화하는 단계를 더 포함함을 특징으로 하는 눈검출 방법.
제4항에 있어서, 상기 (b)단계는,

(b1) 상기 얼굴영상을 제1 임계치를 기준으로 이진화하는 단계;

(b2) 상기 이진화된 영상중 제한된 영상영역에서 윤곽선을 추출하는 단계;

(b3) 상기 추출된 윤곽선의 형태 및 크기를 고려하여 상기 윤곽선이 양호한지의 여부를 판정하고, 상기 추출된 윤곽선중 양호한 윤곽선이 하나도 있지 않으면, 제1 임계치를 제1 소정값만큼 증가시키고, (b1) 내지 (b2) 단계를 반복하는 단계; 및

(b4) 상기 양호한 윤곽선으로 둘러싸인 눈후보를 검출하는 단계를 포함함을 특징으로 하는 눈검출 방법.
제6항에 있어서, 상기 (b4)단계 전에,

(b5) 상기 추출된 윤곽선중 양호한 윤곽선이 M개 미만이면, 상기 제1 임계치를 상기 제1 소정값보다 작은 제2 소정값만큼 증가시키고, (b1) 내지 (b2) 단계를 반복하는 단계를 더 포함함을 특징으로 하는 눈검출 방법.
제7항에 있어서, 상기 (b5)단계는,

상기 양호한 윤곽선이 M개 미만이더라도, 상기 제1 임계치가 소정의 상한값 이상이면, (b4)단계를 수행하는 것을 특징으로 하는 눈검출 방법.
제4항에 있어서, 상기 (d)단계는,

(d1) 상기 눈후보를 상기 얼굴영상에 표시하는 단계;

(d2) 상기 눈후보가 표시된 얼굴영상을 입력으로 하여, SVM 알고리즘을 사용하여 출력값을 계산하는 단계;

(d3) 상기 눈후보 각각에 대한 출력값중 최대출력값을 선택하는 단계; 및

(d4) 상기 최고출력값이 제2 임계치 이상이면, 눈검출 성공이라고 판정하고, 상기 최고출력값이 제2 임계치 미만이면, 눈검출 실패라고 판정하는 단계를 포함함을 특징으로 하는 눈검출 방법.
제9항에 있어서, 상기 (d2)단계는,

상기 눈후보가 표시된 얼굴영상을 입력으로 하여, 보통 얼굴에 대한 출력값, 안경 쓴 얼굴에 대한 출력값 및 머리카락이 긴 얼굴에 대한 출력값중 최고출력값을 선택하여 출력하는 단계를 포함하는 것을 특징으로 하는 눈검출 방법.
(a) 입력된 얼굴영상을 좌·우 영상으로 각각 분할하는 단계;

(b) 상기 분할된 영상중 제한된 영상영역에서 적어도 하나 이상의 눈후보를 검출하는 단계;

(c) 상기 검출된 눈후보의 조합 각각에 대해 눈후보의 기하학적 정보를 이용하여 상기 눈후보를 평가하여 눈후보를 선택하는 단계; 및

(d) 수개의 얼굴영상이 눈이 검출된 영상 및 눈이 검출되지 못한 영상으로 분류되어 저장되어 있는 학습 DB를 참조하여 상기 눈후보를 검증하고, 눈검출 결과신호를 출력하는 단계를 포함하는 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터 판독가능 기록매체.