KR20030040680A

KR20030040680A - 얼굴 검출 방법 및 그 장치

Info

Publication number: KR20030040680A
Application number: KR1020010071090A
Authority: KR
Inventors: 이예열
Original assignee: 삼성에스디에스 주식회사
Priority date: 2001-11-15
Filing date: 2001-11-15
Publication date: 2003-05-23

Abstract

본 발명은 입력되는 영상데이터에서 정지영상을 획득한 후 윤곽선을 추출하여 이를 근거로 얼굴템플릿을 추출하고, 또한 동시에 상기 정지영상에 컬러 매칭기법을 적용하여 얼굴영역을 얻은 후 상기 얼굴템플릿과 얼굴영역에 대한 상관관계를 구하여 정확하게 얼굴을 검출하기 위한 방법 및 그 장치에 관한 것으로서, 정지영상에서 윤곽선을 추출한 후 상기 윤곽선과 기준도형을 비교해서 얼굴 템플릿을 구하는 단계; 상기 정지영상을 좌표변환을 한 후 변환된 영상데이터를 기준색과 비교하여 얼굴영역을 추출하는 단계; 상기 얼굴템플릿과 얼굴영역간의 상관관계를 기초로 얼굴영상을 구하는 단계; 및 상기 얼굴영상에서 눈동자를 검출하는 단계;를 포함하는 것을 특징으로 하며 종래의 얼굴 검출 알고리즘을 적용하는 경우보다 빠른 시간 내에 실시간으로 정확한 얼굴을 검출할 수 있다.

Description

얼굴 검출 방법 및 그 장치{Method for detecting face from video data and apparatus thereof}

본 발명은 입력되는 영상에서 얼굴을 검출하기 위한 방법 및 그 장치에 관한 것으로서, 특히 프레임 단위로 얻은 영상에서 타원형 얼굴 템플릿과 상기 영상에 대하여 스킨 필터를 이용하여 추출한 타원형 얼굴영역간에 크로스 코릴레이션을 취하여 정확한 얼굴 영상을 획득한 후 눈동자의 위치를 파악하여 나머지 얼굴 부분도 검출할 수 있는 방법 및 그 장치에 관한 것이다.

현존하는 얼굴 검출 기술은 크게 두 가지로 분류할 수 있다. 하나는 얼굴의 지역적 특성(local features)에 근거한 방법이고, 다른 하나는 얼굴의 전체 형상(template based)에 기반을 둔 방법이다. 후자의 경우는 다시 두 가지로 대별할 수 있는데, 그 첫째는 얼굴 모델을 학습시켜 특정 영상이 얼마나 그 모델에 부합되는지를 조사하여 그 부하정도가 일정한 수준 이상이면 얼굴이라고 판별한다. 둘째는 얼굴과 얼굴이 아닌 다른 영상을 구분 지을 수 있는 분류함수를 만들어 이용하는 것이다. 전체영상을 이용하는 방법에 있어서는 영상의 각 픽셀들은 고차원 벡터 공간에서의 원소들로 다루어지며 일반적으로 2차원 기반의 통계적 모델링을 하게 된다.

얼굴 검출을 하는 데 있어서 문제는 임의의 영상에서 얼굴이 놓인 위치를 빠른 시간안에 찾아야 한다는 것이다. 일반적으로 얼굴이 가지는 색상정보는 대개 비슷하기 때문에 색상 필터링을 하면 얼굴이 있는 위치를 대략 추측할 수 있다. 그러나 이 방법은 조명에 매우 민감하므로 좋은 시스템을 구축하기 어렵다. 또 하나의 방법으로는 주어진 영상에서 눈의 위치를 먼저 추정하는 것이다. 눈의 동공은 밝기가 매우 낮기 때문에 이진화 과정을 통하면 비교적 쉽게 눈이라고 생각되는 영역을 추정할 수 있다. 그리고 눈이라고 추정되는 영역들에 한하여 사람의 얼굴인지를 검증함으로써 비교적 빠른 시간안에 주어진 영상에서 얼굴의 위치를 찾아낼 수 있게 된다.

그러나 위에서 언급한 종래의 기술들은 실시간 처리가 어렵고 조명등의 외부 요인에 의한 영향을 많이 받기도 하고 신경망을 이용하는 경우에는 튜닝이나 학습과정등이 복잡하다는 문제점이 있다.

본 발명이 이루고자 하는 기술적 과제는 입력되는 영상데이터에서 정지영상을 획득한 후 윤곽선을 추출하여 이를 근거로 얼굴템플릿을 추출하고, 또한 동시에 상기 정지영상에 컬러 매칭기법을 적용하여 얼굴영역을 얻은 후 상기 얼굴템플릿과 얼굴영역에 대한 상관관계를 구하여 정확하게 얼굴을 검출하기 위한 방법 및 그 장치, 그리고 그리고 이 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 있다.

도 1은 본 발명에 의한 얼굴 검출 방법의 흐름을 보여주는 흐름도이다.

도 2는 도 1에 의한 흐름을 보다 상세하게 보여주는 흐름도이다.

도 3은 본 발명에 의한 얼굴 검출 장치의 블럭도이다.

도 4는 도 2의 흐름도에 따른 각 단계별 출력을 보여주는 도면이다.

상기의 기술적과제를 이루기 위하여 본 발명에 의한 얼굴 검출 방법은 정지영상에서 윤곽선을 추출한 후 상기 윤곽선과 기준도형을 비교해서 얼굴 템플릿을 구하는 단계; 상기 정지영상을 좌표변환을 한 후 변환된 영상데이터를 기준색과 비교하여 얼굴영역을 추출하는 단계; 상기 얼굴템플릿과 얼굴영역간의 상관관계를 기초로 얼굴영상을 구하는 단계; 및 상기 얼굴영상에서 눈동자를 검출하는 단계;를 포함하는 것을 특징으로 한다.

상기의 기술적과제를 이루기 위하여 본 발명에 의한 얼굴 검출 장치는 입력되는 영상데이터에서 정지영상을 획득한 후 윤곽선을 추출하여 상기 윤곽선과 기준도형을 비교해서 얼굴 템플릿을 구하는 입력부; 상기 정지영상을 수신하여 좌표변환을 한 후 변환된 영상데이터를 기준색과 비교하여 얼굴영역을 추출하는 얼굴영역추출부; 상기 얼굴템플릿과 얼굴영역을 수신하여 상관관계를 기초로 얼굴영상을 출력하는 비교부; 및 상기 얼굴영상을 입력받아 눈동자의 위치를 탐색하는 눈동자검출부를 포함하는 것을 포함하는 것을 특징을 한다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예에 대하여 설명하도록 한다. 도 1은 본 발명에 의한 얼굴 검출 방법의 흐름을 보여주는 흐름도이며, 도 2는 도 1에 의한 흐름을 보다 상세하게 보여주는 흐름도이다. 또한 도 3은 본 발명에 의한 얼굴 검출 장치의 블럭도이고, 도 4는 도 2의 흐름도에 따른 각 단계별 출력을 보여주는 도면이다.

먼저 도 1을 참조하여 본 발명에 의한 얼굴 검출 방법의 흐름을 개략적으로 설명하고 도 2와 도3을 참조하면서 보다 세부적으로 설명하기로 한다. 먼저 입력부(301)는 카메라와 같은 촬상장치로부터 영상데이터가 입력되면 프레임단위로 정지영상을 추출한 후 일정한 데이터형식을 갖추어 저장한다(101, 201단계 ).

상기 정지영상(도 4a)은 얼굴템플릿추출부(303)와 얼굴영역추출부(305)의 공통입력으로 들어간다. 정지영상을 디지털로 변환한 데이터는 실제 영상을 변환한 것이기 때문에 그 데이터 크기가 크다. 따라서 얼굴템플릿추출부(303)는 데이터를 그레이 스케일(gray scale)화 하여 데이터 크기를 줄인 후에 이진화(thresholding)처리를 수행한다(203단계). 이진화 처리란 영상의 특징을 파악하기 위하여 영상에서 대상물을 추출하여 대상의 배경을 분리한 이진영상(binary image)으로 취급하는 것을 말한다. 이 때 임계치를 설정함에 있어서 고정 임계치와 가변 임계치 방법으로 대별되는데, 가변 임계치를 적용하는 것이 바람직하다. 그레이 스케일화된 영상은 도 4b이다.

한편 이진화처리된 데이터에서 궁극적으로 얼굴 템플릿(template)을 구하기 위하여 우선 윤곽선을 추출한다. 윤곽선을 구하기 위한 방법은 에지(edge)를 검출하는 방법이 일반적으로 사용된다. 에지는 영상에서 픽셀의 밝기가 낮은 값에서 높은 값으로 또는 그 반대로 변하는 부분이다. 에지는 영역의 경계(예를 들면, 대상물과 배경)을 나타내는 특징으로 픽셀 밝기의 불연속점을 나타낸다. 즉 에지는 영상 안에 있는 물체의 윤곽에 대응된다. 에지 검출은 다양하게 연구되고 있지만 모든 종류의 영상에 대하여 완벽하게 적용되는 방법은 아직 없는 것으로 알려지고 있다. 에지 검출 방법을 크게 나누어 보면 1차 미분값을 이용하는 방법과 2차 미분값을 나타내는 방법, 그 밖의 방법으로 나눌 수 있다. 이 들은 공간필터를 이용하여 수행할 수 있다. 1차 미분을 이용한 에지 검출 방법에는 차분필터, 로버츠 필터, 커쉬 필터, 로빈슨 필터등을 들 수 있는데, 공통적으로 모두 픽셀 밝기의 기울기를 기초로 하는데 소벨 마스크(Sobel mask)를 적용하는 것이 바람직하다. 소벨 마스크를 적용하는 기술은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있으므로 설명을 생략한다.

한편 소벨 마스크를 적용하고 나면 얼굴의 전체 뿐 아니라 각 구성부분(즉 눈, 코, 입등)의 폐곡선, 즉 윤곽선을 얻을 수 있다. 이 각각의 윤곽선을 사전에 설정한 타원형의 윤곽선과 비교하여 얼굴의 윤곽선을 추출(205단계)하게 되는데, 그 이유는 코의 경우는 직사각형, 입술의 경우는 완만한 역삼각형등의 윤곽을 가지게 되므로 얼굴 전체를 타원형으로 보면 소벨 마스크를 적용한 결과 얻는 얼굴 전체의 윤곽선과 사전에 설정된 타원형 윤곽선을 비교하면 얼굴의 윤곽선을 얻을 수 있게 된다(207단계). 그 결과를 보여주는 것이 도 4c이다. 그러나 추출된 윤곽선이 얼굴이 아닌 경우에는 다른 프레임의 정지영상에 대하여 상기의 단계를 반복한다. 타원형 얼굴 템플릿을 획득한 경우에는 그 템플릿에 대하여 일정한 식별번호를부여하고 저장한다(209단계, 103단계).

한편 좌표변환부(307)은 입력부(301)에서 출력하는 정지영상을 HSI좌표계로 변환하게 되는데, 101단계에서 얻은 정지영상을 HSI좌표계로 변환하여 또 하나의 얼굴영역을 추출하게 된다(105단계). 이하 상세하게 설명한다. HSI좌표계로 변환(211단계)하는 목적은 아래에서 설명할 스킨필터를 적용한 컬러 매칭을 하기 위함이다. 일반적으로 3차원의 색공간(color space)을 표현하는데에는 RGB, HSI, CYM등의 방식이 있다. 본 발명의 일 실시예에 적용하는 경우 컬러 매칭을 하기 위하여는 HSI좌표계를 이용하는 것이 바람직하다. HSI좌표계는 H(hue, 색조), S(saturation, 채도), I(intensity, 명암)로 영상을 표현하는 방식이다. 예를 들어 도로에서 달리는 밝은 색상의 노란색 차의 색을 파란색으로 바꾸면서 나머지 화면은 고정시키고자 하는 경우에 RGB로 이러한 작업을 수행하는 것은 어렵지만 HSI좌표계를 이용하면 비교적 용이해진다. 왜냐하면 차의 노란색 픽셀은 명도 혹은 채도와는 무관하게 특정한 범위의 색조(hue)를 가지고 있기 때문이다. 따라서 이 픽셀들은 쉽게 분리해낼 수 있고 색조성분을 변화시켜 상이한 색을 가지는 차의 영상을 얻을 수 있다.

거의 모든 디지틀 영상 처리시스템은 RGB 영상으로 처리되므로, 위와 같은 예는 일반적으로 다음과 같은 3단계를 거친다. 첫째 원래의 RGB영상을 HSI좌표계로 변환한다. 둘때 색조(채도 또는 명암)을 수정한다. 마지막으로 다시 RGB로 바꾼다. 이와같은 단계들을 수행하는 기법은 다양하며, 본 발명에 있어서의 적용예를 아래의 표 1의 슈드코드(pseudo code)로써 아래에 보인다(211단계).

RGBtoHSI(float r,float g,float b,float *h,float *s,float *i){float min, max; /* minimum and maximum RGB values */float angle; /* temp variable used to compute Hue */if((r<=g) && (r<=b)) min = r;else if((g<=r) && (g<=b)) min = g;else min =b;/* compute intensity */*i=(r + g + b) / 3.0;/* compute hue and saturation */if((r==g) && (g==b)) /* gray-scale */{ *s = 0.0; *h = 0.0; return; }else{ *s= 1.0 - (3.0 / (r + g + b)) * min;angle = (r - 0.5 * g - 0.5 * b) /sqrt((r - g) * (r - g)+(r - b) * (g - b));*h = acos(angle);*h *= 57.29577951; /* convert to degrees */ }if(b>g) *h = 360.0 - *h;}

다음으로 상기의 단계를 거쳐 획득한 영상데이터를 저장하기 위한 임시저장변수로서 템플릿 매트릭스변수를 생성시킨다(213단계). 이 변수들에는 프레임단위로 검출된 정지영상이 HSI좌표변환된 값들이 저장된다. 이 예는 아래의 표 2의 pseudo code의 2)처럼 구현된다. 아래의 표 2에서 좀 더 좋은 결과를 위해서는 3)에 나타나는 알고리즘을 수행하기 전에 median filter를 추가하여 임필스 잡음등을 제거해주는 것이 바람직하다.

Skin_Filter(float *r,float *g,float *b,float *h,float *s,float *i,){float *I,*hue,*saturation;int *row,*column = memset_sizeof(r);int *map = memset_sizeof(r);1) HSI 변환RGBtoHSI(float *r,float *g,float *b,float *h,float *s,float *i);2) Template Matrix 생성for y=1:row,for x=1:column,I(x,y) = i;hue(x,y) = h;saturation(x,y) = s;3) Detect skin texture regionsfor y=1:row,for x=1:column,if (I(y,x)<4.5 & 120<hue(y,x) & hue(y,x)<160 & 10<saturation(y,x) &saturation(y,x)<60), map(y,x) = 1;if (I(y,x)<4.5 & 150<hue(y,x) & hue(y,x)<180 & saturation(y,x)>20 &saturation(y,x)<80), map(y,x) = 1;}

위 표 2의 pseudo code를 보면 2)에서 설정된 템플릿트 매트릭스변수에 HSI변화된 정지영상의 명도, 채도, 색조가 입력됨을 알 수 있다. 이러한 값들을 대상으로 하여 3)에서 피부색을 이용한 스킨 필터링을 수행한다. 이 예를 간단히 살펴 보면 명도가 4.5이하이고 색조가 120초과 160미만, 그리고 채도가 10초과 60미만이면 컬러매칭방법에 의하여 얼굴영역으로 검출하는 것을 알 수 있다. 이러한 임계값들은 적절히 실험을 통해 조절할 수 있다(217단계). 이상과 같은 단계를 거쳐 얻은 결과가 도 4d이다.

얼굴검출부(311)는 상기의 단계를 거쳐 획득한 값에 의하여 표현되는 영역이 얼굴영역으로 판단되지 아니하는 경우에는 다른 프레임에 대하여 211단계에서부터 반복하고, 일반적인 타원형 얼굴 영역이 구하여 졌으면 이 데이터에 대하여 특정한 식별자를 부여하고 저장한다(219단계).

비교부(313)는 얼굴템플릿추출부(303)에서 201내지 209단계를 거쳐 저장한얼굴템플릿영역과 얼굴검출부(311)에서 219단계를 거쳐 저장된 얼굴 영역간의 크로스 코릴레이션을 수행하여 정확한 얼굴영역을 검출하게 되며(107, 221단계), 그 결과가 도 4e이다.

일반적으로 두 신호간의 상관관계를 수학적으로 표현하기 위하여 상관함수(correlation function)을 이용한다. 동이한 신호에 대하여는 자기상관함수(autocorrelation function), 상이한 신호에 대하여는 교차상관함수 (crosscorrelation function)을 적용한다. 시간영역에서 신호의 상관관계를 나타내는 교차상관함수를 푸리에변환을 실행하여 주파수영역에서 해석하면, 상관함수는 시간영역에서는 신호의 상관관계를 나타내는 함수가 되고, 주파수영역에서는 그 신호가 포함하고 있는 전력(power) 또는 에너지의 분포를 나타내는 함수가 된다. 영상처리에서도 얻어진 영상의 디지털 신호를 주파수 영역으로 변환하여 처리가 가능하므로, 이를 이용하면 각기 다른 방식의 알고리즘을 적용하여 얻어진 두 가지의 타원형 얼굴템플릿에 대하여 교차상관을 취할 수 있다. 만약 각각 얻어진 얼굴템플릿이 동일한 이미지 특성을 가진다면 자기상관성을 갖는 상관특성을 나타내게 된다. 따라서 본 발명의 경우에도 이러한 상관함수의 일반적인 성질을 이용하여 완벽한 얼굴영역을 추정해낸다.

즉 209단계에서 저장되어 있는 얼굴템플릿과 219단계에서 저장되어 있는 얼굴영역에 대하여 FFT(Fast Fourier Transform)을 실행한다. 이 실행결과 주파수 영역으로 변환된 각 데이터에 대하여 교차상관을 구하여 그 결과값이 사전에 설정된 임계값을 초과하면 정확한 얼굴영역으로 판단한다.

다만 HSI좌표계로 변환하면서 발생할 수 있는 원영상과의 차이점을 보상하기 위한 가중치를 실험에 의하여 얻을 수 있으며, 이 값을 반영하여 교차상관을 실시한다(221단계). 이 교차상관이 적용되는 일 예를 아래의 표 3의 pseudo code로 보인다.

int i, j ; float x1[N], x2[N], cor[N]; bool OK = FALSE;float X1_real[N], X1_imag[N];float X2_real[N], X2_imag[N];float Cxy_real[N], Cxy_imag[N];do{1) time domain correlationcorrel(x1, x2, cor);2) frequency domain correlation3) Fourier transform of x1 and x2for(i=0; i<N; i++){X1_real[i]=x1[i]; X1_imag[i]=0;X2_real[i]=x2[i]; X2_imag[i]=0;}fft(N, X1_real, X1_imag);fft(N, X2_real, X2_imag);4) product of Fourier transformed x1 and x2for(i=0; i<N; i++){Cxy_real[i]=X1_real[i]*X2_real[i]+X1_imag[i]*X2_imag[i];Cxy_imag[i]=X1_real[i]*X2_imag[i]-X1_imag[i]*X2_real[i];}}while(end of data);5) decide to detection with product value of correlationOK = check_threshold(Cxy_real, Cxy_imag);

눈동자검출부(315)는 위의 단계들을 거쳐 얻어진 정확한 얼굴영역에 대하여 눈동자의 위치를 찾는다. 이 눈동자를 검출하기 위하여 템플릿 매칭방법을 적용한다(223단계). 종래의 얼굴검출방법들에 있어서는 얼굴영역을 검출하기 위하여 템플릿 매칭방법을 적용하여 눈동자의 위치부터 찾는 순서를 가진다. 그러나 본 발명의 경우에는 위에서 설명한 것과 같이 두 가지 흐름에 의한 얼굴템플릿을 구한 후 상관관계를 구하여 정확한 얼굴영역을 먼저 검출한 후에 눈동자를 찾게 되므로 보다 빠르고 정확하게 탐색할 수 있어 그 결과 눈동자뿐만 아니라 필요로 하는 다른 얼굴 부분 즉 코, 입등을 찾아낼 수 있게 된다(109단계).

눈동자 검출과정을 좀 더 알아본다. 먼저 위에서 설명한 교차상관에 의하여 정확하게 얻어진 얼굴영역에서 일반적으로 알려져 있는 얼굴의 구성부분간의 거리를 나타내는 비례특성함수를 이용하여 가상의 눈동자의 위치를 선정한다. 선정된 눈동자의 위치를 중심으로 한 데이터와 사전에 확보하여 저장하고 있던 얼굴 데이터베이스내의 눈동자영역의 마스크 정보를 템플릿 매칭 방법에 의하여 순차적으로 비교 적용하고, 정규화 교차상관(normalization cross correlation)을 이용하여 눈동자 위치를 검출한다. 정규화 교차상관이란 영상과 특성 벡터들을 단위길이로 정규화하여 영상을 교차상관해서 상관관계를 구하는 경우의 문제점을 보완하기 위하여 도입한다. 이 정규화 교차상관에 대한 일반적인 이론은 여러 문헌에 개시되어 있다. 이렇게 검출된 눈동자의 위치를 중심으로 하여 필요로 하는 눈이나 입 혹은 코와 같은 다른 얼굴부분의 영상을 눈동자와의 거리관계에 기초하여 쉽게 구할 수 있다. 이상과 같이 눈동자를 검출하는 개략적인 영상을 보여주는 것이 도 4f이다.

정규화 교차상관 알고리즘을 살펴보면 본 발명에서 눈동자 샘플의 마스크 데이터를 temp[i,j]라고 하고, 검출된 얼굴영역을 image[i,j]라고 할 때의 그 구현예를 아래의 표 4의 pseudo code로 보인다.

nor_corr(x,y,n,m,temp,image)int x= x; // location of image int y= y; // location of imageint n= x; // dimension of image int m= y; // dimension of imageint temp; // template used int image; // picture usedint C=0; int D=0; int E=0; int M=0;for i = 1:n,for j = 1:m,a = i+x; b = j+y;c = double(temp(i,j));d = double(image(a,b));C = C + (c * d);D = D + (d * d);E= sqrt(D);return (M = C/E);

눈동자등의 위치를 찾는 것을 좀더 자세히 설명하면, 미리 구축해놓은 눈, 코, 입등 부분적인 얼굴 구성요소의 샘플 값들을 저장해놓은 데이터베이스에서 제공되는 눈동자의 템플릿 정보를 가진 부분영역과 눈동자 위치를 구하고자 하는 얼굴영역에 대해서, 사람얼굴의 각 부분에 대한 비례특성에 의한 눈동자 추정위치를 중심으로 템플릿 메칭을 통해 정규화 교차상관을 구하여 그 값이 최대값 혹은 일정한 임계치를 넘는 영역이 구하고자 하는 눈동자의 영역임을 쉽게 찾아낼 수 있다. 마찬가지로 입이나 코등의 영역추출도 같은 방법을 사용한다. 여기서 검출성능을 결정하는 중요한 요소는 이미 구축해놓은 눈동자나 입등의 얼굴요소 샘플의 데이터 표본들의 범용성과 그 표본성이다. 그러나 너무 많은 양의 표본 샘플을 일일이 템플릿 매칭한다면 정확도는 높아지나, 그 계산시간이 길어지므로 이에 대한 적절한 조절이 필요하다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 설명한 바와 같이, 본 발명에 의한 얼굴 검출 방법 및 그 장치에 의하면, 종래의 얼굴 검출 알고리즘을 적용하는 경우보다 빠른 시간 내에 실시간으로 정확한 얼굴을 검출할 수 있다.

Claims

(a) 정지영상에서 윤곽선을 추출한 후 상기 윤곽선과 기준도형을 비교해서 얼굴 템플릿을 구하는 단계;

(b) 상기 정지영상을 좌표변환을 한 후 변환된 영상데이터를 기준색과 비교하여 얼굴영역을 추출하는 단계;

(c) 상기 얼굴템플릿과 얼굴영역간의 상관관계를 기초로 얼굴영상을 구하는 단계; 및

(d) 상기 얼굴영상에서 눈동자를 검출하는 단계;를 포함하는 것을 특징으로 하는 얼굴 검출 방법.
제1항에 있어서,

상기 (a) 단계는 입력되는 영상데이터로부터 프레임단위로 정지영상을 구하는 것을 특징으로 하는 얼굴 검출 방법.
제1항에 있어서,

상기 (a) 단계는 상기 영상데이터를 그레이 스케일(gray scale)화하여 상기 정지영상을 구하는 단계를 포함하는 것을 특징으로 하는 얼굴 검출 방법.
제1항에 있어서,

상기 (a)단계는 픽셀 밝기의 기울기를 기초로 상기 윤곽선을 추출하는 것을 특징으로 하는 얼굴 검출 방법.
제4항에 있어서,

상기 윤곽선 추출은 소벨 마스크(Sobel mask)를 이용하는 것을 특징으로 하는 얼굴 검출 방법.
제1항에 있어서, 상기 (b)단계는

상기 좌표변환을 RGB좌표계에서 HSI좌표계로 수행하는 것을 특징으로 하는 얼굴 검출 방법.
제1항에 있어서,

상기 (b) 단계는 스킨 필터(skin filter)를 이용한 컬러 매칭 (color matching)에 의하여 얼굴영역을 추정하는 것을 특징으로 하는 얼굴 검출 방법.
제1항에 있어서,

상기 (c)단계는 상기 얼굴 템플릿과 상기 얼굴영역을 크로스 코릴레이션(cross correlation)을 취하여 상기 얼굴영역을 구하는 것을 특징으로 하는 얼굴 검출 방법.
제8항에 있어서, 상기 크로스코릴레이션은

소정의 가중치를 적용하여 상기 HSI좌표계로 변환하여 구한 얼굴영역의 편차를 보상하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 검출 방법.
제1항에 있어서,

상기 (d)단계는 상기 얼굴영상과 눈동자를 템플릿 매칭 방식에 의하여 눈동자를 검출하는 단계를 포함하는 것을 특징으로 하는 얼굴 검출 방법.
제1항에 있어서,

(d1) 상기 (d)단계는 상기 눈동자를 기초로 얼굴의 다른 구성 부분을 구하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 검출 방법.
제11항에 있어서, 상기 (d1)단계는

상기 구성부분과 눈동자간의 거리를 기초로 구하는 단계를 포함하는 것을 특징으로 하는 얼굴 검출 방법.
입력되는 영상데이터에서 정지영상을 획득한 후 윤곽선을 추출하여 상기 윤곽선과 기준도형을 비교해서 얼굴 템플릿을 구하는 입력부;

상기 정지영상을 수신하여 좌표변환을 한 후 변환된 영상데이터를 기준색과 비교하여 얼굴영역을 추출하는 얼굴영역추출부;

상기 얼굴템플릿과 얼굴영역을 수신하여 상관관계를 기초로 얼굴영상을 출력하는 비교부; 및

상기 얼굴영상을 입력받아 눈동자의 위치를 탐색하는 눈동자검출부를 포함하는 것을 특징으로 하는 얼굴 검출 장치.
제13항에 있어서, 상기 입력부는

상기 영상데이터에서 프레임단위로 상기 정지영상을 구한후 소벨 마스킹을 하여 상기 윤곽선을 구하여 상기 얼굴 템플릿을 구하는 것을 특징으로 하는 얼굴 검출 장치.
제13항에 있어서,

상기 얼굴영역추출부는 상기 정지영상을 HSI좌표계로 변환하는 좌표변환부;

상기 좌표변환된 정지영상에 대하여 스킨 필터링을 하는 컬러매칭부;

상기 스킨필터링을 거친 정지영상에서 얼굴영역을 추정하는 얼굴검출부;를 포함하는 것을 특징으로 하는 얼굴 영역 검출 장치.
제13항에 있어서,

상기 눈동자 검출부는 상기 눈동자의 위치를 기준으로 하여 거리를 추정하여 얼굴의 다른 구성 부분을 구하는 타영역검출부를 더 포함하는 것을 특징으로 하는 얼굴 영역 검출 장치.
제1항의 단계를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.