KR20040042501A - 형판 정합 기반 얼굴 검출방법 - Google Patents

Abstract

본 발명은 사람의 얼굴을 포함하는 동영상 또는 정지영상이나 이미지 등의 비디오에서 얼굴 영역을 검출하는 방법에 관한 것으로서, 특히 형판 정합(Template Matching)을 기반으로 하여 얼굴을 검출하는 방법에 관한 것이다.

본 발명의 얼굴 검출 방법은 (a). 전처리 과정: 최소-최대 정규화(Min-max normalization) 방법을 이용한 빛 보정, (b). 얼굴 검출 과정: 웨이블릿 변환된 3개의 주파수 영역으로부터 추정된 다양한 크기의 웨이블릿 형판을 이용한 얼굴 검출, (c). 얼굴 후보의 검증 과정: 적응적 임계값과 지형적 특성을 이용한 얼굴 요소 검출과 이를 이용한 후보 얼굴의 검증, (d). 얼굴 추적 과정: 지역적 검색 윈도우를 이용해서 얼굴을 추적하는 과정으로 이루어진다.

Description

형판 정합 기반 얼굴 검출방법{FACE DETECTION BASED ON TEMPLATE MATCHING}

본 발명은 사람의 얼굴을 포함하는 동영상 또는 정지영상이나 이미지 등의 비디오에서 얼굴 영역을 검출하는 방법에 관한 것으로서, 특히 형판 정합(Template Matching)을 기반으로 하여 얼굴을 검출하는 방법에 관한 것이다.

비디오로부터의 자동적인 얼굴 검출과 추적 기술은 화상회의, 보안 통제 시스템, 내용기반 비디오 색인 등과 같은 많은 상업적인 분야에서 중요한 연구과제로 떠오르고 있으며, 얼굴 검출과 추적에 대한 수많은 연구가 활발히 진행되어 왔다.

얼굴 검출과 추적에 있어서 수행해야 할 작업은 영상 안에 얼굴이 존재하는지의 여부를 결정하는 것과 얼굴이 존재한다면 그 얼굴의 정확한 위치가 어디인가를 파악하는 것이다. 하지만, 정지 영상이나 동영상으로부터 정확하게 얼굴을 검출해 낸다는 것은 결코 쉬운 일이 아니다. 이것은 얼굴이 다양한 크기를 갖고, 위치가 변하며, 카메라 앵글의 변화로 인해 각도가 변화하고, 얼굴 포즈(정면 얼굴, 45도 기울어진 얼굴, 측면 얼굴)의 변화와 얼굴 가림 현상, 얼굴 표정의 변화, 빛의 변화 등이 원인으로 작용하기 때문이다.

일반적으로 얼굴 검출 알고리즘은 몇 개의 카테고리로 분류된다. 한가지 방법은 지식 기반 방법이다. 지식기반 방법은 인간의 기본 얼굴에 대한 연구자들의 지식으로부터 추론된 규칙들을 기반으로 하여 얼굴을 검출하는 방법이다. 이 방법은 얼굴을 구성하는 요소들간의 상대적인 거리나 관계와 같은 몇 가지 단순한 규칙들을 적용하는 방법이다. 하지만 이 방법은 인간의 얼굴에 대한 지식을 정확하게 정의된 규칙으로 변형하기 힘들다는 점과, 다양한 얼굴 포즈에 대해서 고정적인 규칙을 적용하기 쉽지 않다는 단점이 있다.

얼굴 검출의 다른 방법으로 특징 기반 얼굴 검출방법이 있다. 특징 기반 방법은 얼굴 검출을 위해 얼굴의 불변하는 특징(눈, 코, 입과 같은 얼굴 요소, 질감, 살색)들을 찾는 방법이다. 얼굴의 여러 가지 특징들 중에서 특히 살색은 얼굴의 이동, 회전, 크기 변화 등에 덜 민감한 특성을 가지므로 최근에 가장 많이 사용되고 있는 방법이다. 하지만, 살색 모델은 빛의 스펙트럼이 심하게 변할 경우 매우 비효율적이므로 최근의 몇 가지 조합적인 방법들은 색상과 모양 또는 추적을 위해 움직임 정보 등을 결합하는 방식을 시도하고 있다.

얼굴 검출의 또 다른 방법으로는 형판 기반 얼굴 검출방법이 있다. 형판(template) 기반 얼굴 검출방법은 얼굴에 대한 몇 가지의 표준 패턴을 만든 뒤에 패턴을 얼굴 검출을 위해 저장한다. 그런 뒤에 패턴들은 영상의 탐색 윈도우 안에서 영상과 하나씩 비교해 나간다. 이 방법은 단순한 장점을 가지고 있지만, 얼굴 회전이나 크기변화, 다양한 빛의 변화 및 잡음에 민감한 단점을 가지고 있다.

또 다른 얼굴 검출 방법으로 신경망에 기반을 둔 얼굴 검출방법이 있다. 신경망(neural network)기반 방법들은 영상으로부터 각기 다른 영역들을 서브 샘플링(sub-sampling)하여 신경망을 통해 얼굴과 비 얼굴에 대해 학습시킨 뒤 얼굴을 찾도록 하는 방법을 사용한다. 이러한 방법들은 만족할 만한 검출율을 보여주는 반면에, 계산량이 많고 정면과 수평으로 돌린 측면얼굴 검출에는 좋은 성능을 보여주지만 다른 각도로 회전된 얼굴 검출에서는 좋을 결과를 보여주지 못하고 있다.

본 발명의 목적은 웨이블릿 변환(wavelet transform)을 기반으로 하여 다해상도(multiresolution), 다변환 크기(multiscale size)를 갖는 형판들을 이용해서 비디오에서 얼굴을 검출하는 방법을 제공하는데 있다.

특히 본 발명에서는 휴대폰이나 PDA(Personal Digital Assistant)등에서 사용될 원격 화상 통신을 위해서, 형판 정합 방법(template matching)을 기반으로 하는 얼굴 검출 및 추적 기법을 제공하며, 형판 정합과 관련된 여러 가지 문제점들을 해결하기 위하여 평균 얼굴 영상으로부터 3가지 형태의 웨이블릿 형판(wavelet template)을 만들고, 웨이블릿 변환된 영상에 상기 웨이블릿 형판을 적용시켜 얼굴을 검출함으로써, 얼굴 회전이나 크기변화, 다양한 빛의 변화 및 잡음에 덜 민감하고 검출 오류를 줄이며 검출율을 높일 수 있도록 한 얼굴 검출 방법을 제공함을 목적으로 한다.

도1은 본 발명의 얼굴 검출 및 추적 방법의 플로우차트

도2는 본 발명에서 전처리 과정을 설명하기 위한 도면

도3은 본 발명에서 얼굴 형판 생성과정을 설명하기 위한 도면

도4는 본 발명에서 얼굴 형판 정합과정을 설명하기 위한 도면

도5는 본 발명에서 후보 얼굴 영역과 최종 검출된 얼굴 영역을 나타낸 도면

도6은 본 발명에서 탐색 가능한 얼굴 범위를 설명하기 위한 도면

도7은 본 발명에서 회전된 얼굴에 대한 탐색과정을 설명하기 위한 도면

도8은 본 발명에서 눈 영역 탐색과정을 설명하기 위한 도면

도9는 본 발명에서 얼굴 요소 검출 및 타원 맵핑을 설명하기 위한 도면

도10은 본 발명의 형판 정합 기반 얼굴 검출장치의 블록도

상기 목적을 달성하기 위한 본 발명의 형판 정합 기반 얼굴 검출방법은, 평균 얼굴 영상으로부터 다해상도, 다변환 크기의 얼굴 형판을 생성하여 준비하는 단계, 입력 영상을 전처리 후 웨이블릿 변환하여 상기 얼굴 형판들과 정합시켜 얼굴 후보 영역을 검출하는 단계, 검출된 얼굴 후보 영역에 대해서 적응적 임계값과 지형적 특성을 이용해서 얼굴 요소를 검출하여 최종 얼굴 영역을 확인하는 단계, 상기 최종 얼굴 위치정보를 기반으로 지역적 검색 윈도우를 사용해서 얼굴을 추적하는 단계; 를 포함하여 이루어지는 것을 특징으로 한다.

또한 상기 목적을 달성하기 위한 본 발명의 형판 정합 기반 얼굴 검출방법은, 입력 영상에 대하여 최소-최대 정규화를 적용하고 색상 정보를 이용해서 얼굴 영역을 선정하여 웨이블릿 변환하는 단계, 상기 웨이블릿 변환된 얼굴 영역과 일치하는 각각의 서브 이미지에 대해 준비된 형판을 탐색 윈도우 안에서 정합시키는 단계, 상기 정합 스코어를 임계값과 비교하여 얼굴 후보 영역을 선언하는 단계, 상기얼굴 후보 영역들과 형판 사이의 정합 거리를 정렬하여 최소 거리 값을 갖는 영역을 실제 얼굴 영역으로 설정하는 단계; 를 포함하여 이루어지는 것을 특징으로 한다.

상기한 바와 같이 이루어지는 본 발명은 형판 정합 방법을 기반으로 하여 얼굴을 검출하고 추적하는 기법이다. 본 발명에서는 평균 얼굴 영상으로부터 3가지 형태의 웨이블릿 형판을 만들고, 웨이블릿 변환된 영상에 상기 웨이블릿 형판을 적용하여 얼굴을 검출한다.

본 발명의 얼굴 검출 방법은 크게 나누어 아래와 같은 4개의 과정으로 설명될 수 있다.

(a). 전처리 과정: 최소-최대 정규화(Min-max normalization) 방법을 이용한 빛 보정과정으로서, 이 과정을 수행함으로써 빛의 영향에 의한 얼굴 검출 오류를 줄일 수 있다.

(b). 얼굴 검출 과정: 웨이블릿 변환된 3개의 주파수 영역으로부터 추정된 다양한 크기의 웨이블릿 형판을 이용한 얼굴 검출과정이다. 이를 위하여 평균 얼굴 영상을 이용해서 사전에 웨이블릿 형판이 준비되고, 이 웨이블릿 형팡과 상기 입력 영상을 웨이블릿 변환한 것을 서로 비교하여 얼굴 영역을 검출한다.

(c). 얼굴 후보의 검증 과정: 적응적 임계값과 지형적 특성(예: 눈이 눈썹 아래에 있다 => 눈을 이용한다는 의미)을 이용한 얼굴 요소 검출과 이를 이용한 후보 얼굴의 검증을 수행하는 과정으로서, 눈(또는 눈썹)을 검출하고 그 것을 이용해서 후보 얼굴에 대한 최종 검증을 수행한다.

(d). 얼굴 추적 과정: 지역적 검색 윈도우를 이용해서 얼굴을 추적하는 과정으로서, 검색 윈도우를 설정하고 이 것을 이용해서 다음 번의 입력 영상에서 얼굴이 있을만한 위치를 사전에 예측하고 그 위치로부터 얼굴을 검출해 나가는 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 얼굴 검출 방법을 실시예로서 상세히 설명한다.

도1은 얼굴 검출 및 추적 방법에 대한 전체적인 개략도를 보여준다. 영상 취득수단인 카메라를 이용해서 획득한 영상이 본 발명의 얼굴 검출 및 추적 시스템에 입력된다. 입력된 영상에 대해서 검출 오류 감소를 위한 빛 보정 등의 전처리를 수행하고, 칼라(살색)를 이용해서 얼굴 후보 영역을 구한다. 그리고 상기 얼굴 후보 영역에 대하여 웨이블릿 변환을 수행한 다음 그 웨이블릿 변환된 얼굴 영상을 이용해서 웨이블릿 형판을 구하고, 이 것을 평균 얼굴 영상으로부터 미리 구해놓은 웨이블릿 얼굴 형판과 정합시켜 얼굴을 검출한다. 웨이블릿 형판 정합을 통해서 얼굴이 검출되면 얼굴을 구성하는 요소(눈, 눈썹, 입, 코 등이 될 수 있다)를 검출하고 이를 미리 준비된 얼굴 타원과 맵핑(mapping)시켜 최종적인 얼굴 영역을 확정한다. 그리고 이전 3개의 얼굴 위치 정보를 갖고 다음 영상에 대한 얼굴 위치를 예측하여 추적한다.

1. 전처리 과정

전처리 과정은 최소-최대 정규화 방법을 이용한 빛 보정과 색상 정보를 이용한 후보 얼굴 영역을 검출하는 과정이다.

첫 번째 단계는 정확한 얼굴 검출을 위해 빛 상태의 변화를 보정하는 것이다. 일반적으로 영상이 디지털 카메라나 CCD 카메라로부터 얻어질 때 빛(스펙트럼, 빛의 강도)과 카메라의 특성(센서의 반응, 렌즈)으로 인해 얼굴의 외형에 영향을 받게 된다. 따라서, 이러한 요인들로 인해 빛의 상태를 보정하는 작업은 잘못된 결과를 줄이는데 필수적인 일이다. 따라서 본 발명에서는 최소-최대 정규화 방법을 전처리로 이용하여 얼굴 영상의 빛을 정규화 하도록 한다.

이와 같이 전처리된 얼굴 영상을 대상으로 하여 얼굴 색상 정보(살색 정보)를 이용하여 후보 얼굴 영역을 검출한 후에, 후보 얼굴 영역에 대해서만 세가지 형태의 웨이블릿 기반 형판을, 역시 웨이블릿 변환된 낮은 해상도의 부 영상(LL, HL, LH)에 적용하도록 함으로써, 보다 정확한 얼굴 영역 검출이 가능하고 오검출을 줄일 수 있게 되는 것이다.

이하, 빛 보정을 위한 최소-최대 정규화 방법을 설명한다.

일반적으로 화상회의나 비디오폰과 같은 응용분야에 대한 발명은 카메라가 정적이고, 빠른 물체의 움직임이나 두드러진 배경의 변화가 없다는 가정 아래 제안되었다. 하지만, 실제 응용 분야에서는 전경과 배경에서 빛의 변화와 색상의 변화가 계속 발생하고 이러한 요인들이 얼굴 영역을 놓치거나 잘못 검출하게 되는 주요한 원인이 된다. 따라서 빛 보정은 정확한 얼굴 검출을 위해 필수적이다. 본 발명에서는 실제 사용 환경에서 발생될 수 있는 빛의 변화로 인한 카메라 입력의 종류를 아래와 같이 6가지로 분류하여 보았다.

(a) 일정한 밝기의 분포를 갖는 영상, (b) 정면에서 광이 비추는 영상, (c) 측면에서 광이 비추는 영상, (d) 역광 영상, (e) 전체적으로 높은 밝기를 갖는 영상, (f) 전체적으로 어두운 밝기를 갖는 영상이다.

도2는 이와 같은 각각의 경우를 보여주는 예로써, (a) 내지 (f)의 영상은 앞서 기술한 각각의 경우에 대응하고, 각 경우에서 좌측에 놓인 영상은 카메라 입력 영상이며, 우측에 놓인 영상은 입력 영상에 대하여 빛 보정이 이루어진 후의 그레이(gray) 영상을 보여준다. 도면에서는 각 영상에 대한 평균 밝기(μ)와 표준 편차(σ)를 함께 나타내었다.

도2에서 보는 것과 같이 다양한 빛의 상태 변화를 보정하기 위해 본 발명에서는 다음의 식1과 같은 최소-최대 정규화 방법을 적용한다. 최소-최대 정규화 방법은 원 영상을 새롭게 정의된 데이터 범위로 변형 시켜주는 선형적인 변형(linear transformation)방법이다.

식1에서 min₁과 max₁은 각각 입력 영상의 최소 밝기값과 최대 밝기 값이며, min₂와 max₂는 새로운 범위의 최소 밝기 값과 최대 밝기 값이다. 최소-최대 정규화를 위해, 본 발명에서는 영상의 보간(luminance) 성분의 상위 약 8.5%를 기준 백색(reference white)(226~255)으로 가정하고, 반대로 하위 약 8.5까지를 기준 흑색(reference black)(0~30)으로 간주하였다. 여기서 8.5%라는 수치는 실험을 통해 가장 좋은 성능을 보여준 값으로 정한 것이다. 결국, 본 발명에서는 입력 영상의 최대, 최소 밝기 값에 상관없이 모든 영상이 31~225 범위의 밝기 값을 갖도록 하였는데, 이와 같은 방법을 사용함으로써 매우 밝거나 매우 어두운 입력 영상의 경우에도 좋은 검출 결과를 얻을 수 있기 때문이다.

표1 및 표2에 나타낸 바와 같이, 다른 전처리 방법들 즉, 최소-최대 정규화(Min-Max Normalization), 히스토그램 평활화(Histogram Equalization), 콘트라스트 스트레칭(Contrast Stretching), 가우시안 정규화(Gaussian Normalization), 감마 보정(Gamma correction)과 도2의 6개 카테고리(a 내지 f 영상)의 테스트 영상을 통해 비교해 봤을 때, 본 발명에서 사용한 방법이 상대적으로 좋은 성능을 보여줌을 알 수 있었다. 다음의 표1은 전처리별 정확율이고, 표2는 데이터에 따른 전처리 정확율(%)이다.

전처리 방법	정확율(%)
전처리 없음	77.8
최소-최대 정규화	95.8
히스토그램 평활화	76.3
콘트라스트 스트레칭	64.8
가우시안 정규화	90.2
감마 보정	81.3

전처리 영상, 프레임	없음	최소-최대 정규화	히스토그램 평활화	콘트라스트 스트레칭	가우시안 정규화	감마 보정	평균(%)
(a),311	97	100	69	98	99	62	87.5
(b),500	100	100	96	94	100	77	94.5
(c),500	100	100	100	18	100	100	86.3
(d),500	12	88	14	14	85	100	52.2
(e),311	60	87	89	87	57	49	71.5
(f),290	98	100	98	78	100	100	95.6
평균(%)	77.8	95.8	76.3	64.8	90.2	81.3	81

2. 칼라(색상) 정보를 이용한 얼굴 후보 검출

도1의 얼굴 검출 및 추적 알고리즘에 대한 전체적인 개략도에서 밝힌 바와같이 얼굴의 색상정보는 얼굴의 이동, 회전, 크기 변화 등에 덜 민감하고 빠른 처리 속도로 인해 가장 많이 활용되고 있는 특징 중의 하나이다. 하지만, 빛의 변화에 의해 색상성분이 변할 수 있으므로, 본 발명에서는 색상 성분을 후보 얼굴 영역을 찾기 위한 요소로 적용한다.

기존의 대부분의 발명에서는 살색 성분 중 크로마(chrominance) 성분은 보간(luminance) 성분과 독립적인 성분으로 가정하고 있지만, 실제로 살색 성분은 보간(luminance) 성분과 비선형적으로 의존적이다. 따라서 본 발명에서는 살색모델에서 크로마 성분을 변형하는 비선형적 변환식을 이용하여 Cb, Cr로 입력되는 색상 모델을 새로운 색상 모델인 NCb, NCr로 변형하였다. 이에 대한 구체적인 기법은 이미 알려진 Hsu와 Jain의 논문[R.L.Hsu, M.A.Mottab, and A.K.Jain, Face detection in color image, to appear in IEEE Trans. On PAMI, May, 2002]을 참조하면 된다.

크로마 성분을 변형 한 후에, 새로운 색상인 NCb와 NCr에 대해 임의의 임계값을 적용하여 얼굴 후보 영역 Cf(x,y)을 검출한다. 이때 적용되는 임계값은 빛의 상태에 따라 후보 얼굴을 놓치는 경우를 막기 위해 보다 넓은 임계값을 적용하여 후보 얼굴 영역이 모두 포함 될 수 있도록 하였다.

이를 식으로 표현하면 다음의 수학식2와 같다.

식2에서 Cf는 최종적으로 구한 얼굴 후보 영역을 의미하고, T_Cb=[87,167]과T_Cr=[123,173]은 얼굴 후보 영역 검출을 위한 임계값이다. 식2에서와 같이 Cb, Cr로 입력되는 색상 모델을 NCb, NCr로 변형하고, NCb, NCr 값이 각각 상기 임계치 조건을 만족하는 영역을 얼굴 후보 영역으로 결정하는 것이다.

3. 웨이블릿 변환 및 웨이블릿 형판 정합을 이용한 얼굴 영역의 탐색

앞서 기술한 바와 같이 입력 영상에 대해 빛 보정과 얼굴 후보 영역을 검출한 후에, 본 발명에서는 다음 단계로 다변환 크기(multiscale) 얼굴 형판을 후보 얼굴 영역에 적용한다. 형판 정합을 이용한 실시간 얼굴 검출 및 추적 방법의 문제점들 중 하나가 바로 탐색 시간이므로 본 발명에서는 합성된 평균 얼굴 영상에 이산 웨이블릿 변환(Discrete Wavelet Transform)을 적용하고 각각의 부 영역(subimage)으로부터 3가지 형태의 형판을 생성하여 탐색시간을 줄이도록 하였다.

웨이블릿 변환을 이용한 얼굴 검출에 대한 몇 개의 알려진 기술을 살펴보면, 웨이블릿 변환과 함께 후보 탐색 영역을 결정하기 위해 색상 정보를 이용하는 기법이 있다. 그러나 색상 정보를 이용하는 경우는 빛의 변화가 심할 때 색상 정보도 변하기 때문에 후보 얼굴 영역 결정에 민감한 영향을 미치게 된다. 따라서 색상 정보를 사용하지 않고 가버 웨이블릿 네트웍(Gabor wavelet network)과 디스크리미넌트(discriminant) 웨이블릿 특징들을 사용하는 기법이 있다. 그러나 이 방법들의 경우는 얼굴 형판 및 입력 영상에 대해 전처리 과정을 적용시키지 않았기 때문에 불규칙적인 빛 변화로 인해 얼굴 영역을 놓치는 결과를 보이게 된다.

또한, 얼굴 검출과 추적에서 계산량의 복잡도 문제도 중요하게 고려되어야 한다. 이것을 해결하기 위해 많은 추적 시스템들이 처리 속도가 빠른 색상 정보를 이용하지만 이 방법의 경우 실제로 얼굴과 얼굴이 아닌 영역을 구분할 수 있는 능력이 부족하다. 그러나, 형판을 사용하는 다른 추적 시스템들은 좋은 성능을 보여주는데 반하여 계산량이 많다는 것이 주요한 문제점이다. 이러한 문제점을 해결하기 위해, 몇몇 시스템에서는 작은 크기의 윈도우를 사용하는 방법들이 시도되었으며, 이러한 시스템들은 단지 저 해상도의 작은 크기의 형판을 이용하기 위해 얼굴 패턴의 저주파 성분만을 이용하고 있다. 그렇지만 눈이나 입 주위의 에지 성분과 같은 고주파 정보는 얼굴 영역을 탐색해 낼 수 있는 독특한 정보를 가지고 있음에도 불구하고 이러한 점이 간과되고 있다. 따라서 본 발명에서는 얼굴 영상의 저주파 성분뿐만 아니라 고주파 성분을 같이 이용하여 웨이블릿 변환된 저해상도 영상에서 얼굴 영역을 탐색하는 방법을 제안한다.

3.1 웨이블릿 변환과 얼굴 형판 생성

웨이블릿 변환 및 웨이블릿 형판을 기반으로 얼굴을 검출하기 위해서는 웨이블릿 변환과, 얼굴 형판의 생성이 필요하다.

웨이블릿 변환은 각기 다른 크기에서 영상의 변화를 표현해 낼 수 있는 다해상도의(multiresolution) 표현이 가능하고, 인간 시각 체계에 가장 적합할 뿐만 아니라 좋은 에너지 압축 효과를 보여준다. 본 발명에서는 'orthogonal & compact support wavelet'을 사용한다. 가장 간단한 'orthogonal & compact support wavelet'은 Harr 웨이블릿이지만, 본 발명에서는 계산이 단순하면서도 Harr보다 더정확한 계수를 뽑아내는 4개의 탭(tap)을 갖는 'Daubechies 웨이블릿'을 사용한다.

이를 위하여 평균 얼굴을 구해야 하는데, 이는 미리 수집한 얼굴 데이터베이스를 이용하여 만들어졌다. 일반적으로 얼굴 형판은 인간 얼굴의 가장 일반적인 특징들을 가능한 한 모두 포함해야 하며 동시에 배경이나 개개인의 특징(예, 헤어 스타일, 수염의 모양)들에 의해서 쉽게 변하지 않아야 한다. 이러한 사실에 입각해서, 본 발명에서는 63명으로부터 189개의 얼굴을 뽑아낸 뒤에 수작업을 통해 눈썹과 윗 입술이 포함되는 얼굴 형판이 만들어지도록 잘랐다.

도3은 이 과정을 보여준다. 도3에서 (a)는 주어진 영상에서 얼굴 형판에 포함되는 영역(face telplate region)을 보여주며, (b)는 평균 얼굴을 생성하기 위한 데이터 베이스 내의 얼굴 영역의 예(example of face regions for average face)를 보여주고 있다. 다음에는 상기 얼굴 형판을 40 ×40, 60 ×60, 80 ×80의 3가지 크기로 정규화 한 후 각각 정규화된 얼굴에 대해 평균 얼굴을 생성하였다. 도3의 (c)에 평균 얼굴 형판(average face template)을 나타내었다. 본 발명에서는 입력 영상이 QCIF(176 ×144)크기의 비디오이기 때문에, 가장 작은 얼굴 크기가 40 ×40보다 작지 않고, 가장 큰 얼굴 크기가 80 ×80 이하라는 가정 하에서 형판의 크기를 결정하였다. 그런 뒤에 웨이블릿 변환이 평균 얼굴에 적용되고 각각의 부 영상으로부터 3가지 형태의 웨이블릿 얼굴 형판이 만들어진다. 도3에서 저역(low pass)의 서브 이미지(low pass subimage (L))를 (d)에 나타내었고, 수평으로 고역(high pass)의 서브 이미지(horizontal high pass subimage (H))를 (e)에 나타내었으며, 수직으로 고역의 서브 이미지(vertical high pass subimage (V))를 (f)에 나타내었다. 그리고 대각 방향의 고역 서브 이미지(diagonal high pass subimage (D))를 (g)에 나타내었다.

본 발명에서는 3가지 크기의 형판을 사용하였지만, 형판 정합 방법의 경우, 실제 형판의 크기 보다 약간 작거나 큰 얼굴에 대해서도 검출할 수 있는 장점이 있으므로, 실제 환경에서는 30 ×30 ~ 100 ×100사이의 얼굴 영상에 대해서도 좋은 성능을 보여준다.

이와 같은 웨이블릿 변환 후에 실제 형판의 크기는 10 ×10, 15 ×15, 20 ×20으로 축소된다. 일반적으로, 얼굴은 수직 방향보다 수평 방향으로 강한 에지 성분을 가지므로 H와 V 고주파 서브 이미지는 얼굴과 비 얼굴 영역을 구분하는데 중요한 속성을 가진다. 하지만, 대각선 성분이 많은 고주파 서브 이미지(D)는 얼굴의 특별한 특징을 잘 나타내지 못하므로, 본 발명에서는 얼굴 형판에서 D 서브 이미지를 제외시켰다. 그러므로, 본 발명에서는 실제로 저주파(L), H,V고주파 서브 이미지를 사용하게 되고 전체 형판의 개수는 앞서 기술한 바와 같이 3개의 크기별로 각 3개씩 총 9개가 된다.

3.2 웨이블릿 변환된 입력 영상으로부터의 얼굴 영역 검출

저해상도 이미지로부터의 얼굴 검출은 얼굴 위치를 추정하기 위한 많은 계산 시간을 줄여 줄 수 있다. 하지만, 만약 해상도가 너무 낮다면 정확한 얼굴을 추정할 수 없기 때문에 본 발명에서는 입력 영상에 대해 2단계의 웨이블릿 변환을 취하도록 하였다. 이 경우에, 각 서브 이미지에서 1개의 픽셀은 원 영상에서 4 ×4 픽셀에 대응된다. 이 것은 앞서 기술한 바와 같이 40 ×40을 10 ×10으로, 60 ×60을15 ×15로, 80 ×80을 20 ×20으로 축소하였기 때문이다.

만약 F_i(i=L,H,V)가 m ×n 크기의 얼굴 형판이고 I가 M ×N크기의 저해상도 입력 영상이라고 할 때, MAE(Mean Absolute Error)는 F_i와 탐색 윈도우 S 사이에서 계산된다. 이때, 탐색 윈도우의 크기는 (m ±3) ×(n ±3)이다.

3.3. 정합(matching)과정

위와 같이 구해진 얼굴 형판을 이용해서 탐색 윈도우 내에서 얼굴 검출을 위한 정합 과정을 살펴보면 다음과 같다.

3.3.1. 얼굴 후보 영역 결정

앞서 기술한 바와 같이 원 영상에 대해 최소-최대 정규화와 식2에 의해 얼굴 후보 영역이 결정된다.

3.3.2. 웨이블릿 변환

빛이 보정된 입력 그레이 영상에 대해 웨이블릿 변환을 취한다.

3.3.3.얼굴 형판과의 정합

후보 얼굴 색상 영역과 일치하는 각각의 서브 이미지에 대해 3가지 형태의 얼굴 형판이 탐색 윈도우 안에서 정합된다. 얼굴 영역을 찾기 위해 입력 비디오의 첫 번째 영상에서는 각 형판이 서브 이미지의 전체 좌표에서 비교된다. 그런 다음, 두 번째 프레임부터는 탐색 윈도우가 첫번째 프레임에서 찾은 좌표점을 중심으로 (m ±3) ×(n ±3) 크기로 정해진다. 이때, 형판과 서브 이미지 간의 비교는 다음의 식3과 식4에 의해 결정되고 이 값에 따라 후보 얼굴 영역과 비 후보 얼굴 영역이 결정된다.

식4에서 w_k는 얼굴 형판을 위한 가중치(weighted value)로, 본 발명에서는 이 것을 L:H:V = 1:1:1로 정하였다. 상기 수학식4의 의미는 하나의 크기(size)의 형판에 대해서 L,H,V를 가중치를 고려해서 MAE를 모두 구하고 그 합을 구한 다음, 다른 나머지 2개의 크기에 대해서도 같은 방법으로 L,H,V를 가중치를 고려해서 MAE를 모두 구하여, 3개의 크기별 L,H,V의 합 중에서 스코어가 가장 좋은 형판을 선택한다는 의미이다.

도4는 상기한 얼굴 형판과 서브 이미지 간의 정합 과정을 보여준다. 도면의 좌측에는 m ×n 크기의 얼굴 형판(Face Template)을 나타내었고, 우측에는 탐색 대상인 저해상도 이미지(Low resolution target image(L-subimage))를 나타내었다.

즉, L 서브 이미지로부터 만들어진 1개의 형판(실선으로 표현)이 탐색 윈도우(점선으로 표현) 내에서 정합되는 과정을 보여주고 있다.

3.3.4. 에러 함수를 이용한 얼굴 후보 영역의 선언

본 발명에서는 에러 함수로 MAE를 사용하고 각 서브 이미지로부터 계산된 가중치를 고려한 MAE(weighted MAE)의 값을 합하여 최종 MAEs를 구한다(식4 참조).

만약 상기 MAEs가 F_i와 I 사이에서 최소값을 갖고 주어진 임계값 δ(δ= 100) 이하라면 해당 F_i는 얼굴 후보 영역 CFace 로 선언된다. 이 것을 아래의 식5로 표현하였다.

3.3.5. 최종 얼굴 검출

입력 영상에 존재하는 다양한 크기의 얼굴 영역을 검출해 내기 위해 본 발명에서는 앞서 언급한 것과 같이 다양한 크기의 얼굴 형판을 식5를 통해 입력 영상에 적용하고 각 크기에 대해 후보 얼굴들을 검출한 후에 각각의 정합 거리(CFace_{scale=10x10,15x15,20x20})를 기반으로 하여 각각의 값들을 정렬한다. 그런 뒤에 최종 얼굴 영역은 후보 얼굴 영역들 중에서 가장 정합 거리 값이 작은 영역을 실제 얼굴 영역 RF_scale(F)로 설정한다. 이 과정을 다음의 식6으로 표현하였다.

도5는 얼굴 후보 영역과 최종적으로 검출된 얼굴 영역을 보여준다. 가는 선으로 표시된 영역이 얼굴 후보 영역이고 굵은 선으로 표시된 영역이 최종적으로 구해진 얼굴 영역이다.

3.4. 좌우로 기울어진 얼굴 검출

일반적으로 형판 정합, 고유 얼굴(eigen face), 신경망과 같이 정면얼굴을검출하는 여러 가지 알고리즘이 많이 제안되었지만, 얼굴이 회전되었을 경우에 대한 제안은 많이 이루어지지 않았다. 하지만, 실생활에서 얼굴은 정면뿐만 아니라 좌우 또는 위아래로 회전된 얼굴이 많이 포함되어 있으므로 이러한 경우에 대해서도 고려해 줄 수 있는 알고리즘이 포함되어야 한다. 따라서 본 발명에서는 좌우로 각각 30도(±30도)의 기울임을 갖는 얼굴 영상에 대해서도 얼굴을 검출 할 수 있는 방법을 고려하였다. 그리고, 상하 회전에 대해서는 정면 얼굴을 고려하는 형판 자체가 ±10도 정도의 회전에 대해서도 좋은 검출 성능을 보여주기 때문에 본 발명에서는 상하 회전에 대해서는 고려하지 않았다.

일반적으로 정면 얼굴 검출기들은 정면 얼굴로부터 좌우(시계 방향, 반시계 방향)로 10도 정도 회전된 얼굴에 대해서는 대체적으로 만족할 만한 검출 결과를 보여준다. 이와 같이 회전된 얼굴을 검출하기 위해 얼굴 영상으로부터 회전각도를 계산하고 회전된 각도에 대해 정면 얼굴을 적용하는 방법이 있다. 또는 얼굴 영상을 5도씩 9번 회전시켜 ±20도 사이의 기울어진 얼굴을 검출하는 방법도 있다.

본 발명에서는 전자의 방법을 기반으로 한다. 원 얼굴 영역에 대해 방향 에지를 구하고 이에 대해 각도 히스토그램을 만든 뒤, 이를 이용하여 회전된 얼굴의 회전에 대한 기준(principal) 축을 찾는다. 그런 뒤에 찾아진 회전각을 고려하여 대해 정면얼굴 형판을 적용시킨다. 이 방법은 입력 영상에 대해 회전각을 구하고 구해진 회전각에 대해 정면 얼굴을 적용하는 방법으로 이를 위해선 언급한 것과 같이 2단계의 과정이 필요하고 회전각이 항상 정확하게 구해지는 것이 아니라는 단점이 있지만, 얼굴 영상을 소정 각도 단위로 회전시켜 기울어진 얼굴을 구하는 후자의 방법을 본 발명에 응용할 경우 저해상도 서브 이미지에 대해서 몇 번의 회전을 적용하여 정확한 기울어짐 얼굴 영상을 찾아낼 수 있다.

형판 정합을 이용한 경우 정면 얼굴이 -10 ~ +10도 사이의 얼굴 기울어짐에 대해서는 만족할 만한 결과를 보여주기 때문에 중심 얼굴로부터 좌측으로 -20도, 우측으로 +20도 만큼 2번 저 해상도의 서브 이미지들을 회전시키고, 이에 대해 정면 얼굴 형판을 적용한다. 서브 이미지를 회전시키지 않고 기울어진 얼굴 형판을 만들 경우 그 만큼 저장하고 있어야 할 형판 정보가 많아지므로 본 발명에서는 정면 얼굴 형판만으로 기울어진 얼굴을 검출 할 수 있도록 하였다.

즉, 본 발명에서는 기본적으로 전체 영상을 사용하지 않고 1/4 크기로 줄어든 서브 이미지에 대해서만 회전을 시키고, 한 영상에 대해 총 2번의 회전 밖에 취하지 않으므로 계산 시간상으로 크게 무리가 없다. 예를 들어, 0도에 대해서만 형판 정합을 취할 경우의 계산 횟수를 N번이라고 할 때, 좌우 2번의 같은 비교가 더 필요하므로 N ×2 회의 계산이 필요하다(회전 시간은 미미하므로 제외한다). 하지만, 이것은 1/4로 줄어든 영상에 대한 비교이므로 실행 시간으로 비교하면 큰 차이가 나지 않는다. 20 프레임에 대하여 검출 시간을 비교하여 봤을 때, 0도에 대한 검출 시간은 약 4초, 2번의 회전을 적용했을 경우 약 4.12 초가 소요되었다. 이 것은 전체 계산 얼굴 검출 시간에서 실제로 형판 정합이 차지하는 계산 시간이 양이 크게 작용하지 않는다는 것을 보여주는 예이다.

도6은 탐색 가능한 좌우 회전된 얼굴 범위를 보여주며, 도7은 회전된 얼굴에 대한 상기 탐색과정을 보여준다. 도7에서 (a)는 입력영상으로 좌측으로 소정각도기울어진 얼굴을 포함하는 영상이며, (b)는 이 영상을 우측으로 30도 회전시켜 형판 정합을 실행하는 것을 보여주고 있으며, (c)는 이와 같이 영상을 기울여서 형판 정합을 가하여 구해진 최종 탐색된 얼굴 영역을 보여주고 있다.

지금까지 설명한 회전된 얼굴에 대한 형판 정합 과정은 앞서 설명한 3.3절의 정합과정 중에서 얼굴 후보 영역을 선언하는 과정(3.3.4.절)에 추가될 수 있고, 앞의 식5 및 식6은 각각 다음의 식7 및 식8과 같이 변형되어 적용된다.

마찬가지로 상기 최종 얼굴 검출 단계(3.3.5.)에서도 정합 거리값 CFace_{scale=10x10,15x15,20x20,rotate=-20,0,+20}에 대해 가장 거리값이 작은 영역을 실제 얼굴 영역으로 설정한다. 이때, 주의해야 할 것은 기울어진 얼굴의 경우는 정면 얼굴 정합을 위해 회전되므로 실제 회전된 얼굴 중심좌표 값도 회전된 값으로 설정 해줘야 한다는 것이다.

4. 얼굴 요소를 이용한 검증

4.1. 눈 영역 검출

얼굴 위치와 형판의 크기가 결정된 후에 얼굴 요소 중 얼굴 검증 및 얼굴 크기 결정에 중요한 역할을 하는 눈 영역을 추출한다. 특히 눈 영역은 많은 얼굴 관련 응용 분야에서 얼굴 영역 정규화를 위한 필수 요소가 된다.

눈 영역을 찾기 위해 눈 형판을 기반으로 하는 방법이 사용되고 있지만, 입력 영상의 크기 혹은 영상에서의 얼굴 크기가 작은 경우에는 실제로 눈의 크기는 매우 작게 되어 눈 영역 고유의 패턴을 갖고 있다고 보기엔 무리가 있고, 따라서 검출된 얼굴에서 눈 형판과의 최소 MAE인 지점을 눈으로 찾는 것은 의미가 없어진다. 또한 신경망을 이용한 방법 역시 눈 검출 성능면에서는 만족스러우나, 많은 계산량 뿐 아니라 낮은 질의 영상에서 크기가 작은 눈 영역을 검출하기에는 역부족인 면이 있다. 이렇게 작은 입력 영상에 나타난 작은 눈 영역은 앞서 언급한 방법 이외에도 눈 영역의 밝기 정보를 이용하는 방법 등, 정확한 눈 영역 검출에 장애가 되고 있다.

그래서 본 발명에서는 밝기 값과 얼굴의 지형적인 특성을 이용하여 눈 영역을 직접 찾는 방법을 사용한다. 눈 영역은 다른 얼굴 영역에 비해 낮은 그레이 값을 갖고 지형적으로 특정 위치에 놓이기 때문에 이러한 특성을 이용하여 이진화된 눈 후보 영역을 프로젝션(projection)시키고 그 결과를 분석하여 눈 영역을 찾도록 한다. 도8에 이러한 눈 영역 탐색 과정을 나타내었다. 도8의 (a)는 앞서 기술한 방법으로 구해진 최종 얼굴 영역이고, (b)는 적응적 임계값과 프로젝션을 이용한 눈 영역 검출 이미지이며, (c)는 최종적으로 찾아진 눈 영역을 표기하였다.

눈 검출을 위하여 우선 얼굴 영역의 특징적 요소들이 보다 더 잘 드러날 수 있도록 검출된 얼굴 영역을 대상으로 히스토그램 평활화(Equalization)를 수행한다. 이렇게 하면 영상 전체를 대상으로 하지 않고 검출된 얼굴 영역을 전처리의 대상으로 하여 복잡한 배경이나 조명 조건에 의해 얼굴 영역의 특징적 요소들의 밝기 값이 영향 받지 않고 눈과 그 주위 부분은 어둡게, 또 얼굴 볼 영역은 좀더 밝게 처리되는 효과가 있다.

본 발명에서 사용한 형판이 눈썹부터 윗 입술을 포함하도록 결정되었기 때문에 프로젝션을 이용하여 정확한 눈 영역을 검출하기 위해서는 검출된 얼굴 영역의 중간 아래 부분은 눈 후보 영역에서 제거할 필요가 있다. 다음과 같은 식9를 이용해서 임계값을 구하고, 이것을 이용하여 눈 영역의 후보가 되는 얼굴 영역의 상위 부분에 대해서만 임계값 보다 낮은 영역을 눈 영역으로 이진화 한다.

Threshold=μ-(σ*s)

식9에서 s는 얼굴 국소화(localization)를 위한 스케일링 파라미터(scaling parameter)이다. 즉, s가 커지면 커질수록 후보 눈 영역의 수는 감소하고, 반대로 s가 작아지면 작아 질수록 후보 눈 영역의 수는 증가한다. 눈 영역 검출을 위해 이진화된 영상의 수직, 수평 프로젝션을 수행하기 때문에 높은 임계값으로 눈 영역이 처음부터 제거되는 일이 없도록 하기 위해 임계값은 여유있게 s = 1.1로 잡아 주었는데, 최소 임계값은 30으로 정했다. 이진화 후에 잡음 등에 의한 작은 영역들을 제거하기 위해 검출된 얼굴 크기에 따라 메디안 필터링(median filtering)을 수행한다. 즉, 상기 검출된 얼굴 영역이 80 ×80인 경우 필터는 5 ×5, 60 ×60인 경우에는 4 ×4, 40 ×40인 경우에는 3 ×3으로 각각 사용하여 작은 얼굴 영역에서 작은 눈 영역이 제거되는 일이 없도록 하였다.

눈 영역을 찾기 위해 첫번째로 잡음 등이 제거된 이진화 영상에 수직 방향 프로젝션을 수행한다. 프로젝션 결과에 대해 'k-means 군집화(k=2)', 즉 클러스터링(clustering)을 수행(k=2이므로 주어진 데이터를 2개의 그룹으로 나눔)하여 눈 후보 영역을 왼쪽, 오른쪽 눈이 각각 포함되어 있는 두 영역으로 분리하는데, 여기서 양쪽 눈이 포함되어 있다고 보는 것은, 프로젝션 결과에서 높은 값이 나타나는 부분들을 중심으로 눈 영역에 대한 군집이 형성되었다고 보았기 때문이다.

그래서 두 군집의 중심점이 두 눈 영역의 x 축 좌표가 되고, 두 중심점의 거리가 두 눈의 수평 거리로 보기에는 너무 가까운 경우, 좀 더 낮은 임계값을 적용하여 이진화 과정부터 다시 수행한다. 군집화 시에는 얼굴 크기에 따라 양 끝 영역을 제거시켜 주었는데 이것은 검출된 얼굴 영역의 상단 부분에 상대적으로 그레이 값이 어두운 머리카락을 포함하고 있기 때문에 프로젝션 결과가 높게 나타나 군집화의 중심점이 양쪽 끝으로 벗어나는 경우를 예방하기 위함이다.

군집화에 의해 눈 후보 영역이 왼쪽, 오른쪽 영역으로 나누어 졌으면 이제 두 영역에 대해 각각 수평 방향 프로젝션을 수행하고 양 쪽에서 각각 그 개수가 최대인 두 지점(local maxima)을 선택하는데, 이때 지역 최대값(local maxima)을 선택하기에 앞서 너무 많은 지역 최대값(local maxima)의 발생을 예방하기 위해 상기 프로젝션 결과에 대해 히스토그램 스무딩(histogram smoothing) 처리를 해준다.

얼굴 영역의 절반 이상의 영역에서 수평 방향 프로젝션의 개수가 많은 두 부분은 눈썹과 눈 영역이 되므로, 두 지점 중 지형적으로 아래에 위치한 지점을 선택하면 이 지점이 각각 왼쪽, 오른쪽 눈의 y 축 좌표가 된다.

만약 수평 방향 프로젝션에서 오직 하나의 지점만 찾을 수 있었다면 이 경우 역시 이진화 과정에서, 눈 혹은 눈썹 영역을 걸러내지 못한 것이므로 좀더 낮은 임계 값을 적용하여 이진화 과정부터 다시 수행한다. 이렇게 이진화 과정부터 다시 수행하는 것은 그 횟수를 제한함으로써, 얼굴 영역이 오검출된 경우 무한히 수행되는 경우가 발생하지 않도록 하였고, 수평 방향 프로젝션도 수직 방향과 마찬가지로 후보 영역의 상단에 머리카락이 포함되어 있는 경우를 고려하여 이 부분은 프로젝션에서 제외하였다.

4.2 얼굴 검증(Face Verification)

얼굴 영역이 구해지고 얼굴 영역으로부터 눈 요소의 위치가 구해진 다음, 눈 요소를 이용하여 최종적으로 해당 얼굴 영역에 대한 검증 작업을 거친다. 검증 작업은 얼굴 영역 안에서 두개의 눈이 모두 구해졌는지, 구해 졌다면 두 눈 사이의 거리는 어떤지 등을 판가름한다. 얼굴 검증에 대한 몇 가지 규칙은 아래와 같다.

제1규칙. 얼굴 영역에서 두 눈이 모두 구해졌는가?

제2규칙. 구해 졌다면 얼굴 형판에 대한 상대적인 두 눈 사이의 거리는 어떠한가? 만약, 얼굴 형판 크기보다 상대적으로 두 눈 사이의 거리가 멀다면 해당 얼굴영역은 정확한 얼굴 영역으로 판단하지 않고 후술하는 타원 맵핑 과정을 생략한 채 후보 얼굴영역만을 표시한다.

제3규칙. 만약, 한 개의 눈 요소만 추출된 경우, 이는 얼굴을 돌렸거나 빛의 강도로 인해 잘못 찾을 가능성이 있으므로 이 경우는 얼굴 영역으로 간주하고 얼굴 타원의 크기는 해당 얼굴 형판 크기의 반지름으로 결정한다.

위 3가지 규칙을 모두 통과한 얼굴 영역에 대해서는 눈 요소의 거리를 이용하여 타원을 맵핑시킨다.

4.3 눈 거리를 이용한 타원 맵핑

앞서 기술한 바와 같이 구해진 두 눈 영역의 중심점을 구하고 이를 이용하여 얼굴 크기에 맞는 타원을 맵핑시킨다. 본 발명에서는 두 눈 사이에서 그 중심점의 거리(e_dis)를 이용한다. 일반적으로 얼굴의 형태는 타원이므로 x축의 반경을 e_dis ×1.3 으로 주고 y축의 반경을 e_dis ×1.8 로 설정하였다. 그런 뒤에 얼굴 영역의 중심점으로부터 위 장축과 단축 정보를 이용하여 나머지 타원의 좌표를 계산해 낸다. 눈이 하나만 검출될 경우는 두 눈 사이의 중심점 거리를 구할 수 없으므로 구해진 형판의 크기로 얼굴 타원을 맵핑시키도록 하였다.

도11은 타원 맵핑 과정을 보여준다. (a)는 정면얼굴 요소 검출 및 타원 맵핑, (b)는 좌측 회전 얼굴 요소 검출 및 맵핑, (c)는 수직으로 돌린 얼굴에 대한 요소 검출 및 맵핑을 보여주고 있다.

5. 얼굴 추적

본 발명에서 얼굴 추적은 지역적 탐색 윈도우를 이용한 연속된 이미지로부터 수행한다.

첫번째 프레임으로부터 얼굴이 찾아진 후에 얼굴 추적은 계산 시간을 줄이고 시스템으로 하여금 빠르게 움직이는 얼굴을 추적할 수 있도록 하는 실시간 비디오 응용 분야에 매우 필요한 부분이다.

본 발명에서는 이전 3개 좌표의 지속적인 가속도와 속도를 이용하여 얼굴을추적하는 방법을 기반으로 하여, 일정하지 않은 움직임에 상관없이 다음 프레임의 얼굴 위치를 예측할 수 있는 방법을 제안한다.

얼굴 위치가 t 시간에 x(t) = [x(t),y(t)]^T에 위치한다고 가정하자. 이제 우리는 다음 프레임의 얼굴 위치(t+1)를 t-2로부터 t까지의 평균 속도와 현재 얼굴 위치의 좌표를 결합하여 구할 수 있다. 이 것을 아래의 식10으로 표현하였다.

예를 들어, x축만을 고려할 때, t-2의 얼굴 좌표가 2이고, t-1은 3, t가 4라고 할 때, x(t+1) = 5가 된다. 속도가 일정하지 않다고 가정해도, 예를 들어, t-2가 4, t-1이 2, t가 5일 경우에도 다음 번 얼굴 위치는 5가 된다. 본 발명에서 제안하는 방법에 의해 예측된 다음 프레임의 얼굴 위치를 다음 프레임에서의 탐색 윈도우의 중심점으로 사용한다.

제안된 탐색 방법이 다음 프레임을 위해 정확한 얼굴 위치를 예측하였다고 하더라도, 때때로 갑작스러운 얼굴의 움직임이나 빛의 변화로 인해 잘못된 얼굴을 찾거나 놓치는 경우가 발생한다. 따라서, 본 발명에서는 이러한 잘못을 막기 위해 한가지 제한 사항을 둔다. 다시 말해서, 만약 v(t)가 탐색 윈도우의 크기를 벗어나면 우리는 이것을 예외적인 경우로 간주하고 현재 얼굴위치를 이전 얼굴위치로 유지시킨 뒤에 다음 프레임을 위해서 전체 영상으로부터 다시 얼굴을 탐색하도록 한다. 이러한 제약 조건으로 인해 본 발명에서는 얼굴의 여러 가지 변화 요인에도 불구하고 정확하게 얼굴을 추적할 수 있었다.

도10은 지금까지 설명한 얼굴 검출 방법을 시스템으로 구현한 블럭도 이다.

도10에 나타낸 바와 같이 본 발명의 웨이블릿 형판 정합 기반 얼굴 검출 시스템(100)은, 영상 취득을 위한 카메라(101)와, 상기 카메라(101)로 획득한 영상을 입력받아 최소-최대 정규화를 기반으로 전처리를 수행하는 전처리기(102)와, 상기 전처리된 영상을 다해상도 변환을 기반으로 하여 웨이블릿 변환하는 웨이블릿 변환기(103)와, 상기 웨이블릿 변환된 입력 영상을 형판 저장소에 미리 저장된 L,H,V 각각에 대하여 준비된 다해상도의 서브 이미지 형판들과 비교하는 형판 정합부(104)와, 상기 형판 정합을 위하여 평균 얼굴 영상으로부터 웨이블릿 변환 및 다해상도 변환을 기반으로 L,H,V 각각에 대하여 구해진 다해상도의 서브 이미지 형판들을 저장하는 형판 저장소(105)와, 상기 형판 정합부(104)에 의해서 구해진 후보 얼굴 영역에서 눈 영역을 검출하는 눈 영역 검출부(106)와, 상기 검출된 눈 영역을 이용해서 상기 후보 얼굴 영역에 대한 최종 얼굴 영역을 검증하여 결정하는 최종 얼굴 결정부(107)와, 상기 결정된 최종 얼굴 영역의 위치 정보를 입력받아 지역적 탐색 윈도우를 이용한 연속적인 얼굴 추적을 수행하는 얼굴 추적부(108)를 포함하여 이루어진다.

이와 같이 구성된 본 발명의 웨이블릿 형판 정합 기반 얼굴 검출 시스템의 동작을 살펴보면 다음과 같다.

먼저, 카메라(101)로부터 영상이 입력되면 전처리기(102)는 입력된 영상에대하여 최소-최대 정규화 기법을 기반으로 하는 빛 보정을 수행한다. 이후 웨이블릿 변환기(103)에서 상기 전처리된 영상을 웨이블릿 변환하고, 변환된 영상은 형판 정합부(104)에 인가된다.

한편, 형판 저장소(105)에는 평균 얼굴 영상으로부터 구한 총 9개의 웨이블릿 변환된 형판이 준비되는데, 이는 10 ×10, 15 ×15, 20 ×20의 3개 크기 각각에 대하여 저주파(L), 수평과 수직의 고주파(H,V) 서브 이미지 형판 9개가 준비된다.

따라서, 형판 정합부(103)는 상기 웨이블릿 변환된 입력 영상을 상기 형판 저장소(105)에 저장되어 있는 9개의 형판을 이용해서 정합을 수행하고, 정합 결과 가장 높은 점수(score)를 갖는 얼굴 후보 영역에 대해서 눈 영역 검출부(106)가 눈 영역을 검출하게 한다. 눈 영역 검출부(106)는 밝기 값과 얼굴의 지형적인 특성을 이용해서 눈 영역을 검출하며, 이와 같이 눈 영역 검출부(106)를 통해 눈을 검증하고, 최종 얼굴 결정부(107)는 상기 눈 영역 검출 결과에 대한 검증 및, 얼굴 영역에 대한 타원 맵핑을 수행하여 최종적인 얼굴 영역을 결정한다.

이와 같이 결정된 얼굴 영역에 대한 위치 정보는 얼굴 추적부(108)에 제공되고, 얼굴 추적부(108)는 이 얼굴 위치 정보를 이용해서 다음 프레임의 얼굴 위치를 추적함으로써, 형판 정합부(104)가 이후 프레임에서의 얼굴 형판 정합을 할 때 사용하도록 한다.

여기서, 얼굴 추적은 앞서 기술한 바와 같이 지역적 탐색 윈도우를 이용해서 실행할 수 있다.

본 발명의 얼굴 검출 및 추적 방법은 형판 정합을 기반으로 하며, 웨이블릿 변환된 L,H,V의 다해상도 형판과 웨이블릿 변환된 입력 영상을 비교 정합시키는 방법으로 보다 정확하게 얼굴을 검출한다. 또한 전처리 과정을 거침으로써 빛에 의한 오검출 확률을 저감시킬 수 있고, 기울어진 얼굴에 대해서도 좋은 얼굴 검출 성능을 확보한다.

Claims (18)

1. 평균 얼굴 영상으로부터 다해상도, 다변환 크기의 얼굴 형판을 생성하여 준비하는 단계, 입력 영상을 전처리 후 웨이블릿 변환하여 상기 얼굴 형판들과 정합시켜 얼굴 후보 영역을 검출하는 단계, 검출된 얼굴 후보 영역에 대해서 적응적 임계값과 지형적 특성을 이용해서 얼굴 요소를 검출하여 최종 얼굴 영역을 확인하는 단계, 상기 최종 얼굴 위치정보를 기반으로 지역적 검색 윈도우를 사용해서 얼굴을 추적하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.
2. 제 1 항에 있어서, 상기 입력 영상의 전처리 후 웨이블릿 변환 전에 살색 정보를 이용해서 얼굴 후보 영역을 검출하고 이 얼굴 후보 영역에 대하여 웨이블릿 변환을 수행하여 다해상도, 다변환 크기의 얼굴 형판 정합을 실행함을 특징으로 하는 형판 정합 기반 얼굴 검출방법.
3. 제 1 항에 있어서, 상기 전처리는 최소-최대 정규화를 기반으로 하여 입력 영상의 밝기 성분의 상위 266 ~ 255, 하위 0 ~ 30의 범위를 각각 기준 백색 및 기준 흑색으로 간주함으로써, 입력 영상의 최대 및 최소 밝기 값에 상관없이 모든 영상이 31 ~ 225의 범위의 밝기 값을 갖도록 정규화되는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.
4. 제 1 항에 있어서, 상기 다해상도, 다변환 크기의 형판은 평균 얼굴 영상을 웨이블릿 변환하고 저역 서브 이미지(L), 수평과 수직 방향의 서브 이미지(H,V) 3개를 사용하는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.
5. 제 1 항에 있어서, 상기 웨이블릿 변환에 사용된 웨이블릿 기저 함수는 Daubechies 웨이블릿을 사용함을 특징으로 하는 형판 정합 기반 얼굴 검출방법.
6. 제 1 항에 있어서, 상기 다해상도, 다변환 크기의 형판은 평균 얼굴 영상을 웨이블릿 변환하고 저역 서브 이미지(L), 수평과 수직 방향의 서브 이미지(H,V) 3개의 형판 각각에 대하여 10 ×10, 15 ×15, 20 ×20의 다변환 크기를 갖는 9개의 형판을 사용하는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.
7. 제 1 항에 있어서, 상기 최종 얼굴 확인을 위하여; 상기 검출된 얼굴 후보 영역을 대상을 히스토그램 평활화를 수행하는 단계, 임계값을 적용하여 눈 영역의 후보가 되는 얼굴 영역의 상위 부분에 대해서만 임계값 보다 낮은 영역을 눈 영역으로 이진화하는 단계, 상기 이진화된 영상의 수직, 수평 프로젝션을 수행하고 그 결과에 대해서 군집화(clustering)를 수행하여 구한 정점 위치를 지형적 특성을 이용해서 눈 영역으로 검출하는 단계를 수행함을 특징으로 하는 형판 정합 기반 얼굴 검출방법.
8. 제 1 항에 있어서, 상기 최종 얼굴 확인을 위하여; 얼굴 요소로서 눈 영역을 검출하는 단계, 상기 검출된 눈 영역의 중심점을 구하고 이를 이용해서 얼굴 크기에 맞는 타원을 맵핑시키는 단계를 수행하는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.
9. 제 1 항에 있어서, 상기 최종 얼굴 확인을 위하여; 얼굴 요소로서 눈 영역을 검출하고, 얼굴 영역에서 두 눈이 모두 검출되었는지의 여부, 두 눈 사이의 거리를 이용해서 최종적으로 해당 얼굴에 대한 검증을 수행하는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.
10. 제 1 항에 있어서, 기울어진 얼굴 검출을 위하여; 입력 영상의 중심 얼굴로부터 좌,우측으로 저해상도의 서브 이미지들을 소정 각도 회전시키고, 이에 대해서 정면 얼굴 형판을 적용하여 정합시키는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.
11. 제 1 항에 있어서, 상기 얼굴 추적을 위하여; 현재 프레임의 얼굴 위치(시간 t), 이전 프레임의 얼굴 위치(시간 t-1), 그 이전 프레임의 얼굴 위치(시간 t-2)를 이용해서, 다음 프레임의 얼굴 위치(시간 t+1)를 t-2로부터 t까지의 평균 속도와 현재 얼굴 위치의 좌표를 결합하여 구하고, 이 예측된 다음 프레임의 얼굴 위치(시간 t+1)를 다음 프레임에서의 탐색 윈도우 중심점으로 사용해서 얼굴 추적이 이루어지는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.
12. 입력 영상에 대하여 최소-최대 정규화를 적용하고 색상 정보를 이용해서 얼굴 영역을 선정하여 웨이블릿 변환하는 단계, 상기 웨이블릿 변환된 얼굴 영역과 일치하는 각각의 서브 이미지에 대해 준비된 형판을 탐색 윈도우 안에서 정합시키는 단계, 상기 정합 스코어를 임계값과 비교하여 얼굴 후보 영역을 선언하는 단계, 상기 얼굴 후보 영역들과 형판 사이의 정합 거리를 정렬하여 최소 거리값을 갖는 영역을 실제 얼굴 영역으로 설정하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.
13. 제 12 항에 있어서, 상기 얼굴 후보 영역의 선언과 실제 얼굴 영역의 설정을 위하여;

    저주파, 수평 방향의 고주파 및 수직 방향의 고주파를 고려한 L,H,V 다해상도, 다변환 크기의 얼굴 형판 Fi(i=L,H,V)와 이에 대응하여 웨이블릿 변환된 입력 영상 I의 탐색 윈도우 사이에서 MAE(Mean Absolute Error)를 구하고, 상기 MAE에 대하여 L:H:V의 가중치를 고려해서 MAEs를 구하여, MAEs가 Fi와 I 사이에서 최소값을 갖고 주어진 임계값 이하인 경우 해당 Fi를 얼굴 후보 영역 CFace_scale(x,y) 로 선언하고,

    상기 얼굴 후보 영역과 형판 사이의 정합 거리 CFace_{scale=10x10,15x15,20x20}가 가장 작은 영역을 실제 얼굴 영역 RFscale(F)로 설정하는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.
14. 평균 얼굴 영상으로부터 웨이블릿 변환을 수행한 후, 저역 서브 이미지와 수평 고역 서브 이미지와 수직 고역 이미지, 3가지 종류의 얼굴 형판을 다해상도로 생성하여 형판을 준비하는 단계, 입력 영상을 웨이블릿 변환하여 상기 얼굴 형판들과 정합시키는 단계를 포함하여 이루어지는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.
15. 제 14 항에 있어서, 최소-최대 정규화를 기반으로 하여 입력 영상의 밝기 성분의 상위 266 ~ 255, 하위 0 ~ 30의 범위를 각각 기준 백색 및 기준 흑색으로 간주함으로써, 입력 영상의 최대 및 최소 밝기 값에 상관없이 모든 영상이 31 ~ 225의 범위의 밝기값을 갖도록 정규화되는 전처리 과정을 더 포함하는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.
16. 제 14 항에 있어서, 상기 웨이블릿 변환에 사용되는 기저 함수는 Daubechies 웨이블릿을 사용함을 특징으로 하는 형판 정합 기반 얼굴 검출방법.
17. 제 14 항에 있어서, 상기 3개의 형판 각각에 대하여 10 ×10, 15 ×15, 20 ×20의 다변환 크기를 갖는 9개의 형판을 사용하는 것을 특징으로 하는 형판 정합 기반 얼굴 검출방법.
18. 입력된 영상, 또는 부분 영상에 대해 히스토그램 평활화를 수행하는 단계, 임계값을 적용하여 눈 영역의 후보가 되는 얼굴 영역의 상위 부분에 대해서만 임계값 보다 낮은 영역을 눈 영역으로 이진화하는 단계, 상기 이진화된 영상의 수직, 수평 프로젝션을 수행하고 그 결과에 대해서 군집화(clustering)를 수행하여 구한 정점 위치를 지형적 특성을 이용해서 눈 영역으로 검출하는 단계를 수행함을 특징으로 하는 눈 검출을 이용한 얼굴 영역 추출방법.