KR100893086B1 - 조명 변화에 강인한 얼굴 검출 방법 - Google Patents

Abstract

본 발명에 따른 조명 변화에 강인한 얼굴 검출 방법은,

where,

{

:

픽셀 주변의 3*3 영역의 픽셀의 평균값,

: (

)위치의 픽셀값}

입력 영상에 대해서 상기 수식에 의해 census transform을 적용하여 특징(feature) 값을 추출하는 제 1단계; 추출된 특징(feature)값을 사용하여 얼굴 검출 학습을 수행함으로 표준 특징 값 그룹인 룩업테이블을 얻어내는 제 2단계; 상기 제 2단계로부터 얻어진 룩업 테이블의 특징 값을 이용하여 실제 얼굴 검출을 수행하는 3단계;로 이루어진 것을 특징으로 한다.

본 발명에 따른 조명 변화에 강인한 얼굴 검출 방법에 따르면, 보다 정밀하게 얻어진 룩업 테이블을 통해 검출 속도를 단축하면서 조명 변화에 따른 얼굴 영상을 탁월하게 검출할 수 있는 장점이 있다.

Description

조명 변화에 강인한 얼굴 검출 방법{METHOD FOR DETECTING FACE ROBUST TO ILLUMINATION CHANGE}

도 1은 일반적인 얼굴 인식 시스템에 따른 얼굴 인식 과정을 나타내는 개략적인 순서도.

도 2는 본 발명에 따른 조명 변화에 강인한 얼굴 검출 방법의 개략적인 절차를 나타내는 순서도.

도 3은 본 발명에 따른 조명 변화에 강인한 얼굴 검출 방법에서 구체적인 학습 절차를 나타내는 순서도.

도 4는 본 발명에 따른 조명 변화에 강인한 얼굴 검출 방법에서 census transform 방식을 이용하여 얼굴을 검출하는 방식을 예시한 도면.

본 발명은 다양한 환경에서 동작할 경우가 많은 얼굴 인식 시스템에서 얼굴 인식을 위한 전 처리 단계인 검출 방식에 있어서 특정한 환경 하에서만 제대로 동작하던 기존의 얼굴 검출 방법을 보완하는 것으로, 특히 조명 변화에 강인한 얼굴 검출 방법에 관한 것이다.

전통적으로 모바일, 비디오폰, 지능 로봇 분야에서 보안, 화상회의, 무인감시 등을 위하여 특정 사용자의 아이덴디티(identity)를 인식하기 위해서는 비밀번호 식별 시스템에 의한 비밀번호 입력 내지 스마트카드 등을 통하는 방법이 자주 사용되었으나 이는 사용자가 별도로 소지하거나 기억해야 하는 불편함이 따르는 문제점이 빈번하여 현재에는 사용자 자체의 인식, 즉 생체 인식을 위한 시스템이 활발하게 개발되고 있다.

이러한 생체 인식 시스템의 종류로는 현재 지문, 홍채, 음성 등을 이용한 것이 있으며, 더불어 사용자의 얼굴 및 표정 등을 통한 인식 시스템도 개발 및 사용화가 이루어지고 있다.

도 1은 일반적인 얼굴 인식 시스템의 단계를 도시한 개략 순서도이다.

도 1을 참조하면, 얼굴특징을 이용한 인식 시스템은 크게 얼굴검출(face detection)과 얼굴인식(face recognition)의 두 단계로 나눌 수 있다. 얼굴검출단계에서는 입력된 카메라 영상에서 얼굴영역을 찾아 검출하며, 검출된 얼굴 영상을 전 처리하여 얼굴인식과정으로 넘겨주는 역할을 한다. 또, 얼굴인식단계는 다시 추출과정과 확인과정으로 나눌 수 있는데, 추출과정은 인식을 할 대상이 되는 사용자의 얼굴영상에서 특징을 추출하여 데이터베이스에 저장을 하는 과정이고, 확인과정은 실제 인식을 수행하는 단계로써 입력된 사용자의 얼굴 영상과 데이터베이스에 저장된 영상을 비교하여 두 영상 사이의 유사도를 수치로 표현해 주는 과정이다.

즉, 일반적인 얼굴 영상 인식을 이용한 시스템에서 “얼굴 검출 단계”는 최 종적인 얼굴 인식을 위해 필수적인 전 처리 단계라 할 수 있다.

얼굴(안면) 인식 기술은 조명, 표정, 포즈의 전처리 과정과 안면 검출 성능, 인식에 용이한 안면 특징정보 추출 성능에 따라 인식 성능이 크게 관련되어 있으며, 따라서 안면 인식 기술을 적용하기 전에 필요로 하는 전 단계의 과정인 '얼굴 검출 방법'은 각 핵심, 요소 기술에 의해 최적의 뛰어난 성능을 보일 수 있는 방법을 적용함으로써 높은 검출 성능을 거두는 것을 기본적인 목적으로 하고 있다.

하지만 사람의 얼굴은 일정한 형태를 지니고 있지 않고, 조명, 포즈, 표정 등의 변화에 의해 다양한 변형을 가지게 되므로, 얼굴 검출 과정은 기본적으로 어려움을 내재하고 있다.

특히 다양한 조명 조건 하에서 촬영된 얼굴 영상은 동일한 사람에 대해서도 전혀 다른 얼굴로 나타나게 되므로, 얼굴 검출을 위해서 다양한 조명 조건의 얼굴 패턴을 모두 학습해야하는 어려움이 있다.

이와 같은 얼굴 검출에 있어서의 조명 문제를 해결하기 위해서 몇 가지 방법들이 제안되었는데, 가장 간단하면서도 자주 사용되는 방법은 히스토그램 평활화(Histogram Equalization)를 이용한 방법이다. 이 방법은 이미지 영역 내의 강도(intensity)를 균등하게 만들어 주는 방법이지만, 조명 차가 큰 로컬 영역에서의 조명 문제를 해결하지 못한다는 단점이 있다.

이러한 공지의 얼굴 검출 시스템의 단점을 요약하자면,

1) 기존의 얼굴 검출 방식에서 널리 사용되는 조명처리 방법인 히스토그램 평활화 방식(histogram equalization method)은 간단하게 구현 가능하다는 점에서 는 편의성이 있는 알고리즘이나, 일상 변화에서 발생하는 다양한 조명변화에 신뢰성 있게 반응을 하지 못하였고,

2) 영상의 밝기 픽셀 값의 분포를 이용하여 특정 값에 모여 있는 분포를 일반적인 분포로 변환을 하여 수행을 하나 조명의 영향에 의해 발생하는 픽셀의 변화를 신뢰성 있게 대처하기에는 무리가 있었으며,

3) 특히, 얼굴 표정 변화를 인식할 수 있는 프로그램은 이론적으로 계산량이 복잡해지고 학습에 따른 정규화된 기준을 설정하기가 어려웠기 때문에 검출 속도가 현저하게 느리거나 에러가 자주 발생하는 문제점이 있었다.

본 발명은 상기 기술의 문제점을 극복하기 위해 안출된 것으로, 로컬 영역에서의 비교를 통해 조명 변화를 제거해 주는‘Census Transformation' 방법을 이용하여 얼굴 검출을 수행함으로써, 검출 동작의 신뢰성을 증가시키고 외부 조명 환경 변화에 강인한 방법을 제공하는 것을 목적으로 한다.

다시 말해, 본 발명에서는 공지된 방식과 같이 영상의 픽셀 분포를 이용하는 것이 아니고, 그 영상의 주변의 픽셀 값과의 변화를 적용하여 전체적인 조명은 변화하더라도 주변 값과의 변화는 거의 일정하게 유지된다는 특성을 이용하여 조명 변화에 적절히 대응할 수 있는 방법을 제시하여, 조명 변화만을 체크하는 것으로 얼굴 인식 및 검출을 원활히 수행할 수 있기 때문에 기존의 조명처리 방법보다 적은 계산량과 다른 데이터가 불필요한 것이다.

따라서 본 발명은 상기 개념에 입각하여 정밀하게 표준화된 룩업 테이블 생성을 통하여 얼굴 검출에 따른 계산 량을 줄이고 실시간 연산이 가능한 방법을 제공하는 것을 추가 목적으로 한다.

상기 목적을 달성하기 위하여, 본 발명에 따른 조명 변화에 강인한 얼굴 검출 방법은,

where,

(즉, I_m(x,y)가 I(x',y')보다 작을 때는 1이고 그렇지 않을 때는 0 값을 가진다라는 의미)
{

:

픽셀 주변의 3*3 영역의 픽셀의 평균값,

: (

)위치의 픽셀값
Γ(p)는 p 값의 이진수 표현값 . p 는 x, y좌표에 따른 위치}

삭제

삭제

입력 영상에 대해서 상기 수식에 의해 census transform을 적용하여 특징(feature) 값을 추출하는 제 1단계; 추출된 특징 값을 사용하여 얼굴 검출 학습을 수행함으로 표준 특징 값 그룹이 되는 룩업 테이블을 생성하는 제 2단계; 상기 제 2단계로부터 얻어진 룩업 테이블에 따른 특징 값을 이용하여 실제 얼굴 검출을 수행하는 제 3단계;로 이루어진 것을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다.

도 2는 본 발명에 따른 조명 변화에 강인한 얼굴 검출 방법의 개략적인 절차를 나타내는 순서도이다. 도 2의 각 단계는 다음과 같이 구체화된다.

1. 입력 영상에 대해서 census transform을 적용하여 특징(feature)값을 추출하는 단계

Census transform은 로컬 변환 방법으로써 마스크 중심부의 픽셀 값과 주변부 픽셀 값의 강도(intensity)를 비교하여, 그 크고 작음을 0과 1과 같이 census vector로 나타내는 방법으로, 다음 수식과 같이 표현할 수 있다.

where,

(즉, I_m(x,y)가 I(x',y')보다 작을 때는 1이고 그렇지 않을 때는 0 값을 가진다라는 의미)
{

:

픽셀 주변의 3*3 영역의 픽셀의 평균값,

: (

)위치의 픽셀값. Γ(p)는 p 값의 이진수 표현값 . p 는 x, y좌표에 따른 위치}

삭제

삭제

삭제

즉, 상기 수학식 1을 통하여 마스크 내 영역의 기 설정된 평균값보다 큰 픽 셀은 1의 값을 갖고, 그렇지 않은 픽셀은 0의 값을 갖게 되는 것이다. 이하에서 예제와 함께 Census transform의 결과를 설명하도록 한다. 3x3 마스크 내의 픽셀 값이 다음과 같다고 가정하자.

50	5	5
5	50	5
5	5	50

이 마스크에 상기 수학식 1에 따른 Census transform를 적용을 하면 다음과 같은 행렬이 나온다.

1	0	0
0	1	0
0	0	1

이 행렬을 위 수식처럼 2진수로 표현을 하면 100010001(2)=273이 되므로, 3x3 마스크의 가운데 픽셀에 대한 Census transform에 의한 값, 즉 특징(feature)값은

(p : x, y좌표에 따른 위치)이 된다. 이렇게 영상의 모든 픽셀에 대해서 차례대로 마스크를 이용한 census transform를 적용을 하면 영상 전체에 대해서 Census transform 특징 값을 얻을 수 있게 된다. 이 영상 전체에 대해서 얻은 Census transform 특징 값을 이용하여 얼굴 검출을 위한 학습을 수행하게 된다.

2. 추출한 특징 값을 사용하여 얼굴 검출 학습을 수행함으로 룩업 테이블을 얻어내 는 단계

본 단계에서는 이전 단계에서 설명한 Census transform 방법을 사용하여 어떻게 얼굴 검출을 수행할 수 있는지에 대해서 설명한다.

도 3은 이러한 수행방법을 위한 필수 절차로서, 본 발명에 따른 조명 변화에 강인한 얼굴 검출 방법에 대한 학습 단계에 대해 구체적인 절차를 도시한 순서도이다.

도 3을 참조하여, 하기에서 얼굴 검출 학습 방법에 대해서 구체적으로 각 단계별로 나누어 설명한다.

1) 제 2-1 단계: 얼굴과 비 얼굴의 영상에 대해서 census transform를 적용을 한다. 여기서 상기 수학식 1에서

는 얼굴의 census transform 특징(feature)값들이 되며

는 비 얼굴의 Census transform 특징(feature)값들이 된다.

이 후, 반복적인 학습을 하기 위해 기준이 되는 특징 값에 대한 초기 값들을 지정을 한다.

,

(

: 얼굴 영상의 샘플 개수,

: 비얼굴 영상의 샘플 갯수)로 초기 값을 지정하는데 이 값은 추후 얼굴과 비 얼굴 영상의 각각에 대한 가중치를 부여하는 분류자의 단위 기준이 된다. 그 다음, 하기의 단계에서 각 단계별로 얼굴과 비 얼굴을 골라야 하는데 이 때 사용할 feature 값들을 저장을 해야 하므로 Si={}로 둔다. Si에 속할 수 있는 분류자(classifier)들은 Census transform 특징 값의 범위인 0에서 511 사이의 값들로 이루어진다.

2) 제 2-2 단계: 상기 초기 값에 의한 분류자를 통하여 얼굴과 비 얼굴에 대한 가중치를 부여한 커널 인덱스들을 생성을 해야 한다. 얼굴과 비 얼굴에 대한 가중치 커널 인덱스 값은 다음과 같이 구할 수 있다.

{p: 정규화 영상에서의 위치,

: census tansform 특징 값,
m: 얼굴 영상의 인덱스,
n: 비얼굴 영상의 인덱스

: 인덱스 m인 얼굴영상에서의 iteration t에서의 가중치,

: 인덱스 n인 비얼굴영상에서의 iteration t에서의 가중치,

: 인덱스 m인 얼굴 영상에서의 위치 p에서의 census transform 특징 값,

: 인덱스 n인 비얼굴 영상에서의 위치 p에서의 census transform 특징 값}

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

여기서 함수 F( )는 첨자의 값이 참이 될 때 1이 되고 아니면 0이 되는 인디케이터 함수이다.

4) 제 2-3 단계: 수학식 3을 이용하여, 상기 커널 인덱스에 대해서 에러 값을 계산을 한다.

이 후, 상기 제 2-2 단계 및 에러 값 계산 단계를 반복하여, 이로 부터 수학식 4를 통해 최상의 영상픽셀에 대한 수치, 즉 분류자를 선택하여 이를 인덱스화시킨다.

( 윗줄: 절대값 S_i가 N_p 보다 작을 때, 아랫줄 : else)

수학식 4의 의미는 각 단계별로 분류자를 선택할 때 제한된 개수의 분류자만을 선택하게 하는 것이다.

6) 제 2-4 단계: 각 단계별로 영상의 픽셀에 사용될 약한 분류자들, 즉 상대적으로 기 설정된 평균값보다 작은 수치를 가지는 분류자에 대한 인덱스를 비교 기준으로 삼아 수학식 5를 통해 특징 값의 기준 그룹이 될 수 있는 룩업 테이블(LUT: Look Up Table)을 생성한다.

(여기서, g^f _m(p,γ)가 g^nf _n(p,γ)보다 클 때는 0 값, 그렇지 않을 때 1 값)

수학식 5로부터 만들어진 약한 분류자들은 얼굴을 검출하는데 있어서 룩업 테이블로 사용될 것이다.

7) 제 2-5 단계: 각 반복 단계에서의 error값을 얻는다.

이 후, 수학식 7을 이용하여 각 영상의 픽셀에 대한 분류자들을 갱신한다.

9) 제 2-6 단계: 수학식 8을 이용하여, 얼굴과 비 얼굴의 영상에 대한 분류자의 가중치를 갱신한다.

여기서

은 표준화를 위한 요소로 사용되는데 이는 다음과 같이 연산이 된다.

10) 제 2-7 단계: 각각의 반복단계를 거쳐서 종료할 조건이 만족할 때까지 학습을 한다.

학습이 완료되면 수학식 10에 의해 약한 분류자들을 조합하여 이로부터 상대적으로 수치가 큰 강한 분류자들 그룹을 판단하여 이로 인해 최적의 룩업 테이블을 생성한다.

이러한 일련의 단계를 통하여 학습을 수행하고 이를 통해 최적의 측정값을 대별될 수 있는 분류자 데이터베이스, 즉 룩업 테이블을 얻어낼 수가 있다.

3. 학습 시 얻어진 룩업 테이블의 특징 값을 이용하여 실제 얼굴 검출을 수행하는 단계

테스트를 위한 영상이 들어오면 영상 전체를 검색을 하면서 얼굴 검출 창을 움직여가며 상기 단계에서 학습한 강한 분류자를 이용하여 얼굴을 검출한다.

도 4는 본 발명에 따른 조명 변화에 강인한 얼굴 검출 방법에서 census transform 방식을 이용하여 얼굴을 검출하는 방식을 예시하고 있다.

구체적으로는, 움직여가는 얼굴 검출 창의 영상에서 도 4에 도시된 바와 같이, 각 픽셀을 통해 단계별로 학습된 룩업 테이블을 이용하여 census transform 값을 인덱스로 하여 h값을 찾는다. 각 단계별로 수십 개의 픽셀위치를 사용하게 되는데 수학식 10에 의한 연산 과정에서 h값들의 합이 룩업 테이블에 의해 기 설정된 임계값보다 작으면 얼굴이며 그렇지 않으면 비 얼굴로 판단을 한다.

지금까지 설명한 바와 같이, 본 발명에 따른 조명 변화에 강인한 얼굴 검출 방법의 구성 및 작용을 상기 설명 및 도면에 표현하였지만 이는 예를 들어 설명한 것에 불과하여 본 발명의 사상이 상기 설명 및 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능함은 물론이다.

이상에서 설명한 바와 같이, 본 발명에 따른 조명 변화에 강인한 얼굴 검출 방법에 따르면,

1)보다 정밀하게 얻어진 룩업 테이블을 통해 검출 속도를 단축하면서 조명 변화에 따른 얼굴 영상을 탁월하게 검출할 수 있는 장점이 있고,

2) 그간 조명 변화의 다양성에 따라 여러 환경 하에서 적용될 수 없었던 기 존의 얼굴 인식, 로봇 인터페이스, 감시 시스템 등에 있어서 중요한 전 처리 방법으로 이용될 수 있는 효과가 있다.

Claims (6)

1. 조명 변화에 강인한 얼굴 검출 방법으로서,

   

   where,

   

   (I_m(x,y)가 I(x',y')보다 작을 때는 1이고 그렇지 않을 때는 0 값을 가진다라는 의미)

   {

   

   :

   

   픽셀 주변의 3*3 영역의 픽셀의 평균값,

   

   : (

   

   )위치의 픽셀값. Γ(p)는 p 값의 이진수 표현값 . p 는 x, y좌표에 따른 위치}

   입력 영상에 대해서 상기 수식에 의해 census transform을 적용하여 특징(feature) 값을 추출하는 제 1단계;

   추출된 특징(feature)값을 사용하여 얼굴 검출 학습을 수행함으로 표준 특징 값 그룹인 룩업테이블을 얻어내는 제 2단계;

   상기 제 2단계로부터 얻어진 룩업 테이블의 특징 값을 이용하여 실제 얼굴 검출을 수행하는 3단계;로 이루어진 것을 특징으로 하는, 조명 변화에 강인한 얼굴 검출 방법.
2. 제 1항에 있어서,

   상기 제 2단계는,

   상기 제 1단계를 통해 추출된 특징(feature)값을 통하여, 얼굴과 비 얼굴 영상의 각각에 대한 가중치의 기준이 되는 분류자의 초기값을 설정하는 제 2-1단계;

   상기 분류자의 초기값을 통해 얼굴과 비 얼굴 영상의 가중치를 부여한 커널 인덱스를 생성하는 제 2-2단계;

   상기 커널 인덱스에 대해서 에러 값을 계산하고 상기 커널 인덱스 갱신단계를 반복하여 이로부터 최상의 영상픽셀에 따른 제한된 개수의 분류자를 추출하여 인덱스화하는 제 2-3 단계;

   상기 제 2-3 단계에서 얻어진 인덱스 중 약한 분류자를 상대적 기준으로 하여 룩업 테이블을 생성하는 제 2-4 단계;

   상기 2-4단계를 반복하여 에러값을 검출하여 각 영상픽셀에 대한 분류자를 갱신하는 제 2-5 단계;

   얼굴과 비 얼굴의 영상에 대한 분류자의 가중치를 갱신하는 제 2-6 단계;

   상기 단계를 통해 얻어진 약한 분류자들을 조합하여 이를 통해 상대적으로 강한 분류자들을 비교 생성함으로 최종적인 룩업 테이블을 생성하는 제 2-7 단계;로 이루어진 것을 특징으로 하는, 조명 변화에 강인한 얼굴 검출 방법.
3. 삭제
4. 삭제
5. 삭제
6. 삭제

Images