KR100887183B1

KR100887183B1 - 얼굴인식 전처리장치 및 방법과 이를 이용한얼굴인식시스템

Info

Publication number: KR100887183B1
Application number: KR1020070027473A
Authority: KR
Inventors: 양현승; 김태민; 정지년; 양밍
Original assignee: 한국과학기술원
Priority date: 2007-03-21
Filing date: 2007-03-21
Publication date: 2009-03-10
Also published as: KR20080085975A

Abstract

이 발명은 얼굴인식 기술에 관한 것으로서, 조명 변화에 따른 얼굴 왜곡을 보상하기 위한 얼굴인식 전처리장치 및 방법과, 이를 이용한 얼굴인식 시스템에 관한 것이다.

이 발명에 따른 얼굴인식 전처리장치는, 입력 영상의 히스토그램을 균등분포로 변환하는 히스토그램 평활화기와, 상기 히스토그램 평활화기에서 히스토그램 평활화된 영상의 불균일한 조명 조건을 완화시키는 감마보정기와, 상기 감마보정기에서 감마보정된 영상의 잡음을 제거하는 비너필터와, 상기 비너필터에서 잡음이 제거된 영상의 얼굴특징을 추출하는 로그(LoG; Laplacian of Gaussian)필터와, 상기 로그필터에서 추출된 얼굴특징의 대비를 향상시키는 대비보정기를 포함한다.

히스토그램 평활화, 감마보정, 비너필터, 로그필터, 대비보정, 얼굴인식

Description

얼굴인식 전처리장치 및 방법과 이를 이용한 얼굴인식시스템 {Preprocessing apparatus and method for illumination-invariant face recognition}

도 1은 이 발명에 따른 얼굴인식시스템의 기능 블록도,

도 2는 히스토그램 평활화를 하기 전 원영상(좌)과 히스토그램 평활화한 영상(우)을 도시한 도면,

도 3은 이 발명에 따른 이차원 로그필터 마스크를 도시한 도면,

도 4는 얼굴인식 전처리과정의 일 예를 도시한 도면,

도 5는 이 발명의 방법과 종래의 방법을 비교한 얼굴인식 전처리 후의 결과를 도시한 예시도,

도 6은 이 발명에 다른 얼굴인식 전처리방법과 종래의 전처리 방법을 적용했을 때의 인식률을 비교한 그래프이다.

< 도면의 주요 부분에 대한 부호의 간단한 설명 >

10 : 얼굴인식 전처리장치 20 : 최단거리분류기

11 : 히스토그램 평활화기 12 : 감마보정기

13 : 비너필터 14 : 로그필터

15 : 대비보정기

이 발명은 얼굴인식 기술에 관한 것으로서, 보다 상세하게는 조명 변화에 따른 얼굴 왜곡을 보상하기 위한 얼굴인식 전처리장치 및 방법과, 이를 이용한 얼굴인식 시스템에 관한 것이다.

현재 얼굴인식을 이용한 사용자 인증 시스템, 사람의 출입을 기록하는 지능형 비디오 감시 시스템, 사람과의 상호 교류를 수행하는 지능형 로봇과 지능형 가전제품, 이미지로부터 사람을 검색하는 영상검색시스템 등과 같은 많은 미래지향형 시스템에서, 얼굴인식기술을 필요로 한다.

얼굴인식기술에서 조명변화에 강인한 얼굴인식을 위한 방법으로서, 모형 기반의 접근방법과 전처리 기반의 접근방법이 있다.

모형 기반의 접근방법은 삼차원 얼굴 모형을 이용하여 주어진 얼굴 영상을 복원할 수 있는 포즈와 조명 조건을 계산한다. 이 모형 기반의 접근방법은 이상적인 환경에서는 이론적으로는 가장 완벽하지만, 제약조건이 많고 계산시간이 길다는 단점이 있다.

한편, 전처리 기반의 접근방법은 단순하고 효율적인 영상처리 기법을 활용한다. 대표적인 영상처리 기법에는 히스토그램 평활화와 명세화, 로그 변환, 감마 보정, 미분 영상, 웨이브릿 분석, quotient image relighting(QIR), self quotient image(SQI), Total Variation Quotient Image(TVQI) 등이 있다. 이와 같은 전처리 기반의 접근방법은 영상을 변환함에 있어서 특별한 가정이나 사전 지식이 필요하지 않기 때문에 처리과정이 단순하고 효율적이며, 이로 말미암아 실시간 얼굴인식시스템에 널리 사용된다.

최근에 조명변화에 강인한 얼굴인식을 위한 전처리 방법으로서, 얼굴 특징을 추출하는 로그(LoG : Laplacian of Gaussian) 필터의 전후에 히스토그램 평활화와 대비 보정을 수행하는 방법이 제안된 바 있다[H.Ando, N.Fuchigami, M.Sasaki and A.Iwata, Robust Face Recognition Methods under Illumination Variations toward Hardware Implementation on 3DCSS, Third Hiroshima International Workshop on Nanoelectronics for Tera-Bit Information Processing].

이 논문에 따른 기술에 의하면 히스토그램 평활화, 로그필터, 대비보정 등의 순서를 갖는 전처리 과정을 수행함으로써, 예일(Yale) 얼굴 데이터베이스에서 99%의 높은 인식률을 얻을 수 있었다.

그러나, 이 방법만으로는 조명에 따라 변화하는 잡음의 영향을 배제하지 못하기 때문에, 조명의 변화에 따라 영상이 왜곡될 때의 얼굴 인식률이 저하되는 문제점이 있다.

이 발명은 상기한 종래기술의 문제점을 해결하기 위하여 안출된 것으로서, 조명변화에 따른 잡음을 제거하여 인식률을 향상시킬 수 있는 얼굴인식시스템의 전 처리장치 및 방법을 제공하는 데 그 목적이 있다.

상기한 목적을 달성하기 위한 이 발명에 따른 얼굴인식 전처리장치는, 입력 영상의 히스토그램을 균등분포로 변환하는 히스토그램 평활화기와, 상기 히스토그램 평활화기에서 히스토그램 평활화된 영상의 불균일한 조명 조건을 완화시키는 감마보정기와, 상기 감마보정기에서 감마보정된 영상의 잡음을 제거하는 비너필터와, 상기 비너필터에서 잡음이 제거된 영상의 얼굴특징을 추출하는 로그(LoG; Laplacian of Gaussian)필터와, 상기 로그필터에서 추출된 얼굴특징의 대비를 향상시키는 대비보정기를 포함한 것을 특징으로 한다.

또한, 이 발명에 따른 얼굴인식 전처리방법은, 입력 영상의 히스토그램을 균등분포로 변환하는 히스토그램 평활화단계와, 상기 히스토그램 평활화단계에서 히스토그램 평활화된 영상의 불균일한 조명 조건을 완화시키는 감마보정단계와, 상기 감마보정단계에서 감마보정된 영상의 잡음을 제거하는 비너필터링단계와, 상기 비너필터링단계에서 잡음이 제거된 영상의 얼굴특징을 추출하는 로그(LoG; Laplacian of Gaussian)필터링단계와, 상기 로그필터링단계에서 추출된 얼굴특징의 대비를 향상시키는 대비보정단계를 포함한 것을 특징으로 한다.

또한, 이 발명에 따른 얼굴인식시스템은, 얼굴인식 전처리장치와, 상기 얼굴인식 전처리장치에서 전처리된 영상을 이용하여 상기 영상에 포함된 얼굴을 인식하는 분류기를 포함하고,

상기 얼굴인식 전처리장치는, 입력 영상의 히스토그램을 균등분포로 변환하는 히스토그램 평활화기와, 상기 히스토그램 평활화기에서 히스토그램 평활화된 영상의 불균일한 조명 조건을 완화시키는 감마보정기와, 상기 감마보정기에서 감마보정된 영상의 잡음을 제거하는 비너필터와, 상기 비너필터에서 잡음이 제거된 영상의 얼굴특징을 추출하는 로그(LoG; Laplacian of Gaussian)필터와, 상기 로그필터에서 추출된 얼굴특징의 대비를 향상시키는 대비보정기를 포함한 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 이 발명의 한 실시예에 따른 얼굴인식 전처리장치 및 방법과, 이를 이용한 얼굴인식시스템을 보다 상세하게 설명한다.

도 1은 이 발명에 따른 얼굴인식시스템의 기능 블록도로서, 이 얼굴인식시스템은, 얼굴인식 전처리기(10)와, 최단거리분류기(20)로 이루어진다.

이 발명의 얼굴인식 전처리장치(10)는, 히스토그램 평활화기(11)와, 감마보정기(12)와, 비너필터(13)와, 로그필터(14)와, 대비보정기(15)로 이루어진다. 이 전처리장치(10)를 통해 처리된 결과는 최단거리분류기(20)에 제공된다.

먼저, 히스토그램 평활화기(11)는 주어진 입력 영상의 히스토그램을 균등분포로 변환하는데, 주어진 히스토그램의 누적분포함수를 변환함수로 사용한다. 일반적으로 히스토그램 평활화기(11)는 영상의 대비를 향상하기 위해 사용되나, 이러한 히스토그램 평활화는 전역 연산자로 얼굴인식에서 중요한 지역적인 얼굴 특성을 반영하지 못하기 때문에, 균일하지 않은 조명 특히, 한쪽 방향에서 조명이 비추는 영상의 경우 어두운 영역에서 얼굴 인식에 매우 치명적일 수 있을 정도로 영상을 훼손시킨다.

도 2는 히스토그램 평활화를 하기 전 원영상(좌)과 히스토그램 평활화한 영상(우)을 도시한다.

다음, 감마보정기(12)는 히스토그램 평활화된 영상의 모든 화소값을 [0,1]로 정규화하고, 아래의 수학식 1과 같은 공식을 통하여 변환한 다음 원래 화소값의 범위로 복원한다.

여기서, α는 조명 조건의 불균일성을 보정하는 매개변수인데, 이 발명에서는 0.5로 설정한다.

이 감마보정기(12)에 의한 영상의 감마보정은 불균일한 조명 조건을 완화시키는 중요한 역할을 수행한다.

다음, 비너필터(Wiener Filter)(13)는 감마보정된 영상으로부터 잡음을 제거한다. 얼굴 영상에는 많은 잡음이 존재하는데, 특히, 어두운 영역에서 잡음에 의한 영향이 크며, 이는 얼굴인식의 장애요소로 작용한다. 따라서, 잡음을 제거하는 단계는 필수적이며, 이를 위한 적합한 필터를 선정하는 것이 매우 중요하다. 비너필터(13)는 선형 필터의 한 종류로 주어진 영상의 지역적인 특성을 반영하는 적응 필터이다. 이 비너필터(13)는 영상에 대한 통계적, 실험적으로 노이즈를 인식하고 그에 따라 적정한 필터를 적응적으로 설계할 수 있다. 이 발명의 비너필터(13)는 통상적인 필터 설계기술을 이용하여 감마보정된 영상으로부터 잡음을 제거하기 위한 필터를 적응적으로 설계한다.

이 비너필터(13)는 영상의 잡음을 적응적 필터를 통하여 제거한다. 이러한 적응 필터는 단순히 고주파 영역이나 경계를 보존하는 선형 필터에 비하여 보다 선택적이다. 더욱이, 특별한 설계 변수가 필요하지 않으므로 수월하게 사용할 수 있다. 그러나, 다른 선형 필터보다 계산 시간이 조금 더 필요하다.

다음, 로그필터(LoG Filter)(14)는 Laplacian of Gaussian 필터로서, 비너필터(13)를 통과한 영상과 LoG 마스크를 컨벌루션 연산하여, 비너필터(13)를 통해 잡음이 제거된 얼굴영상으로부터 얼굴특징을 추출한다. 얼굴 인식에 있어서 유용한 얼굴 특징을 유지하고 조명에 의한 불필요한 화소값을 제거하는 것이 중요하다. 라플라시안(Laplacian) 연산자는 주어진 영상의 2차 미분에 대한 등방성 측도로 화소값의 급격한 변화를 도드라져 보이게 만드는 역할을 수행하므로 경계 검출이나 특징 추출에 널리 사용된다. 그러나, 라플라시안 연산자가 잡음에 민감한 단점이 있으므로 잡음을 완화시키는 필터링을 먼저 수행해야 하는데, 이 발명에서는 가우시안 필터를 사용한다. 즉, 이 발명에서는 가우시안 필터와 라플라시안 필터로 이루어진 로그(LoG: Laplacian of Gaussian)필터에 기초하여 얼굴 특징을 추출한다. 이 발명에 사용되는 이차원 로그함수는 아래의 수학식 2와 같다.

여기서, 매개변수 σ는 축척을 의미하며, 이 발명에서는 실험적으로 0.3으로 설정한다. x와 y는 영상에서 가로방향과 세로방향의 변위를 의미한다.

이 발명의 이차원 로그필터 마스크는 도 3에 도시된 바와 같이, 9*9로 선정한다. 이 로그필터 마스크의 크기는 계산시간과 정밀도에 밀접한 관련이 있다. 도 3에서 X축과 Y축은 로그필터 마스크의 가로방향 축과 세로방향 축을 각각 의미하고, 나머지 축은 LoG(x,y)를 의미한다.

다음, 대비보정기(15)는 원 영상의 히스토그램을 전체 범위(상위, 하위 1%가 각각 포함되도록)로 확장하여 매핑한다. 조명이 한 방향으로 치우친 원 영상의 히스토그램은 전체 범위에 분포되지 않고 한쪽으로 치우치는 경향이 있는데, 대비보정기(15)는 이러한 원 영상의 히스토그램을 전체 범위로 확장하여 매핑한다. 이러한 대비보정은 영상의 대비를 향상시키는 역할을 한다.

상술한 과정을 통해 얼굴인식을 위한 전처리과정을 마친 결과물은 분류기에 제공된다. 분류기로서, 가장 단순한 최단거리분류기(20)가 있으며, 복잡한 분류기를 활용하여 인식률을 향상시킬 수 있다. 이 발명의 최단거리분류기(20)의 거리 측도값으로서, 정규화 상관계수를 사용한다.

도 4는 얼굴인식 전처리과정의 일 예를 도시한 도면이다.

도 4의 (1)은 원 영상을 히스토그램 평활화한 영상이고, (2)는 히스토그램 평활화한 영상을 감마보정한 영상으로서, 이 두 과정을 통해 좌우의 조명 변화에 따른 영상 왜곡이 상당 부분 개선되었음을 알 수 있다. 그러나, 이러한 과정에서 전체적으로 잡음도 두드러져 보임을 확인할 수 있는데, 어두운 영역에서 잡음은 얼굴 영상을 훼손하고 있다. 이러한 잡음을 제거하기 위한 필터링이 필요한데, (3)은 비너필터를 통하여 이 잡음을 제거한 영상이다. (4)는 비너필터링된 영상을 로그(LoG)필터를 이용하여 얼굴 특징을 추출한 영상이고, (5)는 대비보정을 통하여 화질이 향상된 영상이다.

이와 같은 이 발명의 얼굴인식 전처리과정을 통해 조명의 영향이 배제된 얼굴 특징이 선명하게 나타남을 확인할 수 있다.

이 발명의 얼굴인식 전처리과정은 종래의 다른 여러가지 방법들과 비교하였을 때, 높은 인식률과 안정성을 보이는데, 이는 카스필(CAS-PEAL) 데이터베이스(DB)와 예일(Yale) 얼굴 데이터베이스(DB)에 대한 얼굴인식 실험을 통해 확인할 수 있다. 이 카스필(CAS-PEAL) DB와 예일(Yale) DB는 얼굴인식기의 성능시험에 일반적으로 사용되는 대표적인 얼굴 데이터베이스이다.

도 5는 이 발명과 종래의 방법을 비교한 얼굴인식 전처리과정의 예시도로서, (a)는 원영상이고, (b)는 SQI(Self Quotient Image) 처리한 영상이고, (c)는 히스토그램 평활화(HE)와 로그필터(LoG)와 대비보정을 한 영상이고, (d)는 이 발명에 따른 얼굴인식 전처리한 영상이다. 도 5에서 알 수 있듯이 이 발명의 얼굴인식 전처리과정을 수행한 결과물은 조명 변화에 영향을 거의 받지 않고, 얼굴의 특징을 정확하고 명확하게 추출할 수 있다.

도 6은 이 발명에 다른 얼굴인식 전처리방법과 종래의 전처리 방법을 적용했을 때의 인식률을 비교한 그래프이다. 전처리 후 분류기는 모두 최단거리분류기를 적용하였다. (a)는 전처리를 하지 않았을 때 즉, 원 영상을 바로 최단거리분류기를 이용하여 인식한 결과로서, 인식률이 약 43.76%이다. (b)는 히스토그램 평활화된 영상을 인식한 결과로서, 인식률이 47.51%이다. (c)는 SQI(Self Quotient Image)된 영상을 인식한 결과로서, 인식률이 75.45%이다. (d)는 히스토그램 평활화와 로그필터와 대비보정을 순차적으로 수행한 영상을 인식한 결과로서, 인식률이 74.87%이다. (e)는 이 발명에 따른 전처리과정을 수행한 영상을 인식한 결과로서, 인식률이 94.23%이다.

이와 같이 이 발명에 따른 영상인식 전처리방법을 적용하면 종래의 전처리방법을 적용할 때보다 그 인식률이 월등하게 향상됨을 알 수 있다.

이상에서 이 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 이 발명의 가장 양호한 일 실시예를 예시적으로 설명한 것이지 이 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자이면 누구나 이 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

이 발명에 따른 영상인식 전처리장치 및 방법은, 특별한 제약조건이 없고 학습이나 최적화 등이 필요없는 단순한 영상처리만을 활용하므로 실시간 처리가 가능하고, 구현이 쉽고, 계산효율이 높으며, 기존의 방법들에 비해 인식률이 향상되는 효과가 있다.

이러한 본 발명은 조명변화에 민감한 얼굴인식 응용시스템, 지능형 무인 감시 시스템, 영상 검색, 지능형 로봇 등 얼굴 검출 기술을 필요로 하는 모든 분야에 사용되는 핵심 모듈로서 효과적으로 사용될 수 있으며, 특히 빠른 계산 시간을 요구하는 실시간 시스템에 유용하게 사용될 수 있다.

Claims

입력 영상의 히스토그램을 균등분포로 변환하는 히스토그램 평활화기와,

상기 히스토그램 평활화기에서 히스토그램 평활화된 영상의 불균일한 조명 조건을 완화시키는 감마보정기와,

상기 감마보정기에서 감마보정된 영상의 잡음을 제거하는 비너필터와,

아래의 수식 1에 표현된 이차원 로그함수를 이용하여 상기 비너필터에서 잡음이 제거된 영상의 얼굴특징을 추출하는 로그(LoG; Laplacian of Gaussian)필터와,

상기 로그필터에서 추출된 얼굴특징의 대비를 향상시키는 대비보정기를 포함한 것을 특징으로 하는 얼굴인식 전처리장치.

[수식 1]

여기서, σ는 축척 매개변수, x와 y는 각각 영상의 가로방향과 세로방향의 변위임.
제 1 항에 있어서, 상기 감마보정기는 상기 히스토그램 평활화된 영상의 모든 화소값을 [0,1]로 정규화하고, 아래의 수식 2를 이용하여 변환한 다음 원래 화소값의 범위로 복원하는 것을 특징으로 하는 얼굴인식 전처리장치.

[수식 2]

여기서, α는 조명 조건의 불균일성을 보정하는 매개변수임.
삭제
입력 영상의 히스토그램을 균등분포로 변환하는 히스토그램 평활화단계와,

상기 히스토그램 평활화단계에서 히스토그램 평활화된 영상의 불균일한 조명 조건을 완화시키는 감마보정단계와,

상기 감마보정단계에서 감마보정된 영상의 잡음을 제거하는 비너필터링단계와,

아래의 수식 1에 표현된 이차원 로그함수를 이용하여 상기 비너필터링단계에서 잡음이 제거된 영상의 얼굴특징을 추출하는 로그(LoG; Laplacian of Gaussian)필터링단계와,

상기 로그필터링단계에서 추출된 얼굴특징의 대비를 향상시키는 대비보정단계를 포함한 것을 특징으로 하는 얼굴인식 전처리방법.

[수식 1]

여기서, σ는 축척 매개변수, x와 y는 각각 영상의 가로방향과 세로방향의 변위임.
제 4 항에 있어서, 상기 감마보정단계는 상기 히스토그램 평활화된 영상의 모든 화소값을 [0,1]로 정규화하고, 아래의 수식 2를 이용하여 변환한 다음 원래 화소값의 범위로 복원하는 것을 특징으로 하는 얼굴인식 전처리방법.

[수식 2]

여기서, α는 조명 조건의 불균일성을 보정하는 매개변수임.
삭제
얼굴인식 전처리장치와, 상기 얼굴인식 전처리장치에서 전처리된 영상을 이용하여 상기 영상에 포함된 얼굴을 인식하는 분류기를 포함하고,

상기 얼굴인식 전처리장치는, 입력 영상의 히스토그램을 균등분포로 변환하는 히스토그램 평활화기와, 상기 히스토그램 평활화기에서 히스토그램 평활화된 영상의 불균일한 조명 조건을 완화시키는 감마보정기와, 상기 감마보정기에서 감마보정된 영상의 잡음을 제거하는 비너필터와, 아래의 수식 1에 표현된 이차원 로그함수를 이용하여 상기 비너필터에서 잡음이 제거된 영상의 얼굴특징을 추출하는 로그(LoG; Laplacian of Gaussian)필터와, 상기 로그필터에서 추출된 얼굴특징의 대비를 향상시키는 대비보정기를 포함한 것을 특징으로 하는 얼굴인식 시스템.

[수식 1]

여기서, σ는 축척 매개변수, x와 y는 각각 영상의 가로방향과 세로방향의 변위임.