KR100992151B1 - 얼굴 영상의 조명 정규화 방법 및 장치 - Google Patents

Abstract

얼굴 영상의 조명 정규화 방법 및 장치가 개시된다. 얼굴 영상의 조명 정규화 방법은 얼굴 영상의 각 픽셀값으로부터 획득한 비트평면 중에서 지정된 개수만큼 상위의 비트평면만을 취한 상위비트평면을 획득하는 단계, 상위비트평면을 이용하여 얼굴 영상의 조명에 의한 그림자 불연속성을 표현하는 흐림화 마스크를 결정하는 단계, 얼굴 영상에 흐림화 마스크를 흐림화 필터링하여 얼굴 영상에서 조명이 추정된 조명추정영상을 출력하는 단계 및 조명 추정 영상과 얼굴영상을 이용하여 얼굴영상에서 조명이 제거된 조명 정규화 영상을 획득하는 단계를 포함한다. 본 발명에 따르면, 얼굴 영상의 조명 정규화 방법 및 장치는 조명에 의한 국부적인 음영을 효과적으로 제거할 수 있는 장점이 있다.

조명, 얼굴 인식, 정규화, 레티넥스

Description

얼굴 영상의 조명 정규화 방법 및 장치{Method and apparatus for illumination normalization of face image}

본 발명은 얼굴 영상의 조명 정규화 방법 및 장치에 관한 것으로서, 보다 상세하게는 상위 비트 평면과 레티넥스 기법 기반의 얼굴 영상의 조명 정규화 방법 및 장치에 관한 것이다.

현재 사회 여러 분야에서 디지털 영상처리 기술을 도입한 많은 시스템들이 사람들의 관심을 불러 일으키고 있다. 디지털 영상처리 기술을 도입한 시스템의 예로서는, 얼굴을 인식하여 현금을 인출하여 주는 현급 지급기, 상대방의 얼굴을 보면서 통화가 가능한 영상통화 단말, 손가락의 지문을 컴퓨터에 입력하여 주민등록증을 갱신하는 시스템등이 있다.

특히, 얼굴은 3차원 입체 구조로서, 조명의 작은 변화에도 얼굴영상이 심각하게 변화된다. 따라서, 조명 변화에 따른 영향을 최소화하기 위한 조명 정규화의 전처리 과정이 필요하다.

보다 상세하게는, 얼굴 인식 시스템의 성능에 영향을 주는 많은 요소 중에서 가장 중요하며 영향이 큰 것은 조명이다. 조명은 얼굴의 자세보다 얼굴 영상에 더 큰 변화를 야기시킨다. 예를 들어, 낮과 밤 또는 실내와 실외의 조명은 매우 다르다. 따라서, 낮과 밤, 또는 실내와 실외에 따라 얼굴 영상은 매우 다르게 인식될 수 있다.

또한, 특정방향으로부터의 광원은 얼굴의 음영을 만들어, 얼굴의 눈이나 코와 같은 얼굴의 주요 특징을 가릴 수 있다.

최근에 이러한 문제를 해결하기 위한 많은 연구들이 수행되고 있다. 대표적인 예로서 Georghiades 등에 의해 제안된 조명 콘(cone) 방법이 있다.

조명 콘 방법은 얼굴의 조명에 따른 변화를 선형 공간에 의해 조명 콘(cone)으로 모델링한다. 조명 콘 방법은 잘 구성된 훈련 영상을 이용할 경우 좋은 성능을 보인다. 그러나, 조명 콘 방법은 제한된 가정 및 많은 훈련 영상들을 필요로 하기 때문에 실제로 적용되기가 쉽지 않다.

이와 반대로, 레티넥스(retinex) 기반의 방법이 있다. 이 방법은 영상이 조명과 반사율의 곱으로 이루어져 있다는 사실에 기반을 두었다. 또한, 이 방법은 훈련영상을 필요로 하지 않고 비교적 빠르다는 장점을 가지고 있다.

레티넥스(retinex)기반의 방법에서, 조명은 영상 내에서 부드럽게 변하는 반면 반사율은 급격한 변화를 가진다는 가정이 이용된다. 이러한 가정에 의해 조명은 원본 영상을 흐림화함으로써 추정될 수 있으며, 이렇게 추정된 값을 원본 영상으로부터 나누어줌으로써 조명을 정규화할 수 있다.

이러한 방법의 대표적인 예로써 SSR(Single Scale Retinex)과 SQI(Single Quotient Image)가 있다. SSR은 흐림화를 위해 가우시안(Gaussian)필터를 적용하고 SQI는 조명의 불균일한 변화에 따른 영향을 적용하기 위해 컨볼루션 영역의 평균값을 기준으로 다른 가중치를 할당하는 weighed 가우시안(Gaussian)필터를 적용한다.

그러나, 이러한 방법들은 영상의 국부적인 음영을 제거하지 못하며 이러한 단점은 전체적인 인식률의 저하로 나타나게 된다.

본 발명은 조명에 의한 국부적인 음영을 효과적으로 제거할 수 있는 얼굴 영상 조명 정규화를 이용하여 얼굴 영상의 조명 정규화 방법 및 장치를 제공한다.

또한, 본 발명은 실내의 고정된 장소에만 국한되었던 얼굴인식 시스템을 다양한 환경에서 가능하도록 하는 얼굴 영상의 조명 정규화 방법 및 장치를 제공한다.

또한, 본 발명은 얼굴인식 시스템의 인식률을 높여 얼굴인식 시스템의 성능 향상에 기여할 수 있는 얼굴 영상의 조명 정규화 방법 및 장치를 제공한다.

본 발명의 일 측면에 따르면, 얼굴영상의 조명 정규화 방법이 개시된다.

본 발명의 실시예에 따른 얼굴영상의 조명 정규화 방법은 조명 정규화 장치가 얼굴 영상을 조명 정규화하는 방법에 있어서, 상기 얼굴 영상의 각 픽셀값으로 부터 획득한 비트평면 중에서 지정된 개수만큼 상위의 비트평면만을 취한 상위비트평면을 획득하는 단계, 상기 상위비트평면을 이용하여 상기 얼굴 영상의 조명에 의한 그림자 불연속성을 표현하는 흐림화 마스크를 결정하는 단계, 상기 얼굴 영상에 상기 흐림화 마스크를 흐림화 필터링하여 상기 얼굴 영상에서 조명이 추정된 조명추정영상을 출력하는 단계 및 상기 조명 추정 영상과 상기 얼굴영상을 이용하여 상기 얼굴영상에서 조명이 제거된 조명 정규화 영상을 획득하는 단계를 포함할 수 있다.

여기서, 상기 상위비트평면을 획득하는 단계 이전에, 상기 얼굴 영상으로부터 적어도 하나 이상의 비트평면을 획득하는 단계를 더 포함하되, 상기 비트평면은 상기 얼굴 영상의 각각의 픽셀 정보로부터 한 비트씩 획득하여 구성될 수 있다.

여기서, 상기 상위비트평면을 획득하는 단계는 비트평면 중에서 상위로부터 지정된 개수만큼의 비트평면을 합성하여 새롭게 생성한 것이고, NxN(N은 자연수) 크기를 갖을 수 있다.

여기서, 상기 흐림화 마스크를 결정하는 단계는 상기 상위비트평면의 값과 대응하여 상기 얼굴 영상의 임의의 좌표에 해당하는 값의 소정의 오차범위에 안에 포함되는 것은 1로 설정하고, 그 이외의 값은 α(0≤α<1인 실수)로 설정할 수 있다.

여기서, 상기 조명추정영상을 출력하는 단계는 상기 흐림화 마스크와 얼굴 영상을 T(T는 정수)번 반복하여 컨볼루션을 수행할 수 있다.

본 발명의 다른 일 측면에 따르면, 얼굴영상의 조명 정규화 장치가 개시된 다.

본 발명의 실시예에 따른 얼굴영상의 조명 정규화 장치는 얼굴 영상의 조명 정규화 장치에 있어서, 상기 얼굴 영상으로부터 조명 추정 영상을 획득하는 조명 추정부 및 상기 조명 추정과 상기 얼굴 영상을 이용하여 조명 정규화 영상을 획득하는 조명 정규화부를 포함할 수 있다.

여기서, 상기 조명 추정부는, 상기 얼굴 영상으로부터 상위비트평면을 획득하는 비트평면 획득부, 상기 상위비트평면을 이용하여 흐림화 마스크를 결정하는 마스크 결정부 및 상기 흐림화 마스크를 이용하여 상기 얼굴 영상의 흐림화 필터링을 수행하는 필터부를 포함할 수 있다.

여기서, 상기 조명 정규화부는, 상기 얼굴 영상과 조명 추정 영상을 각각 로그를 취하고 차를 연산하는 연산부를 포함할 수 있다.

본 발명에 따른 얼굴 영상의 조명 정규화 방법 및 장치는 조명에 의한 국부적인 음영을 효과적으로 제거할 수 있다.

또한, 본 발명은 실내의 고정된 장소에만 국한되었던 얼굴인식 시스템을 다양한 환경에서 가능하게 한다.

또한, 본 발명은 얼굴인식 시스템의 인식률을 높여 얼굴인식 시스템의 성능 향상에 기여할 수 있다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.

본 발명의 실시예를 구체적으로 설명하기 앞서, 본 발명의 요지를 명확하게 하기 위하여 레티넥스 기법에 대하여 간략히 설명하기로 하겠다.

도 1은 정규화 영상을 얻기 위한 레티넥스(Retinex) 기법을 나타낸 도면이다.

여기서, 레티넥스 기법은 원본 영상이 조명과 반사의 곱으로 이루어졌다는 가정 하에 조명을 정규화하는 기법이다.

도 1를 참조하면, 조명 추정 영상 L(x,y)는 입력영상 I(x,y)을 평활화 필터(110) F(x,y)를 통해 필터링하여 획득할 수 있다. 여기서, 조명 추정 영상 L(x,y)는 상기 레티넥스 기법의 기본 가정하에 따라 도출된 수학식에 의해 계산될 수 있다. 상기 수학식은 입력영상 I(x,y), 평활화 필터(110) F(x,y) 및 조명 추정 영상 L(x,y)을 변수로 하는 함수로 이루어져 있다. 상세한 수학식은 본 발명의 요지와 직접적인 관련이 없으므로, 여기서는 생략하고, 본 발명과 관련된 수학식 및 도 2내지 도 7을 참조하여 설명하도록 하겠다.

또한, 정규화 영상 R(x,y)은 연산부(120)에 의해 입력영상 I(x,y)으로부터 조명 추정 영상 L(x,y)을 제거하여 획득한다. 즉, 정규화 영상은 원본 영상으로부터 조명 추정 영상을 제거한 영상이다.

여기서, 연산부(120)는 입력영상(100) I(x,y)과 조명 추정 영상 L(x,y)을 각각 로그(Log)를 취하고, 로그를 취한 입력영상(100) I(x,y)과 조명 추정 영상 L(x,y)의 차를 구하여 정규화 영상 R(x,y)를 획득한다. 또한, 상기 연산과 수학적 으로 동일한 연산으로써, 연산부(120)는 입력영상(100) I(x,y)을 조명 추정 영상 L(x,y)으로 나누고, 로그를 취하여 정규화 영상 R(x,y)를 획득할 수 있다.

도 2는 본 발명의 실시예에 따른 얼굴 영상의 조명 정규화 장치를 나타낸 도면이다.

도 2를 참조하면, 얼굴 영상의 조명 정규화 장치는 영상 입력부(200), 조명 추정부(210), 조명 정규화부(220) 및 영상 출력부(230)를 포함할 수 있다.

영상 입력부(200)는 얼굴 영상의 원본을 입력받는다.

조명 추정부(210)는 입력된 얼굴 영상의 픽셀 정보를 이용하여 조명을 추정한다. 여기서, 조명 추정부(210)는 이후 도 3을 참조하여 설명한다.

여기서, 픽셀은 영상을 이루는 기본적인 구성요소이다. 픽셀은 영상의 지정된 위치에서의 색상 정보를 담고 있는 것으로써, 크게 모노(Mono), 흑백(Gray), 칼라(Color)의 세 가지 타입으로 구분된다.

여기서, 모노는 한 픽셀의 데이터를 검정색과 흰색으로 구별하는 방법으로써, 한 픽셀을 표현하는데 한 비트의 데이터가 필요하게 된다.

또한, 흑백은 모노와 마찬가지로 검정색과 흰색을 사용하지만, 그 중간 값인 회색의 명암을 함께 사용한다. 즉, 흑백은 검정색과 흰색의 비율에 따라 여러 단계로 명암이 결정된다. 예를 들어, 흑백은 16단계로 명암을 표현하는 경우, 한 픽셀을 표현하는데 4비트의 데이터를 필요로 한다.

또한, 칼라는 RGB의 조합에 의해서 색상을 표현한다. 예를 들어, 최근 PC에 서 일반적으로 사용되는 트루 컬러는 한 픽셀당 24비트의 데이터를 사용한다. 여기서, 24비트의 데이터는 RGB의 색을 각각 8비트씩 더해서 만들어진다.

이하, 본 발명은 흑백 영상에 기초한 것으로써, 흑백 영상에 기초하여 설명한다. 그러나, 본 발명이 이에 한정되지 아니하고, 컬러영상 및 컬러 영상을 표현하는 다양한 영상기법에 아울러 본 발명의 기술적 사상이 적용될 수 있음은 당업자에게 자명하다.

조명 정규화부(220)는 조명 추정부(210)에 의해 입력 영상에서 조명이 추정된 조명 추정 영상과 원본 얼굴 영상을 이용하여 얼굴 영상의 조명을 정규화한다. 즉, 조명 정규화는 원본 영상으로부터 조명 추정 영상을 제거하는 것이다.

영상 출력부(230)는 조명 정규화(220)에 의해 정규화 된 얼굴 영상을 출력한다.

여기서, 영상 입력부(200) 및 영상 출력부(230)가 조명 정규화 장치의 구성부로서 설명하였으나, 이는 하나의 예시에 불과하다. 영상 입력부(200) 및 영상 출력부(230)는 조명 정규화 장치가 구비되는 별도의 외부 장치의 입출력부를 이용하여 구현될 수 있음은 본 발명의 기술적 사상에 비추어 당업자에게 자명하다.

지금까지 도 2를 참조하여 본 발명의 실시예에 따른 조명 정규화 장치의 구성부에 대해서 설명하였다. 이하 도 3을 참조하여 조명 추청부(210)에 대해서 상세히 설명한다.

도 3은 본 발명의 실시예에 따른 얼굴 영상의 조명 정규화 장치에서 조명 추 정부를 나타낸 도면이다.

도 3을 참조하면, 조명 추정부(110)는 비트 평면 획득부(300), 마스크 결정부(310) 및 필터부(320)를 포함할 수 있다.

비트 평면 획득부(300)는 원본 영상의 픽셀 정보를 이용하여 비트평면들을 획득하고, 이 비트평면들 중에서 상위비트평면을 획득한다. 여기서, 상위비트평면은 영상의 각 픽셀값에서 지정된 개수만큼 상위 비트만을 취하여 획득한 영상이다.

마스크 결정부(310)는 획득한 상위비트평면에 상응하는 마스크 계수를 결정하여 흐림화 마스크를 생성한다.

필터부(320)는 흐림화 필터링을 하여 조명 추정을 한다. 여기서, 흐림화 필터링은 원본 영상과 흐림화 마스크를 컨볼루션을 수행하여 이루어진다.

지금까지 도 3을 참조하여 본 발명의 실시예에 따른 조명 추정 장치의 구성에 대해서 설명하였다.

이하, 본 발명의 얼굴 영상의 조명 정규화 방법은 도 4 내지 도 7을 참조하여 설명한다.

도 4는 본 발명의 실시예에 따른 얼굴 영상의 조명 정규화 방법을 나타낸 흐름도이다. 더욱 상세하게는, 도 4는 상위비트 평면과 레티넥스 기법 기반의 얼굴 영상의 조명 정규화 방법을 나타낸 흐름도이다. 도 5는 입력 영상에서 획득할 수 있는 각각의 상위비트평면을 상위 비트의 수에 따라 예시한 도면이고, 도 6은 영상의 임의의 한 좌표에 해당하는 상위비트평면을 나타낸 도면이고, 도 7은 도 6의 상 위비트평면에 상응하는 흐림화 마스크를 나타낸 도면이다.

얼굴 영상의 조명 정규화 방법은 크게 조명 추정 단계와 조명 정규화 단계로 나눌 수 있다. 즉, 조명 추정 단계에서, 조명 추정 영상은 입력영상을 받아 상위비트 평면을 구하고 흐림화 필터링하여 획득될 수 있다.

또한, 조명 정규화 단계에서, 정규화 영상은 입력영상을 조명 추정 영상으로 나누고 로그를 취하여 구한다.

도 4를 참조하면, 우선, 비트 평면 획득부(300)는 입력된 얼굴 영상의 픽셀 정보로부터 비트평면을 획득한다(S400). 여기서, 비트평면은 영상의 각 좌표의 픽셀 정보로부터 한 비트씩 추출하여 이루어진다.

예를 들어, 흑백 영상의 각 좌표의 픽셀정보로부터 최상위 비트만 추출하여 비트평면을 구할 수 있다(도 5의 I₈ ^B 참조).

예를 들어, 흑백 영상의 각 좌표의 픽셀정보로부터 4번째 비트만 추출하여 비트평면을 구할 수 있다(도 5의 I₄ ^B).

예를 들어, 흑백 영상의 각 좌표의 픽셀 정보는 8비트로 이뤄질 수 있다. 여기서, 상술한 바와 같이 8비트로 구성된 각 좌표의 픽셀 정보에서 각각 한 비트로 구성된 비트평면을 생성하는 경우, 총 8개의 비트평면이 생성될 수 있다.

이하, 본 발명의 이해와 설명의 편의를 도모하기 위하여 픽셀 정보는 흑백 영상의 8비트로 가정하여 설명하기로 한다. 그러나, 본 발명이 이에 한정되지 아니 함은 본 발명의 기술적 사상에 비추어 당업자에게 자명하다.

여기서, 도 5를 참조하면, 도 5에는 입력 영상은 흑백 영상으로서, 픽셀 정보가 8비트인 경우, 입력 영상으로부터 생성된 비트평면이 예시되어 있다.

여기서, 비트평면은 상위비트평면으로 갈수록 영상이 정확해 지는 것을 확인할 수 있다. 즉, 영상의 상위비트평면은 영상의 주된 정보를 포함하고 있어, 그림자의 불연속성이 잘 나타난다.

다시 도 4를 참조하면, 비트 평면 획득부(300)는 비트 평면 중에서 상위비트평면을 획득한다(S410).

상위비트평면은 8개의 비트평면 중에서 최상위 비트평면으로 미리 지정된 개수만큼의 비트평면으로 생성될 수 있다. 예를 들어, 상위비트평면은 최상위 비트평면 5개로 생성될 수 있다.

여기서, 상위비트평면은 실험에 의해 5개의 비트평면을 합성하여 다시 새롭게 생성될 경우, 조명 추정 영상을 획득하는데 효과적이었다. 즉, 도 5를 참조하면, 상위비트평면은 8개의 비트평면 중에서 I₄부터 I₈를 포함하는 것이다.

이어서, 마스크 결정부(310)는 상위비트평면을 이용하여 흐림화 마스크 계수를 결정한다(S420). 여기서, 흐림화 마스크 계수는 상위비트평면에 대응하여 결정된다. 즉, 도 6 및 도 7를 참조하면, 도 6은 얼굴영상에서 임의의 한 좌표에 대응하는 상위비트평면을 나타내고 있다. 또한, 상위비트평면은 동일한 값을 갖는 영역과 그렇지 못한 영역으로 구분되어 있다. 따라서, 도 7를 참조하면, 도 6의 상위비 트평면에 대응하여 마스크 계수를 할당한 흐림화 마스크를 보여준다. 즉, 도 6의 상위비트평면에서 동일한 영역은 마스크 계수를 1로 설정하고, 동일하지 않은 영역은 α(0≤α<1)로 할당한다.

이하 본 발명의 이해와 설명의 편의를 도모하기 위해, 동일한 영역은 소정의 오차 범위 안에 포함되는 값들을 명칭한다.

흐림화 마스크는 얼굴 영상의 조명에 의한 그림자의 불연속성을 표현한다.

예를 들어, 상위비트평면에서 동일한 영역이 나타나는 부분은 그림자가 나타나는 영역이고, 동일하지 않은 영역은 그림자가 나타나지 않은 영역일 수 있다. 이 경우,흐림화 마스크는 조명이 추정된 영상을 획득하기 위한 필터 요소로써 사용될 수 있다.

이어서, 필터부(320)는 흐림화 마스크를 이용하여 흐림화 필터링을 수행한다(S430). 여기서, 흐림화 필터링은 흐림화 마스크와 원본영상을 반복적으로 컨볼루션 연산을 하여 수행된다. 따라서, 조명 추정 영상은 흐림화 필터링을 통해 획득할 수 있다. 여기서, 흐림화 필터링은 원본영상에 흐림화 마스크를 흐림화 필터링하는 것으로써, 얼굴 영상의 조명을 추정한 영상을 획득할 수 있다.

이어서, 조명 정규화부(120)는 조명 추정 영상을 원본 영상으로부터 제거하여 조명 정규화 영상을 획득한다(S440).

이하, 본 발명의 얼굴 영상의 조명 정규화 방법은 수학식을 참조하여 설명하도록 하겠다.

본 발명의 얼굴 영상의 조명 정규화 방법은 원본 영상이 조명과 반사율의 곱으로 이루어져 있다는 사실에 기초한 것이다. 그래서, 조명 정규화 영상은 원본 영상에서 조명 추정 영상을 제거하여 획득한다.

여기서, 조명 추정 영상은 원본 영상을 입력 받아 상위비트평면을 구하고, 상위비트평면을 이용하여 흐림화 마스크를 결정하고, 흐림화 마스크를 이용하여 흐림화 필터링을 수행하여 획득한다. 여기서, 흐림화 필터링은 흐림화 마스크와 입력 영상을 반복적으로 컨볼루션 연산을 적용하는 것이다. 이것은 하기의 수학식1로 표현된다.

[수학식 1]

여기서,

이다.

여기서, L^(t)(x,y)는 조명 추정 영상을 나타내고, L⁽⁰⁾=I로 초기화할 수 있다. 또한, M_{x ,y}는 각 픽셀 (x,y)에 대해 적용되는 마스크를 나타낸다. 또한, 이 과정은 미리 설정된 T회 동안 반복적으로 수행된다.

상위 비트 평면 P_b는 비트단위 논리 연산자 OR (

)를 이용하여 하기의 수학식2 로 구할 수 있다.

[수학식 2]

도 6을 참조하면, 도 6에는 수학식 2의 결과 영상으로 입력되는 얼굴 영상에서 각 픽셀의 상위 5개의 비트 평면을 합성하여 새롭게 생성된 P₃ 영상 및 임의의 좌표의 픽셀값이 예시되어 있다. 즉, 수학식 2에서, b=3일 경우, P₃=I₃

I₄

I₅

I₆

I₇이 된다.

또한, 도 4는 그림자 부분에서 픽셀값이 동일한 것이 예시되어 있다.

상위비트평면은 그림자 정보를 많이 갖고 있는 특정 비트 평면으로 구성되었을 경우, 조명이 더욱 효과적으로 제거될 수 있다. 이것은 하기의 수학식3으로 구할 수 있다.

[수학식 3]

각 픽셀에 적용되는 마스크 계수는 동일한 픽셀값을 갖는 영역에 해당하는 픽셀들에 대해서는 마스크 계수로 1을 할당하고, 그 이외의 영역에는 α(0≤α<1)을 할당한다. 이것은 하기의 수학식4로 표현할 수 있다.

[수학식 4]

여기서, α는 실험을 통해 0.1로 설정하는 것이 불연속성을 보존하는데 효과적인 것으로 판명되었다.

도 7를 참조하면, 도 7은 입력 영상의 불연속 부분에서 수학식4의 계수 결정방법을 적용하여 구성된 마스크의 예를 보여준다. 더욱 상세하게는, 도 7은 불연속 영역에 구성된 이웃 픽셀의 영향의 크기를 화살의 크기로 표현하여 보여주고 있다.

즉, 수학식 4에 의해 구성된 마스크는 동질영역을 흐림화하는 특징을 갖게 된다. 또한, 흐림화 과정에서 현재 픽셀은 이웃 픽셀의 영향을 받게 되는데 다른 영역에 해당하는 이웃 픽셀의 마스크 계수를 1보다 작은 수(= 0.1)로 할당하여 영향을 줄일 수 있다.

조명 정규화 영상은 조명 추정 영상과 얼굴 영상에 로그를 취하고 그 차를 연산하여 구하며, 다음과 같은 수학식5로 구할 수 있다.

[수학식 5]

도 8은 본 발명에서 강한 그림자를 지닌 얼굴 영상을 조명 정규화한 예를 보여주는 도면이다.

도 8을 참조하면, 제안된 방법은 기존 방법과 비교하여 강한 그림자에 대한 조명 정규화가 좋은 것을 확인할 수 있다.

본 발명의 조명 환경에 강인한 얼굴 인식 방법은 전처리 기법에 관한 것이기 때문에 흑백얼굴영상을 다루는 모든 얼굴 인식 시스템에서 이용될 수 있다. 또한, 조명에 강한 매우 뛰어난 정규화 성능을 가지고 있기 때문에 조명 변화에 따라 발생할 수 있는 인식 오류를 최소화 할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

도 1은 정규화 영상을 얻기 위한 레티넥스(Retinex) 기법을 나타낸 도면이다.

도 2는 본 발명의 실시예에 따른 얼굴 영상의 조명 정규화 장치를 나타낸 도면이다.

도 3은 본 발명의 실시예에 따른 얼굴 영상의 조명 정규화 장치에서 조명 추정부를 나타낸 도면이다.

도 4는 본 발명의 실시예에 따른 얼굴 영상의 조명 정규화 방법을 나타낸 흐름도이다.

도 5는 입력 영상에서 획득할 수 있는 각각의 상위비트평면을 상위 비트의 수에 따라 예시한 도면이다.

도 6은 영상의 임의의 한 좌표에 해당하는 상위비트평면을 나타낸 도면이다.

도 7은 도 6의 상위비트평면에 상응하는 흐림화 마스크를 나타낸 도면이다.

도 8은 본 발명에서 강한 그림자를 지닌 얼굴 영상을 조명 정규화한 예를 보여주는 도면이다.

<도면의 주요부분에 대한 부호의 설명>

200: 영상 입력부

210: 조명 추정부

220: 조명 정규화부

230: 영상 출력부

Claims (8)

1. 조명 정규화 장치가 얼굴 영상을 조명 정규화하는 방법에 있어서,

   상기 얼굴 영상의 각 픽셀값으로부터 획득한 비트평면 중에서 지정된 개수만큼 상위의 비트평면만을 취한 상위비트평면을 획득하는 단계;

   상기 상위비트평면을 이용하여 상기 얼굴 영상의 조명에 의한 그림자 불연속성을 표현하는 흐림화 마스크를 결정하는 단계;

   상기 얼굴 영상에 상기 흐림화 마스크를 흐림화 필터링하여 상기 얼굴 영상에서 조명이 추정된 조명추정영상을 출력하는 단계; 및

   상기 조명 추정 영상과 상기 얼굴영상을 이용하여 상기 얼굴영상에서 조명이 제거된 조명 정규화 영상을 획득하는 단계를 포함하는 얼굴 영상의 조명 정규화 방법.
2. 제1항에 있어서,

   상기 상위비트평면을 획득하는 단계 이전에,

   상기 얼굴 영상으로부터 적어도 하나 이상의 비트평면을 획득하는 단계를 더 포함하되, 상기 비트평면은 상기 얼굴 영상의 각각의 픽셀 정보로부터 한 비트씩 획득하여 구성되는 것을 특징으로 하는 얼굴 영상의 조명 정규화 방법.
3. 제1항에 있어서,

   상기 상위비트평면을 획득하는 단계는

   비트평면 중에서 상위로부터 지정된 개수만큼의 비트평면을 비트단위로 OR 논리 연산하여 상위비트평면을 생성하는 것을 특징으로 하는 얼굴 영상의 조명 정규화 방법.
4. 제1항에 있어서,

   상기 흐림화 마스크를 결정하는 단계는

   상기 상위비트평면의 값과 대응하여 상기 얼굴 영상의 임의의 좌표에 해당하는 값의 소정의 오차범위에 안에 포함되는 것은 1로 설정하고, 그 이외의 값은 α(0≤α<1인 실수)로 설정하는 것을 특징으로 하는 얼굴 영상의 조명 정규화 방법.
5. 제1항에 있어서,

   상기 조명추정영상을 출력하는 단계는

   상기 흐림화 마스크와 얼굴 영상을 T(T는 정수)번 반복하여 컨볼루션을 수행하는 것을 특징으로 하는 얼굴 영상의 조명 정규화 방법.
6. 얼굴 영상의 조명 정규화 장치에 있어서,

   상기 얼굴 영상으로부터 조명 추정 영상을 획득하는 조명 추정부; 및

   상기 조명 추정 영상과 상기 얼굴 영상을 이용하여 조명 정규화 영상을 획득하는 조명 정규화부를 포함하되,

   상기 조명 추정부는,

   상기 얼굴 영상으로부터 상위비트평면을 획득하는 비트평면 획득부;

   상기 상위비트평면을 이용하여 흐림화 마스크를 결정하는 마스크 결정부; 및

   상기 흐림화 마스크를 이용하여 상기 얼굴 영상의 흐림화 필터링을 수행하는 필터부를 포함하는 얼굴 영상의 조명 정규화 장치.
7. 삭제
8. 제6항에 있어서,

   상기 조명 정규화부는,

   상기 얼굴 영상과 조명 추정 영상을 각각 로그를 취하고 차를 연산하는 연산부를 포함하는 얼굴 영상의 조명 정규화 장치.

Images