KR100287216B1 - 조명변화를고려한얼굴인식방법 - Google Patents

Abstract

본 발명은 조명 변화를 고려한 얼굴 인식 방법에 관한 것으로서, 조명 변화를 고려한 얼굴 인식 방법은, 등록하고자 하는 얼굴들(갤러리)의 이미지를 입력받아 각 얼굴 이미지의 픽셀의 표면 반사 계수 rho 의 평균값 및 법선(surface normal) n_s를 산출하여 저장하는 갤러리 등록 단계; 갤러리를 이루는 모든 얼굴의 법선 평균을 구하는 단계; 인식 대상인 얼굴 사진 밝기, rho 의 평균값 및 법선 평균을 이용하여 입력된 얼굴 사진 촬상시 노출된 빛의 방향을 추정하는 단계; 추정된 빛의 방향과 등록되어 있는 갤러리의 rho 및 법선을 이용하여 각 갤러리의 밝기를 다시 산출하는 단계; 및 다시 산출된 각 갤러리의 밝기와 새로 입력된 사진의 얼굴 밝기를 비교하여 가장 유사한 갤러리를 찾음으로써 얼굴을 인식하는 단계를 구비한다.

본 발명에 의하면 조명의 변화를 고려함으로써 조명 변화가 심한 곳에서 얼굴 인식의 정확도가 높아지고 얼굴의 법선을 추출함으로써 얼굴 합성 분야에 쉽게 응용할 수 있다.

Description

조명변화를 고려한 얼굴 인식 방법{Robust face recognition system under varying illumination}

본 발명은 얼굴 인식 시스템에 관한 것으로서, 보다 상세하게는 등록할 갤러리를 구성하는 각 얼굴 영상으로부터 조명 변화를 고려한 파라미터를 추출하여 등록하여 그에 따라 조명을 고려하여 인식대상을 인식하는, 조명 변화를 고려한 얼굴인식 방법에 관한 것이다.

일반적으로 얼굴 인식 기술은 음성인식, 지문인식, 안구인식과 같이 신분을 검증하는데 응용되는 기술이다. 얼굴 인식 기술은 다른 신분 검증 기술과 비교했을 때, 상대적으로 저렴한 가격에 구현이 가능하고 사용자가 특별하게 인식을 위한 행위를 취할 필요가 없어서 인식 대상자의 거부감을 방지할 수 있다. 특히 최근 멀티미디어 피시(PC)가 보편화되면서 영상 취득 장치가 기본적으로 장착되는 추세에 있으므로, 별도의 하드웨어 구성 없이 얼굴 인식 기술 응용이 가능하다.

종래에 사람의 얼굴을 인식하는 기술(Yael Adini, Yael Moses and Shimon Ullman, "Face Recognition : The Problem of Compensating for Changes in Illumination Direction," IEEE Trans, Pattern Analysis and Machine Intelligence, Vol.19, No.7, pp721~732 July 1997.)에서는, 조명의 변화가 심한 경우, 조명의 변화에 가장 덜 민감한 인식 파라미터와 거리 척도를 선택적으로 사용하였다. 예를 들어, 엣지 맵(edge map), 이미지 인텐시티 데리버티브스(image intensity derivatives), 2차원 가버-라이크 필터(2D Gabor-like filter) 등과 같은 인식 파라미터를 아래 수학식 1과 같은 어파인-지엘 디스턴스 메저(affine-GL distance measure)로 인식하는 것 등이다.

위의 수학식 1은 I₁인 얼굴 사진과 I₂인 얼굴 사진을 비교하여 그 유사성의 정도를 산출하는 식이다. 여기서 얼굴 사진은 밝기의 정도로서 표현되어지는 것이므로 같은 얼굴이라도 그 얼굴 사진 촬영 당시의 조명 또는 빛의 방향이 다르면 위와 같은 방법으로는 서로 다른 얼굴로서 인식될 수밖에 없다. 즉, 조명변화에 의한 얼굴 인식의 가장 근본적인 문제점은 3차원 형상을 가진 얼굴을 인식하는데 있어서, 조명에 의해 왜곡된 2차원의 밝기 정보만을 이용할 수밖에 없다는 것이다. 상술한 종래의 조명 변화를 고려하지 않은 얼굴 인식 방법으로는 조명변화가 심한 경우, 거의 인식에 성공할 수 없다는 문제가 있다.

본 발명이 이루고자하는 기술적 과제는, 얼굴 표면의 평균 반사 계수와 법선 벡터를 가진 갤러리를 등록하는 방법 및 그를 이용하여 인식하고자 하는 얼굴의 조명 방향을 추정하여 갤러리와 동일한 조명 조건하에서 얼굴인식을 수행하는 조명변화를 고려한 얼굴 인식 방법을 제공하는데 있다.

도 1은 도 1은 본 발명의 갤러리 등록시 입력될 베이시스 이미지(basis image)를 얻기 위한 촬영 구도를 도시한 것이다.

도 2는 본 발명의 얼굴 인식을 위한 갤러리 등록 방법의 흐름도를 도시한 것이다.

도 3은 본 발명의 얼굴 인식 방법의 흐름도이다.

상기 과제를 해결하기 위한, 얼굴 인식시 인식할 대상의 비교 자료가 되는 얼굴 영상(갤러리)을 등록하는 방법은, 등록하고자 하는 사람의 얼굴이 세가지 방향의 조명에 노출되어 촬상된 베이시스 이미지(basis image)를 입력받는 단계; 상기 베이시스 이미지에서 얼굴을 이루는 각 픽셀의 표면 반사 계수 rho 를 산출하는 단계; 상기 각 픽셀에서의 rho 에 대한 평균값을 산출하는 단계; 상기 얼굴을 이루는 각 픽셀의 법선(surface normal)을 산출하는 단계; 및 산출된 rho 의 평균값과 상기 법선을 등록하여 저장하는 단계를 구비한다.

상기 rho 를 산출하는 방법은, 얼굴 사진 또는 영상이 람버시안 표면 모델(Lambertian surface model)이라 가정하여, 세 조명 방향에 대한 얼굴 밝기 벡터 I, 세 조명 방향 벡터 N을 사용하여 아래 수학식 2와 같이,

rho =|N^-1I|

로 산출함이 바람직하다. 여기서 I는 세 조명 방향에 대한 얼굴 밝기 벡터이다.

상기 얼굴 표면의 법선 산출은, 아래의 수학식 3과 같이,

하여 산출함이 바람직하다.

상기 다른 과제를 해결하기 위한, 조명 변화를 고려한 얼굴 인식 방법은, 등록하고자 하는 얼굴들(갤러리)의 이미지를 입력받아 각 얼굴 이미지의 픽셀의 표면 반사 계수 rho 의 평균값 및 법선(surface normal) n_s를 산출하여 저장하는 갤러리 등록 단계; 상기 갤러리를 이루는 모든 얼굴의 법선 평균을 구하는 단계; 상기 인식 대상인 얼굴 사진 밝기, 상기 rho 의 평균값 및 상기 법선 평균을 이용하여 상기 입력된 얼굴 사진 촬상시 노출된 빛의 방향을 추정하는 단계; 상기 추정된 빛의 방향과 상기 등록되어 있는 갤러리의 rho 및 법선을 이용하여 각 갤러리의 밝기를 다시 산출하는 단계; 및 다시 산출된 각 갤러리의 밝기와 새로 입력된 사진의 얼굴 밝기를 비교하여 가장 유사한 갤러리를 찾음으로써 얼굴을 인식하는 단계를 구비한다.

상기 갤러리 등록 단계는, 등록하고자 하는 사람의 얼굴이 세가지 방향의 조명에 노출되어 촬상된 베이시스 이미지(basis image)를 입력받는 단계; 상기 베이시스 이미지에서 얼굴을 이루는 각 픽셀의 표면 반사 계수 rho 를 산출하는 단계; 상기 각 픽셀에서의 rho 에 대한 평균값을 산출하는 단계, 상기 얼굴을 이루는 각 픽셀의 법선(surface normal)을 산출하는 단계; 및 산출된 rho 의 평균값과 상기 법선을 등록하여 저장하는 단계를 거치는 얼굴 인식을 위한 갤러리 등록 단계를 구비함이 바람직하다.

상기 인식대상 사진 촬상시 노출된 빛의 방향을 추정하는 단계는, 상기 인식대상이 한 장의 사진으로 입력되므로 그 사진 영상의 각 픽셀에 대한 밝기 정보 I(x,y)를 얻고, 상기 갤러리들의 rho 평균과 평균 법선 n_s를 사용하여 최소자승오차법을 이용해 아래와 같은

I(x,y)=rho Nn _{s }

특정한 조명에서의 방향 벡터 N을 얻음이 바람직하다.

상기 갤러리에 속한 얼굴들 각각의 밝기를 다시 산출하는 단계는, 상기 rho 평균과 상기 조명의 방향 벡터 N 및 상기 등록된 각자의 법선 n_s를 사용하여 상기 수학식 4와 같은 밝기 I를 산출하는 단계임이 바람직하다.

이하에서 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

도 1은 본 발명의 갤러리 등록을 위한 베이시스 이미지(basis image) 촬영 구도를 도시한 것으로서, 한 사람의 얼굴 자료를 입력하기 위해 각각 서로 다른 세방향에 있는 조명에 노출된 얼굴 사진, 즉 베이시스 이미지를 얻기 위한 촬상 구도이다. 통상 얼굴이라는 이미지는 시시디(CCD) 카메라등에 의해 촬상되어 컴퓨터나 소정의 얼굴 인식 전용 하드웨어내의 소정의 응용프로그램에 의해 처리되어진다. 이 때 촬상된 얼굴 이미지는 그 이미지를 구성하는 영상의 밝기가 되므로 촬상 당시의 빛 또는 조명의 위치에 따라 서로 동일한 얼굴의 이미지가 다른 얼굴로 인식되는 오류가 발생될 수 있다. 이러한 오류 발생 가능성 때문에 인식을 위해 등록할 여러 얼굴 이미지의 데이터는 각각 서로 다른 위치에 있는 조명하에서 촬상된 세 이미지를 필요로 한다. 이 각각의 베이시스 이미지들로부터 얼굴 표면의 표면 반사 계수 평균값과 법선 벡터를 추출하여 저장하고 이를 인식을 위한 파라미터로 이용한다. 즉, 인식을 위해 등록시킨 다수의 얼굴 이미지들(이하 갤러리;gallery)이 가진 법선 벡터의 평균을 구하여 인식하고자 하는 얼굴 영상의 조명 방향을 추출하는데 이용하는 것이다. 이는, 법선 벡터가 얼굴의 밝기와는 상관없는 얼굴의 윤곽과 관련된 벡터이고, 모든 얼굴들의 윤곽에 큰 차이가 없다고 가정하여 성립된다. 도 1과 같이 3차원 공간상에서 동일 평면에 위치하지 않는 3곳의 위치를 미리 설정하고, 각각의 위치에서 조명을 비춰가면서 각 인식 대상 얼굴마다 3장의 베이시스 이미지를 획득한다. 이 3장의 베이시스 이미지를 각각 I₁(x,y), I₂(x,y), I₃(x,y)라고 밝기 벡터 I를 정의한다. 이 때 각 조명의 위치 벡터를 각각 n₁, n₂, n₃이라 하고, 이를 방향 행렬(direction matrix) N으로 정의한다. 아래의 수학식에 이들 벡터를 보인다.

얼굴 영상이 람버시안 표면 모델(Lambertian surface model)이라고 가정하면 얼굴 영상을 이루는 각 픽셀에서의 밝기 I(x,y)는 상술한 수학식 4에 의해 산출될 수 있다. 여기서 rho 는 얼굴 표면 반사 계수(reflectance)이고 n_s는 얼굴 표면의 법선(surface normal)이다. 얼굴 영상에서 얼굴 표면 밝기 계수는 픽셀의 위치에 따라 각각 다르게 산출되나, 얼굴 인식을 위해서는 얼굴의 윤곽이 보다 중요한 인식 파라미터가 되므로 계산의 단순화를 위해서 얼굴 표면의 반사계수는 모두 같다고 가정한다. 얼굴 영상을 이루는 픽셀의 밝기 I를 이용하여 표면 반사 계수 rho 를 수학식 2와 같이 산출한다. 이렇게 산출된 rho 를 이용하여 얼굴 인식에 중요한 파라미터가 되는 법선 n_s를 수학식 3과 같이 산출한다.

도 2는 본 발명의 얼굴 인식을 위한 갤러리 등록 방법의 흐름도를 도시한 것으로서, 얼굴 인식을 위한 데이터베이스로서의 갤러리를 등록하는 방법은, 먼저, 등록하고자 하는 사람의 얼굴 영상에 대해 도 1과 같이 세가지 서로 다른 조명 방향에 노출된 베이시스 이미지(basis image) 3장을 입력받는다(200단계). 베이시스 이미지의 얼굴을 이루는 각 픽셀의 표면 반사 계수 rho 를 산출한다(210단계). rho 는 상술한 수학식 2에 의해 산출된다. 수학식 2에서, 조명의 방향 행렬 N과 그 인버스 행렬 N^-1은 조명의 위치가 일정하게 정해지므로 알 수 있고, 픽셀의 밝기 I도 알 수 있으므로 이를 이용하여 rho 가 쉽게 산출될 수 있다. 얼굴 인식을 위해서는 얼굴 표면의 반사 계수보다는 전체적인 얼굴 형태가 중요하므로 계산의 단순화를 위해 얼굴 표면의 반사계수는 모두 같다고 가정한다. 이 가정하에 얼굴을 이루는 모든 픽셀의 반사계수 rho 를 더하고, 전체 픽셀수로 나누어 평균 반사계수값을 구한다(220단계). 수학식 3을 이용하여 각 픽셀에서의 법선 n_s를 산출한다(230단계). 이 때 rho 는 220단계에서 산출된 평균 rho 값을 이용한다. 이렇게 산출된 rho 평균과 법선 n_s를 등록하여 저장한다(240단계). 등록할 얼굴의 개수를 카운트하여, 각 얼굴에 대해 200단계부터 240단계까지의 단계를 적용하여 갤러리 등록을 마친다. 한 얼굴에 대해 200단계에서 입력해야할 베이시스 이미지가 3장씩이므로 만약 10개의 얼굴을 갤러리로 등록하려면 30개의 이미지가 필요하게 된다.

도 3은 본 발명의 얼굴 인식 방법의 흐름도로서, 도 2와 같이 등록된 갤러리를 가진 얼굴 인식 시스템이 새로 인식하고자하는 얼굴 입력을 처리하는 얼굴 인식 방법은, 먼저 도 2에서 산출하여 등록한 각 갤러리의 n_s의 평균을 구하는 것이다(300단계). 인식하고자 하는 대상(이하 프로브;probe)이 입력되면, 즉 인식하고자 하는 얼굴 사진(picture)이 한 장 입력되면, 얼굴의 밝기 I와 갤러리 등록시 구했던 평균 rho 및 평균 n_s를 이용하여, 최소자승 오차법으로 입력된 사진이 촬상된 조명 방향을 추정한다(310단계). 상술한 수학식 4로부터 아래의 수학식 5와 같은 관계식을 유도할 수 있다.

여기서, I_i는 인식하고자 하는 영상, 즉 프로브의 i번째 픽셀에서의 밝기값이고, m은 프로브 전체 영상의 픽셀 개수, n_x는 추정하고자하는 빛의 방향, 그리고 n_s ⁱ는 도 2의 갤러리 등록시 산출한 평균 영상의 i번째 픽셀에서의 법선을 의미한다. 수학식 6에 최소 자승 방법(least square method)을 적용하여, n_x를 추정할 수 있다. 이렇게 추정된 빛의 방향과 도 2와 같이 하여 등록된 각자가 가진 rho 평균 및 법선을 이용하여, 수학식 4에 적용하여, 등록된 갤러리 각각의 밝기를 다시 산출한다(320단계). 이것은 등록된 갤러리와 현재 입력된 프로브의 조명 조건을 동일하게 맞추기 위한 것이다. 이는 인식할 대상인 프로브와 비교대상인 갤러리의 조명 조건이 동일하지 않으면 같은 얼굴이라도 그 밝기에 차이가 나기 때문에 서로 다른 얼굴로 인식될 가능성이 있기 때문이다. 다시 산출된 각 갤러리의 밝기와 인식 대상인 프로브의 밝기를 비교하여 가장 차이가 적은 인식결과를 산출한다(330단계). 상술한, 조명 변화를 고려한 얼굴 인식 방법을 컴퓨터의 스크린 세이버(screen saver)나 보안 시스템(security system)에 적용할 수 있다. 가령 스크린 세이버의 경우, 기존의 것에서는 스크린 세이버를 해제하기 위해 패스워드를 입력하거나 사용자 입력을 감지하였으나, 본 발명의 얼굴 인식 방법을 사용하여 컴퓨터의 사용자의 얼굴을 갤러리로 등록한 후, 컴퓨터에 붙은 소정의 카메라로 그 컴퓨터를 사용하려는 사람의 얼굴을 입력받아 등록된 얼굴과 같은지를 인식하여 같은 얼굴이면 스크린 세이버를 해제하게 할 수 있다. 보안 시스템의 경우, 자동자 도난 방비, 사무실 문 잠금 장치등 보안을 요구하는 장소에 카메라를 설치하여 본 발명에 따른 갤러리 등록 및 그에 따른 얼굴 인식을 수행함으로써 사용자의 거부감없이 접근을 허/불허 할 수 있다.

본 발명에 의하면 조명의 변화를 고려함으로써 조명 변화가 심한 곳에서 얼굴 인식의 정확도가 높아지고 얼굴의 법선을 추출함으로써 얼굴 합성 분야에 쉽게 응용할 수 있다.

Claims (7)

1. 얼굴 인식시 인식할 대상의 비교 자료가 되는 얼굴 영상(갤러리)을 등록하는 방법에 있어서,

   등록하고자 하는 사람의 얼굴이 세가지 방향의 조명에 노출되어 촬상된 베이시스 이미지(basis image)를 입력받는 단계;

   상기 베이시스 이미지에서 얼굴을 이루는 각 픽셀의 표면 반사기 계수 rho 를 산출하는 단계;

   상기 각 픽셀에서의 rho 에 대한 평균값을 산출하는 단계;

   상기 얼굴을 이루는 각 픽셀의 법선(surface normal)을 산출하는 단계; 및

   산출된 rho 의 평균값과 상기 법선을 등록하여 저장하는 단계를 포함함을 특징으로 하는 얼굴 인식을 위한 갤러리 등록 방법.
2. 제1항에 있어서, 상기 rho 를 산출하는 방법은,

   얼굴 사진 또는 영상이 람버시안 표면 모델(Lambertian surface model)이라 가정하여, 세 조명 방향에 대한 얼굴 밝기 벡터 I, 세 조명 방향 벡터 N을 사용하여 아래와 같은,

   rho =|N^-1I|

   로 산출함을 특징으로 하는 얼굴 인식을 위한 갤러리 등록 방법.
3. 제2항에 있어서, 상기 얼굴 표면의 법선 산출은,

   아래의 식과 같이,

   하여 산출함을 특징으로 하는 얼굴 인식을 위한 갤러리 등록 방법.
4. 얼굴 인식 방법에 있어서,

   등록하고자 하는 얼굴들(갤러리)의 이미지를 입력받아 각 얼굴 이미지의 픽셀의 표면 반사 계수 rho 의 평균값 및 법선(surface normal) n_s를 산출하여 저장하는 갤러리 등록 단계;

   상기 갤러리를 이루는 모든 얼굴의 법선 평균을 구하는 단계;

   상기 인식 대상인 얼굴 사진 밝기, 상기 rho 의 평균값 및 상기 법선 평균을 이용하여 상기 입력된 얼굴 사진 촬상시 노출된 빛의 방향을 추정하는 단계;

   상기 추정된 빛의 방향과 상기 등록되어 있는 갤러리의 rho 및 법선을 이용하여 각 갤러리의 밝기를 다시 산출하는 단계; 및

   다시 산출된 각 갤러리의 밝기와 새로 입력된 사진의 얼굴 밝기를 비교하여 가장 유사한 갤러리를 찾음으로써 얼굴을 인식하는 단계를 포함함을 특징으로 하는 조명변화를 고려한 얼굴 인식 방법.
5. 제4항에 있어서, 상기 갤러리 등록 단계는,

   등록하고자 하는 사람의 얼굴이 세가지 방향의 조명에 노출되어 촬상된 베이시스 이미지(basis image)를 입력받는 단계;

   상기 베이시스 이미지에서 얼굴을 이루는 각 픽셀의 표면 반사 계수 rho 를 산출하는 단계;

   상기 각 픽셀에서의 rho 에 대한 평균값을 산출하는 단계, 상기 얼굴을 이루는 각 픽셀의 법선(surface normal)을 산출하는 단계; 및

   산출된 rho 의 평균값과 상기 법선을 등록하여 저장하는 단계를 거치는 얼굴 인식을 위한 갤러리 등록 단계를 포함함을 특징으로 하는 조명변화를 고려한 얼굴 인식 방법.
6. 제4항에 있어서, 상기 인식대상 사진 촬상시 노출된 빛의 방향을 추정하는 단계는,

   상기 인식대상이 한 장의 사진으로 입력되므로 그 사진 영상의 각 픽셀에 대한 밝기 정보 I(x,y)를 얻고, 상기 갤러리들의 rho 평균과 평균 법선 n_s를 사용하여 최소자승법의 식에 적용하여 아래와 같은

   I(x,y)=rho Nn _{s }

   조명의 방향 벡터 N을 얻음을 특징으로 하는 조명변화를 고려한 얼굴 인식 방법.
7. 제4항에 있어서, 상기 갤러리에 속한 얼굴들 각각의 밝기를 다시 산출하는 단계는,

   상기 rho 평균과 상기 조명의 방향 벡터 N 및 상기 등록된 각자의 법선 n_s를 사용하여 상기 수학식 4와 같은 밝기 I를 산출하는 단계임을 특징으로 하는 조명변화를 고려한 얼굴 인식 방법.