KR20040040286A - 칼라 얼굴 영상에서 안경을 제거하기 위한 영상 처리 방법 - Google Patents

Abstract

본 발명은 칼라의 정면 얼굴 영상으로부터 안경이 제거된 얼굴 영상을 획득할 수 있는 반복적인 PCA(Principal Component Analysis) 재구성 알고리즘을 사용하는 영상 처리 방법에 관한 것이다. 이 영상 처리 방법은 a) 안경을 포함하고 있는 RGB의 칼라 정면 얼굴 영상을 수신하는 단계와, b) 수신된 칼라 정면 얼굴 영상으로부터 눈의 후보 영역들을 추출하는 단계와, c) 추출된 눈의 후보 영역들 중에서 정확한 눈의 영역을 결정하고, 이를 중심으로, 수신된 칼라 정면 얼굴 영상을 사전설정된 크기로 정규화하는 단계와, d) 수신된 칼라 정면 얼굴 영상 내에 포함된 색상 정보와 안경테의 에지(edge) 정보를 이용하여 안경테 영역을 추출하는 단계와, e) 정규화된 정면 얼굴 영상에 대해 RGB-HSI 변환을 수행하는 단계와, f) RGB-HSI 변환된 H, S, I 성분의 정규화된 정면 얼굴 영상들 각각에 근거하여 안경이 제거된 보정 영상 H', S', I'을 생성하는 단계와, g) 보정 영상인 H', S', I'에 대해 HSI-RGB 변환을 수행함으로써 R', G', B' 보정 영상을 획득하는 단계와, h) R', G', B' 보정 영상에 근거하여 안경이 제거된 칼라의 최종 얼굴 영상을 생성하는 단계를 포함한다.

Description

칼라 얼굴 영상에서 안경을 제거하기 위한 영상 처리 방법{IMAGE PROCESSING METHOD FOR REMOVING GLASSES FROM COLOR FACIAL IMAGES}

본 발명은 영상 처리 분야에 관한 것으로, 보다 상세하게는 반복적인 PCA(Principal Component Analysis) 재구성 알고리즘을 사용하여 안경을 포함하는 칼라의 정면 얼굴 입력 영상으로부터 안경 제거 영상을 획득하기 위한 영상 처리 방법에 관한 것이다.

정보화 사회가 발달함에 따라 사람을 식별하기 위한 신분 확인 기술이 중요해지고 있으며, 컴퓨터를 이용한 개인의 정보 보호 및 신분 확인을 위해 인체 특징을 이용하는 생체 인식 기술이 많이 연구되고 있다. 생체 인식 기술 중에서도 얼굴 인식 기술은 사용자의 특별한 동작이나 행위에 대한 요구 없이, 비접촉식으로 사용자의 신분을 확인할 수 있는 장점 때문에 편리하고 경쟁력 있는 생체 인식 기술로 평가 받고있다. 이러한 얼굴 인식 기술은, 예를 들면 신분 증명, 범인 색출, HCI(Human Computer Interface), 출입 통제와 같은 다양한 응용 분야에 사용되고 있다. 이와 같이, 광범위한 응용 범위를 지닌 얼굴 인식 기술을 실제로 사용하는 데에는 몇 가지 문제들이 있는데, 그 중의 하나가 안경 착용으로 인해 얼굴 영상이 달라지는 문제이다.

종래에는 안경을 포함하는 얼굴 영상에서 안경을 제거하기 위한 영상 처리 방법으로서, 변형가능한 윤곽선(deformable contour)을 사용하여 안경을 추출하고 이를 이용하여 얼굴 영상에서 안경을 제거하는 알고리즘, 액티브 어피어런스 모델(active appearance model)로 지칭되는 플렉서블(flexible) 모델을 이용하여 안경과 같은 작은 오클루젼(occlusion) 영역(즉, 안경에 의해 가려진 얼굴 부분)을제거할 수 있는 알고리즘, PCA 알고리즘을 이용한 영상 처리 방법 등이 제안되었다.

이들 중 PCA 알고리즘을 이용한 영상 처리 방법이 널리 사용되고 있는데, 이러한 PCA 알고리즘은 다음과 같이 두 과정으로 크게 구분될 수 있다. 첫 번째 과정은 안경을 포함하지 않은 불특정 다수의 샘플 얼굴 영상들(여기서, N=1,2,…,M)으로부터 고유얼굴들(eigenfaces)을 추출하는 트레이닝(training) 과정이다. 여기서, 다수의 샘플 얼굴 영상들은 동일한 사람의 얼굴 영상 또는 다른 사람의 얼굴 영상을 포함할 수 있다. 두 번째 과정은 추출한 고유얼굴들을 이용하여, 현재 입력되는 안경을 포함하는 얼굴 영상로부터 안경이 없는 재구성 영상을 획득하는 과정이다.

먼저, 안경을 포함하지 않는 다수의 샘플 얼굴 영상들으로부터 고유얼굴을 추출하는 첫 번째 과정을 설명하면 다음과 같다. 먼저, 수학식 1에 의해, 트레이닝을 위한 다수의 샘플 얼굴 영상들(여기서, 다수의 샘플 얼굴 영상들각각은 하나의 열 벡터(column vector)로 표현됨)의 평균 영상를 구하고, 수학식 2와 같이 다수의 샘플 얼굴 영상각각으로부터 평균 영상를 뺀다.

각각의 샘플 얼굴 영상에서 평균 영상를 뺀 차영상 Φ_N으로부터 아래의 수학식 3을 사용하여 각각의 샘플 얼굴 영상에 대한 공분산 행렬(covariance matrix) C를 구한다.

여기서, A는 차영상 Φ_N으로 이루어진 행렬이고, A^T는 A의 전치행렬이다.

결과적으로, 평균 영상와 공분산 행렬 C로부터 고유벡터(eigenvector)를 획득할 수 있으며, 이하 고유벡터를 고유얼굴(여기서, k=1,…,M)로 지칭하기로 한다. 고유얼굴를 획득하는 과정은 당업자라면 충분히 이해할 수 있으므로, 설명을 간단히 하기 위해 본 명세서에서는 설명하지 않기로 한다.

다음에, 안경을 포함하는 얼굴 입력 영상는 사전에 추출한 고유얼굴를 사용하여 안경이 없는 재구성 영상으로 나타내어질 수 있는데 그 과정은 다음과 같다. 먼저, 다음의 수학식 4와 같이 임의의 얼굴 입력 영상, 즉 안경을 포함하는 얼굴 입력 영상에서 평균 영상를 빼고 이미 추출한 각각의 고유얼굴에 투영한다.

여기서, ω_k는 얼굴 입력 영상가 고유얼굴로 구성된 공간상에서 표현될 수 있도록 하는 가중치(weight)를 나타낸다. 재구성 영상은 아래의 수학식 5를 통해, 다수의 샘플 얼굴 영상으로부터 추출한 고유얼굴의 가중치 합계의 형태로 나타낼 수 있다.

이때, 필요한 고유얼굴의 갯수는 전체 고유얼굴의 갯수인 M개 또는 그 이하의 갯수 M'으로도 가능하다.

전술한 바와 같은 종래 기술의 영상 처리 방법에서는 안경을 포함하지 않는 얼굴 영상들, 즉 다수의 샘플 얼굴 영상들으로부터 고유얼굴를 추출하게 되면, 추출된 고유얼굴에는 사람 얼굴의 특징들만이 포함되기 때문에, 이를 토대로 현재 입력되는 안경을 포함하는 얼굴 입력 영상를 재구성하여, 재구성 영상을 구하면 안경이 제거된 얼굴 영상을 획득할 수 있다. 하지만, 이러한 종래 기술에 따른 영상 처리 방법에 의해 안경이 제거된 재구성 얼굴 영상을 자세히 살펴보면, 도 1에 도시한 바와 같이 얼굴 입력 영상와 유사한 영상으로 재구성되었지만 안경이 완전히 제거되지 않았고, 재구성 얼굴 영상들전체에 걸쳐 많은 에러들을 포함하는 것을 발견할 수 있다. 여기서, 도 1의 클라이언트(client)는 트레이닝 세트(set)에 포함된 사람을 지칭하고, 비클라이언트(non-client)는 트레이닝 세트에 포함되지 않은 사람을 지칭한다. 트레이닝 세트에 포함된 사람들은 이들에 대한 얼굴 특징이 추출된 고유얼굴에 반영되어 있기 때문에 트레이닝 세트에 포함되지 않은 사람들보다 우수한 품질의 재구성 얼굴 영상을 획득할 수는 있다.

그러나, 전술한 바와 같은 종래 기술의 영상 처리 방법을 적용하여 획득한 재구성 얼굴 영상들을 완전한 안경 제거 영상으로 간주하기에는 다음과 같은 몇가지 문제점이 있다. 첫 번째 문제점은 트레이닝 세트에 포함된 다수의 샘플 얼굴 영상들으로부터 추출한 고유얼굴에 근거하여, 현재 입력되는 얼굴 입력 영상에 대응하는 안경이 제거된 재구성 영상을 생성하는 경우, 얼굴 입력 영상에 포함되었던 고유한 특징들을 잃어버리게 된다는 것이다. 두 번째 문제점은 현재 입력되는 얼굴 입력 영상에서 안경에 의한 오클루젼 영역이 매우 큰 경우, 안경이 제거된 재구성 얼굴 영상은 오클루젼의 영향으로 인해 전체적으로 많은 에러들을 포함하게 되므로, 이러한 재구성 얼굴 영상은 자연스럽지 못할 뿐만 아니라 얼굴 입력 영상와 전혀 다른 얼굴 영상처럼 보여질 수 있다는 것이다.

전술한 바와 같이, 종래 기술에서는 입력되는 얼굴 입력 영상에서 안경에 대한 문제를 단순히 안경테에 의한 문제로 가정하고 이를 해결하고자 하였기 때문에많은 제약 조건이 있어 안경이 제거된 우수한 품질의 얼굴 영상을 획득하기가 어렵다는 문제점이 있다.

따라서, 본 발명은 전술한 문제점을 해결하기 위해, 안경테뿐만 아니라 안경 렌즈에 빛이 반사되어 생성되는 영역과 안경 때문에 생성되는 그림자 영역 등과 같이, 칼라 얼굴 영상 내에서 오클루젼이 있는 영역 모두를 찾아 제거함으로써 최초에 입력된 안경을 포함하는 칼라의 얼굴 영상과 유사하면서도 안경이 제거된 우수한 품질의 칼라 얼굴 영상을 획득할 수 있는 반복적인 PCA 재구성 알고리즘을 사용한 영상 처리 방법을 제공하는 것을 목적으로 한다.

본 발명에 따르면, 영상 처리 시스템을 통해 안경을 포함하는 칼라의 정면 얼굴 영상으로부터 안경 제거 영상을 획득하기 위한 영상 처리 방법이 제공된다. 이 영상 처리 방법은 a) 안경을 포함하고 있는 RGB의 칼라 정면 얼굴 영상을 수신하는 단계와, b) 수신된 칼라 정면 얼굴 영상으로부터 눈의 후보 영역들을 추출하는 단계와, c) 추출된 눈의 후보 영역들 중에서 정확한 눈의 영역을 결정하고, 이를 중심으로, 수신된 칼라 정면 얼굴 영상을 사전설정된 크기로 정규화하는 단계와, d) 수신된 칼라 정면 얼굴 영상 내에 포함된 색상 정보와 안경테의 에지(edge) 정보를 이용하여 안경테 영역을 추출하는 단계와, e) 정규화된 정면 얼굴 영상에 대해 RGB-HSI 변환을 수행하는 단계와, f) RGB-HSI 변환된 H, S, I 성분의 정규화된 정면 얼굴 영상들 각각에 근거하여 안경이 제거된 보정 영상 H', S', I'을 생성하는 단계와, g) 보정 영상인 H', S', I'에 대해 HSI-RGB 변환을 수행함으로써 R',G', B' 보정 영상을 획득하는 단계와, h) R', G', B' 보정 영상에 근거하여 안경이 제거된 칼라의 최종 얼굴 영상을 생성하는 단계를 포함한다.

도 1은 안경을 포함하는 얼굴 입력 영상들과 PCA(Principal Component Analysis) 재구성 알고리즘을 사용하는 종래 기술에 따른 영상 처리 방법에 의해 획득한 안경이 제거된 재구성 얼굴 영상들을 나타내는 도면.

도 2는 반복적인 PCA 재구성 알고리즘을 사용하는 본 발명의 영상 처리 방법에 따른 안경 제거 과정을 설명하기 위한 흐름도.

도 3은 본 발명에 따라 I(Intensity) 성분의 정규화된 얼굴 영상을 처리하는 반복적인 PCA 재구성 알고리즘을 설명하기 위한 도면.

도 4는 본 발명에 따라 얼굴 입력 영상에서 안경테 영역을 추출하는 과정을 설명하기 위한 도면.

도 5는 본 발명에 따른 차 영상(difference image)의 그레이 레벨(gray-level)에 근거한 오클루젼(occlusion) 영역의 판정 범위를 나타내는 도면.

도 6의 (a) 내지 (c)는 본 발명에 따라 얼굴 입력 영상의 칼라 정보를 이용하여 피부 색상 영역과 피부 색상 이외의 영역을 구분한 도면.

도 7은 본 발명에 따라 재구성된 얼굴 영상의 보정에 사용되는 가중치값의 범위를 나타내는 도면.

도 8은 본 발명에 따라 S(Saturation) 성분 및 H(Hue) 성분의 정규화된 얼굴 영상을 처리하는 반복적인 PCA 재구성 알고리즘을 설명하기 위한 흐름도.

도 9는 안경을 포함하는 I 성분의 영상들을 본 발명의 영상 처리 방법에 따라 처리하여 획득한 안경이 제거된 I 성분의 보정 영상들의 예를 나타내는 도면.

도 10은 안경을 포함하는 칼라의 정면 얼굴 영상들을 본 발명의 영상 처리 방법에 따라 처리하여 획득한 안경이 제거된 최종 칼라 얼굴 영상들의 예를 나타내는 도면.

도 11은 본 발명에 따른 영상 처리 방법을 수행하기 위한 영상 처리 시스템의 개략적인 구성도.

도 12는 안경을 포함하는 S 성분의 영상들을 본 발명의 영상 처리 방법에 따라 처리하여 획득한 안경이 제거된 S 성분의 보정 영상들의 예를 나타내는 도면.

도 13은 안경을 포함하는 H 성분의 영상들 중 H_x벡터 성분의 영상들을 본 발명의 영상 처리 방법에 따라 처리하여 획득한 안경이 제거된 H_x벡터 성분의 보정 영상들의 예를 나타내는 도면.

도 14는 안경을 포함하는 H 성분의 영상들 중 H_y벡터 성분의 영상들을 본 발명의 영상 처리 방법에 따라 처리하여 획득한 안경이 제거된 H_y벡터 성분의 보정 영상들의 예를 나타내는 도면.

이제, 첨부한 도 2 내지 도 14를 참조하여 본 발명의 바람직한 실시예에 따른 영상 처리 방법을 상세하게 설명하기로 한다.

먼저, 도 11을 참조하면 반복적인 PCA(Principal Component Analysis) 재구성 알고리즘을 사용하는 본 발명의 영상 처리 방법을 수행하기 위한 영상 처리 시스템의 개략적인 구성도가 도시되어 있다. 도 11에 도시한 바와 같이, 영상 처리 시스템(1000)은 영상 입력부(1002), 영상 처리부(1004), 영상 출력부(1006), 얼굴 데이터베이스(database: DB)(2000)를 포함하고 있다.

영상 입력부(1002)는 안경을 포함하는 칼라의 정면 얼굴 입력 영상을 수신하여 이를 영상 처리부(1004)로 전송하는 기능을 수행하는 것으로, 예컨대 디지털 카메라(digital camera)와 같은 통상적인 영상 입력 디바이스로 구현될 수 있다. 영상 처리부(1004)는 영상 입력부(1002)를 통해 수신한 칼라의 정면 얼굴 입력 영상에 대해 본 발명에 따른 영상 처리 방법을 수행하여 안경이 제거된 칼라의 얼굴 영상을 생성하는 기능을 수행하는 것으로, 통상적인 컴퓨팅 디바이스(computing device)로 구현될 수 있다. 얼굴 DB(2000)는 영상 처리부(1004)의 제어하에, 영상 입력부(1002)를 통해 입력된 칼라의 정면 얼굴 입력 영상 및 영상 처리부(1004)에 의해 수행되는 영상 처리 과정중에 생성된, 정면 얼굴 입력 영상에 대한 중간 처리 영상들을 저장하는 기능을 수행한다. 또한, 얼굴 DB(2000)는 후술하는 반복적인PCA 재구성 알고리즘에 사용되는 안경이 없는 샘플 얼굴 영상들을 저장하고 있다. 영상 출력부(1006)는 영상 처리부(1004)에 의해 생성된, 안경이 제거된 칼라의 얼굴 영상을 출력하는 기능을 수행하는 것으로, 모니터(monitor)와 같은 통상적인 디스플레이 디바이스로 구현될 수 있다.

도 2를 참조하면, 안경을 포함하는 칼라의 정면 얼굴 입력 영상에서 안경을 제거하기 위해 영상 처리 시스템(1000)에서 수행되는 본 발명에 따른 영상 처리 방법의 과정을 설명하기 위한 흐름도가 도시되어 있다. 먼저, 영상 처리 시스템(1000)은 단계(S202)에서 영상 입력부(1002)를 통해 안경을 포함하는 칼라의 정면 얼굴 입력 영상(이하, 칼라 얼굴 입력 영상으로 지칭함)을 수신한다.

영상 처리 시스템(1000)의 영상 처리부(1004)는 단계(S204)에서 칼라 얼굴 입력 영상에 포함된 색상 정보를 이용하여 얼굴의 피부 색상을 강조하여 나타낸 이진화된 GSCD(Generalized Skin Color Distribution) 변환 영상을 획득하고, 단계(S206)에서 얼굴내의 검은색과 흰색을 강조하여 나타낸 이진화된 BWCD(Black and White Color Distribution) 변환 영상을 획득한다. 칼라 얼굴 입력 영상으로부터 이진화된 GSCD 변환 영상과 이진화된 BWCD 변환 영상을 획득하는 과정은 본 기술분야에서 공지된 바와 같은 방법에 따라 수행될 수 있다.

영상 처리부(1004)는 단계(S208)에서 형태 필터링(morphology filtering)을 수행하여 이진화된 GSCD 변환 영상으로부터 칼라 얼굴 입력 영상 내에 포함된 눈썹, 입, 또는 흘러내린 머리카락 등과 같이 피부 색상과 상이한 색상을 갖는 영역들을 제거하는데, 이것은 칼라 얼굴 입력 영상을 정규화하는데 필요한 눈의 후보영역을 찾기 위해 수행하는 것이다. 단계(S210)에서, 영상 처리부(1004)는 이진화된 BWCD 변환 영상과 형태 필터링된 GSCD 변환 영상을 이용하여 눈의 후보 영역들을 추출하고, 단계(S214)에서 후보 영역들 중에 정확한 눈의 영역을 결정하고, 이를 중심으로 칼라 얼굴 입력 영상을 일정한 크기의 얼굴 입력 영상으로 정규화한다(정규화된 칼라 얼굴 입력 영상은 RGB(Red;Green;Blue) 모델에서 빨강, 초록, 파랑의 기본 성분들로 나타내어짐). 단계(S216)에서, 영상 처리부(1004)는 정규화된 칼라 얼굴 입력 영상을 RGB-HSI 변환하여 HSI 성분 각각의 정규화된 얼굴 입력 영상을 생성한다. 널리 알려진 바와 같이, RGB 모델의 영상은 HSI (Hue;Saturation;Intensity) 모델의 영상으로 변환될 수 있으며, 마찬가지로 HSI 모델의 영상도 RGB 모델의 영상으로 용이하게 변환될 수 있다. 본 발명에서는 입력된 칼라 얼굴 영상의 처리를 위해 아래의 수학식 6을 사용하여 정규화된 칼라 얼굴 입력 영상에 대한 RGB-HSI 변환을 수행한다.

여기서, H는 0∼360도의 값을 갖는 색상 성분을 나타내며, S는 0∼1의 값을 갖는 채도 성분을 나타내고, I는 0∼255의 값을 갖는 휘도 성분을 나타낸다.

한편, 영상 처리부(1004)는 단계(S212)에서 칼라 얼굴 입력 영상의 칼라 정보와 안경테의 에지(edge) 정보를 이용하여 안경테를 추출한다. 이것은 도 4를 참조하여 상세하게 설명하기로 한다.

먼저, 영상 처리부(1004)는 도 2의 단계(S208)에서 형태 필터링을 수행하여 획득한 GSCD 영상과 도 2의 단계(S206)에서 획득한 이진화된 BWCD 영상을 AND 연산하여 영상(400)을 획득한다. 이 영상(400)은 칼라 얼굴 입력 영상 내의 검은색 영역과 흰색 영역을 나타낸 영상으로써, 눈과 눈썹 영역을 포함하고 있다. 다음에, 영상 처리부(1004)는 도 2의 단계(S204)에서 획득한 그레이 레벨(gray-level)의 GSCD 변환 영상인 영상(100)과 영상(400)을 덧셈연산하여 영상(801)을 획득한다. 이 영상(801)은 영상(100)에서 눈과 눈썹을 제거한 영상이다. 영상 처리부(1004)는 칼라 얼굴 입력 영상 내에 포함된 안경테가 더욱 정확하게 표현될 수 있도록, 널리 알려진 소벨(Sobel) 방법을 통해 영상(801)에서 에지를 검출하여 영상(802)을 생성한다. 그 후, 영상 처리부(1004)는 영상(801)을 역상(inversion)한 영상과 영상(802)을 OR 연산하여 영상(803)을 획득한 다음, 영상(803)을 단계(S214)에서 정규화된 얼굴 입력 영상과 동일한 크기로 정규화하고 안경의 위치 정보를 이용하여 안경테 영역 외에는 아무 것도 포함되지 않도록 모두 제거한 영상(800)(이하, 안경테 영상 G(800)로 지칭함)을 획득한다.

도 2를 다시 참조하면, 영상 처리부(1004)는 단계(S218)에서 H, S, I 성분의 정규화된 얼굴 입력 영상 각각에 대해 반복적인 PCA 재구성 알고리즘을 적용하여 H, S, I 성분의 보정 영상을 획득한 다음, 단계(S220)에서 획득한 H, S, I 성분의보정 영상을 HSI-RGB 변환하여 안경이 제거된 최종 칼라 얼굴 영상을 획득한다.

도 3을 참조하면, 영상 처리부(1004)가 칼라 얼굴 영상의 RGB-HSI 변환된 영상 중 I 성분의 정규화된 얼굴 입력 영상을 단계(S218)에서 처리하는 반복적인 PCA 재구성 알고리즘을 설명하기 위한 도면이 도시되어 있다. 먼저, I 성분의 정규화된 얼굴 영상(이하, I 성분의 정규화 영상(500)로 지칭하며, 여기서 i는 영상 내의 픽셀(pixel)을 나타내는 인덱스(index)임)을 종래의 PCA 알고리즘에 따라 재구성하여 나타낸다. 즉, 전술한 수학식 5에 의해 재구성된 결과 영상이 도 3의 (601)에 대응하는 영상들(이하, I 성분의 재구성 영상(601)로 지칭함)이 된다. 이어, 다음의 수학식 7을 사용하여 I 성분의 정규화 영상(500)와 I 성분의 재구성 영상(601) 간의 차 영상(difference image)을 계산하여 도 3의 (602)에 해당하는 영상들(이하, I 성분의 차 영상 d(i)(602)로 지칭함)을 획득한다.

도시한 바와 같이, I 성분의 차 영상 d(i)(602)에서는 눈썹에 걸쳐 있는 안경테를 정확하게 추출하지 못하는 것을 확인할 수 있다. 이와 같이, 눈썹에 걸쳐있는 안경테가 정확하게 추출되지 못한 이유는, I 성분의 정규화 영상(500)에서 눈썹에 걸쳐 있는 안경테는 I 성분의 재구성 영상(601)에서 낮은 그레이 레벨을 갖는 눈썹으로 표현되므로, I 성분의 정규화 영상(500)와 I 성분의 재구성 영상(601)간의 그레이 레벨 강도 차이를 구하더라도 그 차이값이 너무 작기 때문이다. 이와 같이, 눈썹에 걸쳐 있는 안경테를 제대로 제거하지 못할 경우에는 사람의 인상이 달라 보일 수 있기 때문에 I 성분의 정규화 영상(500)와 유사한 결과를 얻기 어렵게 된다. 따라서, 눈썹에 걸쳐 있는 안경 영역, 즉 오클루젼(occlusion) 영역을 좀더 정확하게 찾아주기 위해, 본 발명에서는 도 2의 단계(S212)에서 추출한 안경테 영상 G(800)(도 4 참조)를 사용한다.

I 성분의 차 영상 d(i)(602)에서 얼굴에 해당하는 그레이 레벨 정보를 반영하여, 차 영상 d(i)(602)를 스트레칭(stretching)함으로써 도 3의 (603)에 대응하는 영상들(이하, I 성분의 차 영상 D(i)(603)로 지칭함)이 생성 되는데, 이는 다음의 수학식 8과 같이 I 성분의 차 영상 d(i)(602)와 I 성분의 재구성 영상(601) 각각의 그레이 레벨 강도의 곱에 제곱근을 취한 것이다.

이러한 I 성분의 차 영상 D(i)(603)를 이용하면 다음과 같은 이점이 있다. 먼저, I 성분의 정규화 영상(500) 내에서 오클루젼 영역 중 안경에 의한 그림자 영역은 다른 오클루젼 영역에 비해 주위 영역과의 그레이 레벨 강도의 차이가 크지 않아, 단순한 I 성분의 차영상 d(i)(602)에 의해서는 안경에 의한 그림자 영역이 제거되기 어렵다. 그러나, I 성분의 차 영상 D(i)(603)를 이용하면 안경에 의한 그림자 영역에 대한 그레이 레벨 강도의 차이를 강조하여 나타낼 수 있어 이를 용이하게 제거할 수 있으므로, 자연스러운 안경 제거 영상을 얻을 수 있다는 이점이 있다. 또한, I 성분의 정규화 영상(500) 내에 포함된 눈이나 눈썹은 사람의 인상을 결정짓는 중요한 특징들이 되는데, I 성분의 차 영상 D(i)(603)를 이용하면 이러한 특징 영역들에서 I 성분의 정규화 영상(500)와의 그레이 레벨 강도의 차이를 줄일 수 있어서, I 성분의 정규화 영상(500)가 최대한 그대로 사용될 수 있다는 이점이 있다.

전술한 도 2의 단계(S212)에서 추출된 안경테 영상 G(800)를 I 성분의 차 영상 D(i)(603)에 포함시켜 주기 위해서는, 먼저 I 성분의 차 영상 D(i)(603) 내에서 오클루젼이 있는 영역과 오클루젼이 없는 영역이 구분될 수 있어야 한다. I 성분의 차 영상 D(i)(603) 내에서 에러(error) 분포는 오클루젼이 없는 영역보다 안경에 의한 오클루젼 영역에서 훨씬 크게 나타난다. 이러한 에러 분포를 이용하면, 도 5에 도시한 바와 같이 0부터 255 사이의 그레이 레벨 범위 내에서 오클루젼이 없는 영역과 오클루젼이 있는 영역이 구분될 수 있다. 이때, 각 영역의 경계를 나누는 임계값(threshold)은 다음의 수학식 9에 의해 결정된다.

여기서, T_L은 하위(lower) 임계값을 나타내고, T_H는 상위(upper) 임계값을 나타내며, D(j)는 오클루젼이 없는 영역의 에러값을 나타내고, D(k)는 오클루젼이 있는 영역의 에러값을 나타낸다.

하위 임계값 T_L과 상위 임계값 T_H를 계산하는 과정을 좀 더 상세히 설명하면, I 성분의 정규화 영상(500)에서 오클루젼이 없는 영역 D(j)를 찾기 위해, 칼라 얼굴 입력 영상의 칼라 정보를 이용하여 이진화한 GSCD 변환 영상을 역상한 결과 영상(도 6의 (a))과 이진화한 BWCD 변환 영상(도 6의 (b))을 OR 연산한다. OR 연산된 영상을 다시 두 눈의 위치를 기준으로 I 성분의 정규화 영상(500)와 동일한 크기로 정규화함으로써 도 6의 (c) 영상을 획득한다. 도 6의 (c) 영상에서, 검은색으로 표시된 영역은 얼굴 내의 피부 색상을 강조하여 나타낸 영역으로써 오클루젼이 없는 영역 D(j)가 된다. 따라서, 하위 임계값 T_L은 도 3에 도시된 I 성분의 차 영상 D(i)(603) 내에서 오클루젼이 없는 영역에 해당되는 에러값들의 평균을 계산함으로써 획득된다.

한편, 안경에 의한 오클루젼이 포함될 수 있는 영역 D(k)는 얼굴 내에서 피부 색상과 다른 색상들을 강조하여 나타낸 영역들에 해당되므로 도 6의 (c) 영상에서 흰색으로 표시한 영역이 된다. 따라서, 상위 임계값 T_H는 I 성분의 차 영상 D(i)(603) 내에서의 에러들 중 앞서 획득한 하위 임계값 T_L보다 큰 에러값들의 평균을 계산함으로써 획득된다.

이때, I 성분의 차 영상 D(i)(603)에는 하위 임계값 T_L보다는 크지만 상위 임계값 T_H보다는 작은 에러값들을 포함하는 불확실한 영역(즉, 불확정 영역)이 항상 존재하게 된다. 눈썹 근처의 안경테 영역은 그 그레이 레벨 강도의 차이값들이 대체로 상위 임계값 T_H보다 작은 에러값들을 포함하고 있어 오클루젼이 있는 영역 안에 포함되지 못한다. 따라서, 눈썹 근처에 있는 안경테 영역이 그레이 레벨 강도 차이값들이 상위 임계값 T_H보다 큰 영역, 즉 오클루젼 영역에 포함될 수 있도록 도 2의 단계(S212)에서 추출한 안경테 영역 G(800)를 사용한다. 다음의 수학식 10과 같이, I 성분의 차 영상 D(i)(603) 내의 에러값들 중 상위 임계값 T_H보다 작은 그레이 레벨을 갖는 값들에서, 안경테 영역 G(800)에서는 높은 그레이 레벨값(즉, G(i))을 갖는 경우, 이 G(i)값을 사용한다. 이러한 과정을 통해 획득한 영상들이 도 3에 도시한 I 성분의 차 영상 D'(i)(604)가 된다.

전술한 과정들로부터 획득한 I 성분의 차 영상 D'(i)(604)는 I 성분의 정규화 영상(500)에서 안경에 의한 오클루젼을 제거하는 데 사용된다. I 성분의 차 영상 D'(i)(604) 내에서 에러값들은 0부터 255 범위의 그레이 레벨을 가지며, 전술한 바와 같이 결정된 임계값에 의해 비 오클루젼(non-occlusion) 영역, 불확정 영역, 오클루젼 영역으로 구분된다. 이제, I 성분의 차 영상 D'(i)(604)의 각 영역에 대해 다음의 수학식 11에 따라 서로 다른 가중치를 부여한다.

여기서, ω(i)는 I 성분의 차 영상 D'(i)(604)에 대한 가중치를 나타낸다.

상위 임계값 T_H보다 큰 에러값들을 갖는 오클루젼 영역에는 1의 가중치를 주고, 하위 임계값 T_L보다 작은 에러값들을 갖는 비 오클루젼 영역에 대해서는 0의 가중치를 준다. 여기서, 0의 가중치를 준다는 것은 원래의 입력 영상을 변경하지 않는다는 것을 의미한다. 그리고, 불확정 영역에는 0.5부터 1 사이의 가중치를 준다. 이때, 하한치인 0.5의 값은 실험을 통해 결정한 것이지만 본 발명은 이에 한정되지 않고, I 성분의 정규화 영상(500) 내에 포함된 안경에 의한 오클루젼을 제거한 후의 영상이 부자연스럽게 보이는 것을 보완해줄 수 있는 값이면 충분하다. 위의 과정은, I 성분의 정규화 영상(500)에서 안경으로 생각되는 부분만을 보정하기 위한 것이다. 전술한 바와 같이, 수학식 11에 따라 결정된 가중치들(도 7 참조)은 수학식 12를 통해 I 성분의 차 영상 D'(i)(604)에서 안경에 의한 오클루젼 영역을 보정하는 데 사용된다.

여기서,는 본 발명에 따라 안경이 제거된 I 성분의 보정 영상(605)이다.

가중치가 0인 경우에는 비 오클루젼 영역으로 판단하여 I 성분의 정규화 영상(500)를 그대로 사용한다. 가중치가 1인 경우에는 오클루젼 영역으로 판단되므로, 반복적인 PCA 재구성 알고리즘의 첫 번째 반복 과정(t=0)(즉, 도 3의 첫 번째 컬럼(column))에서는 안경이 없는 샘플 얼굴 영상들으로부터 획득한 I 성분의 평균 영상(700)를 사용하여 I 성분의 보정 영상(605)을 얻는다. 그 이유는 처음 재구성한 I 성분의 재구성 영상(601)가 I 성분의 정규화 영상(500)에 포함된 안경이 완전히 제거된 영상이 아니기 때문이다. 따라서, 두 번째 반복 과정(즉, 도 3의 두 번째 컬럼)부터는 첫 번째 반복 과정(t=0)에서 안경을 제거한 I 성분의 보정 영상(605)을 재구성하여 획득한 I 성분의 재구성 영상(601)를 가지고 안경을 제거한다.

가중치가 0.5 내지 1 사이의 값을 갖는 경우에는, 오클루젼의 유무를 확실하게 판단하기 어려운 불확정 영역이므로 가중치에 의해 I 성분의 정규화 영상(500)와 I 성분의 평균 영상(700) 또는 I 성분의 정규화 영상(500)와 I 성분의 재구성 영상(601)를 조합하여 보정한다. 구체적으로, 반복적인 PCA 재구성 알고리즘의 첫 번째 반복 과정(t=0)에서는 I 성분의 평균 영상(700) 내의 불확실한 영역에 해당되는 위치의 그레이 레벨 강도값에 가중치 ω를 승산한 결과와, I 성분의 정규화 영상(500)에서 대응되는 위치의 그레이 레벨 강도값에 "1-ω"를 승산하여 획득한 결과를 합산한 값을 사용하여 안경을 제거한다. 두 번째 반복 과정부터는 I 성분의 정규화 영상(500)와, 첫 번째 과정에서 획득한 I 성분의 보정 영상(605)을 재구성하여 I 성분의 재구성 영상(601)로써 사용하여 전술한 방법과 같이 보정한다.

상세하게, 도 3의 첫 번째 컬럼 영상들(I 성분의 정규화 영상(500) 제외)에서 I 성분의 재구성 영상(601) 내지 I 성분의 보정 영상(605)은 I 성분의 정규화 영상(500)에서 안경 부분을 찾고, I 성분의 정규화 영상(500)의 안경 부분을 I 성분의 평균 영상(700)를 사용하여 전술한 과정을 통해 생성한 영상들이다. 도 3의 두 번째 컬럼 영상들은 첫 번째 반복 과정(t=0)에서 보정된 I 성분의 보정 영상(605)을 재구성한 I 성분의 재구성 영상(601)을 사용하여, I 성분의 정규화 영상(500)와의 조합을 통해 생성된 영상들이다. 이것은 이후의 컬럼(즉, 세 번째 컬럼부터)에서도 동일하게 적용된다. 이러한 반복적인 PCA 재구성 알고리즘은 아래의 수학식 13과 같이 재구성 영상간의 차이가 사전설정된 기준값 θ보다 작거나 일정하게 유지될 때까지 반복 수행된다.

그리고, 반복을 멈췄을 때, 즉 재구성 영상간의 차이가 사전설정된 기준값 θ보다 작거나 일정하게 유지된 때, 마지막 과정에서 생성되는 보정된 얼굴 영상이 도 3의 오른쪽 아래의 I 성분의 최종 보정 영상(605)이 된다. 칼라의 정면 얼굴영상에 대한 안경이 제거된 I 성분의 최종 보정 영상들(이하, I' 영상으로 지칭함)의 예가 도 9의 하단에 도시되어 있다.

도 8은 본 발명에 따라 도 2의 단계(S216)에서 획득한 S 성분 및 H 성분의 정규화된 얼굴 입력 영상을 처리하기 위한 반복적인 PCA 재구성 알고리즘을 설명하기 위한 흐름도이다. 칼라의 안경 제거 영상을 획득하기 위해서는 도 3을 참조하여 설명한 I 성분의 정규화된 얼굴 입력 영상뿐만 아니라, S 성분 및 H 성분의 정규화된 얼굴 입력 영상에 대해서도 반복적인 PCA 재구성 알고리즘을 수행해야 한다. 이때, 도 3을 참조하여 설명한 I 성분의 정규화된 얼굴 입력 영상 처리에서와는 달리, S 성분 및 H 성분의 정규화된 얼굴 입력 영상에 대해 수행되는 반복적인 PCA 재구성 알고리즘에서는 도 2의 단계(S212)에서 추출한 안경테 영상 G(800)를 사용하지 않는다. 그 이유는, 전술한 바와 같이 S 및 H 성분은 각각 칼라의 얼굴 입력 영상에 대한 채도와 색상을 의미하는 것으로, S 및 H 성분의 정규화된 얼굴 입력 영상으로부터 획득되는 오클루젼 영역이 I 성분의 정규화된 얼굴 입력 영상 내에 존재하는 오클루젼 영역과 상이하기 때문이다.

먼저, S 성분의 정규화된 얼굴 입력 영상(이하, S 성분의 정규화 영상로 지칭함)(도 12의 상단 이미지 참조)에 대해 수행되는 반복적인 PCA 재구성 알고리즘을 설명하기로 한다. 반복적인 PCA 재구성 알고리즘의 수행에 앞서, S 성분의 정규화 영상의 영상값들은 0∼255의 범위를 갖도록 스트레칭(stretching)된다.

단계(S802)에서, 도 11의 영상 처리부(1004)는 도 2의 단계(S216)에서 획득한 안경을 포함하는 S 성분의 정규화 영상에 대해 얼굴 DB(2000)(도 11 참조)에 저장되어 있는 다수의 샘플 얼굴 영상들을 가지고 미리 구한 S 성분의 평균 영상와 고유얼굴를 사용하여 전술한 수학식 5를 통해 S 성분의 정규화 영상를 재구성함으로써 안경이 없는 S 성분의 재구성 영상를 생성한다.

단계(S804)에서, 영상 처리부(1004)는 전술한 수학식 7을 사용하여 S 성분의 정규화 영상와 단계(S802)에서 생성한 S 성분의 재구성 영상로부터 S 성분의 차 영상 d(i)를 획득한다. 단계(S806)에서, 영상 처리부(1004)는 전술한 수학식 8을 사용하여 S 성분의 차 영상 d(i)를 스트레칭함으로써 얼굴의 특징을 반영한 S 성분의 차 영상 D(i)를 획득한다.

단계(S808)에서, 영상 처리부(1004)는 전술한 수학식 9를 사용하여 S 성분의 차 영상 D(i)내에서 오클루젼이 없는 영역의 에러값들의 평균을 계산하여 하위 임계값 T_L을 획득한다. 또한, 영상 처리부(1004)는 하위 임계값 T_L보다 큰 에러들의 평균을 계산하여 상위 임계값 T_H를 획득한다.

단계(S810)에서, 영상 처리부(1004)는 전술한 수학식 10을 사용하여 S 성분의 차 영상 D(i)에 대해 오클루젼 영역에는 가중치를 1, 비 오클루젼 영역에는 가중치를 0, 불확정 영역은 0.5 내지 1 사이의 값을 가중치로 부여함으로써 S 성분의보정 영상을 생성한다. 이때, I 성분의 정규화된 얼굴 입력 영상 처리에서와 마찬가지로, 반복적인 PCA 재구성 알고리즘의 두 번째 반복 과정부터는 첫 번째 반복 과정(t=0)에서 생성된 보정 영상을 재구성하여 S 성분의 재구성 영상로써 사용한다.

단계(S812)에서, 영상 처리부(1004)는 전술한 수학식 13을 사용하여 S 성분의 재구성 영상들간의 차이가 사전설정된 기준값 θ보다 작거나 같은지 여부를 판단하여, 사전설정된 기준값 이하인 경우 반복적인 PCA 재구성 알고리즘의 수행을 멈추고, 이때 생성되어 있는 보정 영상을 안경이 제거된 S 성분의 최종 보정 영상(이하, S' 영상으로 지칭함)으로서 획득한다. 이와 같이 생성된 S' 영상은 도 12의 하단에 도시되어 있다.

H 성분의 정규화된 얼굴 입력 영상은 아래의 수학식 14를 사용하여 H 성분을 (H_x, H_y)^T로 표시한 후, S 성분의 정규화된 얼굴 입력 영상에 대해 도 8을 참조하여 설명한 반복적인 PCA 재구성 알고리즘에 따라 처리된다.

널리 알려진 바와 같이, HSI 모델에서 H 성분의 영상값은 전술한 I 성분이나 S 성분의 영상값과는 달리, 0도와 360도가 동일한 색상을 나타내는 원형 좌표계에서 표현된다. 이러한 H 성분의 영상값들에 대해 반복적인 PCA 재구성 알고리즘을 적용하는 경우, 동일한 색상을 나타내는 0도와 360도를 구분할 수 없어, 생성된 보정 영상이 전혀 예상하지 못한 색상을 포함할 수 있다. 따라서, 본 발명에서는 반복적인 PCA 알고리즘의 수행중 H 성분의 영상값이 바뀌지 않도록, 수학식 14를 사용하여 H 성분의 영상값 (H_x, H_y)^T형태의 벡터값으로 바꾸어 사용한다. H_x및 H_y벡터 성분의 영상(도 13 및 도 14의 상단 이미지 참조) 각각은 전술한 S 성분의 정규화된 얼굴 입력 영상에서와 동일한 과정에 따라 반복적인 PCA 재구성 알고리즘을 적용한다. 이때, 본 발명에 따른 반복적인 PCA 재구성 알고리즘의 적용에 앞서 H_x및 H_y벡터 성분의 영상값이 0∼255가 되도록 스트레칭한 후 사용한다. H_x및 H_y벡터 성분의 영상을 처리하여 획득한 안경이 제거된및벡터 성분의 최종 보정 영상 각각이 도 13 및 14의 하단에 도시되어 있다.

전술한 과정들을 통해 획득한 보정 영상들인 I', S',,영상에 근거하여 최종적인 칼라의 안경 제거 영상을 획득하기 위해서는, 반복적인 PCA 재구성 알고리즘을 적용하기 위해 0∼255 범위의 값을 갖도록 스트레칭했던 S',,영상의 영상값을 원래대로 환원시켜야 한다. 그런 다음, 아래의 수학식 15를 사용하여 새로운및벡터 성분의 영상값들을 만족하는, H 성분의 정규화된 얼굴 입력 영상에 대한 최종 보정 영상인 H' 영상을 획득한다.

여기서, 안경 제거 후의 새로운 H^' _x및 H^' _y벡터 성분의 영상값들은 H^'2 _x+H^'2 _y=1을 만족하지 않으므로, H^' _x을 (H^'2 _x+H^'2 _y)^1/2로 정규화하여 H^" _x을 얻은 후, 0도에서 360도의 범위에 있는 새로운 H'을 구한다.

그런 후에, H', S', I' 영상에 대해 다음의 수학식 16을 사용하여 HSI-RGB 변환을 수행한다. HSI-RGB 변환을 통해 최종적으로 획득한 R', G', B' 성분의 영상값에 근거하여, 도 10의 하단에 도시한 바와 같은 안경이 제거된 자연스러운 최종적인 칼라의 얼굴 영상을 획득할 수 있다. 이것은 본 기술분야에서 널리 알려져 있으므로 이에 대한 상세한 설명은 생략하기로 한다.

여기서, r, g, b 각각은 r+g+b=1을 만족하는 0∼1 범위에 있는 정규화된 값이다. 전술한 수학식 6 및 수학식 16은 본 기술분야에 널리 알려져 있으므로 이에 대한 상세한 설명은 생략하기로 한다. (R. C. Gonzalez and R. E. Woods, "Digital Image Processing," Addison-Wesley Publishing Company, 1992 참조)

전술한 바와 같이, 본 발명에 따르면 칼라의 정면 얼굴 입력 영상에서 제거되어야 할 오클루젼 영역을 찾고 동시에 이를 보정함으로써, 안경이 제거된 고품질의 자연스러운 칼라의 얼굴 영상을 획득할 수 있다. 이때, 오클루젼 영역에는 안경테뿐만 아니라 안경 렌즈에 빛이 반사되어 생기는 영역 및 안경 때문에 얼굴 내에 생기는 그림자 영역 등이 모두 포함된다. 또한, 본 발명에 따른 영상 처리 방법은 다른 오클루젼 문제를 해결하는 데에도 다양하게 이용될 수 있으며, 자동 얼굴 인식 시스템의 인식 효율을 높일 수 있는 효과가 있다.

본 발명이 바람직한 실시예를 통해 설명되고 예시되었으나, 당업자라면 첨부한 청구 범위의 사상 및 범주를 벗어나지 않고 여러 가지 변형 및 변경이 이루어질 수 있음을 알 수 있을 것이다.

Claims (17)

1. 안경을 포함하는 칼라의 정면 얼굴 영상으로부터 안경 제거 영상을 획득하기 위한 영상 처리 방법에 있어서,

   a) 안경을 포함하고 있는 RGB의 칼라 정면 얼굴 영상을 수신하는 단계 ―상기 RGB 각각은 상기 수신된 칼라 정면 얼굴 영상에 포함된 빨강(Red) 성분, 초록(Green) 성분, 파랑(Blue) 성분을 나타냄 ―와,

   b) 상기 수신된 칼라 정면 얼굴 영상으로부터 눈의 후보 영역들을 추출하는 단계와,

   c) 상기 후보 영역들 중에서 정확한 눈의 영역을 결정하고, 상기 결정된 눈의 영역을 중심으로 상기 수신된 칼라 정면 얼굴 영상을 사전설정된 크기로 정규화하는 단계와,

   d) 상기 수신된 칼라 정면 얼굴 영상 내에 포함된 색상 정보와 안경테의 에지(edge) 정보를 이용하여 안경테 영역을 추출하는 단계와,

   e) 상기 정규화된 정면 얼굴 영상에 대해 RGB-HSI 변환을 수행하는 단계와,

   f) 상기 RGB-HSI 변환된 H, S, I 성분의 정규화된 정면 얼굴 영상들에 근거하여 안경이 제거된 보정 영상 H', S', I'을 생성하는 단계 ―상기 H, S, I 성분은 각각 색상(Hue) 성분, 채도(Saturation) 성분, 휘도(Intensity) 성분을 나타냄 ―와,

   g) 상기 보정 영상 H', S', I'에 대해 HSI-RGB 변환을 수행함으로써 R', G',B' 보정 영상을 획득하는 단계와,

   h) 상기 R', G', B' 보정 영상에 근거하여 안경이 제거된 칼라의 최종 얼굴 영상을 생성하는 단계

   를 포함하되,

   상기 단계 f)는,

   f1) 상기 H, S, I 성분의 정규화된 정면 얼굴 영상들을 재구성한 H, S, I 성분의 재구성 영상들을 획득하는 단계와,

   f2) 상기 H, S, I 성분의 정규화된 정면 얼굴 영상들과 상기 H, S, I 성분의 재구성 영상들간의 H, S, I 성분의 제 1 차영상(differential image)들을 획득하는 단계와,

   f3) 상기 H, S, I 성분의 제 1 차영상들 내에 포함된 픽셀(pixel) 정보에 근거하여 상기 H, S, I 성분의 제 1 차영상들 각각을 스트레칭(stretching) 함으로써 H, S, I 성분의 제 2 차영상들을 획득하는 단계와,

   f4) 상기 H, S, I 성분의 제 2 차영상들 각각을 오클루젼(occlusion) 영역, 비 오클루젼 영역, 불확정 영역으로 구분하기 위한 임계값을 결정하는 단계와,

   f5) 상기 I 성분의 제 2 차영상 내에서 상기 결정된 임계값에 따라 구분된 불확정 영역에 상기 추출된 안경테 영역을 포함시킴으로써 I 성분의 제 3 차영상을 획득하는 단계와,

   f6) 상기 결정된 임계값에 따라 상기 H 성분 및 S 성분의 제 2 차영상들과 상기 I 성분의 제 3 차영상 각각을 구분하고, 상기 구분된 영역 각각에 대한 가중치를 부여하는 단계와,

   f7) 상기 H 성분 및 S 성분의 제 2 차영상들과 상기 I 성분의 제 3 차영상 각각에 상기 가중치를 적용하여 상기 보정 영상 H', S', I'을 획득하는 단계

   를 포함하는 영상 처리 방법.
2. 제 1 항에 있어서,

   상기 H 성분의 정규화된 정면 얼굴 영상은,

   (수학식 14)

   을 통해 벡터 성분의 영상으로 표현되고, 상기 H_x및 H_y벡터 성분의 영상에 근거하여 안경이 제거된 보정 영상인및벡터 성분의 영상을 획득하는 영상 처리 방법.
3. 제 2 항에 있어서,

   (수학식 15)

   을 사용하여, 상기및벡터 성분의 보정 영상으로부터 상기 보정 영상 H'을 획득하되,

   여기서 H^" _x은 H^' _x을 (H^'2 _x+H^'2 _y)^1/2로 정규화한 것인 영상 처리 방법.
4. 제 1 항에 있어서,

   상기 보정 영상 H', S', I'은 PCA(Principal Component Analysis) 재구성 알고리즘을 통해 획득되며,

   상기 단계 c)는,

   c1) 상기 수신된 칼라 정면 얼굴 영상 내에 포함된 상기 색상 정보를 이용하여 제 1 및 제 2 변환 영상을 획득하는 단계와,

   c2) 상기 제 1 및 제 2 변환 영상을 이용하여 상기 수신된 칼라 정면 얼굴 영상을 정규화하는 단계

   를 포함하는 영상 처리 방법.
5. 제 4 항에 있어서,

   상기 제 1 변환 영상은 GSCD(Generalized Skin Color Distribution) 변환 영상이고, 상기 제 2 변환 영상은 BWCD(Black and White Color Distribution) 변환 영상인 영상 처리 방법.
6. 제 5 항에 있어서,

   상기 색상 정보는 그레이 레벨(gray-level)의 픽셀(pixel) 정보인 영상 처리 방법.
7. 제 5 항에 있어서,

   상기 단계 f3)에서의 스트레칭은,

   (수학식 8)

   을 사용하여 수행되는데,

   여기서 D(i)는 상기 H, S, I 성분의 제 2 차영상들이고,는 상기 PCA 재구성 알고리즘 수행 중에 생성되는 상기 H, S, I 성분의 재구성 영상들이며, d(i)는 상기 H, S, I 성분의 제 1 차영상들이고, i는 각 영상 내의 픽셀을 나타내는 인덱스(index)인 영상 처리 방법.
8. 제 5 항에 있어서,

   상기 오클루젼 영역이 상기 안경과, 상기 수신된 칼라 정면 얼굴 영상 내의 상기 안경에 의한 그림자 영역 및 빛의 반사에 의한 에러 등을 포함하는 영역인 영상 처리 방법.
9. 제 8 항에 있어서,

   상기 단계 f4)는,

   상기 제 1 변환 영상을 역상하는 단계와,

   상기 역상된 제 1 변환 영상과 상기 제 2 변환 영상을 OR 연산하는 단계와,

   상기 OR 연산된 영상 내의 에러값들의 평균을 하위 임계값으로 결정하는 단계와,

   상기 하위 임계값보다 큰 에러값들의 평균을 상위 임계값으로 결정하는 단계

   를 포함하는 영상 처리 방법.
10. 제 9 항에 있어서,

    상기 하위 임계값 및 상기 상위 임계값은,

    (수학식 9)

    을 사용하여 결정되는데,

    여기서 D(j)는 상기 H, S, I 성분의 제 2 차영상들에서 비오클루젼 영역에 해당하는 얼굴 피부 영역의 에러값을 나타내고, D(k)는 상기 H, S, I 성분의 제 2 차영상들에서 오클루젼 영역에 해당하는 상기 얼굴 피부 영역 이외의 에러값인 영상 처리 방법.
11. 제 10 항에 있어서,

    상기 I 성분의 제 2 차영상 내의 상기 불확정 영역은,

    (수학식 10)

    을 통해 상기 추출된 안경테 영역을 포함하여 상기 제 3 차영상을 획득하되,

    D'(i)는 상기 I 성분의 제 3 차영상이며 G(i)는 상기 추출된 안경테 영역의 그레이-레벨 값인 영상 처리 방법.
12. 제 11 항에 있어서,

    상기 I 성분의 제 3 차영상에 대해,

    (수학식 11)

    을 사용하여, 상기 상위 임계값을 초과하는 에러값을 갖는 영역은 가중치 1,상기 하위 임계값 미만의 에러값을 갖는 영역은 가중치 0, 상기 하위 임계값과 상기 상위 임계값 사이의 에러값을 갖는 영역은 0.5 내지 1 사이의 가중치를 부여하되,

    상기 상위 임계값을 초과하는 에러값을 갖는 영역은 오클루젼 영역이고, 상기 하위 임계값 미만의 에러값을 갖는 영역은 비 오클루젼 영역이며, 상기 하위 임계값과 상기 상위 임계값 사이의 에러값을 갖는 영역은 불확정 영역인 영상 처리 방법.
13. 제 12 항에 있어서,

    상기 I 성분의 제 3 차영상 내의 상기 오클루젼 영역은,

    (수학식 12)

    에 의해 보정되는데,

    여기서는 상기 I' 영상이고, ω는 가중치이며,는 I 성분의 평균 영상이고,는 상기 I 성분의 재구성 영상이며,는 상기 정규화된 정면 얼굴 영상인 영상 처리 방법.
14. 제 10 항에 있어서,

    상기 H 성분 및 S 성분의 제 2 차영상들 내에서 상기 상위 임계값을 초과하는 에러값을 갖는 영역은 가중치 1, 상기 하위 임계값 미만의 에러값을 갖는 영역은 가중치 0, 상기 하위 임계값과 상기 상위 임계값 사이의 에러값을 갖는 영역은 0.5 내지 1 사이의 가중치를 부여하되,

    상기 상위 임계값을 초과하는 에러값을 갖는 영역은 오클루젼 영역이고, 상기 하위 임계값 미만의 에러값을 갖는 영역은 비 오클루젼 영역이며, 상기 하위 임계값과 상기 상위 임계값 사이의 에러값을 갖는 영역은 불확정 영역인 영상 처리 방법.
15. 제 14 항에 있어서,

    상기 H 성분 및 S 성분의 제 2 차영상들 내의 상기 오클루젼 영역은,

    (수학식 12)

    에 의해 보정되는데,

    여기서는 상기 H' 및 S' 영상이고, ω는 가중치이며,는 H 성분 및S 성분의 평균 영상이고,는 상기 H 성분 및 S 성분의 재구성 영상이며,는 상기 정규화된 정면 얼굴 영상인 영상 처리 방법.
16. 제 13 항 또는 제 15 항에 있어서,

    상기 영상 처리 방법은,

    상기 단계 f1) 내지 f7)을 반복하는 단계

    를 더 포함하되,

    상기 반복 단계 수행시, 상기 단계 f7)에서 생성된 보정 영상이 상기 단계 f1)에서 상기 정규화된 정면 얼굴 영상 대신에 사용되는 영상 처리 방법.
17. 제 16 항에 있어서,

    상기 영상 처리 방법은,

    상기 반복 단계에서 생성된 보정 영상들간의 차이가 사전설정된 값 이하인지 여부를 판단하는 단계와,

    상기 차이가 상기 사전설정된 값 이하인 경우, 상기 반복 단계에서 생성된 상기 보정 영상을 HSI-RGB 변환하여 상기 칼라의 최종 얼굴 영상으로서 출력하는 단계와,

    상기 차이가 상기 사전설정된 값을 초과하는 경우, 상기 반복 단계를 다시 수행하는 단계

    를 더 포함하는 영상 처리 방법.