KR20070068501A - 2차원 칼라 얼굴 영상에서 반복적인 주성분분석 재구성을이용한 자동적인 잡음 제거 - Google Patents

Abstract

칼라 영상의 잡음 제거 및 복원은 컴퓨터 비젼 및 영상 처리 분야에서 점점 더 많은 연구가 되어지고 있는 분야이다. 칼라 얼굴 영상에서의 잡음 제거 및 복원은 색상들 간의 미묘한 상호작용뿐만 아니라 얼굴의 구조학적 특징 때문에 일반적인 영상의 처리보다 더욱 어렵다. 본 발명은 벡터기반의 영상 필터들을 이용하여 제거하기 어려운 칼라 얼굴 영상의 복합 잡음을 제거하기 위해 PCA 재구성 기반의 잡음 제거 방법을 제안한다. 제안된 방법은 PCA를 이용한 정준 고유얼굴 공간의 학습단계, 동적 외양 모델을 이용한 자동적인 얼굴 특징 추출 단계, Bilateral 필터를 이용한 복원된 칼라 영상의 재조명(Relighting) 단계, 학습 데이터들의 분산 값들을 이용한 잡음 영역 추출 단계, 입력 영상의 부분 정보를 이용한 재구성과 이를 원본 영상과 합성하여 잡음이 제거된 영상을 생성하는 단계 등 총 5 단계로 구성된다. 실험결과는 제안된 방법이 입력 얼굴 영상들의 구조적 특징들은 잘 유지하면서 복합적인 칼라 잡음 등을 효과적으로 제거하는 것을 보인다.

Denoising, Reconstruction, Relighting, Blending

Description

2차원 칼라 얼굴 영상에서 반복적인 주성분분석 재구성을 이용한 자동적인 잡음 제거{Automatic Denoising of 2D Color Face Images Using Recursive PCA Reconstruction}

도 1은 반복적인 주성분 분석 복원을 이용한 얼굴 잡음 제거 방법의 전체 시스템.

E. Eisemann and F. Durand, "Flash Photography Enhancement via Intrinsic Relighting", ACM SIGGRAPH 2004

G. R. Arce, "Nonlinear Signal Processing : A Statistical Approach", WILEY, 2005

A. Bovik, "Handbook of Image & Video Processing", Elsevier Academic Press, pp. 109-127, 2005

J.-S. Park, Y.-H. Oh, S.-C. Ahn and S.-W. Lee, "Glasses Removal from Face Image Using Recursive Error Compensation", IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 27, No. 5, pp. 805-811, 2005.

디지털 영상 처리에서 복원 및 잡음 제거.

일반적인 영상에 비해 얼굴 영상은 조금만 변하더라도 전체적인 인상에 많은 영향을 주기 때문에 잡음 제거 및 복원 등에 있어서 더 어려운 점이 많다. 또한 칼라 얼굴 영상에 존재하는 잡음( 기미, 곰보, 점, 피부 트러블)등은 지금까지 제안된 방법으로는 완벽히 제거하기 힘들다. 따라서 본 발명에서는 입력 얼굴 영상들의 구조적 특징들은 잘 유지하면서도 복합적인 칼라 잡음 등을 효과적으로 제거하기 위해 반복적인 주성분 분석 재구성을 이용한 잡음 제거 방법을 제안하고 있다.

본 발명은 주성분 분석을 이용한 정준 고유 얼굴 공간의 학습단계, 동적 외양 모델을 이용한 자동적인 얼굴 특징 추출 단계, Bilateral 필터를 이용한 복원된 칼라 영상의 재조명 단계, 학습 데이터들의 분산 값들을 이용한 잡음 영역 추출 단계, 입력 영상 부분 정보를 이용한 재구성과 이를 원본 영상과 합성하여 잡음이 제거된 영상을 생성하는 단계 등 총 5단계로 구성된다.

학습 영상들의 얼굴 구조는 94개의 얼굴 특징점들로 표시하여 각각의 얼굴 형태 모형을 구성한다. 평균 얼굴 형태로 정렬된 칼라 얼굴 텍스쳐들과 각각의 얼굴 형태 모형들을 이용하여 Jacobian Learning Scheme로써 동적 외양 모델을 학습하다. 알고리즘의 효율과 검색 과정에서의 반복 횟수를 줄이기 위해 낮은 해상도의 이미지에서부터 고해상도 이미지로 동적 외양 모델 매칭을 수행함으로써 얼굴 구조 특징점들을 찾는다. 해상도는 원본 영상의 크기를 50%씩 축소시켜 3단계로 한다.

학습된 영상에 의해서 복원된 영상은 원본 영상과 조명 상태가 항상 동일한 상태라고 가정할 수 없기 때문에 잡음 영역 추출 단계에서 과하게 잡음이 추출될 수 있다. 이를 보정하기 위해서 복원된 영상은 원본 영상과 조명 상태가 유사하도록 재조명을 할 필요가 있다. 본 발명에서는 E. Eisemann과 F. Durand가 사용한 Bilateral 필터를 이용하여 복원된 영상의 재조명을 수행한다.

잡음 영역을 찾기 위해서 칼라 벡터의 크기 맵과 방향 맵을 계산한다. 또한 잡음에 대한 문턱치는 95%의 주성분으로 재구성된 학습 영상 정보로부터 각 픽셀들의 벡터의 크기 분산값과 벡터의 방향 분산값들을 계산하여 사용한다.

정사영(벡터 내적)을 통한 Least Square Minimization 방법은 강건하지 않으며 또한 입력 영상들은 일반적으로 Intra-Sample Outlier를 포함하고 있기 때문에 표준 주성분 분석 재구성은 이런 Outlier들에 의해 강건하지 않게 된다. 따라서 본 발명에서는 잡음에 최적화된 학습된 고유얼굴 공간과 잡음 영역을 제외한 입력 영상의 부분 정보를 이용한 특이값 분해 기반의 주성분 분석을 수행하여 에러 함수를 최소화하는 최적의 주성분 값을 계산하여 잡음이 제거된 입력 영상을 재구성한다.

박피 수술 등의 가상 성형 시스템에 응용 가능. 얼굴의 구조적인 특징을 유지하면서 얼굴에서의 잡음( 여드름, 상처, 기미, 곰보, 피부 트러블 등 ) 제거.

Claims (1)

1. 얼굴에서의 잡음을 제거하는 과정에서 복원을 이용한 반복적인 제거 방법

Images