KR20090093223A - 얼굴 인식 시스템의 성능 향상을 위한 동적 마스크와 인페인팅을 이용한 안경제거 - Google Patents

Abstract

얼굴 인식 시스템을 실제로 사용하다 보면 자세와 조명, 표정, 안경 및 화장 등의 변화요소가 인식률에 저하를 가져오게 된다. 특히 안경의 경우 외관의 변형을 가져와 인식률에 큰 영향을 미치게 되는데 사용자가 얼굴 인식 시스템에 등록을 할 때는 통제된 환경에서 안경을 벗고 등록하지만 등록 후 실제 사용에서는 안경을 쓴 채로 인증을 시도하는 경우가 많으며 이때 인증률이 크게 낮아지는 문제점이 있다.이러한 문제를 제거하면서도 기존의 지문이나 홍채, 장문 등의 접촉식 생채 인식 시스템에 비해 얼굴 인식 시스템이 가지는 편리성과 보안성을 유지하기 위해서는 인증 시 사용자가 직접 안경을 벗지 않더라도 입력 영상에서 영상처리를 통하여 안경을 제거하여 얼굴 인식 시스템의 실제 사용 시 인증률의 저하를 막는 방법이 필요하다. 본 논문에서는 동적 마스크와 인페인팅(Inpainting)을 이용한 안경의 제거를 통해 얼굴 인식 시스템의 성능을 향상시키는 방법을 제안한다.

Description

얼굴 인식 시스템의 성능 향상을 위한 동적 마스크와 인페인팅을 이용한 안경제거 {Removal Eye Glasses using Variable Mask and Inpainting for Improved Performance of Face Recognition System}

사회의 정보화가 급속히 진행되면서 정보보호와 정확한 신분 확인의 중요성도 커지고 있다. 고도화된 정보화 수준과 인터넷 사용 인구의 증가에 따라 정보의 접근에 대한 편리성과 보안성이 요구되어 진다.

기존에는 열쇠나, 패스워드, ID카드, 스마트 카드 등을 이용하여 사용자를 인식하였지만, 휴대의 불편성과 망각 또는 분실이나 위변조 등의 단점이 있다. 하지만, 생체인식은 사용자 고유의 신체 일부를 사용하기 때문에 기존의 방법에 비해 편리성과 보안성을 충족하므로 이에 대한 연구가 많이 진행되어 왔다.

생체 보안 시스템은 활용하는 신체 정보가 무엇이냐에 따라 다양한 분야로 나누어져 있다. 그 중 대표적인 분야로는 지문(Fingerprint)인식, 장문(Palmprint)인식, 홍채(Iris)인식, 음성(Voice)인식, 서명(Signature)인식, 얼굴(Face)인식 등이 있다.

이 중 얼굴 인식은 사용자 편리성이 뛰어나며 고가의 카메라가 필요하지 않다는 점, 인증 대상자의 자발적인 동의 없이도 검사 사실을 눈치채지 못하게 할 수 있다는 점에서 보안성이 뛰어나다는 점 등의 많은 장점이 있기 때문에 활발히 연구, 개발이 진행되는 분야이다. 게다가, 보안 시스템에서의 활용에만 그치지 않고 실시간으로 제작되는 컴퓨터 애니메이션, 웹을 이용한 아바타 생성, 멀티미디어와의 응용 등이 가능하다는 장점이 있다.

얼굴 인식 시스템은 자세나 표정, 조명, 안경 등이 제한된 환경에서는 인증률이 높지만 환경이 제어되지 않은 조건에서는 인증률이 낮다. 실제 제품화가 가능하도록 제어되지 않은 조건에 강인한 얼굴 인식 시스템을 만들기 위해서는 다양한 조명과 얼굴의 자세, 표정, 안경 착용 등의 환경에도 강인한 얼굴 인식 시스템의 연구가 더 요구되어 진다.

안경 착용의 경우, 얼굴 인식에 큰 영향을 미치므로, 안경 착용 여부를 판단하여 안경 착용 시에 이를 제거하여 얼굴 인식 시스템의 신뢰성을 높이려는 연구가 많이 진행되어 왔다.

2002년 Chenyu Wu와 Ce Liu, Heung-Yeung Shum이 제안했던 방법은 다수의 정규화된 얼굴 영상을 미리 안경 유무에 따라 나눈 뒤 학습시켜 분류기를 만든 후 이 분류기에 얼굴 영상을 입력하여 안경의 유무를 판별하였다. 선행학습된 분류기를 이용하여 입력된 얼굴 영상의 안경 유무를 판별하고 안경 영역을 미리 학습시킨 안경없이 등록한 영상의 눈 부분으로 교체하는 방법을 사용하였다.

2003년 박정선, 오유화가 제안했던 특징성분분석(Principal Components Analisys) 재구성을 이용한 안경 제거방법은 입력된 영상에서 안경을 나타내는 데이터의 특징을 계산하여 이것을 기존 안경영역의 샘플과 비교하여 안경의 유무를 판별하고 구해진 안경 영역을 눈 부위의 특징성분을 이용하여 제거하는 방법을 사용하였다.

위와 같은 기존의 연구 방법들은 안경을 제거하기 위해 선행학습이 필요로 했다. 이러한 방법들은 학습 방법이 복잡하고 정보가 추가될 때마다 새로 학습을 하여야 하며 학습에 사용된 데이터에 따라 같은 환경 하에서는 안경의 제거가 잘 이루어지지만 다양한 조명과 자세와 인종 등의 학습 환경과 다른 조건에서는 효과가 떨어지며 오히려 얼굴 인식의 성능이 저하되기도 한다.

본 발명에서는 선행 학습이 필요하지 않고 다양한 조건하에서도 안경을 제거하여 얼굴 인식 시스템의 성능을 향상시킬 수 있는 방법을 제안한다.

얼굴 인식 시스템은 인식률은 얼굴 외관의 변화를 가져오는 안경에 큰 영향을 받는다. 얼굴 인식 시스템의 장점인 편리함과 보안성을 유지하면서 안경의 영향을 줄이기 위해 사용자가 안경을 벗는 것이 아닌 동적 마스크와 인페인팅의 영상처리를 통하여 영상 속의 안경을 제거하여 얼굴 인식 시스템 성능을 향상시키고자 한다.

입력된 영상에서 얼굴 영역을 검출하고 정확도와 처리속도를 높이기 위해 정규화를 한다. 정규화된 영상을 가지고 이미지 는 반사부분 과 조명부분 의 곱으로 표현할 수 있는 정의를 가지고 비등방성 평활화(Anisotropic Smoothing)을 이용하여 를 구한 후 이것으로 원영상에서 다시 를 구한다. 구해진 반사영역으로 피부 면과 안경의 반사가 다르다는 것을 이용하여 피부 면 이외의 영역을 분리해 낸다. 이 영상에 유효외관모델(AAM, Active Appearance Model)을 이용하여 얼굴 특징점을 찾고 이 특징점을 기반으로 동적 마스크를 생성하여 안경을 찾는다. 찾아진 안경의 영역을 인페인팅을 이용하여 안경을 제거한다.

본 발명의 효과를 명확히 기술하기 위해 실행한 실험 및 그 결과를 기술하고, 그 효과를 정리한다.

가. 실험 환경

제안하는 동적 마스크와 인페인팅을 이용한 안경제거 알고리즘은 Intel(R) Core(TM)2 CPU 6400 @ 2.13Ghz 및 Windows XP 환경 하에서 Visual C++ 6.0 을 이용하여 구현하였다. 본 발명의 성능을 평가하기 위한 얼굴 데이터베이스는 한국인으로 이루어진 자체 제작한 얼굴 데이터베이스(이하 홍익 DB)와 서양인과 동양인이 섞인 Georgia Tech 얼굴 데이터베이스(이하 GT DB) 두 가지 종류에 대해서 테스트하였다. 홍익DB의 경우 실제 얼굴 인식 사용 하에서 실험하기 위해 (주)서울통신 기술의 로비에 설치되어 있는 시스템을 통해 얻은 데이터베이스를 이용하여 등록 데이터베이스와 인증 데이터베이스를 구성하였다.

홍익 DB는 등록은 83명에 대해 각각 정면, 상, 하, 좌, 우 (각도는 15° 내외)의 다섯 방향으로 제한하여 총 415장으로 구성되었다. 인증 영상은 인증자가 임의로 인증을 시도한 영상을 1개월의 시간을 두고 모은 총 774장으로 구성하였다.

GT DB는 50명 대해 다양한 조명과 표정, 자세를 갖는 750장의 이미지이며, 3개월 이상의 시간 간격을 두고 구성되었다. 각 이미지는 640x480 해상도의 JPEG 포맷을 갖는다. 본 논문을 위해 필요한 안경을 착용한 이미지는 161장이며 착용하지 않은 이미지는 589장이다. GT DB에는 안경을 쓴 사진과 쓰지 않은 사진을 갖는 사람이 22명이다. 이 중 안경을 쓰지 않은 5명(75)장은 유효외관모델(AAM) 모델에 추가시켰고, 나머지 45장 중 등록은 25명에서 임의로 10장을 취해서 총 250장을 등록시켰고, 인증 영상은 등록된 25명의 남은 5장 125장과 등록되지 않고 모델에 없는 20명으로 300장 총 425장으로 구성하였다.

나. 실험 결과

실험 결과는 인증과 등록 얼굴의 유사도를 기준으로 인식 성공 여부를 결정하였으며 성능의 비교를 위해 기존 안경 제거 방법과 같은 데이터를 넣어 실험을 하였다. 안경이 제거된 예는 도 7에 나타나 있다.

방법	데이터베이스	인식률(%)
기존	홍익 데이터베이스	95.34
제안한 방법	홍익 데이터베이스	96.12
기존	조지아텍 데이터베이스	94.41
제안한 방법	조지아텍 데이터베이스	95.65

다. 발명의 효과

본 발명에서는 동적 마스크와 인페인팅을 이용한 안경제거를 통해 얼굴 인식 시스템의 성능 향상을 제공하였다. 제공한 방법의 효율성은 실험으로 검증하였다. 제공된 안경 제거 방법은 기존의 방법을 개선한 것으로 구현과 제거가 상대적으로 단순하면서도 효과적이다.

1) 도 1은 동적 마스크와 인페인팅을 이용한 안경제거의 전체 동작 흐름도이다.

2)도 2는 정규화 과정을 거친 얼굴 영상이다.

3)도 3은 영상에서 반사부분을 구한 영상이다.

4)도 4는 이진화 과정을 거친 영상이다.

5)도 5는 동적 마스크의 영상이다.

6)도 6은 영상에서 안경 영역을 구하는 과정을 보이고 있다.

7)도 7은 인페인팅을 통하여 안경이 제거된 영상이다.

8)도 8은 인페인팅하는 수식으로 이웃값이 복구영역 경계면에 미치는 영향을 나타낸다.

9)도 9는 인페인팅에서 이웃값이 복구영역 경계면에 미치는 영향을 나타낸 영상이다.

본 발명에서 제공하는 마스크와 인페인팅을 이용한 안경제거의 구성 및 동작 흐름도는 도 1에 있다. 각 과정의 구체적인 내용은 다음과 같다.

1) 영상 정규화

실제 사용 환경의 얼굴 인식 시스템에서는 입력된 영상 안에 시스템이 원하는 위치에 원하는 크기와 자세, 조명 등으로 얼굴이 입력되는 경우는 극히 드물다. 때문에 얼굴 인식의 정확성과 효율성을 올리기 위해서는 영상 정규화 과정이 필요하다.

먼저 영상 속에 있는 얼굴을 검출해 내야 한다. 사람의 얼굴은 일정한 형태를 가지고 있으므로 이 형태를 단순화한 기저 패턴을 이용하여 다양한 해상도로 변경된 입력 영상 속에서 아다부스트(Adaboost) 방법을 이용하여 검출한다. 검출은 여러 단계의 트리구조 분별기(tree-clasifier)를 직렬로 연결하여 실행하게 된다. 영상속에서 얻어진 얼굴 영상은 256x256 픽셀 크기에 맞게 크기 정규화를 한다.

다음으로 얻어진 얼굴 영상의 외곽선(vally, edge) 정보를 이용하여 얼굴의 회전각을 계산한 뒤 자세 정규화를 한다.

크기와 자세가 정규화된 얼굴 영상에서 EBGM(Elastic Bunch Graph Model)을 이용하여 눈동자의 위치를 구하고 눈동자의 좌표를 기준으로 다시 정확한 자세 및 크기 정규화를 실행한다. 정규화 과정을 통해 얻어지는 얼굴 영상의 결과는 도 2와 같다.

2) 영상의 반사부분 구하기

이미지 는 반사부분 과 조명부분 의 곱으로 표현할 수 있다. 반사영역을 구하는 이유는 반사부분이 이미지의 에지 정보와 같은 고주파수 성분을 주로 나타내기 때문이다. 이것을 이용하여 고주파 성분이 적은 얼굴면과 안경 개체가 가지게 되는 안경 형태의 고주파 성분을 구분할 수가 있게 된다. 조명부분을 구하는 식은 다음과 같다.

이때 는 와 같이 보통 Weber 상수로 근사화한. 이미지에서 구해진 조명부분과 비등방성 평활화를 이용하여 반사부분을 구하게 된다. 구해진 반사영역은 도 3과 같다.

3) 영상의 이진화

step1. 구해진 영상의 반사 부분에서 명암 대비를 높여서 영상 내 상대적으로 큰 값을 갖는 부분과 작은 값을 갖는 부분의 차를 더 증가시키기 위해 1.5배(실험적으로 구해진 수치, 1 이상일 때 효과적이다)를 곱해준다.

step2. 그 다음 최소값 필터링 통해 상대적으로 더 어두운 객체를 강조하며 동시에 영상 내의 스파이크를 제거한다.

step3. 영상 내에서 어두운 부분과 밝은 부분의 윤곽선을 모두 검출하기 위해 영상의 히스토그램 누적합이 가장 큰 화소값(max)을 구하여 영상에서 다음과 같은 계산을 통해 절대값 이미지를 얻는다.

step4. 절대값 이미지를 Otsu가 제안한 방법으로 이진화한다.

step5. 이진화한 영상에 닫힘연산을 수행함으로써 영상의 객체를 강조한다.

이진화한 영상의 결과는 도 4에서 볼 수 있다.

4) 동적 마스크 생성

이진화를 적용한 영상을 구한 후 안경을 다른 특징과 구분시키기 위하여 안경 후보 영역을 고려한 얼굴의 자세에 따라 달라지는 동적 마스크를 만든다.

AAM을 통해 얻어진 특징점을 이용해서 각 얼굴 이미지에서 안경이 있을 수 있는 안경 후보 영역 동적 마스크를 만든다. 이 동적 마스크는 눈 부근 영역으로 눈 부분과 코 부분을 뺀 것으로 이루어지며, 이진 값을 갖는다. 이 동적 마스크는 AAM에서 얼굴의 특징점의 좌표를 얻어와서 얼굴 인식 시스템의 중요 특징점 부분을 제외한 안경 후보 영역을 선택해서 만든다. 생성된 동적 마스크의 영상은 도 5와 같다.

5) 안경 영역 얻기

안경 영역은 동적 마스크와 이진화된 영상의 OR연산을 이용하여 얻어낸다. 안경 영역을 구하는 과정은 도 6에서 볼 수 있다.

6) 안경 제거

안경의 제거는 위에서 얻어진 안경 영역을 이용하여 원 영상에 안경영역을 인페인팅 하는 방법으로 제거하게 된다. 인페인팅은 원래 미술 분야에서 파손되거나 소거된 부분을 복원하는데 사용되는 기술이었다. 디지털 영상에서의 인페인팅은 Bertalmio에 의해 소개되었다. 본 발명에서 사용된 인페인팅은 안경을 제거할 영상을 세 영역으로 구분하여 처리한다. 각 영역은 복구 영역의 경계면, 복구할 영역, 원본 영역이다.

안경 영역을 복구할 영역이라 보고 주변의 값을 이용하여 안경 영역을 복원하는 것이다. 안경 영역이 복원되는 과정에서 안경이 제거가 된다.

도 8의 식과 같이 는 픽셀 q의 밝기값을 이용해서 인페인팅할 픽셀 p에서의 개선된 값을 말한다.

과정은 도 9에서 확인할 수 있다. 복구해야할 회색영역을 경계면의 p 픽셀에서부터 계산된다. 경계면에 있는 p픽셀의 개선된 값은 이웃한 q픽셀만이 아니고 주변의 알고 있는 이웃영역의 픽셀에서 가중치를 두어 계산하게 된다.

Claims (1)

1. [발명의 내용]에서 설명한 동적 마스크와 인페인팅을 이용한 안경제거의 아이디어 및 알고리즘