KR20160122323A - 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법 및 이를 이용한 얼굴 인식 방법 - Google Patents

Abstract

지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법 및 이를 이용한 얼굴 인식 방법이 개시된다. 얼굴 이미지를 획득하여 크기를 조정하는 단계, 조정된 얼굴 이미지에 마스크를 적용하여 인간의 시각과 유사한 에지 성분을 추출하는 단계, 추출된 에지 성분에 대해 지역 윤곽 패턴을 이용하여 얼굴 특징을 추출하는 단계 및 추출된 얼굴 특징을 이용하여 얼굴을 분류하는 단계를 구성한다. 따라서 인간 시각과 유사한 특성을 가지는 특징을 추출하여 얼굴을 인식할 수 있다.

Description

지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법 및 이를 이용한 얼굴 인식 방법{FACE RECOGNITION METHOD AND FACIAL FEATURE EXTRACTION METHOD USING LOCAL CONTOUR PATTEN}

본 발명은 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법 및 이를 이용한 얼굴 인식 방법에 관한 것으로, 더욱 상세하게는 인간 시각과 유사한 특성을 가지는 특징을 추출하는 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법 및 이를 이용한 얼굴 인식 방법에 관한 것이다.

최근 여러 기관에서 잇따르고 있는 대량 개인정보 유출 사고로 인해 생체정보 이용의 필요성이 증가하고 있으며, 인터넷을 이용한 글로벌 네트워크가 형성되면서 개인의 중요한 정보가 타인에 의해 도용되는 심각한 문제가 제기 되고 있다. 따라서 이런 문제를 해결하는 방법 중 하나로 개인의 고유한 신체적인 정보를 이용해 본인 인지를 판단하는 생체인식에 대한 관심이 늘어나게 되었으며, 생체인식 기술을 적용한 출입관리 시스템, 영상장치를 통한 감시시스템 등이 여러 분야 이용되고 있다. 생체인식 기술 중 얼굴인식은 홍채인식, 지문인식 등에 비하여 인식과정이 사용자에게 특별한 신체적 접촉이나 행동을 요구하지 않기 때문에 편의성 면에서 우수한 장점을 가지고 있다. 또한 출입 통제, CCTV를 이용한 무인 감시, 엔터테인먼트 등의 다양한 분야에 접목될 수 있는 장점을 가진다.

한편, 사람의 얼굴은 하나의 이미지로만 존재하는 것이 아니고, 여러 환경적 요인에 영향을 받아서 다양한 이미지로 존재하게 된다. 첫 번째로 사람의 감정 상태에 따라 표정이 변하며, 두 번째로 시간이 지남에 따라 얼굴의 표정이 조금씩 변화하며, 세 번째로 조명에 의하여 얼굴 이미지에 노이즈가 다양하게 분포하게 되며, 네 번째로 포즈에 의한 오류 및 각종 부가적인 장애요인(노이즈, 수염, 성형 등)으로 인하여 다양한 이미지가 존재하게 된다. 이러한 여러 요소들 때문에 사람의 얼굴 특징을 추출하는데 있어 많은 어려움을 겪고 있는 실정이다. 따라서 얼굴인식 시스템의 상용화를 위해서는 다양한 환경요소에서 높은 인식성능을 확보할 수 있는 강인한 인식 기술이 반드시 필요하다.

대한민국 공개특허공보 제10-2000-0044789(공개일 2000.07.15.) 대한민국 공개특허공보 제10-2000-0007799(공개일 2000.02.07.)

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 인간 시각과 유사한 특성을 가지는 특징을 추출하는 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법 및 이를 이용한 얼굴 인식 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명은, 얼굴 이미지를 획득하여 크기를 조정하는 단계, 조정된 얼굴 이미지에 마스크를 적용하여 인간의 시각과 유사한 에지 성분을 추출하는 단계, 추출된 에지 성분에 대해 지역 윤곽 패턴을 이용하여 얼굴 특징을 추출하는 단계 및 추출된 얼굴 특징을 이용하여 얼굴을 분류하는 단계를 제공한다.

여기에서, 마스크는 LoG(Laplacian of Gaussian) 마스크이다.

이때, LoG 마스크를 적용하는 단계는 시그마 값을 조절하여 얼굴 이미지의 잡음을 제거하는 단계를 포함한다.

이때, LoG 마스크를 적용하는 단계는 조명 변화를 검출하여 마스크 크기를 다르게 적용하는 단계를 포함한다.

이때, 지역 윤곽 패턴을 이용하는 단계는 수직, 수평, 대각선 방향의 각 픽셀들을 탐색하는 단계, 탐색 값에 문턱치를 적용하여 각 방향을 이진 패턴으로 변환하는 단계 및 이진 패턴 값을 십진수로 변환하여 중심 픽셀에 새로운 라벨 값을 적용하는 단계를 포함한다.

이때, 문턱치는 작은 마스크인 경우 3, 가우시안 시그마는 0.3, 큰 마스크인 경우 2, 가우시안 시그마는 1.8이다.

이때, 새로운 라벨 값은 탐색 방향 n이 8일 때, 0~255의 값을 가진다.

이때, 추출하는 단계는 얼굴 이미지를 일정한 지역으로 나누는 단계 및 각 지역마다 히스토그램을 계산하여 히스토그램의 합을 추출하는 단계를 포함한다.

이때, 분류하는 단계는 추출된 얼굴 특징인 특징 벡터 간의 유사성을 분석하는 단계 및 최근접 이웃 분류기를 이용하여 분석된 특징 벡터로 얼굴 클래스를 분류하는 단계를 포함한다.

이때, 분류하는 단계는 유클리드 거리, 히스토그램 교차, 스퀘어 통계 중 어느 하나의 방법으로 추출된 특징 벡터 사이의 거리 또는 유사성을 계산하는 단계를 포함한다.

상기와 같은 본 발명에 따른 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법 및 이를 이용한 얼굴 인식 방법을 이용할 경우에는 인간 시각과 유사한 특성을 가지는 특징을 추출하여 얼굴을 인식할 수 있다.

도 1은 본 발명의 일실시예에 따른 단말기의 구성을 보인 블록도이다.
도 2는 본 발명의 일실시예에 따른 얼굴 인식 방법을 보인 동작 흐름도이다.
도 3은 본 발명의 일실시예에 따른 얼굴인식의 전체 개요이다.
도 4는 얼굴 이미지를 정규화하는 과정을 설명한 예시도이다.
도 5는 수직, 수평 방향의 라플라시안 마스크를 보인 예시도이다.
도 6은 모든 방향의 라플라시안 마스크를 보인 예시도이다.
도 7은 라플라시안 미분 방법을 보인 예시도이다.
도 8은 영상 잡음을 제거한 가우시안 이미지를 보인 예시도이다.
도 9는 인간 시각과 유사한 특성을 가지는 에지를 추출한 예시도이다.
도 10은 LoG 마스크의 시그마 값에 따른 함수 변화를 나타낸다.
도 11은 기본적인 LBP 연산 방법을 보여준다.
도 12 본 발명의 일실시예에 따른 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법의 전체 개요이다.
도 13은 일반적인 이미지에서의 시그마 값에 따른 에지 검출 결과를 보여 준다.
도 14와 도 15는 조명 변화 이미지에서의 마스크 크기에 따른 에지 검출 결과를 보여준다.
도 16은 수직, 수평, 대각선 방향으로 픽셀을 탐색하는 예시도이다.
도 17은 8개 방향으로 에지를 탐색한 결과이다.
도 18은 LCP 알고리즘을 보인 예시도이다.
도 19는 LBP와 LCP 알고리즘을 비교한 결과이다.
도 20은 조명 변화 환경에서 LBP와 LCP를 얼굴 이미지에 적용하여 비교 실험한 결과이다.
도 21은 본 발명에서 제안하는 방법들을 다양한 조명변화 환경을 가지는 얼굴 이미지에 적용한 결과이다.
도 22는 이미지를 나눈 예시도이다.
도 23은 특징 벡터를 보인 예시도이다.
도 24는 K-NN을 보인 예시도이다.
도 25는 SVM 오류를 보인 예시도이다.
도 26은 SVM 장점을 보인 예시도이다.
도 27은 모든 데이터의 유사성을 분석한 예시도이다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 단말기의 구성을 보인 블록도이다.

단말기(100)의 장치 구성은, 얼굴 인식 프로그램을 실행하는 프로세서(110), 얼굴 인식 프로그램과 얼굴 이미지를 저장하는 메모리(120), 얼굴을 촬영하는 카메라(130), 얼굴 인식 결과를 표시하는 엘씨디를 가지며 메모리는 운영체제와 얼굴 인식 프로그램을 저장한다. 운영체제는 얼굴 인식 프로그램을 실행하기 위한 동작 환경을 제공한다. 얼굴 인식 프로그램은 프로세서(110)에 의해 실행되어 단말기(100)가 동작한다.

프로세서(110)는 메모리(120)의 얼굴 인식 프로그램의 실행 코드를 실행하고, 메모리(120)는 얼굴 인식 실행 코드와 얼굴 데이터를 저장하고, 카메라(130)는 얼굴 영상을 촬영하고, 엘씨디는 얼굴 인식 결과를 표시한다. 장치 구성을 기초로 구성된 단말기(100)의 일실시예는 다음과 같다.

프로세서(110)는 얼굴 이미지를 획득하여 크기를 조정하고, 조정된 얼굴 이미지에 마스크를 적용하여 인간의 시각과 유사한 에지 성분을 추출하고, 추출된 에지 성분에 대해 지역 윤곽 패턴을 이용하여 얼굴 특징을 추출하고, 추출된 얼굴 특징을 이용하여 얼굴을 분류하고, 얼굴 인식 결과를 표시한다. 이러한 단말기(100)의 동작을 가능하게 하는 구성을 설명한다.

프로세서(110)는 얼굴 이미지를 획득하여 크기를 조정한다. 다른 실시예로, 프로세서(110)는 얼굴 이미지를 상하 기울어진 각도로 보정하여 기울어진 이미지를 만들 수 있다. CCTV는 천정에 설치되어 얼굴을 촬영하는데 얼굴이 기울어져 촬영된다. 프로세서(110)는 얼굴 촬영 각도만큼 비교 대상이 되는 얼굴 이미지를 기울여 기울어진 이미지를 만들 수 있다. 프로세서(110)는 기울어진 이미지를 만들기 위해 코사인 변환을 사용할 수 있다.

프로세서(110)는 조정된 얼굴 이미지에 마스크를 적용하여 인간의 시각과 유사한 에지 성분을 추출한다. 마스크는 LoG(Laplacian of Gaussian) 마스크이다. 프로세서(110)는 LoG 마스크를 적용함에 있어 시그마 값을 조절하여 얼굴 이미지의 잡음을 제거한다. 프로세서(110)는 LoG 마스크를 적용함에 있어 조명 변화를 검출하여 마스크 크기를 다르게 적용한다.

프로세서(110)는 추출된 에지 성분에 대해 지역 윤곽 패턴을 이용하여 얼굴 특징을 추출한다. 프로세서는 지역 윤곽 패턴을 이용하여 수직, 수평, 대각선 방향의 각 픽셀들을 탐색하고, 탐색 값에 문턱치를 적용하여 각 방향을 이진 패턴으로 변환하고, 이진 패턴 값을 십진수로 변환하여 중심 픽셀에 새로운 라벨 값을 적용한다. 문턱치는 작은 마스크인 경우 3, 가우시안 시그마는 0.3, 큰 마스크인 경우 2, 가우시안 시그마는 1.8이다. 새로운 라벨 값은 탐색 방향 n이 8일 때, 0~255의 값을 가진다.

프로세서(110)는 얼굴 특징을 추출할 때 얼굴 이미지를 일정한 지역으로 나누고, 각 지역마다 히스토그램을 계산하여 히스토그램의 합을 추출한다.

프로세서(110)는 추출된 얼굴 특징을 이용하여 얼굴을 분류한다. 프로세서(110)는 추출된 얼굴 특징인 특징 벡터 간의 유사성을 분석하고, 근접한 이웃 분류기를 이용하여 분석된 특징 벡터로 얼굴 클래스를 분류한다. 프로세서(110)는 유클리드 거리, 히스토그램 교차, 스퀘어 통계 중 어느 하나의 방법으로 추출된 특징 벡터 사이의 거리 또는 유사성을 계산한다.

프로세서(110)는 얼굴 클래스를 분류한 얼굴 인식 결과를 엘씨디에 표시한다. 프로세서(110)는 촬영된 얼굴 이미지와 얼굴 인식 결과를 표시할 수 있다. 프로세서(110)는 얼굴 인식 결과로 얼굴에 대응한 식별 코드를 출력한다. 식별 코드는 비교 대상 얼굴 이미지에 대응한 식별 값이다. 프로세서(110)는 얼굴 인식을 마치고 촬영된 얼굴 이미지를 비교 대상 얼굴 이미지에 업데이트할 수 있다. 프로세서(110)는 얼굴 이미지를 업데이트하여 얼굴 데이터베이스를 계속 새롭게 유지할 수 있다.

도 2는 본 발명의 일실시예에 따른 얼굴 인식 방법을 보인 동작 흐름도이다.

단말기가 얼굴을 인식하는 방법에 대해 설명한다.

단말기는 프로그램을 저장하는 프로그램 메모리, 데이터를 저장하는 데이터 메모리, 프로그램을 실행하는 프로세서를 포함한다.

프로그램 메모리에 저장된 데이터를 살펴보면, 프로그램 메모리는 얼굴 이미지를 획득하여 크기를 조정하는 단계(210), 조정된 얼굴 이미지에 마스크를 적용하여 인간의 시각과 유사한 에지 성분을 추출하는 단계(220), 추출된 에지 성분에 대해 지역 윤곽 패턴을 이용하여 얼굴 특징을 추출하는 단계(230), 추출된 얼굴 특징을 이용하여 얼굴을 분류하는 단계(240)를 포함한다. 얼굴 분류 단계 후 얼굴 인식 결과를 표시하는 단계가 더 포함될 수 있다.

단말기는 프로세서에 의해 프로그램 메모리에 저장된 프로그램을 실행하며 이러한 동작을 설명하면 다음과 같다.

단말기에서 실행되는 절차를 시계열 순으로 설명한다.

도 3은 본 발명의 일실시예에 따른 얼굴인식의 전체 개요이다.

단말기는 지역 윤곽 패턴(LCP:Local Contour Pattern)을 이용해서 얼굴 특징 추출 기법을 적용하여 얼굴인식을 처리한다.

첫 번째로 단말기는 얼굴 이미지를 획득하고 정렬한다(210).

두 번째로 단말기는 LoG(Laplacian of Gaussian) 마스크를 이용하여 에지를 검출한다(220). 단말기는 표정변화와 조명변화에 강인한 Laplacian과 노이즈를 제거하는 가우시안 마스크를 이용하여 인간의 시각과 유사한 특성을 가지고 있는 정확한 에지를 검출한다.

세 번째로 단말기는 지역 윤곽 패턴을 이용하여 얼굴 특징을 추출한다(230). 단말기는 LoG 마스크로 검출한 얼굴의 에지성분들을 효율적으로 표현하기 위해, 중심 픽셀을 기준으로 n방향 에지를 탐색하여 바이너리 값으로 표현 하고, 이를 십진수로 변환하여 중심 픽셀에 라벨 값을 적용한다. 이때 중심 픽셀의 에지성분이 강할수록 밝은 값을 가진다. 다음에 단말기는 얼굴 히스토그램을 추출한다. 단말기는 얼굴의 효율적인 표현을 위해 일정한 그리드로 나누어 히스토그램을 생성하고, 모든 히스토그램의 합으로 한명의 얼굴 히스토그램을 생성한다.

네 번째로 단말기는 얼굴 클래스를 분류한다(240). 단말기는 Nearest Neighbor Classifier 기법을 사용하여 학습 이미지와 실험 이미지간의 유사성을 측정하여 유사성이 높은 1개의 클래스를 선택하여 얼굴 이미지를 분류 및 판단한다.

단말기는 얼굴 이미지를 획득 및 정렬하고, LoG를 이용한 에지를 검출하고, 지역 윤곽 패턴을 이용한 얼굴 특징을 추출하고, 얼굴 클래스를 분류한다.

1. 얼굴 이미지 획득 및 정렬(210)

단말기는 얼굴 이미지를 획득하고 정렬한다. 단말기는 카메라를 이용하여 일반적인 이미지에서 얼굴영역을 검출한다.

도 4는 얼굴 이미지를 정규화하는 과정을 설명한 예시도이다.

단말기는 256 gray level 영상을 부동 소수점 형태로 변경하고, 눈 좌표를 이용하여 영상으로부터 얼굴 영역을 찾고, 타원형의 마스크를 씌워 얼굴 영역만을 잘라내고, 히스토그램 평활하고, 픽셀 정규화한다.

단말기는 모든 얼굴 이미지를 얼굴 이미지들의 일관성을 유지하기 위해 130x150의 크기로 정렬한다.

2. 미분 연산을 이용한 에지 검출

단말기는 영상처리에서 에지를 검출한다. 단말기는 에지를 검출하기 위해 공간적 변화량을 측정하기 위한 수학적 도구인 미분연산을 이용한다. 영상

의 위치 (x,y)에서의 세기 및 방향을 찾는 가장 좋은 방법은

로 표기되고 수학식 (1.1)과 같이 정의되는 기울기 이다.

--- 수학식 (1.1)

한편, 수학식 (1.1)은 위치(x,y)에서

의 변화율이 가장 큰 방향을 가리킨다는 중요한 기하학적 특성을 가지며, 벡터

의 크기는 수학식 (1.2)과 같이 정의되며, 각 기울기 값에 의한 에지 방향각은 수학식 (1.3)과 같이 정의 된다.

--- 수학식 (1.2)

--- 수학식 (1.3)

단말기는 공간영역에서 미분연산을 통한 에지를 검출한다. 단말기는 미분 마스크를 사용하여 공간 필터링을 한다. 공간 필터링을 컨볼루션(Convolution) 이라 한다. 단말기는 공간 필터링을 위해서 수학식 (1.4)과 같이 m x n 마스크를 마스크가 차지하는 이미지의 영역 값과 곱하고 더해 영역의 중앙픽셀의 마스크 응답을 구한다.

--- 수학식 (1.4)

대표적으로 1차 미분을 통한 에지 검출 방법에는 로버츠(Roberts), 소벨(Sobel)등이 있다. 각 회선 마스크는 고유한 특징을 가지고 있으며, 첫 번째로 로버츠(Roberts) 마스크는 수학식 (1.5)과 같이 정의 된다. 로버츠 마스크는 크기가 작아 매우 빠른 속도로 동작하여 효과적으로 사용가능한 장점이 있다. 그러나 로버츠 마스크는 돌출된 값을 평균화 할 수 없으며, 잡음에 민감한 단점이 있다.

--- 수학식 (1.5)

두 번째로 소벨(Sobel) 마스크의 수평, 수직 방향 에지 검출은 수학식 (1.6)과 같이 정의 된다. 소벨 마스크는 모든 방향의 에지를 추출하며, 돌출된 값을 비교적 평균화 하는 장점이 있다. 그러나 소벨 마스크는 연산 속도가 비교적 느리며 잡음 부분도 윤곽선으로 인식할 만큼 밝기 정도에 민감한 정도를 보이는 단점이 있다.

--- 수학식 (1.6)

2차 미분을 이용한 에지 검출기는 검출된 에지를 끊거나 하지 않고 연결된 폐곡선을 형성하여 정확한 에지를 검출하는 장점이 있다. 그러나 에지 검출기는 잡음에 민감하고, 윤곽의 강도만 검출하지 방향은 구하지 못하는 단점이 있다. 2차 미분을 이용한 대표적인 에지 검출 방법에는 수학식 (1.7)과 같은 라플라시안(Laplacian) 연산자가 정의된다. 수학식 (2.7)을 이산 형태로 표현하기 위해서 x방향에 변수를 넣어 표현하면 수학식 (2.8)과 같이 정의된다. 마찬가지로, y방향에서는 수학식 (2.9)과 같이 표현된다. 따라서 앞의 세 공식으로부터 두 변수의 이산 라플라시안 연산은 수학식 (2.10)과 같이 정의된다.

--- 수학식 (2.7)

--- 수학식 (2.8)

--- 수학식 (2.9)

--- 수학식 (2.10)

도 5는 수직, 수평, 대각선 방향의 라플라시안 마스크를 보인 예시도이다.

한편, 수학식 (2.7)은 도 5의 (a)와 같이 정의되며, 대각선 방향들은 도 5의 (a)에 대각선 방향을 추가하여 도 5의 (b)와 같이 정의한다. 라플라시안 연산은 모든 방향의 에지를 강조하고, 저주파 성분에 해당하는 값들은 소거가 되는 반면에 고주파 성분들은 더 선명하게 나타나게 된다. 따라서 모든 방향의 에지 부분을 강조한다. 그러나 잡음에 민감한 단점이 있다.

도 6은 모든 방향의 라플라시안 마스크를 보인 예시도이다.

한편, 단말기는 원본 이미지에 도 5의 (a)의 수직, 수평 방향의 라플라시안 마스크를 도 6의 (a)와 같이 모든 픽셀에 적용하여 도 6의 (b)와 같이 에지성분을 검출 한다. 도 6의 (b)에서 일정한 밝기 영역에서는 0이며, 어두운 곳에서의 픽셀 성분은 음의 값, 밝은 곳에서의 픽셀 성분은 양의 값을 갖는다.

도 7은 라플라시안 미분 방법을 보인 예시도이다.

단말기는 라플라시안 미분 방법들을 이용하여 얼굴 이미지를 미분한다. 도 7과 같이 미분을 이용한 얼굴 요소들은 매우 강한 에지 성분들을 나타내게 된다. 단말기는 수직, 수평, 대각선 방향의 정확한 에지를 검출하기 위해 라플라시안 미분 방법을 이용한다.

3. LoG(Laplacian of Gaussian)을 이용한 에지 검출(220)

얼굴 요소들은 얼굴 이미지에서 다양한 에지 성분들을 가지고 있고, 위치, 모양, 크기, 표면의 무늬 등은 쉽게 변하지 않으며 많은 정보를 가지고 있다.

그러나 얼굴 이미지의 볼, 이마, 등 평탄한 지역의 텍스쳐(texture) 정보는 변화될 수 있는 외부 요인이 많다. 따라서 본 발명에서는 얼굴 이미지에서 조명의 영향은 최소화하고 수직, 수평, 대각선 방향의 얼굴 이미지의 중요한 에지 성분들은 강조시키기 위해 라플라시안 마스크를 이용한다. 그러나 라플라시안 마스크는 잡음에 민감한 문제점을 가지고 있기 때문에, 본 발명에서는 에지 검출의 정확성을 높이기 위해 라플라시안과 가우시안을 결합한 LoG 마스크를 이용한 에지 검출 방법을 이용한다. LoG 마스크를 구현하는 방법으로는 가우시안 마스크를 수행한 후에 라플라시안 마스크를 수행 하는 방법을 이용한다.

도 8은 영상 잡음을 제거한 가우시안 이미지를 보인 예시도이다.

한편, 가우시안 마스크는 수학식 (1.11)과 같이 정의되며, 도 8그림 2.9와 같이 영상의 잡음을 제거한 가우시안 이미지를 얻을 수 있다. 가우시안 분포는 모든 과학 분야에서 사용하는 가장 보편적인 분포 이며, 영상처리에서 잡음을 제거하기 위한 필터로 쓰인다. 가우시안 마스크의 폭은 표준편차 값이 파라미터로 작용한다. 표준편차가 클수록 더 큰 잡음 제거 효과를 얻지만 이미지 자체가 흐려지는 결과를 얻을 수 있다.

--- 수학식 (1.11)

단말기는 가우시안 마스크를 적용하여 노이즈를 대부분 제거한 후에, 라플라시안 마스크를 이용하여 얼굴 이미지의 에지를 검출한다. 노이즈는 대부분 제거되고 강한 에지만 나타나게 된다.

도 9는 인간 시각과 유사한 특성을 가지는 에지를 추출한 예시도이다.

도 9의 그림 2.10(b)과 같이 인간의 시각과 유사한 특성을 가지는 에지를 추출할 수 있게 된다. LoG 마스크는 수학식 (2.7)과 수학식 (2.11)을 결합한 형태로 수학식 (2.12)과 같이 정의된다. 한편, LoG의 마스크 크기는 약 6σ 이상인 최소 홀수 정수로 선택해야 하며, 이보다 작은 마스크를 선정하면 LoG 함수가 잘려 나간다.

--- 수학식 (1.12)

LoG 마스크는 인간 시각 체계의 특성을 닮았을 뿐만 아니라, 모든 방향의 밝기 변화에 똑같이 반응하는 등방성이라는 중요한 장점을 가진다. 따라서 본 발명에서는 LoG 마스크를 이용한 에지 검출 방법을 사용한다.

도 10은 LoG 마스크의 시그마 값에 따른 함수 변화를 나타낸다.

한편, 다양한 에지를 검출하기 위해 시그마(σ) 값이 변화될 수 있다. 도 10그림 2.11은 LoG 식의 시그마 값에 따른 함수 변화를 나타내며 함수의 시그마 값이 커지면 잡음 제거에는 효과적이나, 에지가 넓게 검출된다. 반대로 시그마 값이 작아지면 잡음의 영향을 많이 받지만, 경사가 급격한 에지와 정확한 에지가 검출된다.

4. 지역 윤곽 패턴을 이용한 얼굴 특징 추출 기법(230)

얼굴 영상의 외관 정보를 잘 표현할 수 있는 효율적인 기술자(descriptor)를 찾는 것은 얼굴인식 분야에서 중요한 문제이다. 좋은 기술자는 계산이 쉬워야 하고 같은 사람의 영상들 내에서는 낮은 분산을 가지고 다른 사람들 간의 영상에 대해서는 높은 분산을 가져야 한다. 또한 조명이나 잡음 등의 요인에 대해서도 영향을 적게 받아야 한다. 최근에는 텍스처 분석을 위해 사용되어져 왔던 LBP 기법이 대표적으로 얼굴인식 분야에서 얼굴 표현법으로 다양하게 활용되고 있다.

얼굴 특징 추출 기법 중 LBP 기법은 수학식 (1.13)과 같이 정의 된다.

--- 수학식 (1.13)

도 11은 기본적인 LBP 연산 방법을 보여준다.

단말기는 중심 픽셀을 기준으로 주변의 픽셀간의 그레이스케일 값을 비교하여 이진 집합을 추출 한다. 단말기는 추출 된 이진 집합을 십진수로 변환하여 중심 픽셀의 라벨 값으로 사용한다.

LBP 연산 방법은 연산이 간단하고, 중심 픽셀을 기준으로 원형 형태로 확장하여 얼굴의 다양한 특징벡터를 추출하는 장점이 있다. 그러나 LBP 연산 방법은 단순한 대소차를 이용하기 때문에 조명 변화와 노이즈 등에 민감한 영향을 많이 받는다.

따라서 본 발명에서는 조명 변화와 노이즈에 영향을 받지 않는 LoG 마스크를 이용하여 얼굴에서 중요한 에지성분 만을 검출하고, 에지 성분을 정확하게 표현하기 위해 지역 윤곽 패턴 기법을 적용하여 얼굴 이미지의 모든 픽셀에 라벨(Label) 값을 지정한다.

도 12 본 발명의 일실시예에 따른 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법의 전체 개요이다.

얼굴 특징 추출 방법은 라플라시안 가우시안 마스크 적용 과정, 지역 윤곽 패턴 계산 과정, 히스토그램 생성 과정 등의 3가지 과정으로 나누어진다.

① 라플라시안 가우시안 마스크 적용 과정

라플라시안 가우시안 마스크 적용 과정은 얼굴 이미지의 윤곽을 정확하게 표현하기 위해 수직, 수평, 대각선 방향의 에지 성분을 강조하는 과정이다. 얼굴의 요소들은 얼굴 이미지에서 다양한 에지 성분들을 가지고 있고 쉽게 변하지 않으며 많은 정보를 가지고 있다. 반대로 평탄한 지역의 텍스쳐 정보들은 에지가 아닌 성분들로 노이즈에 의해 변형되어 얼굴의 특징 추출을 방해한다. 따라서 라플라시안 가우시안 마스크 적용 과정에서는 LoG 마스크를 이용하여 조명변화와 노이즈에 영향을 받지 않는 LoG 마스크를 이용하여 에지를 검출한다.

단말기는 LoG 마스크를 이용하여 에지를 검출한다. 단말기는 마스크 크기와 시그마 값을 파라미터로 작용하여 다양한 에지 성분을 추출할 수 있다.

도 13은 일반적인 이미지에서의 시그마 값에 따른 에지 검출 결과를 보여 준다.

첫 번째로, 시그마 값이 증가하면 얼굴 이미지의 잡음을 제거하는 장점이 있다. 그러나 상세한 에지를 검출하지 못한다.

도 14와 도 15는 조명 변화 이미지에서의 마스크 크기에 따른 에지 검출 결과를 보여준다.

두 번째로, 본 발명에서는 도 14와 같이 조명 변화가 심하지 않은 이미지의 경우 상세한 에지를 검출하기 위하여 작은 사이즈의 마스크를 적용한다.

그러나 도 15의 (a)와 같이 조명변화가 심한 이미지의 경우는 도 15의 (b) 에서와 같이 작은 마스크는 조명에 의해 에지를 검출 하지 못하기 때문에, 조명에 의한 영향이 심한 이미지에 경우 큰 마스크를 적용한다.

따라서 라플라시안 가우시안 마스크 적용 과정에서는 얼굴의 특징은 강조하고, 조명 변화, 노이즈의 영향은 최소화하는 시그마 값과 마스크 크기를 선택하여 에지를 검출 한다.

② 지역 윤곽 패턴 계산 과정

지역 윤곽 패턴 계산 과정은 수직, 수평, 대각선 방향의 각 픽셀들을 탐색한 후, 검출 값에 문턱치를 적용하여, 각 방향을 이진 패턴으로 변환하고, 이진 패턴 값을 십진수로 변환하여 중심픽셀에 새로운 라벨 값을 적용하는 과정이다.

도 16은 수직, 수평, 대각선 방향으로 픽셀을 탐색하는 예시도이다.

단말기는 지역 윤곽 패턴 계산을 위해 도 16과 같이 임의의 영상 블록을 정의하고, 중심 픽셀을 기준으로 수직, 수평, 대각선의 방향으로 픽셀들을 탐색한다.

단말기는 n방향으로 픽셀들을 탐색 하여 중심 픽셀과 n방향 픽셀들을 비교하고, n방향 픽셀들이 중심픽셀 보다 작거나 같으면 탐색한 결과를 누적한다. 이를 수학식 (1.14)과 같이 정의한다.

,

--- 수학식 (1.14)

도 17은 8개 방향으로 에지를 탐색한 결과이다.

수학식 (1.14)에서

는 중심 픽셀,

는 n방향으로 R+i 만큼의 거리에 있는 이웃 픽셀의 화소 값을 각각 의미하며, 수학식(1.14)을 적용하여 8개의 방향으로 5만큼 거리의 에지를 탐색한 결과는 도 17의 (a)과 같이 나타난다.

도 17의 (a)과 같이 중심 픽셀이 어두운 값일 경우 n방향의 주변 픽셀 값은 중심 픽셀보다 밝을 확률이 높기 때문에 누적치가 적다. 그 후 n방향 에지를 탐색하여 누적한 결과를 판단하기 위해 문턱치를 적용하는 함수는 수학식 (1.15)과 같이 정의한다. 이때 n방향의 값은 도 17의 (b)과 같이 임계값을 적용하여 0 또는 1의 값을 가지는 이진수로 변환한다. 이때, 작은 마스크의 경우 임계값은 3 가우시안의 시그마는 0.3, 큰 마스크의 경우 임계값은 2 시그마 값 1.8의 파라미터를 적용한다.

--- 수학식 (1.15)

단말기는 중심 픽셀을 기준으로 각 방향에 수학식 (1.15)을 적용해서 일정 방향으로 임계값을 적용하여 이진 패턴 값으로 바꾼 후, 이진 패턴을 십진수로 변환하여, 중심 픽셀에 새로운 라벨 값을 지정한다. 중심 픽셀에 새로운 라벨 값을 지정하는 식은 수학식 (1.16)과 같이 정의 한다. 한편, 수학식 (1.16)에 의해 변환된 값은 n의 8일 때 0∼255의 값을 가진다.

--- 수학식 (1.16)

도 18은 LCP 알고리즘을 보인 예시도이다.

도 18은 모든 픽셀에 LCP 알고리즘을 적용하여, 중심 픽셀에 새로운 라벨 값을 지정한 결과를 보여준다.

도 19는 LBP와 LCP 알고리즘을 비교한 결과이다.

한편, 도 19는 LCP 알고리즘을 적용하여 LBP와 LCP 알고리즘을 비교한 결과를 보여준다. LCP 알고리즘의 경우 넓은 반경을 탐색하여, 누적 값에 문턱치를 적용 한다. 따라서 조명변화, 노이즈 등에 일관성 있는 패턴을 표현할 수 있다. 그러나 LBP 알고리즘의 경우 단순한 대소차를 이용하기 때문에, 조명 변화와 노이즈에서의 민감한 영향 등을 많이 받는다. 따라서 도 19의 (b)과 같이 조명변화, 노이즈에 민감하게 반응하여 일관성 있는 패턴을 추출할 수 없다.

도 20은 조명 변화 환경에서 LBP와 LCP를 얼굴 이미지에 적용하여 비교 실험한 결과이다.

도 20의 (b)과 같이 LBP 알고리즘를 얼굴 이미지에 적용하였을 때는 조명 변화에 민감하게 반응한다. 이는 노이즈에 경우에도 동일하게 반응하여, LBP 알고리즘의 경우 일관성 있는 패턴을 추출하지 못하는 결과를 나타낸다. 본 발명에서 제안한 지역 윤곽 패턴은 도 20의 (c)과 같이 조명 변화로 인하여 눈으로 구별하기 어려운 이미지도 조명 변화, 노이즈 등의 영향을 최소화 하여 얼굴 특징을 추출한다.

도 21은 본 발명에서 제안하는 방법들을 다양한 조명변화 환경을 가지는 얼굴 이미지에 적용한 결과이다.

도 21에서 적용한 파라미터는 LoG 마스크의 경우 시그마:1, 마스크 크기:7x7 이며, LCP 알고리즘의 경우 R:1, t:2, Rmax:5를 각각 적용하였다. 조명으로 인하여 훼손 정도가 심한 이미지도 지역 윤곽 패턴을 이용하면 조명 변화, 노이즈 등의 영향을 최소화하여 얼굴 특징을 추출할 수 있다.

③ 히스토그램 생성 과정

히스토그램 생성 과정은 얼굴 이미지를 효율적으로 표현하기 위해 얼굴 이미지를 일정 그리드로 나누고, 모든 그리드를 히스토그램으로 구성한다. 하나의 히스토그램은 지역의 얼굴 특징 정보를 가지고 있으며, 모든 히스토그램 빈의 합으로 얼굴 이미지의 최종 특징 벡터를 생성한다.

도 22는 이미지를 나눈 예시도이다.

단말기는 LCP 알고리즘를 이용하여 이미지의 모든 픽셀에 새로운 라벨 값 계산을 완료하고, 이를 히스토그램 빈의 합으로 구성된 얼굴 이미지의 특징 벡터를 생성한다. 따라서 단말기는 도 22와 같이 얼굴의 효율적인 표현을 위해 이미지를 M x N 으로 나눈다.

단말기는 얼굴 영역을 일정한 크기의 그리드로 분할한 후에 각 그리드마다 LCP 히스토그램을 구한다. 수학식 1.17은 M x N의 크기를 가진 입력 영상을 히스토그램에 누적하는 방법을 나타낸다. 여기서 m, n은 각 화소의 위치를 나타내고 i는 LCP에 의하여 산출되는 라벨의 값이다. 히스토그램 빈(bin)의 크기는 LCP 코드의 방향수에 따라 결정되며, 8방향의 경우 히스토그램 빈(bin)의 크기는 256이 된다. 한편, 각 그리드의 히스토그램은 일렬로 연결하여 얼굴 이미지의 전체를 기술하는 최종 특징 벡터로 사용한다.

--- 수학식 (1.17)

도 23은 특징 벡터를 보인 예시도이다.

따라서, 특징 벡터는 도 23에서 볼 수 있듯이 모든 히스토그램 빈의 합으로 구성될 수 있다. 단말기는 도 23과 같이 s개의 영역으로 분할해서

,

, ...,

의 영역을 정의하고 각 영역에서 히스토그램

를 계산한다. 최종적으로 단말기는 얼굴 전체의 특징 벡터를 표현하기 위해 지역적으로 계산된 히스토그램 빈들을 모두 연결해서 하나의 큰 히스토그램으로 만든다. 최종 히스토그램 크기는 s개로 분할된 영역 수와 LCP 코드 길이의 곱으로 결정된다.

5. 얼굴인식을 위한 얼굴 분류(240)

클래스 분류 방법은 이미 알려진 상호 배타적인 몇 개 그룹에 속하는 다변량 관측치로 부터 각각의 그룹이 어떤 특징을 가지고 있는지 분류 모델을 만들고, 소속 그룹이 알려지지 않은 새로운 관측치가 어떤 그룹에 분류될 것인가를 결정하는 다변량 분석 방법이다. 따라서 얼굴 분류 방법은 얼굴 데이터에 대한 클래스 레이블이 없는 상태에서 자동으로 이들을 분류하는 것을 말한다. 얼굴 인식에 대표적으로 사용되는 얼굴 분류 방법은 K-NN(K-Nearest Neighbor), SVM(Support Vector Machine) 등의 2가지가 있다.

도 24는 K-NN을 보인 예시도이다.

K-NN은 도 24와 같이 분류할 실험 데이터와 학습 데이터의 모든 거리 또는 유사성을 계산하여 가까운 거리의 데이터를 k개만큼 찾은 후, 그중에서 가장 빈도수가 높은 클래스로 분류해준다. 이때, k값이 1이면 Nearest Neighbor Classifier(최근접 이웃 분류기)이다. 최근접 이웃 분류기는 정확도가 높고, 구현을 쉽게 할 수 있는 장점이 있다. 그러나 분류할 데이터와 모든 학습 데이터와의 거리 계산을 하기 때문에 계산 시간이 큰 단점이 있다.

도 25는 SVM 오류를 보인 예시도이다.

SVM(Support Vector Machine)은 1960년 Vapnik에 의해 제안된 통계적 학습 이론 기반의 패턴 분류 알고리즘이다. SVM은 클래스 분류 방법 중 중점에 의한 클래스 분류 방법과 비교하여 다음과 같은 장점은 갖는다. 먼저, 중점에 의한 클래스 분류 방법은 도 25와 같이 오류가 발생한다.

도 26은 SVM 장점을 보인 예시도이다.

SVM은 도 26과 같이 각 그룹의 중심이 아닌 두 그룹의 경계에 있는 데이터에 초점을 맞춰서 오류를 해결 하고, 데이터를 학습시켜놓으면, 빠른 결과 또한 얻을 수 있는 장점이 있다. 그러나 SVM은 학습 이미지를 트레이닝시키는데 상당히 오랜 시간이 걸리고, 새로운 데이터를 트레이닝시키려면, 재학습을 시켜야하는 단점이 있다.

한편, 얼굴 인식에서 클래스 분류기의 성능에 따라 얼굴인식 인식률이 변화될 수 있으며, 최적의 분류기를 선택하는 것이 중요하다. 따라서 본 발명에서는 제안된 특징 추출 기법의 객관적인 인식률 평가를 위해 기존 연구인 Adin Ramirez Rivera 외 2명이 사용한 최근접 이웃 분류기 기법을 사용하여 인식률 측정 결과를 비교한다.

단말기는 최근접 이웃 분류기 기법을 이용하여 얼굴을 분류하기 위해서, 두 개의 얼굴 이미지 학습 이미지(G)와 실험 이미지(P)에서 추출된 특징 벡터 사이의 거리 또는 유사성을 계산한다. 거리 또는 유사성을 계산하는 방법으로는 유클리디안 거리(Euclidean distance), 히스토그램 교차(Histogram intersection), 스퀘어 통계(Chi-square statistic) 등의 방법이 사용될 수 있다.

첫 번째로, 유클리디안 거리(Euclidean distance)는 수학식 (1.18)로 정의되고, 두 벡터의 거리를 계산할 때 일반적으로 많이 사용되는 방법이며, 거리가 가까울수록 유사한 벡터라고 판단된다.

두 번째로, 히스토그램 교차(Histogram Intersection)는 수학식(1.19)로 정의되고, 두 히스토그램의 최솟값들을 이용한 방법이며, 히스토그램이 완전히 같으면 1, 완전히 다르면 0의 유사도를 갖는다.

세 번째로, 스퀘어 통계(Chi-square statistic)은 수학식 (1.20)로 정의되고, 두 벡터의 카이 제곱 거리가 0에 가까울수록 두 벡터는 유사하다고 판단된다.

● Euclidean distance

--- 수학식 (1.18)

● Histogram Intersection

--- 수학식 (1.19)

● Chi-square distance

--- 수학식 (1.20)

본 발명에서는 실험을 통해 수학식 (1.18), 수학식 (1.19), 수학식 (1.20)을 적용해본 결과 가장 효율적으로 특징을 구분하는 유사성 비교 방법인 히스토그램 교차를 적용한다. 단말기는 클래스 분류를 위해 학습 이미지와 실험 이미지의 모든 이미지들을 LCP 연산을 수행하여 히스토그램 형태로 변경하여 학습 이미지와 실험이미지의 최종 특징벡터 데이터를 획득한다.

도 27은 모든 데이터의 유사성을 분석한 예시도이다.

각각의 데이터들은 하나의 레이블을 갖게 되며, 도 27과 같이 단말기는 학습 이미지와 실험 이미지의 모든 데이터 샘플 간의 유사성을 분석한다. 그 후 단말기는 분류할 실험 데이터와 학습 데이터의 유사성이 가장 높은 레이블을 찾아 클래스를 분류한다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100 : 단말기 110 : 프로세서
120 : 메모리 130 : 카메라

Claims (10)

1. 얼굴 이미지에 마스크를 적용하여 인간의 시각과 유사한 에지 성분을 추출하는 단계 및
   추출된 에지 성분에 대해 지역 윤곽 패턴을 이용하여 얼굴 특징을 추출하는 단계를 포함하는 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법.
   
2. 제1항에서,
   상기 마스크는 LoG(Laplacian of Gaussian) 마스크인 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법.
   
3. 제2항에서,
   상기 LoG 마스크를 적용하는 단계는,
   시그마 값을 조절하여 얼굴 이미지의 잡음을 제거하는 단계를 포함하는 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법.
   
4. 제2항에서
   상기 LoG 마스크를 적용하는 단계는,
   조명 변화를 검출하여 마스크 크기를 다르게 적용하는 단계를 포함하는 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법.
   
5. 제1항에서,
   상기 지역 윤곽 패턴을 이용하는 단계는,
   수직, 수평, 대각선 방향의 각 픽셀들을 탐색하는 단계,
   상기 탐색 값에 문턱치를 적용하여 각 방향을 이진 패턴으로 변환하는 단계 및
   상기 이진 패턴 값을 십진수로 변환하여 중심 픽셀에 새로운 라벨 값을 적용하는 단계를 포함하는 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법.
   
6. 제5항에서,
   상기 문턱치는 작은 마스크인 경우 3, 가우시안 시그마는 0.3, 큰 마스크인 경우 2, 가우시안 시그마는 1.8인 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법.
   
7. 제5항에서,
   상기 새로운 라벨 값은 탐색 방향 n이 8일 때, 0~255의 값을 가지는 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법.
   
8. 제1항에서,
   상기 추출하는 단계는,
   얼굴 이미지를 일정한 지역으로 나누는 단계 및
   각 지역마다 히스토그램을 계산하여 히스토그램의 합을 추출하는 단계를 포함하는 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법.
   
9. 얼굴 이미지를 획득하는 단계,
   획득된 얼굴 이미지에 마스크를 적용하여 인간의 시각과 유사한 에지 성분을 추출하는 단계,
   추출된 에지 성분에 대해 지역 윤곽 패턴을 이용하여 얼굴 특징을 추출하는 단계 및
   추출된 얼굴 특징을 이용하여 얼굴을 분류하는 단계를 포함하는 얼굴 인식 방법.
   
10. 제9항에서,
    상기 분류하는 단계는,
    추출된 얼굴 특징인 특징 벡터 간의 유사성을 분석하는 단계 및
    최근접 이웃 분류기를 이용하여 분석된 특징 벡터로 얼굴 클래스를 분류하는 단계를 포함하는 얼굴 인식 방법.

Images