KR20120042101A - 얼굴 특징 추출 장치 및 그 방법 - Google Patents

Abstract

얼굴 특징 추출 장치는 얼굴의 에지 정보를 추출하는 추출부, 얼굴 영상을 복수개의 부분 영역으로 분할하고, 분할한 부분 영역 별로 에지의 특성을 기술하는 기술부 및 부분 영역별 에지의 특성을 이용하여 얼굴의 전체 영역에 대한 얼굴 특징을 추출하는 추출부를 포함한다.

Description

얼굴 특징 추출 장치 및 그 방법{Apparatus and method for extraction of face feature}

본 발명은 얼굴 특징 추출 장치 및 그 방법에 관한 것이다. 보다 상세하게는, 얼굴의 에지 정보를 이용하여 얼굴 특징을 추출하는 장치 및 그 방법에 관한 것이다.

개인 정보 보호나 사용자 인증 등을 위해 사용되는 생체 인식 기술에는 지문 인식, 홍채 인식, 정맥 인식 등이 있다. 이러한, 생체 인식 기술 중에서도 얼굴 인식기술은 다른 생체 정보에 비해 사용자에 대해 강제성이 적으며, 비 접촉식으로 거부감이 덜하기 때문에 각광을 받고 있다.

얼굴 인식 과정은 크게 얼굴 검출과 협의의 얼굴 인식과정으로 분류할 수 있다.

얼굴 검출 과정은 입력 영상으로부터 사람의 얼굴영역을 추출하는 단계로서, 일반적인 상황에서 획득되는 다양한 배경과 여러 사람의 얼굴이 함께 있는 영상에서 인식하고자 하는 특정 사람의 얼굴을 추출하기 위해 필요한 과정이다.

얼굴 검출 후, 협의의 얼굴 인식 과정은 전처리 단계, 특징 추출 단계 그리고 템플릿 매칭 단계로 나눌 수 있다. 전처리 단계는 잡음을 제거 또는 조명 변화로 인한 얼굴 영상의 화소값의 변화를 줄이는 처리 등을 포함하는 단계이다. 얼굴 특징 추출 단계는 입력된 얼굴 영상으로부터 각 사용자 마다 고유한 값을 추출하는 과정이다. 경우에 따라, 전처리 단계와 얼굴 특징 추출 단계가 긴밀히 연계되어 있어 분리하기 어려운 경우도 많다. 따라서, 두 단계를 독립된 과정으로 보기 보다는 하나의 과정으로 보는 경우도 많다. 템플릿 매칭 단계는 미리 저장된 템플릿과 사용자 신원 확인 요청 시 생성된 템플릿을 비교하는 과정이다.

자동화된 얼굴 인식에 있어, 얼굴 특징 추출 방법은 크게 전역적인 방법과 지역적인 방법으로 나눠진다. 여기서, 전역적인 특징 추출 방법과 지역적 특징 추출 방법은 얼굴 인식 방법의 큰 사상을 의미한다.

전역적인 방법은 얼굴의 영상의 부분 영역 또는 눈/코/입/턱/볼 등과 같은 얼굴의 개별적인 구성 요소에서 직접적으로 특징을 추출하기 보다, 얼굴 전체 영상 또는 전체 영역으로부터 특징을 추출하려는 시도이다.

지역적인 방법은 외부 영향 등에 의해 얼굴 영상에 변이가 발생할 경우, 전체 영상에 걸친 변화보다 국부적인 변화 정도가 상대적으로 작다는 점에 착안한 것이다. 따라서, 조명, 포즈 등에 의해 얼굴 영상 전반에 걸쳐 변화가 발생하는 경우에는 전역적인 특징 추출 방법보다 지역적인 특징 추출 방법을 이용하면 보다 높은 인식율의 얼굴 인식 시스템을 구현할 수 있는 것으로 알려져 있다.

하지만, 지역적인 특징 추출 방법은 국부적인 변화를 분석하여 각 개인 마다 고유한 특징을 추출하기 때문에, 영상에 국소 잡음이 있는 경우에는 서로 다른 사람을 구분하기 위한 각 개인의 고유한 특징과 상관 없는 단순한 국소적인 변화를 얼굴 인식을 위한 주요 특징으로 추출할 수 있다는 문제점이 있다. 또한, 좁은 영역에 대해서만 특징을 추출하기 때문에 보다 넓은 영역에 걸쳐 있는 얼굴 인식 정보를 추출하지 못할 수 있다. 그리고, 지역적인 특징 추출 방법은 지역적 특징을 추출하기 위한 영역을 매번 정확히 특정화하기 어렵기 때문에 매번 일관되게 특징을 추출하기가 어려운 문제점이 있다.

본 발명은 안정적인 얼굴 인식이 가능하도록, 얼굴의 지역적 정보인 에지 정보에 기반하여 전역적 얼굴 특징을 추출하는 얼굴 특징 추출 장치 및 그 방법을 제공하는 것이다.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른, 얼굴 특징 추출 장치는

얼굴의 에지 정보를 추출하는 추출부; 얼굴 영상을 복수개의 부분 영역으로 분할하고, 분할한 부분 영역 별로 에지의 특성을 기술하는 기술부; 및 상기 부분 영역별 에지의 특성을 이용하여 얼굴의 전체 영역에 대한 얼굴 특징을 추출하는 추출부를 포함한다.

본 발명의 실시예에 따르면, 얼굴 특징 추출 장치 및 그 방법은 서로 다른 사람을 구분하는데 중요한 정보에 해당하는 얼굴 영상의 지역적 특징인 에지 정보에 기반하여 전역적인 얼굴 특징을 추출하여 얼굴 인식의 신뢰성과 안정성을 높일 수 있다.

도 1은 본 발명의 실시예에 따른 얼굴 특징 추출 장치를 개략적으로 나타내는 구성도이다.
도 2는 본 발명의 실시예에 따른 얼굴 영상을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 소벨 연산자를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 피리위트 연산자를 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 얼굴 영상에 가우시안 1차 미분 필터를 적용한 결과를 나타내는 도면이다.
도 6은 는 본 발명의 실시예에 따른 얼굴 영상으로부터 추출된 에지 정보를 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 필터링된 영상을 이진화하여 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 필터링된 영상을 복수개의 부분 영역으로 분할하여 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 히스토그램을 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 복수개의 부분 영역 별로 에지의 특성을 기술한 것을 나타내는 도면이다.
도 11은 본 발명의 실시예에 따른 복수개의 부분 영역 별로 에지의 특성을 기술한 것을 나타내는 도면이다.
도 12은 본 발명의 실시예에 따른 필터링된 영상 중 하나의 영상을 나타내는 도면이다.
도 13는 본 발명의 실시예에 따른 중심 화소와 주변 화소를 나타내는 도면이다.
도 14 및 도 15는 본 발명의 실시예에 따른 중심 화소와 주변 화소 사이의 에지 패턴을 부호화하는 과정을 설명하기 위한 도면이다.
도 16는 본 발명의 실시예에 따른 부호화된 영상을 나타내는 도면이다.
도 17은 본 발명의 실시예에 따른 부호화된 영상에 대응하는 히스토그램을 나타내는 도면이다.
도 18은 본 발명의 실시예에 따른 히스토그램을 정합한 결과를 나타내는 도면이다.
도 19은 본 발명의 실시예에 따른 얼굴 특징을 추출하는 방법을 나타내는 흐름도이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하에서는, 본 발명의 실시예에 따른 얼굴 특징 추출 장치 및 그 방법에 대하여 첨부한 도면을 참고로 하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 얼굴 특징 추출 장치를 개략적으로 나타내는 구성도이다.

도 1을 참고하면, 얼굴 특징 추출 장치는 추출부(100), 기술부(200) 및 추출부(300)를 포함한다.

추출부(100)는 얼굴의 에지 정보를 추출한다. 여기서, 에지 정보는 촬영한 얼굴 정보에서 가장자리, 또는 윤곽선, 또는 촬영한 영상의 칼라값 또는 밝기가 변하는 지점에 존재하는 부분에 해당한다.

구체적으로, 추출부(100)는 촬영장치를 통해 도 2와 같이 촬영된 얼굴 영상의 에지 정보를 추출하기 위해, 영상 필터를 이용할 수 있다. 이때, 에지 정보는 필터링된 영상이 된다.

에지 정보 추출을 위해 도 3과 같은 소벨 연산자(Sobel Operator), 도 4와 같은 피리위트 연산자(Prewitt Operator) 등을 적용하여 얼굴의 에지 정보를 추출 할 수 있다.

또한, 추출부(100)는 가우시안 필터와 에지 추출 필터가 결합된 가우시안 미분 필터 또는 라플라시안-가우시안 필터를 이용할 수 있다.

기본적으로, 가우시안 필터는 수학식 1과 같이 정의된다.

가우시안 1차 미분 필터는 수학식 2와 같이 정의된다.

가우시안 2차 미분 필터는 수학식 3과 같이 정의된다.

또한, 라플라시안-가우시안 필터는 수학식 4와 같이 정의된다.

라플라시안-가우시안 필터는 에지의 방향에 상관 없이 에지를 추출하는 필터이다. 반면에, 가우시안 1차 미분 필터와 가우시안 2차 미분 필터는 특정 방향에 맞춰 에지를 추출할 수 있다.

본 발명에서 서로 다른 사람을 잘 구분할 수 있는 각 개인 마다 고유한 특징을 추출하기에는 라플라시안-가우시안 필터를 사용하는 것보다 가우시안 1차 미분 필터 또는 가우시안 2차 미분 필터처럼 에지의 특정 방향에 맞춰 에지를 추출할 수 있는 필터를 사용하는 것이 바람직하다. 예를 들어, 도 2와 같은 얼굴 영상에 가우시안 1차 미분 필터를 적용한 결과를 영상 형태로 나타내면 도 5와 같다.

기술부(200)는 얼굴 영상을 복수개의 부분 영역으로 분할하고, 분할한 부분 영역 별로 에지의 특성 예를 들어, 분포 또는 패턴 등을 기술한다.

보다 상세한 설명을 위해, 예를 들어, 도 6은 도 1의 얼굴 정보로부터 추출부(100)에서 추출한 에지 정보를 영상 형태로 나타낸 것이라고 하자. 즉, 도 6은 추출부(100)에서 추출한 에지 정보에 해당하는 것으로, 특히, 6개의 에지 추출 필터를 이용하여 추출한 것이다.

기술부(200)는 도 6의 각 필터링된 영상에서, 각 화소를 중심으로 3X3 크기의 주변 영역의 화소 값의 평균을 계산한 후, 이를 기준으로 해당 중심 화소를 이진화한다. 즉, 각 필터링된 영상에서, 각 화소의 값이 해당 화소를 중심으로 한 3X3 크기 영역의 평균값보다 크면 "1"로, 작으면"0"으로 지정한다. 이때, "1"의 값은 원 입력 얼굴 영상의 해당 지점에서 해당 필터에 기술된 특정 방향의 에지가 강하게 내재되어 있다는 것을 의미한다. 예를 들어, 이진화 결과를 영상 형태로 나타내면 도 7과 같다. 경우에 따라, 3X3 크기 이상의 다양한 크기를 가지는 주변 영역에 대한 평균 값 또는 중간값(median)이 필터링된 영상의 이진화에 쓰일 수도 있으며, 보다 세분화된 두 개 이상의 임계값을 두어, -1, 0, +1 등으로 표현할 수도 있다.

다음, 기술부(200)는 필터링된 영상을 복수개의 부분 영역으로 분할한다. 필터링된 영상을 부분 영역으로 분할하는 이유는, 에지와 같은 지역적 특징은 조명 또는 포즈 변화처럼 얼굴 영상 전반에 걸진 외부 변화에는 강인하지만 매우 지엽적인 특징이기 때문에 국소 잡음에 민감하며 해당 에지가 추출된 위치를 매번 정확히 특정하기 어렵기 때문에, 에지가 추출된 부분 보다 상대적으로 넓은 영역에 대해 에지 정보를 취합하여 보다 안정적인 정보를 추출하기 위함이다.

예를 들어, 기술부(200)는 에지 정보인 필터링된 영상을 도 8과 같이, 16개의 부분 영역으로 분할한다. 여기서, 분할된 부분 영역의 크기와 개수는 다양하게 할 수 있으며, 원 또는 직사각형 등 다양한 모양으로 구성할 수 있다. 각 영역을 서로 겹쳐지거나 또는 겹쳐지지 않게 구성할 수도 있으며, 이에 한정되지 않는다.

그리고 기술부(200)는 도 9에서 보듯이, 각 부분 영역 별로 에지의 특성을 기술하기 위해, 예를 들어, 부분 영역별 히스토그램을 구성한다. 여기서, 히스토그램의 빈(bin)은 각각의 에지 필터에 대응되며, 빈의 값은 각 필터에 따른 "1"의 개수가 된다. 예를 들어 도 9에서 보듯이, 6개의 방향성 필터를 이용하여 에지 정보를 추출하고, 각 필터링된 영상을 16개의 부분영역으로 분할할 경우, 기술부(200)는 6개의 빈을 가지는 16개의 히스토그램을 구성한다.

또한, 기술부(200)는 복수개의 부분 영역 별로 도 10과 같은 방법을 통해 부분 영역별 에지의 특성을 기술할 수 있다.

도 10에서 가장 처음 6개의 영상은 도 6의 필터링된 영상을 이진화한 영상으로 도 7의 이진화된 영상에 대응된다.

기술부(200)는 이진화 영상에 대해, 각각의 대응하는 화소 또는 셀(cell)의 값을 차례 대로 값을 읽어 들인 후, 이를 10진 수 형태의 부호로 표현한다. 이는, 에지의 형태 또는 패턴을 부호화한 것에 해당한다. 다음, 기술부(200)는 각각의 이진화 영상과 동일한 공간 구조를 가지도록 동일한 크기의 영상형태를 가지는 데이터 구조를 만들고 10진 수 형태의 부호를 저장한다. 그리고, 각 영역을 분할한 후, 각 분할된 영역에 대한 에지 패턴의 빈도수에 대한 히스토그램을 생성한다. 예를 들어 도 10의 경우, 6개의 에지 추출필터를 이용하여 6개의 필터링된 영상이 생성되었기 때문에, 64(=2⁶)개의 에지 패턴이 생성되고, 이에 따라 64개의 빈을 가지는 16개의 히스토그램이 생성된다.

또한, 기술부(200)는 복수개의 부분 영역 별로 도 11과 같은 방법을 통해 에지의 특성을 기술할 수 있다

도 11의 가장 처음 6개의 필터된 영상은 도 6의 필터링된 영상과 동일하다. 각 필터된 영상에 대해, 각각의 대응되는 화소 또는 셀(cell)의 값을 차례 대로 값을 읽어 들인 후, 6개의 값에 대한 평균값을 계산한다. 그리고 각각의 화소 또는 셀(cell)의 값이 평균값보다 크면 1로, 작으면 0으로 이진화한다. 또는 중간값을 이용하여, 각각의 화소 또는 셀(cell)의 값이 중간값보다 크면 1로, 작으면 0으로 이진화할 수도 있다. 그리고 이를 10진 수 형태의 부호로 표현한다. 그리고 에지 정보인 필터된 영상과 동일한 공간 구조를 가지도록 동일한 크기의 또 다른 영상형태의 데이터 구조를 만들고 10진 수 형태의 부호를 저장한다. 그리고 각 영역을 분할한 후, 각 분할된 영역에 대한 에지 패턴의 빈도 수에 대한 히스토그램을 생성한다. 도 19의 경우, 6개의 에지 추출필터를 이용하여 6개의 필터된 영상이 생성되었기 때문에, 64(=2⁶)개의 에지 패턴이 생성되고, 이에 따라 64개의 빈을 가지는 16개의 히스토그램이 생성된다.

또한, 기술부(200)는 복수개의 부분 영역 별로 도 12과 같은 방법을 통해 에지의 특성을 기술할 수 있다.

먼저, 도 12은 필터링된 영상 중 하나의 영상에 해당한다고 가정한다. 앞에 설명한 것과 같이, 복수개의 에지 추출 필터를 사용하는 경우에는 각각의 필터링된 영상에 대해 동일하게 반복 적용된다.

도 12을 참고하면, 각 칸은 필터링된 영상의 화소 또는 셀(cell)을 나타내며, 숫자는 필터링된 영상 내에서 화소의 행과 열의 위치를 나타낸다.

예를 들어, "X"로 표시된 중심 화소의 위치는 (2,3)으로 표현한다. 여기서, 중심 화소(2,3)와 그 주변의 화소의 값들이 도 13와 같다고 가정한다.

다음, 도 14 내지 도 15를 참고하여 상세하게 설명한다.

첫번째 방법은 중심 화소(2,3)의 값보다 주변 화소의 값이 크거나 같으면 1, 작으면 0으로 설정하여 도 14과 같이 나타낸다.

도 14을 참고하면, (1,2)에서 시작하여 시계 방향으로 이진값을 정렬하여 01001100(2) 또는 10진수 64+8+4=76의 단일 값으로 부호화함으로써, 에지 패턴을 표현할 수 있다. 이 경우에는 총 256가지의 패턴이 나올 수 있으며, 이러한 방법은 영상처리분야에서 지역적 이진 패턴(Local Binary Pattern, LBP) 분석에 해당 한다.

두번째 방법은 중심 화소(2,3)의 값과 그 주변의 화소의 값들의 평균값을 계산한 후, 평균값보다 크거나 같으면 1, 작으면 0으로 설정하여 도 15와 같이 나타낸다. 도 13의 9개 화소들의 평균값은 20이므로, 도 13를 도 15와 같이 나타낸다.

도 15를 참고하면, (1,2)에서 시작하여 시계 방향으로 회전하면서 마지막에 중심 화소의 이진값으로 정렬하여 010011000(2) 또는 십진수 152의 단일 값으로 부호화하여 에지 패턴을 표현할 수 있다. 이 경우에는 총 512가지의 패턴이 나올수 있으며, 이러한 방법은 영상처리분야에서 MCT(Modified Census Transform) 분석에 해당한다.

본 발명의 실시예에 따른, 기술부(200)는 도 14 내지 도 15와 같이 중심화소의 값 또는 평균값 대신 중간값(median)을 이용하여 중간값보다 크거나 같으면 1, 작으면 0으로 설정하여, LBP 또는 MCT 분석방법과 유사한 방법으로 중심화소와 그 주변화소의 관계를 부호화 할 수 있다. 또한, 보다 세분화된 두 개 이상의 임계값을 설정하여, -1, 0, +1 등으로 표현할 수도 있다.

다음, 기술부(200)는 도 12과 같이 에지의 특성을 기술한 영상(13X13)을 부호화된 영상(11X11)으로 표현한다. 여기서, 부호화된 영상을 도 16와 같이 나타낼 수 있다. 도 16를 참고하면, X로 표현된 화소(1,2)의 값은 도 12의 중심 화소(2,3)와 그 주변 화소(1,2), (1,3), (1,4), (2,2), (2,4), (3,2), (3,3), (3,4)의 에지 패턴을 부호화한 것이다.

그리고, 기술부(200)는 부호화된 영상을 도 17과 같이 복수개의 부분 영역으로 분할하고, 각 부분 영역에 대한 에지 패턴에 대응하는 히스토그램을 생성한다. 이때, 각 부분 영역은 서로 겹쳐지게 할 수도 있으며, 서로 겹쳐지지 않게 분할할 수 있다. 또한, 가능한 모든 패턴에 대해 히스토그램의 빈을 구성할 필요 없이, 서로 유사한 패턴들은 서로 하나의 패턴으로 묶어서 빈도수를 나타내거나 통계적으로 의미가 적은 패턴들을 무시할 수도 있다.

추출부(300)는 부분 영역별 에지의 특성을 이용하여, 부분 영역 보다 넓은 범위 또는 얼굴의 전체 영역에 대한 특성 즉, 전역적 특징을 추출한다.

구체적으로, 추출부(300)는 부분 영역별 에지의 특성에 대응하는 히스토그램을 도 18과 같이 정합하여, 정합한 결과 즉 하나의 히스토그램을 추출한다. 여기서, 하나의 히스토그램은 얼굴의 전체 영역에 대한 특성에 해당한다. 이때, 부분 영역별 히스토그램을 모두 사용할 수 있으며, 다양한 조합으로 일부분만을 선택하여 사용할 수도 있다. 또한, 개별 히스토그램 또는 다양한 조합으로 정합된 히스토그램 또는 하나의 히스토그램에 PCA(Principal Component Analysis) 또는 FLD(Fisher Linear Discriminant)와 같은 데이터 분석 방법을 추가적으로 적용하여, 데이터의 차원을 줄이고 분류 성능을 높일 수도 있다.

본 발명의 실시예에 따른 히스토그램에 PCA와 FLD을 적용하는 경우에 대하여 아래와 같이 설명한다.

히스토그램은 데이터의 확률 분포를 나타내는 방법 중에 하나이다. 따라서, PCA 또는 FLD를 직접적으로 사용하는 것은 바람직하지 않다. 왜냐하면, PCA와 FLD는 데이터의 기본 단위를 실수형 벡터로 가정하고, 서로 다른 데이터(또는 실수형 벡터)를 비교하는 방법으로 유클리디언 거리(Euclidean Distance) 또는 벡터 내적(dot product)을 이용하기 때문이다. 하지만, 히스토그램의 경우 데이터에 대한 일종의 확률 분포로 0과 1사이의 양의 값을 가지며, 총합은 1이다.

따라서, 유클리디언 거리(Euclidean Distance)를 두 데이터의 비교 방법으로 사용하는 PCA나 FLD를 직접적으로 히스토그램에 적용하는 것은 적절하지 않으며, 히스토그램으로 구성된 데이터 집합(data set)에 내재된 특성을 잘 반영하여 특징을 추출한다고 볼 수 없다.

즉, 상기 과정들을 통해 입력 얼굴 영상으로부터 최종적으로 생성된 히스토그램에 기존에 널리 알려진 부분 공간 분석 방법(subspace analysis)인 PCA나 FLD를 보다 바람직하게 적용하기 위해서는, 우선 히스토그램을 히스토그램에 내재된 특성이 잘 표현된 유클리디언 실수형 벡터 공간의 벡터로 변환 해야 된다.

다음, 히스토그램을 유클리디언 실수형 벡터 공간의 벡터로 변환하는 방법을 설명한다.

일반적인 모든 데이터는 개개의 단일로서는 의미가 없고, 서로 다른 데이터와 비교가 가능하거나 상대적 관계를 설정할 수 있을 때 의미가 있다. 따라서, 적절한 데이터 비교 방법과 이를 통해 생성된 비교 값들은 데이터의 내재된 특성을 표현한다고 볼 수 있다. 그러므로, 히스토그램을 실수형 벡터로 변환하였을 때, 변환된 두 벡터의 내적 또는 유클리디언 거리가 해당 두 히스토그램을 비교한 값과 유사하도록 변환되었다면, 바람직하게 히스토그램을 실수형 벡터로 변환하였다고 볼 수 있다. 따라서, 실제 구현적인 측면에서 볼 때, 서로 다른 히스토그램을 비교하기에 적절한 비교 방법론을 이용하여 히스토그램들에 대한 비교값들을 생성하고, 비교값을 기준으로 하여 실수형 벡터를 생성하면 된다.

두 개의 학률 분포를 비교하는 방법으로 널리 알려진 방법 중에 쿨백-라이블러 척도(Kullback-Leibler divergence)가 있다. 또한, 두 개의 히스토그램을 비교하는 방법으로는 두 히스토그램의 서로 대응되는 빈(bin)에서 작은 값을 취한 다음 이를 더하는 방법이 있다. 두 번째 방법의 경우, 빈의 개수가 n개인 두 히스토그램

과

에 대한 유사도 S는 수학식 5와 같이 계산된다.

여기서,

는 히스토그램

과

의 각각 i번째 빈의 값이다.

여기서, 기술부(200) 및 추출부(300)에서 에지의 특성을 나타내기 위하여 히스토그램을 사용하고, 히스토그램으로 표현된 데이터의 크기를 줄이거나 인식율을 높이기 위하여 PCA와 FLD을 적용할 수 있다. 이 때, PCA와 FLD을 보다 바람직하게 적용하기 위해, 히스토그램을 실수형 벡터로 변환하는 방법 또는 히스토그램들의 비교값들로부터 히스토그램을 대신할 실수형 벡터를 생성하는 방법을 설명하면 다음과 같다.

먼저, 총 N개의 영상에 각각 대응하는 N개의 히스토그램을 추출하였다고 가정한다.

N 개의 히스토그램을 서로 교차하여 비교하면 N*N개의 비교 값을 얻을 수 있다. 비교 방법으로는 위에서 예로 든 방법을 사용할 수 있으며, 다른 비교 방법이 사용 될 수도 있다.

예를 들어, N*N개의 비교 값을 N*N 크기의 행렬로 나타낸 경우, 이 행렬을 K라고 한다. 즉, 행렬 K에서 (i,j)요소의 값은 i번째 히스토그램과 j번째 히스토그램을 비교한 값이 된다. 여기서, i번째 히스토그램은 i번째 입력 얼굴 영상, j번째 히스토그램은 j번째 입력 얼굴 영상에 대응한다.

또한, 행렬 K는 서로 다른 두 실수 형 벡터의 내적(dot product)으로 볼 수도 있다. 즉, 행렬

의 (i,j) 요소의 값은 i번째 히스토그램과 j번째 히스토그램을 비교한 값이지만, i번째 히스토그램을 대신할 수 있는 실수형 벡터

와 j번째 히스토그램을 대신할 수 있는 실수형 벡터

의 내적(dot product)으로 볼 수 있으며, 이를 수학식 6과 같이 나타낸다.

여기서,

는 K의 (i,j)요소의 값을,

는

의 전치(transpose) 벡터를 나타낸다.

수학식 6을 보다 간단하게 수학식 7과 같이 나타낸다.

여기서,

는 벡터

를 순서대로 정합한 데이터 행렬에 해당한다. 이때, K 는 히스토그램 비교를 통해 직접적으로 측정 가능한 값이지만, X 는 직접적으로 관측 되지 않는 값으로 K로부터 추정해야 하는 값이다. X 는 행렬에 대한 스펙트럼 분해(Spectral Decomposition)를 통해 유추한다. 행렬에 대한 스펙트럼 분해 이론에 의해, K 는 대칭이며 실수 값을 가진다고 가정하면, 수학식 8과 같이 나타낼 수 있다.

여기서, Q는 직교행렬, D는 대각 행렬이다.

즉, X는 K와 행렬에 대한 스펙트럼 분해를 통해 수학식 9와 같이 나타낸다.

위와 같이, 히스토그램을 실수형 벡터로 나타낼 수 있으며, 여기에 PCA 또는 FLD 등을 보다 효과적으로 적용할 수 있다. 또한, 행렬 K를 기반으로 데이터 행렬 X를 직접적으로 구하지 않고, 데이터 행렬 X에 PCA를 적용한 결과를 바로 얻을 수도 있다.

행렬 K는 특정 벡터들의 내적으로부터 생성되었다고 가정하는 경우, 이를 행렬 형태로 표현하면 위에서 기재한 내용과 마찬가지로 수학식 10과 같이 나타낼 수 있다.

히스토그램을 대신할 벡터

또는 데이터 행렬 X에 대한 공분산 행렬(covariance matrix)은 수학식 11과 같이 나타낸다.

PCA는 공분산 행렬의 고유벡터(eigenvector)를 구하는 것으로, 수학식 12와 같이 나타낸다.

여기서, W는 공분한 행렬 C의 고유 벡터이고,

는 W에 대한 고유값(eigenvalue)이다. 이때, X 를 직접 관측할 수 없기 때문에, 공분산 행렬

도 직접적으로 계산할 수 없어 위의 고유값 문제를 풀 수 없다.

그러나, K의 고유값 문제를 이용하여 C의 고유 벡터 W를 우회적으로 계산하고, 이로부터 데이터 X 에 대한 PCA 계수값(또는 특징값)을 얻을 수 있다. 구체적으로, K에 대한 고유값 문제를 수학식 13과 같이 나타낸다.

여기서, a는 공분한 행렬 K의 고유 벡터이고,

는 a에 대한 고유값(eigenvalue)이다. 행렬 K는 직접적으로 관찰 가능한 값이기 때문에, 위의 고유값 문제를 통해 a를 구할 수 있다.

K에 대한 고유값 문제를 데이터 행렬 X를 이용하여 수학식 14와 같이 나타낸다.

수학식 14에서 양변에 X를 곱하여 수학식 15와 같이 나타낸다.

이때, 공분한 행렬 C는 수학식 11과 같으므로, 수학식 15를 수학식 16과 같이 나타낸다.

여기서, 수학식 16을

로 치환하면 수학식 17과 같다. 이때, W는 C의 고유 벡터에 해당한다.

즉, K의 고유벡터 a로부터 C의 고유벡터 W 를 구할 수 있다.

다음, K의 d개의 고유벡터를 모아 행렬 A를 수학식 18과 같이 나타낸다.

또한, C의 고유벡터를 모아 행렬 W를 수학식 19와 같이 나타낸다.

하지만, 여전히 데이터 행렬 X를 알지 못한다. 그러므로, 직접 관측 가능한 K로부터 a 또는 A를 계산하더라도, C의 고유벡터 w 또는 행렬W를 구할 수는 없다.

그러나, PCA를 통해 최종적으로 구하고자 하는 값은 데이터를 C의 고유 벡터에 투영(projection)한 값, 즉

또는 행렬X 로부터 차원 축소된 벡터이다. 직접적으로 X를 알지 못하지만, 행렬X로부터 계산된 공분산 행렬의 고유벡터에 투영한 값은 수학식 20과 같이, K와 K의 고유 벡터로부터 계산할 수 있다.

여기서, Y는 X로부터 차원 축소된 데이터 행렬로 d*N의 크기를 가진다.

일반적으로, d는N보다 작다. 또한, Y는 히스토그램을 대신할 실수형 벡터에 해당한다.

만약, 새로운 영상 데이터가 입력되고, 이로부터 히스토그램 H가 생성되었다고 가정한다. 또한, 히스토그램 H를 대체할 수 있는 벡터를

라고 가정한다. 이 때, X를 W에 투영하여, 차원 축소된 벡터 y는 수학식 21과 같이 나타낸다.

여기서, k는 히스토그램

과 히스토그램 H를 비교한 값으로, k의 i번째 원소는

히스토그램과 히스토그램 H를 비교한 값을 나태 낸다. 또한, y는 히스토그램 H를 대신하는 실수형 벡터이다.

다음, 얼굴 특징을 추출하는 방법을 도 19을 참조하여 상세하게 설명한다.

도 19은 본 발명의 실시예에 따른 얼굴 특징을 추출하는 방법을 나타내는 흐름도이다.

도 19을 참고하면, 얼굴 특징 추출 장치는 얼굴의 에지 정보를 추출한다(S100). 여기서, 에지 정보는 얼굴 정보에서 가장자리, 또는 윤곽선, 또는 촬영한 영상의 칼라값 또는 밝기가 변하는 지점에 존재하는 부분에 해당한다.

얼굴 특징 추출 장치는 얼굴 영상을 복수개의 부분 영역으로 분할한다(S200). 다음, 얼굴 특징 추출 장치는 분할한 부분 영역 별로 에지의 특성 예를 들어, 분포 또는 패턴 등을 기술한다(S300).

얼굴 특징 추출 장치는 기술한 부분 영역별 에지의 특성을 이용하여, 부분 영역 보다 넓은 범위 또는 얼굴의 전체 영역에 대한 특성 즉, 전역적 특징을 추출한다(S400).

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (1)

1. 얼굴의 에지 정보를 추출하는 추출부;
   얼굴 영상을 복수개의 부분 영역으로 분할하고, 분할한 부분 영역 별로 에지의 특성을 기술하는 기술부; 및
   상기 부분 영역별 에지의 특성을 이용하여 얼굴의 전체 영역에 대한 얼굴 특징을 추출하는 추출부
   를 포함하는 얼굴 특징 추출 장치.
   

Images