KR101151435B1 - 얼굴 인식 장치 및 방법 - Google Patents

Abstract

본 발명의 얼굴 인식 방법은, 얼굴 영상 내에서 지역적 특징을 추출하는 단계; 추출된 지역적 특징을 이용하여 얼굴 영상을 표현하는 단계; 표현된 얼굴 영상 내에서 각 영역을 순차적으로 분할하는 단계; 및 분할된 각 영역들에 대한 히스토그램을 생성하는 단계; 및 생성된 히스토그램을 통해 템플릿 매칭을 수행하여 얼굴을 인식하는 단계를 포함한다.

정보, 얼굴, 인식, 특징, 추출, 히스토그램, 분할

Description

얼굴 인식 장치 및 방법{APPARATUS AND METHOD OF RECOGNIZING A FACE}

본 발명은 얼굴 인식 장치 및 방법에 관한 것이다. 보다 상세하게는, 지역적 특징을 이용한 얼굴 인식 장치 및 방법에 관한 것이다.

개인 정보 보호나 사용자 인증 등을 위해 사용되는 생체 인식 기술에는 지문 인식, 홍채 인식, 정맥 인식 등이 있다. 이러한 생체 인식 기술 중에서도 얼굴 인식기술은 다른 생체 정보에 비해 사용자에 대해 강제성이 적으며, 비접촉식으로 거부감이 덜하기 때문에 각광을 받고 있다.

광의의 얼굴 인식 과정은 크게 얼굴 검출과 협의의 얼굴 인식과정으로 분류할 수 있다. 이 중 얼굴 검출 과정은 입력 영상으로부터 사람의 얼굴영역을 추출하는 단계로서, 일반적인 상황에서 획득되어지는 다양한 배경과 여러 사람의 얼굴이 함께 나타날 수 있는 영상에서 인식하고자 하는 특정 사람의 얼굴을 추출하기 위해 필요한 과정이다.

현재까지 연구된 얼굴 영역 검출 방법은 얼굴의 저수준 특징들을 사용하는 지식(knowledge) 기반 방법, 특정 템플릿 형태에 기반을 둔 형판(template) 기반 얼굴 검출 방법, 얼굴의 변하지 않는 구조적 특징을 사용하는 특징(feature) 기반 방법, 그리고 얼굴의 통계적인 특징을 이용한 외형(appearance) 기반 방법으로 분류할 수 있다.

본 발명의 목적은, 얼굴 인식율을 높이기 위한 것으로, 지역적 특징을 이용하면서도 부분 영역의 위치 변이에 강인한 얼굴 인식 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 얼굴 인식 방법은, 얼굴 영상 내에서 지역적 특징을 추출하는 단계; 상기 추출된 지역적 특징을 이용하여 상기 얼굴 영상을 표현하는 단계; 상기 표현된 얼굴 영상 내에서 각 영역을 순차적으로 분할하는 단계; 상기 분할된 각 영역들에 대한 히스토그램을 생성하는 단계; 및 상기 생성된 히스토그램을 통해 템플릿 매칭을 수행하여 얼굴을 인식하는 단계를 포함한다.

특히, 상기 추출 단계는, LBP(Local Binary Patten)를 통해 상기 얼굴 영상 내의 각 화소와 상기 각 화소에 이웃하는 주변 화소들의 관계를 이용하여 추출하는 것을 특징으로 한다.

또한, 상기 추출 단계는, MCT(Modified Census Transform)를 통해 상기 얼굴 영상 내의 각 화소와 상기 각 화소에 이웃하는 주변 화소들의 관계를 이용하여 추출하는 것을 특징으로 한다.

또한, 상기 분할 단계는, 상기 얼굴 영상 내에서 상기 각 영역을 일정 화소 단위로 이동시키면서, 상기 각 영역들이 서로 겹쳐진 형태로 분할하는 것을 특징으로 한다.

또한, 상기 각 영역은, 상기 얼굴 영상 내에서 다수 개의 화소들로 구성된 원 형상으로 표현되는 것을 특징으로 한다.

또한, 상기 각 영역은, 상기 얼굴 영상 내의 얼굴 영역의 크기에 비례하게 확대 또는 축소되는 것을 특징으로 한다.

또한, 상기 템플릿 매칭 단계는, 전체 모든 영역에 대해 동시에 변이를 주면서 비교치를 계산하는 것을 특징으로 한다.

또한, 상기 템플릿 매칭 단계는, 각 영역에 개별적으로 변이를 주면서 비교치를 계산하는 것을 특징으로 한다.

한편, 본 발명의 얼굴 인식 장치는, 입력된 얼굴 영상 내에서 지역적 특징을 추출하는 추출부; 및 상기 추출된 지역적 특징을 이용하여 상기 얼굴 영상을 표현하고, 상기 표현된 얼굴 영상 내에서 각 영역을 순차적으로 분할하고, 상기 분할된 각 영역들에 대한 히스토그램을 생성하고, 상기 생성된 히스토그램을 통해 템플릿 매칭을 수행하여 얼굴을 인식하는 제어부를 구비한다.

특히, 상기 각 영역은, 상기 얼굴 영상 내에서 다수 개의 화소들로 구성된 원 형상으로 표현되는 것을 특징으로 한다.

또한, 상기 각 영역은, 상기 얼굴 영상 내의 얼굴 영역의 크기에 비례하게 확대 또는 축소되는 것을 특징으로 한다.

본 발명에 따른 얼굴 인식 장치 및 방법은, 이웃한 화소들의 상대적 관계에 기반하기 때문에 조명 변화와 같은 외부 영향에 강인한 효과가 있고, 또한, 영상 변이에 의해 부분 영역의 위치 변이가 발생하여 서로 다른 두 입력 영상이 부분 영역별로 정확히 대응되지 않더라도, 정확한 부분 영역별 특징 추출과 비교가 가능하다.

따라서, 본 발명에 따른 얼굴 인식 장치 및 방법은, 대내외적인 변화에 강인하게 얼굴 특징을 추출 할 수 있어 높은 인식율의 얼굴 인식 시스템을 구성할 수 있는 효과가 있다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

본 발명에 따른 얼굴 인식 장치(100)는 휴대폰, MP3, PMP, 디지털 카메라, 캠코더, 노트북, PC 등의 카메라가 구비된 모든 장치에 탑재될 수 있고, 이 경우 본 발명에 따른 얼굴 인식 장치의 얼굴 인식 동작을 전반적으로 제어하는 제어부(150)는 상술한 휴대폰, MP3, PMP, 디지털 카메라, 캠코더, 노트북, PC 등의 제 어부가 될 수 있다.

이하, 도면을 참조하여 본 발명에 따른 얼굴 인식 장치 및 방법에 대해 상세히 설명한다.

도 1은 본 발명에 따른 얼굴 인식 장치(100)를 나타낸 기능 블럭도이다. 도 2는 본 발명에 따른 얼굴 인식 장치를 이용한 얼굴 인식 방법을 나타낸 흐름도이다.

도 1을 참조하면, 본 발명에 따른 얼굴 인식 장치(100)는, 외부의 피사체 얼굴이 포함된 얼굴 영상이 입력되는 카메라(110)와, 상기 얼굴 인식 장치(100)의 동작에 필요한 각종 제어 데이터 및 사용자에 의해 저장된 데이터를 구비하는 메모리(120)와, 본 발명에 따라 상기 카메라(110) 또는 메모리(120)로부터 출력되는 얼굴 영상 내에서 지역적 특징을 추출하는 추출부(130)와, 상기 추출부(130)에서 추출된 지역적 특징을 이용하여 얼굴 영상을 표현하고, 상기 표현된 얼굴 영상 내에서 각 영역을 순차적으로 분할하고, 상기 분할된 각 영역들에 대한 히스토그램을 생성하고, 상기 생성된 히스토그램을 통해 템플릿 매칭을 수행하여 얼굴을 인식하는 제어부(150)를 포함하여 이루어진다.

또한, 도 2를 참조하면, 본 발명에 따른 얼굴 인식 장치(100)를 이용한 얼굴 인식 방법은, 카메라(110) 또는 메모리(120)를 통해 피사체의 얼굴이 포함된 얼굴 영상이 입력되는 단계와(S111), 얼굴 영상 내에서 지역적 특징을 추출하는 단계와(S112), 상기 추출된 지역적 특징을 이용하여 상기 얼굴 영상을 표현하는 단계 와(S113), 상기 표현된 얼굴 영상 내에서 각 영역을 순차적으로 분할하는 단계와(S114), 상기 분할된 각 영역들에 대한 히스토그램을 생성하는 단계와(S115), 상기 생성된 히스토그램을 통해 템플릿 매칭을 수행하여 얼굴을 인식하는 단계(S116)를 포함하여 이루어진다.

이하, 도 3 내지 도 21은 참조하여, 본 발명에 따른 얼굴 인식 장치의 얼굴 인식 과정을 상세히 설명한다.

도 3 내지 도 21은 본 발명에 따른 얼굴 인식 과정을 나타낸 설명도이다.

현재, 얼굴 인식은 크게 얼굴 검출 단계, 특징 추출 단계 그리고 템플릿 매칭 단계로 세 단계로 크게 나눈다. 템플릿 매칭은 특징 추출 방법에 의존적인 경우가 많기 때문에 템플릿 매칭 단계를 특징 추출 단계에 암묵적으로 포함시키기도 한다.

상기 얼굴 검출 단계는 카메라(110)를 통해 입력된 영상에서 얼굴 영역만을 찾아내는 과정이다. 정확한 얼굴 인식을 위해서는 입력 얼굴 영상들이 특정 규격으로 일관되게 정규화게 되어야 한다. 만약 입력 얼굴 영상들이 일관되게 정규화 되지 않는 다면, 이는 검출 후 인식 단계에서 서로 다른 두 개의 얼굴 데이터를 비교할 때, 얼굴 영역 내에서 서로 다른 부분을 비교하는 결과를 가지고 오기 때문이다.

얼굴 정규화를 위해, 보통은 얼굴 영역 검출과 눈 위치 검출을 같이 수행을 한다. 이는 두 눈을 기준으로 할 경우 얼굴 영상의 크기와 회전 등을 정규화하는데 효율적이기 때문이다. 하지만, 일반적으로 눈의 위치 검출은 얼굴 영역 검출보다도 더 어렵고 정확도가 떨어지는 것으로 알려져 있다.

따라서, 매번 일관되게 정확히 정렬된 얼굴 영상을 얻기는 매우 힘들며, 같은 사람으로부터 취득된 얼굴 영상이라 하더라도 영상의 변이가 발생하게 된다.

상기 얼굴 검출 후, 얼굴 특징 추출 단계를 거쳐 사용자 인식이 이루어 진다. 상기 얼굴 특징 추출 단계는 전처리 단계와 전처리 이후의 특징 추출 단계로 세분화할 수 있다. 하지만, 경우에 따라 전처리 단계와 전처리 후 특징 추출 단계를 구분 짓지 않고 하나의 특징 추출 단계로 보는 경우도 많다.

상기 얼굴 전처리 단계는 보통 조명 변화로 인한 얼굴 영상의 화소값의 변화를 줄이거나 잡음 등을 제거하는 처리를 수행한다. 그리고 전처리 후 특징 추출 단계는 입력된 얼굴 영상으로부터 각 사용자 마다 고유한 값을 추출하는 과정이다.

상기 전처리 과정과 전처리 후 특징 추출과정을 통해 생성된 데이터를 템플릿이라고 한다. 매칭 단계는 미리 시스템에 저장된 템플릿과 사용자 신원 확인 요청 시 생성된 템플릿을 비교하는 과정이다.

만약, 매번 동일한 사용자에 대해서 동일한 얼굴 영상을 취득할 수만 있다면, 완벽한 얼굴 인식이 가능할 것이다. 하지만, 사용자의 얼굴 영상은 여러 가지 이유로 인해 매번 정확히 동일한 영상을 취득할 수는 없다. 나이를 먹으면서 사람의 얼굴 생김새가 조금씩 변화기도 하며, 데이터 입력의 부정확성 또는 주변 환경의 영향을 받기도 하기 때문이다. 데이터 입력의 부정확성 또는 주변 환경의 영향에 대해서는 다음과 같이 좀더 구체적으로 생각해 볼 수 있다.

첫 번째로, 앞서 언급하였듯이, 검출 단계에서 얼굴 영역 또는 눈의 위치 검출이 정밀하지 못하기 때문에 발생하는 얼굴 영상의 변이와, 두 번째로 조명 변화로 인한 얼굴 영상의 변이와, 세 번째로, 표정에 의한 얼굴 영상의 변이가 발생된다.

이 중에 두 번째와 세 번째의 영상 변이에 대처하기 위해 제안된 방법 중에 하나가 지역적 특징을 이용한 얼굴 인식 방법이다. 여기서 지역적 특징을 이용한 얼굴 인식 방법은 어느 특정 인식 방법을 나타내기 보다, 여러 얼굴 인식 방법의 사상 중 하나를 의미한다. 지역적 특징을 이용한 얼굴 인식 방법은 외부 영향 등에 의해 얼굴 영상이 변할 경우, 전체 영상에 걸친 변화보다 국부적인 변화 정도가 상대적으로 작다는 점에 착안을 한 것이다.

지역적 특징을 이용한 인식 방법을 좀 더 세분하여 나눠보면 크게 다음과 같은 방법들이 있다.

첫 번째로, 눈, 코, 입, 볼 또는 턱과 같이 얼굴을 구성하는 개별 요소들로부터 특징을 추출해 인식에 이용하는 방법이다. 두 번째로, 얼굴 영상을 격자 형태로 일관되게 작은 부분 영역들로 나눈 후 각 부분 영역별로 특징을 추출해 인식에 이용하는 방법이다. 세 번째로, 이웃한 주변 화소 사이들의 관계를 부호화하고, 얼굴 영상을 부분 영역으로 나눈 후, 각 부분 영역들에서 부호들의 통계적 분포 또는 특성을 계산하여 이를 이용하는 방법이다.

첫 번째 방법의 경우, 앞서 언급된 외부 요인들과 영향에 의해 전체적인 얼굴 모양은 변화지만, 눈, 코, 입, 볼 또는 턱의 개별적인 모양은 상대적으로 변화 가 작다는 점에 착안을 한 것이다. 두 번째 방법의 경우, 얼굴 영상을 작은 영역으로 분할 한 후 각 부분 영역별로 변화도를 측정하였을 때, 얼굴 영상에 전체 걸친 변화 보다 각 부분 영역 별 내의 변화도가 상대적으로 작다는 점에 착안을 한 것이다. 세 번째 방법의 경우, 얼굴 전체 영상은 변하더라도 주변 화소 사이들의 상대적 관계는 와 이들의 통계적 분포 또는 특성은 크게 변하지 않는 다는 점에 착안한 것이다.

따라서, 첫 번째 방법의 경우, 효과적으로 지역적 특징을 추출하기 위해서는 눈, 코, 입, 볼 또는 턱의 위치를 정확하게 검출할 수 있어야 한다. 두 번째 방법의 경우는 입력 얼굴 영상을 매번 일관되게 부분 영역으로 나눌 수 있어야 한다. 세 번째 방법의 경우도, 각 영역 별로 화소들 간의 관계를 표현한 부호의 영역별 통계적 분포 또는 특성을 일관되게 계산하기 위해서는, 얼굴 영상을 매번 일관되게 부분 영역으로 나눌 수 있어야 한다.

하지만 눈, 코, 입, 볼 또는 턱의 위치를 정확하게 검출하는 것은 매우 어렵다. 또한 항상 정확하고 일관되게 얼굴 영역과 눈의 위치가 검출되지 않기 때문에 검출된 얼굴 영상이 정확하고 일관되게 정규화되지 않고, 따라서 얼굴 영역을 작은 부분 영역으로 나눌 경우 매번 일관되게 나눠지지 않으며, 서로 다른 얼굴 영상의 각 부분 영역이 서로 정확하게 대응되지 않는 문제점이 발생한다.

더군다나 앞서 언급된 얼굴 영상 변이 요인들로 인해 얼굴 검출 정확도가 떨어지기 때문에, 결국에는 지역적 특징에 기반한 얼굴 인식 방법이 인식율 향상에 그다지 긍정적이 않다는 것이 일반적으로 알려져 있다.

따라서, 얼굴 인식 성능을 높이기 위해서 지역적 특징 방법을 도입하기 위해서는, 얼굴 영상의 얼굴의 구성 요소 또는 부분 영역을 매번 정확하게 찾거나 부분 영역의 위치 변이에 잘 대처할 수 있어야 한다.

도 3은 본 발명을 설명하기 위한 것으로, 얼굴 검출 단계를 거쳐 특징 추출을 위해 입력된 얼굴 영상(300)이라고 가정한다. 얼굴 영상(300)은 얼굴 검출 단계를 거쳐 생성된 원 영상일 수도 있으며, 전처리 과정을 거친 얼굴 영상일 수도 있다.

각 칸은 얼굴 영상(300)의 화소를 나타내며, 숫자는 얼굴 영상 내에서 화소의 행과 열의 위치를 나타낸다.

일 예로, 도 3에서 '×'로 표시된 화소(311)의 위치는 (2,3)로 표현된다. 얼굴 영상(300)이 입력되면, 각 화소를 이웃한 주변 화소들과의 관계를 이용하여 얼굴 영상을 재표현한다.

도 3의 화소(2,3)와 그 주변의 화소의 값들이 도 4에 도시된 화소값(310a)과 같다고 하자. 이때, 상기 화소(2,3)의 주변 화소값들이 상기 화소(2,3)보다 크거나 같으면 1, 아니면 0으로 도 5에 도시된 화소값(310b)과 같이 표현할 수 있다.

즉, 도 5에 도시된 바와 같이, 추출부(130)는 제어부(150)의 제어에 따라, LBP(Local Binary Pattern)를 통해 화소(1,2)에서 시작하여 시계 방향으로 이진값을 정렬하여 01001100(2), 또는 10진수 64+8+4 = 76으로 중심 화소와 그 주변 화소의 관계를 표현할 수 있고, 이 경우 총 256가지의 패턴이 나올 수 있다.

또한, 추출부(130)는 제어부(150)의 제어에 따라, MCT(Modified Census Transform)를 통해 평균을 계산 한 후, 평균값보다 크거나 같으면 1, 아니면 0으로 표현할 수도 있다. 일 예로, 도 4의 9개 화소들의 평균 값은 20이다.

따라서, 도 4를 도 6의 화소값(310c)과 같이 표현할 수 있다. (1,2)에서 시작하여 시계 방향으로 돌면서 마지막에 중심 화소의 이진값으로 정렬하면, 010011000(2) 또는 십진수 152로 중심 화소와 그 주변 화소의 관계를 표현할 수 있고, 이 경우 총 512가지의 패턴이 나올 수 있다.

입력 얼굴 영상(300)의 각 화소를 이웃한 주변 화소들과의 관계를 이용하여 표현하기 때문에, 조명 변화와 같이 얼굴 영역에 전체에 걸쳐 발생하는 변이에 대해서 영상이 일관되게 표현된다.

앞서 입력 얼굴 영상(300)의 각 화소를 이웃한 주변 화소들과의 관계를 이용하여 재표현하는 방법을 설명하는데 있어, 설명을 쉽고 간단하게 하기 위해 3×3영역을 사용한 것이며, 이외에도 다양한 크기의 영역이 사용될 수 잇다. 또한 화소 단위 대신 일정 크기의 영역을 기본 단위로 하여 중심 영역과 주변 영역의 관계를 나타낼 수 있다.

상기 추출부(130)의 얼굴 영상(300)에 대한 지역적 특징 추출 과정을 거치면 도 3과 같은 13×13 크기의 영상은 도 7에 도시된 바와 같은 11×11 크기의 영상 형태를 지닌다.

일예로, 도 7의 '×'로 표현된 화소(1,2)의 값은 도 4의 화소(2,3) 및 그 주변 화소(1,2), (1,3), (1,4), (2,2), (2,4), (3,2), (3,3), (3,4)와의 관계를 나타 낸다.

앞서 설명된 과정을 거쳐 생성된 도 7의 화소값은 중심 화소와 주변 화소와의 관계 패턴을 부호화 한 것으로 그 값의 크기는 의미를 지니지 않는다. 예로, 도 7에서 100, 110, 120의 값을 가지는 3개의 화소가 있다고 할 때, 화소값 100이 화소값 120보다 화소값 110과 더 비슷하다고 이야기 할 수 없다.

따라서 도 8에서 보듯이, 제어부(150)는 각 부분 영역에 대해 중심 화소와 주변 화소와의 관계를 표현한 부호 또는 패턴에 대해 패턴 히스토그램을 생성하고, 이에 기반하여 부호 또는 패턴들의 통계적 특징을 이용하여 얼굴 인식을 수행한다. 이때, 각 영역은 서로 겹쳐진 형태로 영상을 분할하는 것이 바람직하다.

일 예로, 부분 영역의 크기를 5×5로 하고 1개의 화소 단위로 이동하면서 겹쳐지게 히스토그램을 생성한다고 할 때, 도 8의 경우, 7×7=49 개의 히스토그램이 생성된다.

이때, 상기 생성된 히스토그램의 가로 축은 앞의 설명을 통해 생성된 화소들 간의 관계를 나타내는 패턴을, 세로 축은 분할된 영역에서의 해당 패턴의 빈도수를 나타낸다.

이때, 가능한 모든 패턴에 대해 히스토그램의 빈을 구성할 필요 없이, 서로 유사하거나 통계적으로 의미가 적은 패턴들은 서로 하나의 패턴으로 묶어서 그 빈도수를 나타내거나, 통계적으로 의미가 적은 패턴들은 무시할 수도 있다.

이때 중요한 것은, 얼굴 영역의 좌우상하 변이에 효과적으로 대처하기 위해, 화소 단위로 이동하면서 서로 겹쳐진 형태로 영역을 분할하여 히스토그램을 생성한 다는 것이다.

일 예로 도 9를 살펴보자. 도 9의 400a를 등록된 데이터라고 하자. 그리고 도 9의 400b를 도 9의 400a와의 비교를 위해 입력된 데이터라고 하자.

도 9의 400b는 도 400a에 대비하여 상하좌우로 변이가 발생했을 때를 나타낸 것이다. 그리고 두 영상 모두 도 9에서 보듯이 격자 형태로 각 영역을 겹쳐지지 않게 분할하여 히스토그램을 생성하였다고 하자.

이 경우, 도 10에 도시된 바와 같이, 상하좌우 변이에 대한 정확한 정보를 가지고 있고, 이를 고려하여 영상 내의 얼굴 영역을 정확히 일치 시켰다고 하더라도, 서로 분할된 영역이 포함하는 실제 지역이 다른 것을 쉽게 알 수 있다.

따라서, 얼굴 영상의 상하좌우 변이에 따라 실제 같은 지역에 대해서 생성되는 히스토그램이 달라지는 것을 알 수 있고, 동일한 얼굴을 포함한 영상이라 하더라도 영상 변이에 의해 매번 다르게 표현되는 것을 알 수 있다.

또한 경우에 따라, 인식에 있어 중요한 부분이 임의적으로 둘로 나눠져 인식율에 악영향을 줄 수도 있다.

반면, 본 발명에서와 같이, 화소 단위로 이동하면서 겹쳐지게 부분 영역을 구성하면, 상기 상하좌우 변이가 있을 경우, 상기 상하좌우 변이를 고려하면 다른 두 영상에서 동일한 지역에 대한 일치점을 찾을 수 있다.

또한 연속적으로 연상을 분할하였기 때문에, 중요한 부분이 임의적으로 나눠져 인식율이 저하되는 것을 방지 할 수 있다.

이 때, 지역 패턴의 히스토그램을 구할 때, 영역의 모양을 직사각형으로 할 수도 있으나, 원 형태로하는 것이 입력 영상의 변이에 대처하기에 더 바람직하다.

도 11 및 도 12는 영상(400) 내의 얼굴 영역(500)이 일관되게 정렬되지 않고, 가로 또는 세로로 이동이 있거나 회전된 경우를 나타낸 것이다. 도 11은 분할된 영역의 지역 패턴의 히스토그램을 구할 때, 각 영역을 원(460) 형태로 한 것이다.

반면, 도 12는 분할된 영역의 지역 패턴의 히스토그램을 구할 때, 각 영역을 정사각형(470) 형태로 한 것이다. 도 11에서 보듯이, 상기 각 영역의 모양을 원(460) 형태로 할 경우, 얼굴 영역(500)이 가로 또는 세로로 이동이 있거나 회전된 경우에도, 해당 지점에서 동일한 지역을 포함하기 때문에, 일관되게 히스토그램을 생성할 수 있다.

반면, 도 12의 경우처럼 정사각형(470) 모양의 영역을 사용할 경우, 얼굴 영역(500)이 회전된 경우, 해당 지점에 대해서 포함되는 지역이 다르기 때문에 서로 다른 히스토그램이 구해진다.

따라서, 영상 변이에 효과적으로 대처하기 위해 지역 패턴의 히스토그램을 구할 때, 영역의 모양을 직사각형(470)보다는 원(460) 형태로 하는 것이 바람직하다.

이어서 도 13에 도시된 바와 같이, 얼굴 영역(500a 또는 550b)의 크기에 대해 변이가 있는 경우를 생각해 보자. 이런 경우, 원 형태의 각 영역의 크기(460a, 460b)를 다양하게 하여 히스토그램을 생성함으로써 상기 얼굴 영역의 크기에 대해 변이(500a, 500b)가 있는 경우도 효과적으로 대처할 수 있다.

도 11과 도 14을 통해 알 수 있듯이, 즉, 각 영역의 크기를 적절히 조절할 경우, 포함되는 지역이 상대적으로 같아짐을 알 수 있다. 이는 상하좌우 변이에 대처하기 겹쳐지게 부분 영역을 구성하여 히스토그램을 구하는 것과 같은 원리이다.

또는, 히스토그램 생성을 위한 원 형태 영역의 크기를 다양하게 하는 대신에, 영상의 크기 자체에 변화를 주거나 영상 필터를 이용하여 영상의 크기에 변화가 가해진 효과를 준 후, 히스토그램을 생성할 수도 있다. 일 예로, 가우시안 필터(Gaussian filer)는 영상의 해상도 또는 크기를 작게 하는 효과를 준다. 따라서, 가우시안 필터를 적용한 영상으로부터 히스토그램을 생성하면, 원 형태의 영역의 크기를 크게 하여 원래의 영상으로부터 히스토그램을 생성한 것과 유사한 효과를 낼 수 있다.

상하좌우 그리고 회전에 의한 변이를 고려하여 각 영역에 대한 지역 패턴의 히스토그램을 계산하면, 하나의 얼굴 영상(400)에 대해 도 14와 같은 육면체 형태의 데이터가 생성된다.

그리고, 얼굴 영역의 크기에 대한 변이에 대처하기 위해 깊이 축의 변화까지 고려하여 히스토그램을 구하면, 4차원 입방체(hyper cube)가 된다. 본 발명의 설명을 간단하고 명료하게 설명하기 위해 상기 얼굴 영역 크기에 대해 변이가 있는 경우는 제외를 하고 설명을 한다. 하지만, 상기 얼굴 영역 크기에 대해 변이가 있는 경우에도 이후에 설명되는 부분을 쉽게 적용할 수 있음을 밝힌다.

편의상 도 14의 x축은 입력 영상의 행이고, y축은 입력 영상의 열에 해당된다고 하자. 이때, z축은 지역 패턴 히스토그램을 나타낸다.

일 예로, 반지름이 d인 원 모양의 영역 또는 가로 또는 세로 크기가 각각 2d인 정사각형 영역에 대해 1개의 화소 단위로 순차적으로 지역 패턴 히스그램을 생성하였다고 할 때, 도 14에서의 (x',y')는 도 8의 (x'+d,y'+d)를 중심으로 한 영역의 지역 패턴 히스토그램을 나타낸다.

좀 더 구체적으로는 (x',y',z')는 도 8의 (x'+d,y'+d)를 중심으로한 영역에서의 z' 패턴의 빈도수를 나타내게 된다.

앞서 설명 과정을 거쳐 생성된 두 개의 육면체 데이터 A와 B를(도 15)비교 및 매칭한다고 하자.

즉, 도 16에 도시된 바와 같이, 제어부(180)는 x축과 y축으로 이동하면서, 그리고 x-y 평면을 회전하면서 겹쳐진 부분에 대해 히스토그램의 일치도를 계산하여 합산하고, 전체 겹쳐진 부분의 개수에 따라 적절히 평균화한다.

그리고 가장 큰 일치도를 두 데이터의 최종 비교값으로 한다.

그러면 상하좌우 또는 회전에 의한 영상의 변이가 발생하더라도 이와 무관하게, 동일한 지역에 해당하는 히스토그램끼리 비교하는 것이 가능해진다.

두 개의 육면체 데이터를 A와 B의 겹쳐진 부분의 히스토그램의 유사도 계산을 좀 더 구체적으로 설명하면 다음과 같다.

일 예로, A와 B의 겹쳐진 부분의 히스토그램을 A(a_x,a_y)와 B(b_x,b_y)라고 하자. 그리고 A(a_x,a_y,z)는 히스토그램 A(a_x,a_y) 에서의 패턴 z의 빈도수라 하고, 마찬가지로 B(b_x,b_y,z)는 히스토그램 B(b_x,b_y) 에서의 지역 패턴 z의 빈도수를 나타낸다 고 하자.

상기 두 히스토그램의 A(a_x,a_y)는 B(b_x,b_y) 유사도는 이하의 수학식 1과 같이 계산할 수 있다.

A와 B에 대한 유사도는 서로 겹쳐지는 영역에 대한 유사도를 모두 더한 후, 겹쳐지는 영역의 개수로 나눠 정규화하여 이하의 수학식 2와 같이 나타낼 수 있다.

여기서, a=(a_x,a_y),b=(b_x,b_y)이고 C는 두 육면체 데이터 A와 B의 겹쳐진 부분에 대한 인덱스 집합(index set)을 |C|는 집합 C의 원소 개수를 나타낸다.

위의 예는 두 히스토그램의 A(a_x,a_y)는 B(b_x,b_y)에 대한 유사도를 계산하는 하나의 예로써, 히스토그램 비교 방법에 따라 다양한 계산이 가능하며, 경우에 따라 히스토그램의 빈 또는 히스토그램에 따라 이하의 수학식 3과 같이 가중치를 두어 계산할 수도 있다.

여기서, w(z)는 패턴 z에 대한 가중치를 나타내고, w(a,b)는 히스토그램 A(a_x,a_y)와 B(b_x,b_y)에 대한 가중치를 나타낸다.

또한 히스토그램은 일종의 확률 분포이므로, 위의 비교치 외에 쿨백-라이블러 거리측도(Kullback-Leibler divergence)와 같은 함수를 이용할 수도 있다.

이 때, x축과 y축으로 이동 및 x-y 평면을 회전하면서 두 개의 육면체 데이터에 대해 일치도를 계산하는 것은 생성된 지역 패턴 히스토그램의 개수 또는 육면체 데이터의 크기에 따라 많은 시간이 걸릴 수 있다.

이 경우, x축과 y축에 대한 이동 및 x-y 평면을 회전 변화를 크게 하여 일차적으로 일치도를 개략적으로 구한다.

그리고 일치도가 상대적으로 크게 나오는 지점의 후보군을 선정하고, 해당 지점에서 x축과 y축에 대한 이동 및 x-y 평면의 회전 변화를 세밀하게 하여 일치도를 계산하면 시간을 단축하여 두 육면체 데이터에 대한 일치도를 정확하게 계산할 수 있다.

또는 일치도 계산 시간을 단축하면서 가능한 정확하게 계산하기 위해 다음과 같은 방법을 사용할 수 있다. 앞서 도 16을 통해 설명한 두 데이터 비교 방법은 전 체 모든 영역에 대해 동시에 변이를 주면서 비교치를 계산한 것이다. 반면, 다음에 기술된 방법은 각 영역에 개별적으로 변이를 주면서 비교치를 계산하는 것이다. 도 17에서 도 21을 예로 설명한다. 도 17에서 도 21의 A를 등록 데이터, 그리고 B를 A와의 비교를 위해 입력된 데이터라고 하자. 그리고 A와 B에서 x 표시는 지역 패턴 히스토그램을 생성한 영역의 중심점을 나타낸다고 하자. 등록 데이터(A)에 대해서는 히스토그램 생성 영역의 중심 사이의 간격을 조밀하게 하여 히스토그램을 생성하고, 등록 데이터와의 비교를 위해 입력된 데이터(B)에 대해서는 히스토그램 생성 영역의 중심 사이의 간격을 상대적으로 넓게 한 것이다.

앞서 언급하였듯이, 두 데이터 A와 B의 비교치 계산은 개별 히스토그램 단위로 이루어진다. 일 예로, 18의 B에서, 임의의 한 영역의 중심을 N이라고 하자. 그리고 B의 N과 가장 근사한 절대 좌표를 가지는 영역의 중심점을 A에서 찾는다. 이 좌표를 도 18의 A에서 M0로 표시하였다. 그리고 M0와 N를 각각 중심으로 하는 두 히스토그램의 유사도를 계산한다. 그리고 도 19, 도 20, 도 21에서 보듯이, A에서의 영역의 중심 좌표를 M0를 기준으로 조금씩 변경하여, 해당 영역의 히스토그램과 B의 N을 중심으로 한 영역의 히스토그램과의 비교치를 계산한다. 그리고 이중에 가장 큰 유사도 또는 가장 작은 비유사도를 B의 N을 중심으로 한 영역의 히스토그램과 A의 히스토그램과의 최종 비교치로 한다. 도 19의 M1은 도 18의 M0에서 아래 쪽으로, 도 20의 M2는 오른쪽으로, 도 21에서의 M3는 아래쪽과 오른쪽으로 모두 변이를 준 경우이다. 같은 방식으로 B의 나머지 각 영역에 대한 히스토그램을 A의 히스토그램과 비교를 한다. 이렇게 할 경우, 가로세로 변이뿐만 아니라 회전 변이가 발 생한 경우에도 정확한 매칭이 가능함을 알 수 있다.

이상, 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

상기와 같이 설명된 얼굴 인식 장치 및 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

도 1은 본 발명에 따른 얼굴 인식 장치를 나타낸 기능 블럭도이다.

도 2는 본 발명에 따른 얼굴 인식 장치를 이용한 얼굴 인식 방법을 나타낸 흐름도이다.

도 3 내지 도 21은 본 발명에 따른 얼굴 인식 과정을 나타낸 설명도이다.

<도면의 주요부분에 대한 부호의 설명>

110:카메라 120:메모리

130:추출부 150:제어부

Claims (10)

1. 얼굴 영상 내에서 지역적 특징을 추출하는 단계;

   상기 추출된 지역적 특징을 이용하여 상기 얼굴 영상을 표현하는 단계;

   상기 표현된 얼굴 영상 내에서 각 영역을 순차적으로 분할하는 단계;

   상기 분할된 각 영역들에 대한 히스토그램을 생성하는 단계; 및

   상기 생성된 히스토그램을 통해 템플릿 매칭을 수행하여 얼굴을 인식하는 단계를 포함하는 얼굴 인식 방법.
2. 청구항 1에 있어서,

   상기 추출 단계는,

   LBP(Local Binary Patten)를 통해 상기 얼굴 영상 내의 각 화소와 상기 각 화소에 이웃하는 주변 화소들의 관계를 이용하여 추출하는 것을 특징으로 하는 얼굴 인식 방법.
3. 청구항 1에 있어서,

   상기 추출 단계는,

   MCT(Modified Census Transform)를 통해 상기 얼굴 영상 내의 각 화소와 상 기 각 화소에 이웃하는 주변 화소들의 관계를 이용하여 추출하는 것을 특징으로 하는 얼굴 인식 방법.
4. 청구항 1에 있어서,

   상기 분할 단계는,

   상기 얼굴 영상 내에서 상기 각 영역을 일정 화소 단위로 이동시키면서, 상기 각 영역들이 서로 겹쳐진 형태로 분할하는 것을 특징으로 하는 얼굴 인식 방법.
5. 청구항 1에 있어서,

   상기 각 영역은,

   상기 얼굴 영상 내에서 다수 개의 화소들로 구성된 원 형상으로 표현되는 것을 특징으로 하는 얼굴 인식 방법.
6. 청구항 1에 있어서,

   상기 각 영역은,

   상기 얼굴 영상 내의 얼굴 영역의 크기에 비례하게 확대 또는 축소되는 것을 특징으로 하는 얼굴 인식 방법.
7. 청구항 1에 있어서,

   상기 템플릿 매칭 단계는,

   전체 모든 영역에 대해 동시에 변이를 주면서 비교치를 계산하는 것을 특징으로 하는 얼굴 인식 방법.
8. 청구항 1에 있어서,

   상기 템플릿 매칭 단계는,

   각 영역에 개별적으로 변이를 주면서 비교치를 계산하는 것을 특징으로 하는 얼굴 인식 방법.
9. 입력된 얼굴 영상 내에서 지역적 특징을 추출하는 추출부; 및

   상기 추출된 지역적 특징을 이용하여 상기 얼굴 영상을 표현하고, 상기 표현된 얼굴 영상 내에서 각 영역을 순차적으로 분할하고, 상기 분할된 각 영역들에 대한 히스토그램을 생성하고, 상기 생성된 히스토그램을 통해 템플릿 매칭을 수행하여 얼굴을 인식하는 제어부를 구비하는 얼굴 인식 장치.
10. 청구항 9에 있어서,

    상기 각 영역은,

    상기 얼굴 영상 내에서 다수 개의 화소들로 구성된 원 형상으로 표현되는 것을 특징으로 하는 얼굴 인식 장치.

Images