KR101130817B1

KR101130817B1 - 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체

Info

Publication number: KR101130817B1
Application number: KR1020110097795A
Authority: KR
Inventors: 이형수; 제홍모; 강봉남
Original assignee: (주)올라웍스
Priority date: 2011-09-27
Filing date: 2011-09-27
Publication date: 2012-04-16
Also published as: WO2013048160A1; JP6155306B2; JP5798691B2; JP2014526754A; JP2016006679A; CN103988228A; US9208375B2; US20140147023A1; CN103988228B; EP2763102A4; EP2763102A1

Abstract

본 발명은 얼굴 인식 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다. 본 발명의 일 태양에 따르면, (a) 입력 얼굴 이미지의 정해진 위치들에 키포인트를 설정하는 키포인트 설정 단계, (b) 상기 키포인트들 각각의 기술자를 추출하는 키포인트 기술자 추출 단계, 및 (c) 상기 입력 얼굴 이미지로부터 얻어진 제1키포인트들 각각의 기술자, 및 상기 입력 얼굴 이미지로부터 얻어진 제1키포인트에 대응하는 기저장된 얼굴 이미지들 각각의 해당 제2키포인트와 상기 해당 제2키포인트에 인접한 인접 제2키포인트들을 포함하는 지정된 영역 내의 상기 해당 제2키포인트와 상기 인접 제2키포인트들의 기술자들을 이용하여 상기 입력 얼굴 이미지와 상기 기저장된 얼굴 이미지들의 매칭 여부를 판단하는 매칭 단계를 포함하는 얼굴 인식 방법이 제공된다. 본 발명에 따르면, 고정된 위치들에 키포인트들을 설정하고, 입력 얼굴 이미지의 키포인트들 각각에 식별 기호를 할당하여, 가장 많이 할당된 식별 기호를 입력 얼굴 이미지의 식별 기호로 할당함으로써, 입력 얼굴 이미지가 변화한 경우에도 좋은 얼굴 인식 성능을 나타낼 수 있도록 하는 효과가 있다.

Description

얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 {FACE RECOGNITION METHOD, APPARATUS, AND COMPUTER-READABLE RECORDING MEDIUM FOR EXECUTING THE METHOD}

본 발명은 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 관한 것이다. 보다 구체적으로, 본 발명은 SIFT(Scale Invariant Feature Transformation) 등의 방식을 얼굴 인식에 적용하여 보다 좋은 성능을 나타낼 수 있도록 하기 위하여 입력 이미지의 정해진 위치에서 추출된 키포인트들에 기초하여 얼굴 인식을 수행함으로써 얼굴 이미지의 변화를 반영하여 정확도 높은 인식을 가능하게 해 주는 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

생체 인식 기술은 개인마다 다른 지문, 얼굴, 홍채, 정맥 등의 신체 특징을 인식하는 기술이다. 이와 같은 신체 특징은 열쇠나 비밀번호처럼 타인에게 도용이나 복제될 수 없으며, 변경되거나 분실할 위험성이 없어 보안 분야 등에 활용될 수도 있다. 이중 얼굴 인식 기술은 비디오 혹은 사진 이미지에서 얼굴 영역을 검출한 후 검출된 얼굴 영역에 포함된 얼굴의 신원을 식별하는 기술을 포함하므로, 보안 분야뿐만 아니라 스마트폰 시대에 발맞추어 다양한 애플리케이션 등에도 활용될 수 있다.

구체적으로, 얼굴 인식 기술은 검출된 얼굴 이미지에서 특징점 위치를 이용하여 얼굴을 식별하는 기술로서, 특징점에는 눈의 중점, 각 눈의 양 끝점, 눈썹의 양 끝점 및 중점, 입술의 양 끝점 등이 포함될 수 있다.

얼굴 인식 기술은 전통적으로 주성분 분석(PCA; Principal Component Analysis)를 이용한 방법, 및 국부 기술자 분석(LDA; Local Descriptor Analysis)를 이용한 방법 등과 같은 통계적인 방법들이 사용되었으나, 얼굴의 국부적 영역에서 추출된 특징 정보가 조명이나 포즈와 같은 얼굴의 변화에 더 강인하기 때문에 최근에는 국부 기술적 분석을 이용한 방법이 일반적으로 사용되고 있다.

한편, 물체 인식에는 휼륭한 인식 성능을 나타내는 SIFT(Scale Invariant Feature Transformation)을 이용한 방법은 얼굴 인식에는 좋은 성능을 나타내지 못하므로 적용에 한계가 있는 것이 사실이었다. 이 방법이 얼굴 인식에 좋지 못한 성능을 나타내는 이유는 다음과 같다. 첫째, 얼굴 이미지는 물체와는 달리 각지지 않고 변형 가능하며, 같은 사람의 얼굴이라도 보는 방향에 따른 변화가 크므로 특징점의 위치 또한 변화하게 마련인데 SIFT 방법에서는 이와 같은 변화를 고려하여 얼굴을 인식하지 못하기 때문이다. 둘째는 기술자(descriptor) 기반 매칭 방법에서 일반적으로 사용하는 거리 기반 매칭 방법이나 영역 기반 매칭 방법은 조명이나 포즈가 큰 얼굴 영상에서는 좋지 않은 성능을 나타내기 때문이다. 따라서, 원래부터 물체 인식에 사용되어 왔던 SIFT 방법을 얼굴 인식에 적용하기 위해서는 상술한 문제점들을 해결해야 할 필요성이 있었다.

SIFT 이외에도 SURF, LESH, GLOH 등의 방법에 의해 얼굴 인식을 수행한다고 할 때에도 얼굴 인식의 성능의 개선이 어려운 단점이 있었다.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.

또한, 본 발명은 종래 기술의 문제점을 해결하기 위하여 입력 얼굴 이미지와 기저장된 얼굴 이미지들의 각각의 정해진 위치들에서 추출된 키포인트들의 기술자들을 참조하여 얼굴을 인식함으로써 얼굴 인식 성능을 향상시킬 수 있는 것을 다른 목적으로 한다.

본 발명은 입력 얼굴 이미지의 모든 키포인트들에 식별 기호를 할당하고, 가장 많이 할당된 식별 기호를 입력 얼굴 이미지의 식별 기호로 할당함으로써, 입력 얼굴 이미지가 변화한 경우에도 좋은 얼굴 인식 성능을 나타낼 수 있는 것을 또 다른 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 일 태양에 따르면, (a) 입력 얼굴 이미지의 정해진 위치들에 키포인트를 설정하는 키포인트 설정 단계, (b) 상기 키포인트들 각각의 기술자를 추출하는 키포인트 기술자 추출 단계, 및 (c) 상기 입력 얼굴 이미지로부터 얻어진 제1키포인트들 각각의 기술자, 및 상기 입력 얼굴 이미지로부터 얻어진 제1키포인트에 대응하는 기저장된 얼굴 이미지들 각각의 해당 제2키포인트와 상기 해당 제2키포인트에 인접한 인접 제2키포인트들을 포함하는 지정된 영역 내의 상기 해당 제2키포인트와 상기 인접 제2키포인트들의 기술자들을 이용하여 상기 입력 얼굴 이미지와 상기 기저장된 얼굴 이미지들의 매칭 여부를 판단하는 매칭 단계를 포함하는 얼굴 인식 방법이 제공된다.

본 발명의 다른 태양에 따르면, 입력 얼굴 이미지의 정해진 위치들에 키포인트를 설정하는 키포인트 위치 설정부, 상기 키포인트들 각각의 기술자를 추출하는 키포인트 기술자 추출부, 및 상기 입력 얼굴 이미지로부터 얻어진 제1키포인트들 각각의 기술자, 및 상기 입력 얼굴 이미지로부터 얻어진 제1키포인트에 대응하는 기저장된 얼굴 이미지들 각각의 해당 제2키포인트와 상기 해당 제2키포인트에 인접한 인접 제2키포인트들을 포함하는 지정된 영역 내의 상기 해당 제2키포인트와 상기 인접 제2키포인트들의 기술자들을 이용하여 상기 입력 얼굴 이미지와 상기 기저장된 얼굴 이미지들의 매칭 여부를 판단하는 매칭부를 포함하는 얼굴 인식 장치가 제공된다.

본 발명에 따르면, 상기 장치는 입력 이미지로부터 얼굴을 검출하는 얼굴 검출부, 및 상기 검출된 얼굴 이미지를 정해진 크기의 얼굴 이미지로 정규화하여 상기 얼굴 이미지를 발생하는 정규화부를 추가적으로 포함하는 것을 특징으로 한다.

본 발명에 따르면, 상기 제1키포인트들 각각의 기술자들과 상기 제2키포인트들 각각 사이의 거리를 비교함에 의해서, 상기 제1키포인트들 각각에 식별 기호를 할당하고, 가장 많이 할당된 식별 기호를 상기 얼굴 이미지의 식별 기호로서 할당하는 것을 특징으로 한다.

본 발명에 따르면, 상기 얼굴 이미지에 그리드 블록들을 형성하고, 상기 그리드 블록을 상기 지정된 영역으로 형성하거나, 상기 지정된 영역은 지정된 크기를 가지는 블럭이고, 상기 블럭 내의 중심에 상기 제1키포인트에 대응하는 상기 해당 제2키포인트가 위치하고, 상기 블럭 내에 상기 인접 제2키포인트들이 위치하는 것을 특징으로 한다.

이 외에도, 본 발명을 구현하기 위한 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

본 발명에 의하면, 입력 얼굴 이미지와 기저장된 얼굴 이미지들의 각각의 고정된 위치들에 키포인트들을 설정하고, 각 키포인트에서 기술자를 추출하여 얼굴을 인식하기 때문에 얼굴 이미지의 변화를 반영하여 정확도 높게 얼굴을 인식할 수 있다.

본 발명에 의하면, 입력 얼굴 이미지의 각 키포인트의 기술자와 모든 기저장된 얼굴 이미지의 대응하는 각 키포인트의 주변 영역의 키포인트의 기술자들 각각의 사이의 거리를 비교하여 가장 가까운 키포인트의 식별 기호를 할당하고, 입력 얼굴 이미지의 모든 키포인트에 할당된 식별 기호를 투표하여 입력 얼굴 이미지의 식별 기호를 할당하기 때문에 얼굴 이미지가 조명이나 포즈의 변화로 일부 영역이 일치하지 않는 경우에도 좋은 인식 성능을 나타낼 수 있다.

도 1은 본 발명의 일 실시예의 SIFT 기술을 이용한 얼굴 인식 장치의 구성을 나타내는 블록도이다.
도 2는 도 1의 얼굴 인식 장치의 각 블록별 동작을 설명하기 위한 것이다.
도 3은 도 1의 매칭부의 일 실시예의 동작을 설명하기 위한 것이다.
도 4는 도 1의 매칭부의 다른 실시예의 동작을 설명하기 위한 것이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

참고로, 본 발명은 SIFT 기술을 이용한 얼굴 인식 장치에서 뿐만 아니라 SURF(Speeded Up Robust Features), LESH(Local Energy based Shape Histogram), GLOH(Gradient Location and Orientation Histograms) 등의 기술을 이용한 얼굴 인식 장치에도 적용된다 할 것이나, 설명의 편의 상 이하에서는 SIFT 기술을 이용한 얼굴 인식 장치를 예로 들어 설명하도록 하겠다.

도 1은 본 발명의 일 실시예의 SIFT 기술을 이용한 얼굴 인식 장치의 구성을 나타내는 블록도이다.

도 1을 참조하면, 얼굴 인식 장치(100)는 얼굴 검출부(110), 정규화부(110), 키포인트 위치 설정부(130), 키포인트 기술자 추출부(140), 및 매칭부(150)를 포함할 수 있다.

도 1에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.

얼굴 검출부(110)는 얼굴을 포함한 입력 이미지로부터 얼굴을 검출할 수 있다. 얼굴 검출부(110)는 얼굴의 검출을 위하여, 가령 눈을 검출할 수 있으며, 추가적으로 눈썹, 코, 입 등을 검출할 수도 있다. 이와 같이 검출하는 이유는 저장된 얼굴 이미지와 동일한 방향으로 입력 얼굴 이미지를 배열하기 위한 것도 있을 수 있다.

정규화부(120)는 검출된 얼굴 이미지를 미리 정해진 크기의 그레이(gray) 이미지로 정규화할 수 있다.

키포인트 위치 설정부(130)는 정규화된 얼굴 이미지의 고정된 위치들에 키포인트들을 설정할 수 있다.

키포인트 기술자 추출부(140)는 키포인트들 각각에서 키포인트들 각각의 근방 영역 내의 각 이미지 샘플 포인트에서 기울기 크기(gradient magnitude) 및 방향(orientation)을 계산함에 의해서 키포인트들 각각의 기술자들을 추출할 수 있다. 키포인트들 각각의 기술자들을 추출하는 방법은 D. Lowe에 의해서 개발되고, "International Journal of Computer Vision, Volume 60, Issue 2"에 공개된 "Distinctive image features from scale-invariant Keypoints"라는 논문에 기재된 내용을 참조할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 다양한 방법을 적용하여 구현할 수 있을 것이다.

매칭부(150)는 입력 이미지의 정규화된 얼굴 이미지로부터 얻어진 키포인트들 각각의 기술자들과 DB(얼굴 인식을 위해 다양한 얼굴 이미지를 모아 놓은 데이터베이스)에 상기 입력 이미지(가령, 정규화된 입력 얼굴 이미지)로부터 얻어진 키포인트에 대응하는 기저장된 얼굴 이미지들 각각의 키포인트를 포함하는 지정된 영역의 키포인트들의 기술자들을 이용하여 입력 얼굴 이미지와 기저장된 얼굴 이미지들 사이의 매칭 여부를 판단할 수 있다.

좀 더 상세하게, 매칭부(150)는 입력 이미지의 정규화된 얼굴 이미지로부터 얻어진 키포인트들 각각의 기술자들과 입력 이미지의 정규화된 얼굴 이미지로부터 얻어진 키포인트에 대응하는 기저장된 얼굴 이미지들 각각의 키포인트를 포함하는 지정된 영역 내의 키포인트들의 기술자들을 이용하여 입력 얼굴 이미지 및 기저장된 얼굴 이미지의 키포인트들 사이의 거리를 계산하여 비교함에 의해서, 입력 이미지의 정규화된 얼굴 이미지로부터 얻어진 키포인트들 각각에 식별 기호(ID)를 할당하고, 가장 많이 할당된 식별 기호를 입력 이미지의 정규화된 얼굴 이미지의 식별 기호로서 할당할 수 있다.

이를 위해, 기저장된 얼굴 이미지들 각각에 대하여도, 입력 이미지와 마찬가지로, 얼굴을 검출하여 입력 얼굴 이미지와 동일한 크기의 그레이 이미지로 정규화하고, 정규화된 입력 얼굴 이미지에 기설정된 키포인트들의 위치와 동일한 위치들에 키포인트들을 설정하고, 설정된 키포인트들의 기술자들을 미리 추출하여 저장해 놓을 수 있다.

도 1에서, 얼굴 검출부(110) 및 정규화부(120)는 반드시 필요하지 않은 구성일 수 있다. 가령, 키포인트 위치 설정부(130)로 입력되는 얼굴 이미지가 기저장된 얼굴 이미지와 동일한 방향으로 배열되고 동일한 크기의 그레이 이미지를 가지는 경우에는 얼굴 검출부(110) 및 정규화부(120)는 생략이 가능할 수도 있다.

도 2는 도 1의 얼굴 인식 장치의 각 블록별 동작을 설명하기 위한 것으로,

(a)는 입력 이미지를, (b)는 얼굴 검출부(110)에 의해서 검출된 얼굴 이미지를, (c)는 정규화부(120)에 의해서 정규화된 얼굴 이미지를, (d)는 키포인트 추출부(130)에 의해서 추출된 키포인트들이 표시된 얼굴 이미지를, (e)는 키포인트 기술자 추출부(140)에 의해서 추출된 벡터(K)를 나타내는 것으로, K={k1, ..., kM}으로 표현될 수 있으며, k1은 첫번째 키포인트에서 추출된 기술자를, kM은 M번째 키포인트에서 추출된 기술자를 나타낸다. (f)는 매칭부(150)에 의해서 얼굴 이미지의 변화를 감지하여 입력 얼굴 이미지(IN)가 기저장된 얼굴 이미지(S1)와 동일한 얼굴로 인식된 것을 나타낸다.

도 3은 도 1의 매칭부의 일 실시예의 동작을 설명하기 위한 것으로, (a)는 정규화된 입력 얼굴 이미지(IN)의 키포인트들을, (b)는 정규화된 기저장된 M개의 얼굴 이미지들(S1 ~ SM)의 키포인트들을 나타내고 있다. 그리고, g11 ~ gij는 얼굴 이미지들(IN, S1 ~ SM)의 가령 4ⅹ4 크기의 그리드 블록들을 나타내고, f1 ~ f16은 그리드 블록들(g11 ~ gij) 각각 내에서의 16개의 키포인트들을 나타내고 있다. 참고로, 도 3에서 블록당 포인트 수를 16개라고 하였지만, 이에 한정되는 것이 아님은 물론이라 할 것이다.

도 1의 매칭부(150)는 입력 얼굴 이미지(IN)의 그리드 블럭(g11)의 키포인트(f1)의 기술자와 기저장된 얼굴 이미지들(S1 ~ SM)의 그리드 블록들(g11) 각각의 키포인트들(f1 ~ f16)의 기술자들을 이용하여 키포인트들(f1과 f1, f1과 f2, ..., f1과 f16) 각각 사이의 거리(여기에서, 거리는 유클리드 거리(Euclidean distance)를 포함하는 개념일 수 있으나 이에 한정되는 것은 아니다)를 계산하여 가장 가까운 거리를 가지는 키포인트가 포함된 기저장된 얼굴 이미지의 식별 기호를 입력 얼굴 이미지(IN)의 키포인트(f1)에 할당한다. 그리고, 그리드 블록(g11)의 키포인트(f2)의 기술자와 기저장된 얼굴 이미지들(S1 ~ SM)의 그리드 블록들(g11) 각각의 키포인트들(f1 ~ f16)의 기술자들을 이용하여 키포인트들(f2와 f1, f2와 f2, ..., f2와 f16) 각각 사이의 거리를 계산하여 가장 가까운 거리를 가지는 키포인트가 포함된 기저장된 얼굴 이미지의 식별 기호를 입력 얼굴 이미지(IN)의 키포인트(f2)에 할당한다. 이와 같은 방법으로, 입력 얼굴 이미지(IN)의 그리드 블록들(g11 ~ gij) 각각의 키포인트들(f1 ~ f16) 각각에 대하여 기저장된 얼굴 이미지들(S1 ~ SM)의 식별 기호들 중의 하나의 식별 기호가 할당되도록 한다. 즉, 입력 얼굴 이미지(IN)의 키포인트들(f1 ~ f16) 각각에 대하여 기저장된 얼굴 이미지들(S1 ~ SM)의 식별 기호들 중 하나의 식별 기호를 할당하되, 입력 얼굴 이미지(IN)의 각 키포인트의 기술자와 입력 얼굴 이미지(IN)의 각 키포인트가 포함된 그리드 블록과 대응되는 모든 기저장된 얼굴 이미지들(S1 ~ SM)의 그리드 블록 내의 키포인트들의 기술자들을 이용하여 키포인트들 각각의 거리를 계산하여 가장 가까운 거리를 가지는 키포인트가 포함된 기저장된 얼굴 이미지의 식별 기호를 입력 얼굴 이미지(IN)의 그리드 블록들(g11 ~ gij) 각각의 키포인트들(f1 ~ f16) 각각에 대하여 키포인트의 식별 기호로서 할당할 수 있다.

그리고, 매칭부(150)는 입력 얼굴 이미지(IN)의 모든 키포인트들에 할당된 식별 기호들을 투표(vote)할 수 있는데, 이때 기저장된 얼굴 이미지들(S1 ~ SM)의 식별 기호들 중 하나의 식별 기호를 입력 얼굴 이미지(IN)에 할당할 수 있다. 즉, 입력 얼굴 이미지(IN)의 모든 키포인트들에 할당된 식별 기호들 중 가장 많이 할당된 식별 기호를 입력 얼굴 이미지(IN)의 식별 기호로서 할당할 수 있을 것이다. 이때, 각 그리드 블록별로 가장 많이 할당된 식별 기호를 선정한 후 전체 이미지로 볼 때 가장 많이 선정된 식별 기호를 입력 얼굴 이미지(IN)의 식별 기호로서 할당할 수도 있을 것이나 반드시 이에 한정되는 것은 아닐 것이다. 상기와 같은 프로세스를 거치면, 최종적으로, 입력 얼굴 이미지(IN)의 얼굴을 할당된 식별 기호와 동일한 식별 기호를 가지는 기저장된 얼굴 이미지의 얼굴과 동일한 것으로 인식하게 된다.

도 4는 도 1의 매칭부의 다른 실시예의 동작을 설명하기 위한 것으로, (a)는 정규화된 입력 얼굴 이미지(IN)의 키포인트들을, (b)는 정규화된 기저장된 M개의 얼굴 이미지들(S1 ~ SM)의 키포인트들을 나타내고 있다. 그리고, f11 ~ flk는 얼굴 이미지들(IN, S1 ~ SM) 각각의 키포인트들을 나타내고, N1 ~ N3는 키포인트들(f22, f35, ..., f(l-1)(k-2)) 각각의 주변 영역을 지정하는 3ⅹ3 크기의 주변 블록들을 나타내고 있으며, 이와 같이 모든 키포인트들에 대하여 주변 블록들이 지정될 수 있다. 참고로, 도 4에서 주변 영역을 3x3 크기라고 하였지만, 이에 한정되는 것이 아님은 물론이라 할 것이다.

도 1의 매칭부(150)는 입력 얼굴 이미지(IN)의 키포인트(f22)의 기술자와 기저장된 얼굴 이미지들(S1 ~ SM) 각각의 키포인트(f22)의 주변 블록(N1) 내의 키포인트들의 기술자들을 이용하여 키포인트들 각각 사이의 거리를 계산하여 가장 가까운 거리를 가지는 키포인트가 포함된 기저장된 얼굴 이미지의 식별 기호를 할당한다. 이와 같은 방법으로, 입력 얼굴 이미지(IN)의 모든 키포인트들 각각의 기술자와 입력 얼굴 이미지(IN)에 대응되는 위치의 기저장된 얼굴 이미지들(S1 ~ SM) 각각의 키포인트를 포함하는 주변 블록 내의 키포인트들의 기술자들을 이용하여 키포인트들 각각 사이의 거리를 계산하여 가장 가까운 거리를 가지는 키포인트가 포함된 기저장된 얼굴 이미지의 식별 기호를 할당한다. 즉, 입력 얼굴 이미지(IN)의 키포인트들(f11 ~ flk) 각각에 대하여 기저장된 얼굴 이미지들(S1 ~ SM)의 식별 기호들 중 하나의 식별 기호를 할당하되, 입력 얼굴 이미지(IN)의 각 키포인트의 기술자와 입력 얼굴 이미지(IN)의 각 키포인트에 대응하는 위치의 키포인트를 포함하는 모든 기저장된 얼굴 이미지들(S1 ~ SM)의 주변 블록의 키포인트들의 기술자를 이용하여 키포인트들 각각 사이의 거리를 계산하여 가장 가까운 거리를 가지는 키포인트가 포함된 기저장된 얼굴 이미지의 식별 기호를 입력 얼굴 이미지(IN)의 키포인트의 식별 기호로 할당한다.

그리고, 매칭부(150)는 입력 얼굴 이미지(IN)의 모든 키포인트들에 할당된 식별 기호들을 투표(vote)함에 의해서 입력 얼굴 이미지(IN)를 기저장된 얼굴 이미지들(S1 ~ SM)의 식별 기호들 중 하나의 식별 기호를 할당하게 된다. 즉, 입력 얼굴 이미지(IN)의 모든 키포인트들에 할당된 식별 기호들 중 가장 많이 할당된 식별 기호를 입력 얼굴 이미지(IN)의 식별 기호로서 할당할 수 있을 것이다. 이때, 각 주변 블록별로 가장 많이 할당된 식별 기호를 선정한 후 전체 이미지로 볼 때 가장 많이 선정된 식별 기호를 입력 얼굴 이미지(IN)의 식별 기호로서 할당할 수도 있을 것이나 반드시 이에 한정되는 것은 아닐 것이다. 상기와 같은 프로세스를 거치면, 최종적으로, 입력 얼굴 이미지(IN)의 얼굴을 할당된 식별 기호와 동일한 식별 기호를 가지는 기저장된 얼굴 이미지의 얼굴과 동일한 것으로 인식하게 된다.

즉, 본 발명의 매칭부(150)는 입력 얼굴 이미지(IN)의 모든 키포인트들에 식별 기호를 할당하고, 모든 키포인트들에 할당된 식별 기호들을 투표함에 의해서 가장 많이 할당된 식별 기호를 입력 얼굴 이미지(IN)의 식별 기호로서 할당하게 된다.

도 3 및 도 4에서 입력 얼굴 이미지(IN)의 키포인트들은 제1키포인트들이라는 용어로 표현할 수 있고, 기저장된 얼굴 이미지(S1 ~ SM)의 키포인트들은 제2키포인트들이라는 용어로 표현할 수 있으며, 이와 같은 용어를 사용하여 이하 청구항에 기재하였음을 밝혀둔다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 추천한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 추천한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 추천한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 추천한 것일 수도 있다. 컴퓨터 판독 추천한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

100; 얼굴 인식 장치
110: 얼굴 검출부
120; 정규화부
130: 키포인트 위치 설정부
140: 키포인트 기술자 추출부
150: 매칭부

Claims

(a) 입력 얼굴 이미지의 정해진 위치들에 키포인트를 설정하는 키포인트 설정 단계;
(b) 상기 키포인트들 각각의 기술자를 추출하는 키포인트 기술자 추출 단계; 및
(c) 상기 입력 얼굴 이미지로부터 얻어진 제1키포인트들 각각의 기술자, 및 상기 입력 얼굴 이미지로부터 얻어진 제1키포인트에 대응하는 기저장된 얼굴 이미지들 각각의 해당 제2키포인트와 상기 해당 제2키포인트에 인접한 인접 제2키포인트들을 포함하는 지정된 영역 내의 상기 해당 제2키포인트와 상기 인접 제2키포인트들의 기술자들을 이용하여 상기 입력 얼굴 이미지와 상기 기저장된 얼굴 이미지들의 매칭 여부를 판단하는 매칭 단계
를 포함하는 얼굴 인식 방법.
제 1항에 있어서,
상기 (c) 단계는
상기 제1키포인트들 각각의 기술자, 및 상기 해당 제2키포인트와 상기 인접 제2키포인트들의 기술자들을 이용하여, 상기 제1키포인트와 상기 해당 제2키포인트및 상기 인접 제2키포인트들 각각 사이의 거리를 계산하여 비교함에 의해서, 기저장된 얼굴 이미지 중 가장 가까운 거리를 가지는 제2포인트를 포함하는 기저장된 특정 얼굴 이미지의 식별 기호를 제1키포인트들 각각의 식별 기호로 할당하고, 가장 많이 할당된 식별 기호를 상기 입력 얼굴 이미지의 식별 기호로서 할당하는 것을 특징으로 하는 얼굴 인식 방법.
제2항에 있어서,
상기 제1키포인트들 각각의 기술자, 및 상기 해당 제2키포인트와 상기 인접 제2키포인트들의 기술자들을 이용하여, 상기 제1키포인트와 상기 해당 제2키포인트 및 상기 인접 제2키포인트들 각각 사이의 거리를 계산할 때, 유클리드 거리(Euclidean distance)로서 계산하는 것을 특징으로 하는 얼굴 인식 방법.
제1항에 있어서,
상기 (c) 단계는
상기 얼굴 이미지에 그리드 블록들을 형성하고, 상기 그리드 블록을 상기 지정된 영역으로 설정하는 것을 특징으로 하는 얼굴 인식 방법.
제 4항에 있어서,
상기 제1키포인트들 각각의 기술자, 및 상기 해당 제2키포인트와 상기 인접 제2키포인트들의 기술자들을 이용하여, 상기 제1키포인트와 상기 해당 제2키포인트 및 상기 인접 제2키포인트들 각각 사이의 거리를 계산하여 비교함에 의해서, 기저장된 얼굴 이미지 중 가장 가까운 거리를 가지는 제2포인트를 포함하는 기저장된 특정 얼굴 이미지의 식별 기호를 제1키포인트들 각각의 식별 기호로 할당하고, 상기 각 그리드 블록별로 가장 많이 할당된 식별 기호를 선정한 후 상기 가장 많이 선정된 식별 기호를 상기 입력 얼굴 이미지의 식별 기호로서 할당하는 것을 특징으로 하는 얼굴 인식 방법.
제1항에 있어서,
상기 (c)단계는
상기 지정된 영역은 지정된 크기를 가지는 블럭이고, 상기 블럭 내의 중심에 상기 제1키포인트에 대응하는 상기 해당 제2키포인트가 위치하고, 상기 블럭 내에 상기 인접 제2키포인트들이 위치하는 것을 특징으로 하는 얼굴 인식 방법.
제 6항에 있어서,
상기 제1키포인트들 각각의 기술자, 및 상기 해당 제2키포인트와 상기 인접 제2키포인트들의 기술자들을 이용하여, 상기 제1키포인트와 상기 해당 제2키포인트 및 상기 인접 제2키포인트들 각각 사이의 거리를 계산하여 비교함에 의해서, 기저장된 얼굴 이미지 중 가장 가까운 거리를 가지는 제2포인트를 포함하는 기저장된 특정 얼굴 이미지의 식별 기호를 제1키포인트들 각각의 식별 기호로 할당하고, 상기 각 블록별로 가장 많이 할당된 식별 기호를 선정한 후 상기 가장 많이 선정된 식별 기호를 상기 입력 얼굴 이미지의 식별 기호로서 할당하는 것을 특징으로 하는 얼굴 인식 방법.
제1항에 있어서,
(d) 상기 입력 얼굴 이미지로부터 얼굴을 검출하는 얼굴 검출 단계; 및
(e) 상기 검출된 얼굴 이미지를 정해진 크기의 얼굴 이미지로 정규화하여 상기 입력 얼굴 이미지를 발생하는 정규화 단계를 추가적으로 포함하되,
상기 (a) 단계는,
상기 정규화된 입력 얼굴 이미지의 정해진 위치들에 키포인트를 설정하는 것을 특징으로 하는 얼굴 인식 방법.
제8항에 있어서,
상기 (d) 단계는
상기 기저장된 얼굴 이미지와 동일한 방향으로 상기 검출된 얼굴 이미지를 배열하기 위하여 상기 입력 얼굴 이미지로부터 얼굴의 특징점을 추가로 검출하는 것을 특징으로 하는 얼굴 인식 방법.
제9항에 있어서,
상기 특징점은 눈, 코, 입의 특징점을 포함하는 것을 특징으로 하는 얼굴 인식 방법.
제1항에 있어서,
상기 입력 얼굴 이미지와 상기 기저장된 얼굴 이미지는 동일한 방향으로 배열되고, 동일한 크기의 그레이 이미지를 가지는 것을 특징으로 하는 얼굴 인식 방법.
제1항에 있어서,
상기 (a) 단계에서,
상기 키포인트가 설정되는 상기 입력 얼굴 이미지 상의 정해진 위치들은 고정되어 있는 것을 특징으로 하는 얼굴 인식 방법.
입력 얼굴 이미지의 정해진 위치들에 키포인트를 설정하는 키포인트 위치 설정부;
상기 키포인트들 각각의 기술자를 추출하는 키포인트 기술자 추출부; 및
상기 입력 얼굴 이미지로부터 얻어진 제1키포인트들 각각의 기술자, 및 상기 입력 얼굴 이미지로부터 얻어진 제1키포인트에 대응하는 기저장된 얼굴 이미지들 각각의 해당 제2키포인트와 상기 해당 제2키포인트에 인접한 인접 제2키포인트들을 포함하는 지정된 영역 내의 상기 해당 제2키포인트와 상기 인접 제2키포인트들의 기술자들을 이용하여 상기 입력 얼굴 이미지와 상기 기저장된 얼굴 이미지들의 매칭 여부를 판단하는 매칭부
를 포함하는 얼굴 인식 장치.
제 13항에 있어서,
상기 매칭부는
상기 제1키포인트들 각각의 기술자, 및 상기 해당 제2키포인트와 상기 인접 제2키포인트들의 기술자들을 이용하여, 상기 제1키포인트와 상기 해당 제2키포인트 및 상기 인접 제2키포인트들 각각 사이의 거리를 계산하여 비교함에 의해서, 기저장된 얼굴 이미지 중 가장 가까운 거리를 가지는 제2포인트를 포함하는 기저장된 특정 얼굴 이미지의 식별 기호를 제1키포인트들 각각의 식별 기호로 할당하고, 가장 많이 할당된 식별 기호를 상기 입력 얼굴 이미지의 식별 기호로서 할당하는 것을 특징으로 하는 얼굴 인식 장치.
제14항에 있어서,
상기 제1키포인트들 각각의 기술자, 및 상기 해당 제2키포인트와 상기 인접 제2키포인트들의 기술자들을 이용하여, 상기 제1키포인트와 상기 해당 제2키포인트 및 상기 인접 제2키포인트들 각각 사이의 거리를 계산할 때, 유클리드 거리(Euclidean distance)로서 계산하는 것을 특징으로 하는 얼굴 인식 장치.
제13항에 있어서,
상기 매칭부는
상기 얼굴 이미지에 그리드 블록들을 형성하고, 상기 그리드 블록을 상기 지정된 영역으로 설정하는 것을 특징으로 하는 얼굴 인식 장치.
제 16항에 있어서,
상기 제1키포인트들 각각의 기술자, 및 상기 해당 제2키포인트와 상기 인접 제2키포인트들의 기술자들을 이용하여, 상기 제1키포인트와 상기 해당 제2키포인트 및 상기 인접 제2키포인트들 각각 사이의 거리를 계산하여 비교함에 의해서, 기저장된 얼굴 이미지 중 가장 가까운 거리를 가지는 제2포인트를 포함하는 기저장된 특정 얼굴 이미지의 식별 기호를 제1키포인트들 각각의 식별 기호로 할당하고, 상기 각 그리드 블록별로 가장 많이 할당된 식별 기호를 선정한 후 상기 가장 많이 선정된 식별 기호를 상기 입력 얼굴 이미지의 식별 기호로서 할당하는 것을 특징으로 하는 얼굴 인식 장치.
제13항에 있어서,
상기 매칭부는
상기 지정된 영역은 지정된 크기를 가지는 블럭이고, 상기 블럭 내의 중심에 상기 제1키포인트에 대응하는 상기 해당 제2키포인트가 위치하고, 상기 블럭 내에 상기 인접 제2키포인트들이 위치하는 것을 특징으로 하는 얼굴 인식 장치.
제 18항에 있어서,
상기 제1키포인트들 각각의 기술자, 및 상기 해당 제2키포인트와 상기 인접 제2키포인트들의 기술자들을 이용하여, 상기 제1키포인트와 상기 해당 제2키포인트 및 상기 인접 제2키포인트들 각각 사이의 거리를 계산하여 비교함에 의해서, 기저장된 얼굴 이미지 중 가장 가까운 거리를 가지는 제2포인트를 포함하는 기저장된 특정 얼굴 이미지의 식별 기호를 제1키포인트들 각각의 식별 기호로 할당하고, 상기 각 블록별로 가장 많이 할당된 식별 기호를 선정한 후 상기 가장 많이 선정된 식별 기호를 상기 입력 얼굴 이미지의 식별 기호로서 할당하는 것을 특징으로 하는 얼굴 인식 장치.
제13항에 있어서,
최초로 입력되는 얼굴 이미지로부터 얼굴을 검출하는 얼굴 검출부; 및
상기 검출된 얼굴 이미지를 정해진 크기의 얼굴 이미지로 정규화하여 상기 입력 얼굴 이미지를 발생하는 정규화부를 추가적으로 포함하되,
상기 키포인트 위치 설정부는,
상기 정규화된 입력 얼굴 이미지의 정해진 위치들에 키포인트를 설정하는 것을 특징으로 하는 얼굴 인식 장치.
제20항에 있어서,
상기 얼굴 검출부는
상기 기저장된 얼굴 이미지와 동일한 방향으로 상기 검출된 얼굴 이미지를 배열하기 위하여 상기 입력 이미지로부터 얼굴의 특징점을 추가로 검출하는 것을 특징으로 하는 얼굴 인식 장치.
제21항에 있어서,
상기 특징점은 눈, 코, 입의 특징점을 포함하는 것을 특징으로 하는 얼굴 인식 장치.
제13항에 있어서,
상기 입력 얼굴 이미지와 상기 기저장된 얼굴 이미지는 동일한 방향으로 배열되고, 동일한 크기의 그레이 이미지를 가지는 것을 특징으로 하는 얼굴 인식 장치.
제13항에 있어서,
상기 키포인트 위치 설정부에 의해 상기 키포인트가 설정되는 상기 입력 얼굴 이미지 상의 정해진 위치들은 고정되어 있는 것을 특징으로 하는 얼굴 인식 장치.
제1항 내지 제12항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.