KR20160033552A - 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템 및 방법 - Google Patents

Abstract

본 발명에 따른 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템 및 방법에 의하면, 입력된 얼굴 영상과 등록 얼굴 영상으로부터 키포인트 기술자를 추출하여 비교하고, 다수결 기법으로 동일인 여부를 판단함으로써, 더 빠르고 정확한 얼굴 인식이 가능하다.

Description

키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템 및 방법 {Face recognizing system using keypoint descriptor matching and majority vote and method thereof}

본 발명은 얼굴 인식 시스템 및 방법에 관한 것으로, 구체적으로는 입력된 영상에 포함된 얼굴과 미리 저장된 얼굴을 비교하여, 동일인인지 여부를 판단하는 시스템 및 방법에 관한 것이다.

생체 인식 기술은 개인마다 갖고 있는 고유한 지문, 얼굴, 홍채, 정맥 등의 신체 특징을 인식하는 기술이다. 이와 같은 신체 특징은 열쇠나 비밀번호처럼 타인에게 도용이나 복제될 수 없으며, 변경되거나 분실할 위험성이 없어 보안 분야 등에 활용될 수 있다. 신체 특징은 개인마다 고유한 특징을 가지므로, 다른 인물을 같은 인물로 인식하는 오인식을 최소화시킬 수 있으며, 그 중에서도 얼굴 특징을 기반으로 하는 얼굴 인식 기술은 지문이나 홍채 인식 등의 생체 인식 기술들에 비해서, 그 인식 절차가 복잡하지 않고 자연스러우며, 사용자에게 거부감을 주지 않는다는 장점이 있다.

다만, 얼굴 인식 기술은 얼굴로부터 검출될 수 있는 고유한 특징이 사진이나 영상 형태로 샘플링 등을 거쳐 기록되면서, 동일하거나 극히 유사한 형태로 변경되어 오인식이 발생하는 경우도 있으며, 조명 변화 및 회전 변화 등의 요소가 얼굴 인식의 정확성에 상당한 영향을 끼치는 한계점이 존재한다.

일본공개특허 2006-338092호

본 발명이 해결하고자 하는 기술적 과제는 키포인트 기술자 및 다수결 기법을 이용함으로써, 종래의 얼굴 인식 시스템 및 방법보다 입력된 영상에 포함된 얼굴에 다양한 표정 및 포즈 변화가 있을 때에 더 정확한 얼굴 인식을 할 수 있는 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템 및 방법을 제공하는 데에 있다.

상기의 기술적 과제를 해결하기 위한 본 발명의 제1 실시 예에 따른 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템은, 입력된 얼굴 영상으로부터 복수의 포즈별 얼굴 영상을 생성하는 합성 얼굴 생성부; 상기 입력된 얼굴 영상과 상기 포즈별 얼굴 영상의 동일한 위치에 복수의 키포인트를 설정하고, 상기 키포인트의 위치를 기준으로 하여 크기와 방향을 갖는 키포인트 기술자를 추출하는 키포인트 기술자 추출부; 및 상기 입력된 얼굴 영상과 상기 포즈별 얼굴 영상의 키포인트 기술자와, 적어도 하나 이상의 기저장된 등록 얼굴 영상의 키포인트 기술자를 서로 비교하여, 상기 등록 얼굴 영상 중에서 상기 입력된 얼굴 영상의 얼굴과 상기 등록 얼굴 영상의 얼굴이 동일인의 얼굴인지 판단하는 등록 얼굴 판단부;를 포함한다.

상기의 기술적 과제를 해결하기 위한 본 발명의 제2 실시 예에 따른 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 방법은, 입력된 얼굴 영상으로부터 복수의 포즈별 얼굴 영상을 생성하는 합성 얼굴 생성 단계; 상기 입력된 얼굴 영상과 상기 포즈별 얼굴 영상의 동일한 위치에 복수의 키포인트를 설정하고, 상기 키포인트의 위치를 기준으로 하여 크기와 방향을 갖는 키포인트 기술자를 추출하는 키포인트 기술자 추출 단계; 및 상기 입력된 얼굴 영상과 상기 포즈별 얼굴 영상의 키포인트 기술자와, 적어도 하나 이상의 기저장된 등록 얼굴 영상의 키포인트 기술자를 서로 비교하여, 상기 등록 얼굴 영상 중에서 상기 입력된 얼굴 영상의 얼굴과 상기 등록 얼굴 영상의 얼굴이 동일인의 얼굴인지 판단하는 등록 얼굴 판단 단계;를 포함한다.

본 발명에 따른 얼굴 인식 시스템 및 방법에 의하면, 키포인트 기술자를 추출하고 매칭함으로써, 더 정확하게 입력된 영상의 얼굴이 등록된 얼굴인지 판단할 수 있다. 또한, 다수결 기법과 캐시 데이터 베이스를 이용하여 더 빠른 얼굴 인식이 가능하다.

도 1은 본 발명의 일 실시 예에 따른 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템의 블록도이다.
도 2는 CCD 디지털 카메라에 의해 찍히는 피사체와 그 CCD 디지털 카메라에 의해 처리된 영상의 차이를 도식적으로 나타낸다.
도 3은 입력된 얼굴 영상을 정규화한 정면 얼굴 영상과 4개의 포즈별 얼굴 영상을 예시한다.
도 4는 키포인트 기술자 추출부에 의해 입력된 얼굴 영상 및 포즈별 얼굴 영상에 키포인트를 설정하는 것을 예시한다.
도 5는 키포인트 기술자 추출부에 의해서 반복적으로 키포인트를 추출해나가는 것을 도식적으로 예시한다.
도 6은 정규화 영상과 중첩 블록 기반 격자 키포인트 추출 방법으로 키포인트를 추출한 정규화 영상을 예시한다.
도 7은 키포인트 기술자 추출부에서 정규화 영상에 설정된 각 키포인트에 대한 키포인트 기술자를 생성하는 과정을 예시한다.
도 8은 본 발명의 일 실시 예에 따른 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 방법에 대한 순서도이다.
도 9는 본 발명의 일 실시 예에 따른 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템의 다수결 판단부에 포함된 분할 매칭부를 예시한다.
도 10은 등록 얼굴 영상의 비교키포인트군과 입력된 얼굴 영상의 키포인트에서 각각 추출된 키포인트 기술자를 서로 비교하는 것을 예시한다.
도 11은 복수의 등록 얼굴 영상의 비교키포인트군과 입력된 얼굴 영상의 키포인트에서 각각 추출된 키포인트 기술자를 서로 비교하는 것을 예시한다.
도 12는 등록 얼굴 영상이 생성되는 과정과 복수의 등록 얼굴 영상의 비교키포인트군과 입력된 얼굴 영상의 키포인트에서 각각 추출된 키포인트 기술자를 서로 비교하는 과정을 예시한다.

이하 본 발명의 바람직한 실시 예가 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다.

본 발명을 설명함에 있어서 관련된 공지 기능 혹은 구성에 대해 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하거나 간략하게 설명하는 것으로 한다.

한편, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본 발명의 일 실시 예에 따른 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템의 블록도이다.

도 1의 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템은 합성 얼굴 생성부(110), 키포인트 기술자 추출부(130), 등록 얼굴 판단부(150)를 포함한다.

합성 얼굴 생성부(110)는 입력된 얼굴 영상으로부터 포즈별 얼굴 영상을 생성한다.

보다 상세하게 설명하면, 먼저 합성 얼굴 생성부(110)는 카메라와 같은 촬상 장치에 의해 촬영된 얼굴을 포함한 영상(이하, 입력된 얼굴 영상)을 입력받고, 영상으로부터 얼굴 및 눈을 검출한다. 합성 얼굴 생성부(110)는 입력된 얼굴 영상에서 얼굴 및 눈을 검출하기 위해서, 얼굴 경계선, 이마, 코, 입술 등의 위치를 먼저 특정할 수 있다.

그 다음, 합성 얼굴 생성부(110)는 입력된 얼굴 영상을 미리 정해진 크기로 얼굴의 방향, 크기, 조명 성분, 표정 등을 동일한 요소를 갖는 그레이(gray) 영상으로 정규화할 수 있다. 입력된 얼굴 영상은 컬러 영상이므로, 후술하는 등록 얼굴 영상과 비교하기 위해서는 각 영상에 포함된 얼굴의 고유한 특징만을 남길 수 있도록 그레이 영상으로 정규화하는 과정이 필요하다.

또한, 주변의 조도값에 의해 얼굴 인식 결과가 달라질 수 있으므로, 입력된 얼굴 영상에 포함된 조명 성분의 영향을 제거하기 위해서 대비 제한 적응 히스토그램 평활화(Contrast Limited Adaptive Histogram Equalization, CLAHE)를 적용할 수 있다.

그레이 영상 변환뿐만 아니라, 얼굴의 각 주요 부위인 눈, 코, 입의 위치가 미리 정해진 위치로 오도록 하는 것도 정규화 과정에 포함되며, 사전에 정의된 템플릿(Template)으로 닮음 변환(Similarity Transformation)을 함으로써, 합성 얼굴 생성부(110)는 입력되는 그 어떤 영상에 포함된 얼굴에 대해서도, 동일한 크기와 동일한 눈의 위치를 갖게끔 정규화시킬 수 있다.

정규화를 마친 입력된 얼굴 영상은, 정면을 바라보는 형태가 되며, 명세서 간명화를 위해서, "정규화가 완료된 입력된 얼굴 영상"을 "정면 얼굴 영상"으로 약칭한다.

입력된 얼굴 영상으로부터 얼굴과 눈이 검출되고, 입력된 얼굴 영상의 각종 정규화 과정이 완료된 이후, 합성 얼굴 생성부(110)는 정규화된 입력된 얼굴 영상으로부터 다양한 방향의 얼굴 영상을 생성한다.

여기서 다양한 방향의 얼굴 영상을 생성하는 것은 얼굴 인식에 있어서, 입력되는 얼굴의 포즈, 각도 변화에도 일관된 성능을 보장하기 위함이다.

명세서의 간명화를 위해서, "정규화된 입력된 얼굴 영상으로부터 생성된 다양한 각도 변화의 얼굴 영상"은 "포즈별 얼굴 영상"으로 약칭한다.

도 2는 CCD 디지털 카메라에 의해 찍히는 피사체와 그 CCD 디지털 카메라에 의해 처리된 영상의 차이를 도식적으로 나타낸다.

도 2의 u는 피사체가 카메라에 의해 촬영되어 영상으로 처리되었을 때의 피사체의 방향이고, u0는 피사체의 원래 방향을 무한한 평면으로 투영시킨 것을 나타낸다.

도 2를 살펴보면, 피사체를 포함하는 디지털 이미지를 포함하는 CCD Plane P'는 카메라 렌즈와는 평행하나, 피사체의 원래 방향을 무한한 평면으로 투영시킨 Plane P하고는 평행하지 않은 것을 알 수 있다.

즉, 피사체가 CCD 디지털 카메라에 의해 찍히게 되면, 카메라 렌즈의 광학적 흐림(Optical Blur)현상과, 디지털 데이터화되기 위해 샘플링(Sampling)되는 과정에 의해, 최종적으로 산출되는 피사체를 포함한 영상은, 본래 피사체의 특징적인 요소(방향적인 요소)를 모두 포함하지 못하게 된다.

이렇게 얼굴의 특정점이 왜곡되는 것은 얼굴 인식에 있어서 정확도를 낮추는 직접적인 관계성이 있으므로, 그런 영향을 최소화하기 위해서 본 발명에서는 어파인 변환(Affine Transformation)을 이용한다.

입력된 얼굴 영상에 대한 어파인 변환 적용은, 입력된 얼굴 영상에 그 입력된 얼굴 영상을 촬영한 카메라의 기울기 변화에 따른 효과를 반영하기 위함이다.

즉, 입력 영상에 국부적으로 어파인 변환을 적용하면, 마치 카메라 위치 및 기울기를 변화시켜가면서 얼굴을 촬영한 것과 같은 영상(포즈별 얼굴 영상)을 생성시킬 수 있다.

수학식 1은 도 2와 연관되어, 얼굴 인식을 위한 피사체의 특징과 피사체를 촬영한 영상의 특징의 차이를 수식화한 것이다.

수학식 1에서 A는 투영 맵, G1은 가우시안 블러(Gaussian Blur), S1은 CCD 센서의 샘플링 값, u0는 카메라로부터 입력되는 얼굴을 포함한 영상, u는 얼굴을 포함한 영상을 카메라에 거쳐서 얻게 되는 영상이다. 수학식 1의 u0 및 u는 피사체가 카메라를 거치기 전과 후라는 점에서, 도 2의 u0 및 u 와 대응될 수 있다.

여기서 투영 맵 A는 어파인 투영 맵으로 가정이 가능하고, 수학식 2와 같이 분해가 가능하다.

여기서 λ는 카메라 광축 중심으로 크기 변화를 나타내는 인자, ψ는 카메라 광축 중심으로 회전 각도를 나타내는 인자, θ는 카메라 광축과 영상면의 법선과 이루는 각도 인자로서 위도(Latitude), φ는 카메라 광축과 고정된 수직면과의 이루는 각도 인자로 경도(Longitude)로 정의된다. t는 t=1/cosθ 의 관계를 갖는다.

실제 정면의 객체 및 사람의 얼굴은 카메라 영상에서 카메라의 위도나 경도 변화에 따라 왜곡 및 변형을 갖는다.

영상 간의 동일한 특징점은 촬영하는 카메라 기울기에 대한 공간상의 각도 변화에 따라서 위치가 변한다. 이러한 이유로 공간상의 카메라 각도 변화에 따른 각도에 대한 요소를 반영하기 위해 촬영 공간에서 위도와 경도의 위치 변화를 반영한 기법을 사용한다.

이러한 각도 변화를 반영하기 위해 x축, y축 이동, 회전, 크기, 위도, 및 경도 총 6개의 변화를 이용한 전 방향의 카메라 축 방향의 변화에 의한 어파인 왜곡이 가능한 모든 경우의 영상 변환을 고려한다.

포즈별 얼굴 영상을 많이 생성할수록 후술할 구성과 결합하여 얼굴 인식을 하는 데 있어 더 높은 정확도를 보장할 수 있으나, 일정 수준 이상의 얼굴 인식 속도를 보장하기 위해서, 어파인 변환으로 인해 생성되는 포즈별 얼굴 영상의 개수는 적절하게 조절될 수 있다.

도 3은 입력된 얼굴 영상을 정규화한 정면 얼굴 영상과 4개의 포즈별 얼굴 영상을 예시한다.

도 3에 의하면, 가운데에 위치한 입력된 정면 얼굴 영상에 수학식 2에 따라 각도를 바꿔가며, 4개의 포즈별 얼굴 영상을 생성한 것을 알 수 있으며, 포즈별 얼굴 영상의 수는 4개가 아니라 다른 개수도 가능하다.

키포인트 기술자 추출부(130)는 입력된 얼굴 영상과 포즈별 얼굴 영상의 동일한 위치에 복수의 키포인트를 설정하고, 키포인트의 위치를 기준으로 하여 크기와 방향을 갖는 키포인트 기술자를 추출한다.

입력된 얼굴 영상과 포즈별 얼굴 영상은 합성 얼굴 생성부를 거치면서 정규화가 되었으므로, 동일한 크기(해상도)와 동일한 눈의 위치를 갖는다.

먼저, 키포인트 기술자 추출부(130)는 입력된 얼굴 영상과 포즈별 얼굴 영상에 키포인트를 설정한다. 키포인트는 동일한 인물의 얼굴이라면 표정 변화, 조명 변화, 포즈 변화에 상관없이 항상 일정하게 추출되어야 한다.

종래의 키포인트 추출 방법인 SIFT나 SURF 방법은 지역적 특징을 이용하여 키포인트를 추출하는데, 이 두 방법에 의하면, 얼굴과 같이 블롭 요소가 적거나, 픽셀 밝기 차가 적은 영상에서는 키포인트가 필요한 수만큼 추출되지 않거나, 표정 변화, 조명 변화, 포즈 변화로 인해 얼굴의 주요 부위에서 키포인트 추출이 되지 않는 문제점이 있다.

그러므로, 본 발명에서는 얼굴 주요 부위를 포함하여 충분한 개수의 키포인트를 추출하기 위해, 중첩 블록 기반 격자 키포인트 추출 방법을 제안한다.

도 4는 키포인트 기술자 추출부에 의해 입력된 얼굴 영상 및 포즈별 얼굴 영상에 키포인트를 설정하는 것을 예시한다.

명세서의 간명화를 위해서, 후술하는 "정규화 영상"은 "정규화를 거친 입력된 얼굴 영상과 복수의 포즈별 얼굴 영상"의 약칭으로 간주한다.

중첩 블록 기반 격자 키포인트 추출 방법은, 먼저 정규화 영상을 일정 크기의 서브 블록들로 나누고, 인접한 서브 블록들과 50% 이상 겹치게 배열하여 자기 자신과 이웃 서브 블록들과의 격자점 위치를 키포인트 위치로 설정하는 방식이다. 인접한 서브 블록들과 겹치는 넓이의 비율은 50%로 한정되지 않으며, 적절한 값으로 변경될 수 있다.

얼굴 주요 부위를 포함하여 충분한 개수의 키포인트를 추출하기 위해서, 중첩 블록 기반 격자 키포인트 추출 방법 외에도, 정규화 영상에서 일정 간격의 조밀하고 균등한 샘플링 키포인트를 설정하는 것도 가능하다.

도 5는 키포인트 기술자 추출부에 의해서 반복적으로 키포인트를 추출해나가는 것을 도식적으로 예시한다.

도 5의 결과는 상술한 중첩 블록 기반 격자 키포인트 추출 방법을 반복적으로 적용하여 산출될 수도 있고, 정규화 영상에서 일정 간격의 조밀하고 균등한 샘플링 키포인트를 설정한 결과로도 볼 수 있다. 추출되는 키포인트는 얼굴 인식을 할 수 있을 정도로 얼굴 주요 부위의 특징점에 충분한 수로 설정되기만 하면 되므로, 정규화 영상에 도 5와 같이 키포인트를 추출하는 키포인트 추출(설정) 방법은 여러 가지가 있을 수 있다.

도 6은 정규화 영상과 중첩 블록 기반 격자 키포인트 추출 방법으로 키포인트를 추출한 정규화 영상을 예시한다.

키포인트 기술자 추출부(130)는 정규화 영상에서 키포인트를 추출 후 각 키포인트로부터 기울기 크기(gradient magnitude) 및 방향(gradient orientation)을 계산함으로써 키포인트 기술자를 추출한다.

보다 구체적으로는, 키포인트 기술자 추출부(130)는 입력된 얼굴 영상을 정규화하여 산출한 정면 얼굴 영상과, 합성 영상 생성부(110)에 의해 생성된 복수의 포즈별 얼굴 영상에 정의된 모든 키포인트에 대해서 각각 키포인트 기술자를 정의한다.

도 7은 키포인트 기술자 추출부에서 정규화 영상에 설정된 각 키포인트에 대한 키포인트 기술자를 생성하는 과정을 예시한다.

먼저, 특정한 하나의 키포인트 중심으로 10×10 크기 영역에 대해서 2×2 사분면을 구성하여 각 사분면에 대해서 하르 웨이블릿(Haar wavelet) 필터 응답을 계산한다.

도 7의 중간 부분은 10×10 크기 영역에서 2×2 사분면을 구성한 경우, 각 사분면에 포함되는 영역은 5×5 크기가 되는 것을 도식적으로 예시한다.

이때, 각 사분면에 대해서 하르 웨이블릿 필터의 응답 값뿐만 아니라 하르 웨이블릿 필터 응답 값의 절대값도 같이 계산한다.

도 7의 dx, dy는 2×2 사분면 중 특정 한 사분면에서의 하르 웨이블릿 필터 응답의 x, y성분을 의미하며, mdx, mdy는 그 하르 웨이블릿 필터 응답의 절대값을 의미한다. dx, dy, mdx, mdy, 각각을 하나의 벡터로 생성을 하면, 각 사분면에서 4차원의 벡터가 생성된다.

도 7의 len은 각 사분면에서 생성된 4차원의 벡터의 크기를 1로 만들기 위해서 필요한 4차원 벡터의 크기의 제곱값이다. 즉, dx', dy', mdx', mdy'는 앞서 언급한 dx, dy, mdx, mdy을 벡터의 크기(루트 len)로 나눈 값이므로, 각 사분면에서 생성된 4차원의 벡터의 고유한 특징을 그대로 포함하면서도, 크기가 1이라서 수학적 취급이 용이한 특징을 갖게 된다.

위와 같은 방식으로 생성된 각 사분면마다 생성된 4차원의 벡터를 차례대로 연결(concatenation)시키면, 사분면의 개수가 4개이므로, 총 16차원의 키포인트 기술자가 추출된다.

키포인트 기술자 추출부(130)는 위와 같은 과정을 정규화 영상의 모든 키포인트에 적용하여, 각 키포인트 당 16차원의 키포인트 기술자를 추출하게 되며, 각 키포인트를 중심으로 설정하는 크기 영역과 사분면의 수는 각각 10x10 과 2x2 로 한정되지 않으므로, 다른 구성을 모두 포함한다면 각 키포인트를 중심으로 설정하는 크기 영역과 사분면의 수가 달라도 본 발명의 범주를 벗어나지 않는다.

또한, 각 사분면에서 하르 웨이블릿 필터 응답을 계산하는 것이 아닌, 다른 필터 응답이나 지역 구조 패턴(Local Structure Pattern)을 이용하여 키포인트 기술자를 추출하는 것도 가능하다.

등록 얼굴 판단부(150)는 입력된 얼굴 영상과 포즈별 얼굴 영상의 키포인트 기술자와, 적어도 하나 이상의 기저장된 등록 얼굴 영상의 키포인트 기술자를 서로 비교하여, 등록 얼굴 영상 중에서 어느 등록 얼굴 영상의 얼굴과 입력된 얼굴 영상의 얼굴이 동일인의 얼굴인지 판단하며, 비교키포인트군 생성부(151), 비교키포인트군 매칭부(152), 다수결 판단부(153), 입력 영상 식별 기호 할당부(154), 포즈별 영상 식별 기호 할당부(155), 등록 얼굴 영상 데이터베이스(156)을 포함한다.

등록 얼굴 영상이란, 입력된 얼굴 영상과 비교하여 얼굴 인식을 하기 위해서 미리 저장되어 있는 영상을 의미하며, 차후 입력될 영상과 정확한 비교를 위해서 상술한 과정과 동일한 과정을 통해 정규화, 복수의 키포인트 설정 및 그에 따른 키포인트 기술자 추출이 완료되어있다.

키포인트 기술자가 추출된 키포인트들의 위치는 사전에 정해져 있기 때문에, 정규화 영상과 등록 얼굴 영상의 키포인트들은 동일한 분포형태를 갖는다.

즉, 정규화 영상과 등록 얼굴 영상간에 키포인트별 매칭이 가능하므로, 키포인트 기술자별 매칭도 같은 원리로 가능하다.

등록 얼굴 영상 중에서 어느 등록 얼굴 영상의 얼굴과 입력된 얼굴 영상의 얼굴이 동일인의 얼굴인지 판단하는 방법은 여러 가지가 있을 수 있으며, 하나의 예로서, 벡터 형태로 표현되는 키포인트 기술자간에 거리를 구하는 방식이 가능하다.

이때 거리를 구하기 위해 정규화 영상과 등록 얼굴 영상에서 각각 선출되는 키포인트 기술자는, 정규화 영상과 등록 얼굴 영상에서 동일한 위치의 키포인트로부터 각각 추출된 기술자이다.

동일하지 않은 위치의 키포인트로부터 각각 추출된 기술자를 비교하는 방식에 대해서는 비교키포인트군 생성부(151) 및 비교키포인트군 매칭부(152)에서 후술한다.

키포인트 기술자간에 거리를 구하는 방식은 유클리드 거리(Euclidean distance) 공식이나 카이스퀘어 거리(Chi-square distance) 공식을 이용할 수 있고, 다른 방식으로 키포인트 기술자간 거리를 구하더라도 본 발명의 범주를 벗어나지 않는다.

등록 얼굴 판단부(150)는 정규화 영상과 등록 얼굴 영상의 모든 키포인트에 대한 키포인트 기술자간의 거리를 구한 후, 그 키포인트 기술자간의 거리를 정해진 임계치와 비교하여, 그 임계치보다 짧은 거리를 갖는 키포인트에 대해 식별 기호를 할당한다.

여기서 식별 기호란, 적어도 하나 이상인 등록 얼굴 영상이 기저장된 다른 등록 얼굴 영상과 서로 구별되기 위해 갖는 고유한 기호로서, 서로 다른 인물의 얼굴을 포함하는 서로 다른 등록 얼굴 영상은 같은 식별 기호를 가질 수 없다.

키포인트에 식별 기호가 할당되는 과정을 예를 들어 설명하면, (40,68)의 좌표를 갖는 키포인트에서 키포인트 기술자간 거리가 임계치 이하였고, 그 때 정규화 영상과 비교된 등록 얼굴 영상이 식별 기호 'A'를 가지고 있었다면, (40,68)의 좌표를 갖는 키포인트에는 등록 얼굴 판단부(150)에 의해 식별 기호 A가 할당된다.

위와 같은 방식으로 정규화 영상의 모든 키포인트에 식별 기호를 할당한 뒤, 모든 포인트에 할당된 식별 기호에 대한 분포도를 산출하고, 그 분포도를 해석하여 정규화 영상의 얼굴이, 어느 등록 얼굴 영상의 얼굴과 동일인의 얼굴인 것인지 판단한다.

모든 포인트에 할당된 식별 기호에 대한 분포도를 해석하는 방법은, 각 키포인트에 할당된 식별 기호를 일괄 수집하여, 가장 많은 식별 기호에 해당하는 등록 얼굴 영상으로 결정하는 방법도 있고, 보다 합리적인 얼굴 인식 결과 유도를 위해 미리 저장된 패턴형태로 식별 기호가 뭉쳐 있는 경우에 그 식별 기호에 해당하는 등록 얼굴 영상으로 정규화 영상의 얼굴의 소유자를 결정할 수 있다.

정규화 영상의 각 키포인트에 할당되는 식별 기호는 입력 영상 식별 기호 할당부(154) 및 포즈별 영상 식별 기호 할당부(155)에 의해 할당될 수 있으며, 이에 대해서는 후술한다.

다음은 본 발명에 따른 얼굴 인식 시스템의 일 실시 예로서, 비교키포인트군을 이용하여 얼굴 인식을 하는 시스템을 예시한다.

비교키포인트군 생성부(151)는 입력된 얼굴 영상과 복수의 포즈별 얼굴 영상에서 특정 키포인트를 선정하고, 등록 얼굴 영상의 특정 키포인트와 같은 위치의 키포인트를 중심으로 하는 복수의 키포인트로 구성된 비교키포인트군을 생성한다.

먼저, 비교키포인트군 생성부(151)는 입력된 얼굴 영상과 복수의 포즈별 얼굴 영상에서 특정 키포인트를 선정한다. 선정된 정규화 영상의 키포인트는 선정되는 즉시, 위치가 특정되며, 등록 얼굴 영상의 해당 위치에도 키포인트가 설정되어있는 것은 상술한 키포인트 설정 과정을 비추어 볼 때 명백하다.

비교키포인트군 생성부(151)는 위와 같은 결과로 선정된 특정 키포인트와 같은 위치의 키포인트를 중심으로 복수의 키포인트로 구성된 비교키포인트군을 생성한다.

이때 생성되는 비교키포인트군을 구성하는 키포인트의 개수는 정해져 있지 않으며, 비교키포인트군의 형태도 한정되어 있지 않다. 예를 들면, 5x5 정사각형 형태로 25개의 비교키포인트군을 생성하거나, n×n 형태의 마름모 형태의 비교키포인트군을 생성하는 것도 가능하다.

비교키포인트군 매칭부(152)는 정규화 영상의 특정 키포인트로부터 추출된 키포인트 기술자와 등록 얼굴 영상의 비교키포인트군에 포함된 각각의 키포인트로부터 추출된 복수의 키포인트 기술자를 비교한다.

키포인트 기술자를 비교하는 방법에 있어서, 등록 얼굴 판단부(150)에서 상술한 과정과 비교키포인트 매칭부(152)에서의 차이는 비교 횟수 및 판단에 있다.

수학식 3 및 4는 키포인트 기술자간 비교를 위해 이용하는 방법 중 하나를 식으로 나타낸다.

여기서 X는 정규화 영상의 키포인트 기술자이고, Y는 등록 얼굴 영상의 키포인트 기술자를 의미한다. 또한, m(x,y)는 최근린 내삽법(Nearest neighbor matching)에 대한 함수이며, δ함수는 키포인트 기술자 비교시, 가장 거리가 짧은 키포인트의 거리와 두 번째로 거리가 짧은 키포인트 거리의 비율이 임계치 이하이면 매칭된 키포인트로 간주하는 함수이다.

또한, min, max함수는 각각 최소값, 최대값을 도출하는 함수이고, argmax는 두 변수가 있을 때, 어느 한 변수를 최대값을 가지게 하는 나머지 변수를 결과값으로 도출하는 함수이다.

수학식 3 및 4를 이해하기 위한 하나의 예로서, 등록 얼굴 영상에 특정 키포인트를 중심으로 5×5 정사각형 형태로 25개의 비교키포인트군을 등록 얼굴 영상에 생성했다고 가정한다.

이 경우, 정규화 영상의 특정 키포인트로부터 추출된 키포인트 기술자와 등록 얼굴 영상의 바교키포인트군으로부터 추출된 키포인트 기술자를 비교해야 하므로, 최소 25회 이상의 키포인트 기술자간 비교 과정이 필요하다.

보다 상세하게는, 정규화 영상은 위에서 정의했듯이 입력된 얼굴 영상을 정규화하여 생성된 정면 얼굴 영상과 그 정면 얼굴 영상에 어파인 변환을 적용하여 생성된 복수의 포즈별 얼굴 영상을 모두 포함하므로, 비교키포인트군 생성부(151)에서 선정된 특정 키포인트 하나에 의해 발생하는 키포인트 기술자간 비교 횟수는, 25회에 정규화 영상에 포함되는 얼굴 영상의 수(1 + 포즈별 얼굴 영상의 수)를 곱한 수가 된다.

정규화 영상과 등록 얼굴 영상의 키포인트 기술자간 비교는 키포인트 기술자간 거리를 계산하고 그 거리값을 활용하는 점에 있어서, 상술한 내용과 유사한 면이 있다. 다만, 비교키포인트군에 복수의 키포인트로 구성됨에 의해서 최종적으로 얼굴 인식 결과를 얻기까지 과정이 상이한 부분이 있으므로 이를 설명한다.

예를 들어, 정면 얼굴 영상과 등록 얼굴 영상이 있고, 비교키포인트군은 5×5 형태로 25개의 비교키포인트로 구성되어 있다고 가정한다.

먼저 비교키포인트 매칭부(152)는 25번의 키포인트 기술자간의 거리 산출을 하며, 비교키포인트군에서 정면 등록 영상의 키포인트 기술자와 가장 가까운 거리를 갖는 키포인트 기술자를 찾는다.

여기서, 정규화 영상에 포함된 얼굴과 등록 얼굴 영상에 포함된 얼굴이, 동일 인물을 나타낸다고 하더라도 영상 촬영 시점에 따라 각 영상에 포함된 얼굴이 완전히 일치되지 않는데다가, 정규화 과정에서도 항상 동일하게 정규화가 이루어지지 않기 때문에, 키포인트 기술자간에 가장 가까운 거리를 가질 때, 각 키포인트 기술자의 키포인트 위치가 동일한 위치가 아닐 수 있다.

예를 들어, 위와 같이 5×5 형태의 비교키포인트군에 의할 때, 정면 얼굴 영상의 특정 키포인트의 좌표가 (15,15)라면, 비교키포인트군의 포함된 키포인트의 좌표는 (13,13)에서부터 (17,17)이 되는데, 키포인트 기술자간에 가장 가까운 거리를 가질 때의 비교키포인트군에 포함된 비교키포인트의 좌표가 (17,17)이 될 수 있다.

이때, 정면 얼굴 영상의 (15, 15)좌표에 있는 키포인트는 등록 얼굴 영상의 (17,17) 좌표에 있는 키포인트와 1차 매칭되었다고 판단할 수 있다.

이에 더해 비교키포인트군 매칭부(152)는 얼굴 오인식의 경우를 최소화하기 위해서, 1차 매칭 이후에 한번 더 매칭과정을 거친다.

비교키포인트군 매칭부(152)는 키포인트 기술자간에 두 번째로 가까운 거리를 가질 때의 키포인트 기술자와, 그 키포인트 기술자와 대응되는 비교키포인트를 찾는다.

예를 들어, 정면 얼굴 영상과 등록 얼굴 영상의 키포인트 기술자간에 두 번째로 가까운 거리를 가질 때의 비교키포인트가 (17,14)좌표에 있는 비교키포인트라고 한다면, 정면 얼굴 영상의 (15,15)좌표에 있는 키포인트는 (17,14) 좌표에 있는 비교키포인트와 2차 매칭되었다고 판단할 수 있다. 여기까지가 수학식 3의 내용이다.

비교키포인트 매칭부(152)는 1차 매칭때의 키포인트 기술자간 거리(이하, 1차 기술자 거리)와 2차 매칭때의 키포인트 기술자간 거리(이하, 2차 기술자 거리)를 이용하여 키포인트 기술자간 거리 비율을 산출한다.

키포인트 기술자간 거리 비율의 한 예시로서, 키포인트 기술자간 거리 비율을 1차 기술자 거리를 2차 기술자 거리로 나눈 값으로 정의할 수 있으며, 언제나 1차 기술자 거리가 2차 기술자 거리보다 더 짧은 값인 특성상, 키포인트 기술자간 거리 비율은 언제나 1보다 작거나 같은 수가 된다. 키포인트 기술자간 거리 비율을 다른 방식으로 정의해도 본 발명의 범주를 벗어나지 않는다.

비교키포인트 매칭부(152)는 위와 같이 키포인트 기술자간 거리 비율을 산출하여, 그 값을 미리 정해진 임계 거리 비율보다 낮은 경우에 정규화 영상과 등록 얼굴 영상이 매칭된 것으로 본다. 여기까지가 수학식 4의 내용이다.

키포인트 기술자간 거리 비율이 다르게 정의되는 경우(2차 기술자 거리를 1차 기술자 거리로 나눈 값)에는 그 값이 미리 정해진 임계 거리 비율보다 높은 경우에 정규화 영상과 등록 얼굴 영상이 매칭된 것으로 볼 수 있으며, 이때 비교키포인트 매칭부(152)에 사전에 정의되는 수학식 4의 내용은 부등호의 방향이 적절하게 변경될 수 있다.

정규화 영상과 등록 얼굴 영상이 서로 매칭된 것으로 판단되는 경우에는, 상술한 것과 같이 입력 영상 식별 기호 할당부(154) 또는 포즈별 영상 식별 기호 할당부(155)에 의해 정규화 영상의 특정 키포인트 하나에 식별 기호 하나가 할당된다.

등록 영상 판단부(150)는 위와 같은 방법을 정규화 영상의 모든 키포인트에 반복적용하여, 각 키포인트에 하나의 식별 기호를 할당할 수 있도록 한다.

다수결 판단부(153)는 입력된 얼굴 영상 및 복수의 포즈별 얼굴 영상의 모든 키포인트에 할당된 할당된 식별 기호를 수집하고, 수집된 식별 기호 중 과반수인 최빈 식별 기호를 산출하여, 최빈 식별 기호에 해당하는 등록 얼굴 영상의 얼굴을 입력된 얼굴 영상의 얼굴과 동일인의 얼굴로 판단한다.

다수결 판단부(153)는 비교키포인트 매칭부(152)를 거치면서 정규화 영상의 키포인트에 할당된 식별 기호를 수집한다.

수집되는 식별 기호의 수는 정규화 영상에 포함된 영상(정면 얼굴 영상, 복수의 포즈별 영상)마다 설정되어 있는 키포인트의 수와 동일하다.

그 다음, 다수결 판단부(153)는 수집된 식별 기호에서 과반수인 최빈 식별 기호를 판별하고, 그 식별 기호에 해당하는 등록 얼굴 영상의 얼굴을 입력된 얼굴 영상의 얼굴과 동일인의 얼굴로 판단한다.

수집된 식별 기호 중 가장 많은 수의 식별 기호가, 전체 식별 기호 수의 과반수가 되지 않는 경우에는, 입력된 얼굴 영상에 포함된 얼굴은 등록 얼굴 영상의 얼굴과 동일인물의 얼굴로 볼 수 없다고 판단하여, 얼굴 인식이 불가하다는 결과를 출력하거나, 가장 많은 수의 식별 기호에 해당하는 등록 얼굴 영상의 얼굴을 화면에 출력하여, 그 화면을 볼 수 있는 사람에게 동일인 판단을 맡길 수 있다.

다수결 판단부(153)는 추가적으로 얼굴 오인식 확률을 최소화하기 위해 상술한 '키포인트 기술자 거리 비율'뿐만 아니라, '매칭 키포인트의 개수 비율'도 고려할 수 있다.

매칭 키포인트의 개수 비율이란, 수학식 5와 같이 정의된다.

수학식 5에서 X는 정규화 영상에 정의된 키포인트 기술자 집합을 나타내고, CNT(RANK2)는 두 번째로 많은 식별 기호가 할당된 키포인트의 개수, CNT(RANK1)는 최빈 식별 기호가 할당된 키포인트의 개수, RATIO(X)는 매칭 키포인트의 개수 비율이다. 매칭 키포인트의 개수 비율은, 변수인 CNT(RANK1)이 CNT(RANK2)보다 언제나 클 수 밖에 없으므로, 언제나 1을 넘지 않는 수이다.

매칭 키포인트 개수 비율이 기설정된 임계 키포인트 개수 비율보다 낮아야 신뢰할 수 있는 얼굴 인식이 된 것으로 볼 수 있다. 이는 최빈 식별 기호가 할당된 키포인트의 개수와 두 번째로 많은 식별 기호가 할당된 키포인트의 개수가 비슷하다면 두 등록 얼굴 영상간의 변별력이 낮아서, 입력된 얼굴 영상이 등록 얼굴 영상과 비교하여 정확하게 얼굴 인식이 되었다고 보기 어렵기 때문이다.

예를 들어, 입력된 얼굴 영상에 설정된 100개의 키포인트 중, 51개는 식별 기호 A를 할당받고, 49개는 식별 기호 B를 할당받았다고 가정한다.

이 경우, 수학식 5에 대입하기 위해 변수를 구하면, CNT(RANK1)가 51이고, CNT(RANK2)가 49가 되며, CNT(RANK1)가 100의 과반수인 51이 되어 최빈 식별 기호라고도 볼 수 있다.

다만, 두 번째로 많은 식별 기호인 B가 51개에 가까운 49개나 입력된 얼굴 영상의 키포인트에 할당되어 있으므로, 입력된 얼굴 영상의 얼굴과 식별 기호 A에 해당하는 등록 얼굴 영상의 얼굴이 동일인의 얼굴이라고 판단하기 어렵다. 상술한 예를 통해 '매칭 키포인트 개수 비율'을 구하면 49/51 = 0.961.. 이 된다.

수학식 6는 매칭 키포인트 개수 비율과 비교되는 임계 키포인트 개수 비율을 정의한다.

수학식 6의

은 임계 키포인트 개수 비율로서, 예를 들어 임계 키포인트 개수 비율이 0.6으로 정의되었다면, 수학식 5와 함께 상술한 예시에서의 매칭 키포인트 개수 비율은 0.961이므로, 임계 키포인트 개수 비율을 초과하여 신뢰할 수 없는 얼굴 인식으로 판단될 수 있다.

입력 영상 식별 기호 할당부(154) 또는 포즈별 영상 식별 기호 할당부(155)는 비교키포인트 매칭부(152)와 연동되어, 정규화 영상의 각 키포인트에 등록 얼굴 영상의 고유한 식별 기호를 할당한다.

등록 얼굴 영상 데이터 베이스(156)는 등록 얼굴 영상을 저장해두고 있다가, 비교키포인트군 생성부(151), 비교키포인트군 매칭부(152), 다수결 판단부(153)의 요청에 의해 등록 얼굴 영상에 대한 정보를 제공할 수 있다.

등록 얼굴 영상 데이터 베이스(156)는 등록 얼굴 영상 뿐만 아니라, 다수결 판단부(153)에 의해 최빈 식별 기호로 판별된 식별 기호에 대응하는 등록 얼굴 영상에 대해 가중치를 둘 수 있으며, 이 가중치가 설정된 등록 얼굴 영상에 대해서는 도 9와 함께 후술한다.

도 8은 본 발명의 일 실시 예에 따른 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 방법에 대한 순서도이다.

명세서의 간명화를 위해서, 도 1의 블록도와 중복되는 설명은 생략한다.

합성 얼굴 생성부는 입력된 얼굴 영상으로부터 포즈별 얼굴 영상을 생성한다.(S810)

보다 상세하게 설명하면, 먼저 합성 얼굴 생성부는 카메라와 같은 촬상 장치에 의해 촬영된 얼굴을 포함한 영상(이하, 입력된 얼굴 영상)을 입력받고, 영상으로부터 얼굴 및 눈을 검출한다.

키포인트 기술자 추출부는 입력된 얼굴 영상과 포즈별 얼굴 영상의 동일한 위치에 복수의 키포인트를 설정하고, 키포인트의 위치를 기준으로 하여 크기와 방향을 갖는 키포인트 기술자를 추출한다.(S820)

등록 얼굴 판단부는 입력된 얼굴 영상과 포즈별 얼굴 영상의 키포인트 기술자와, 적어도 하나 이상의 기저장된 등록 얼굴 영상의 키포인트 기술자를 서로 비교한다.(S830)

등록 얼굴 판단부는 키포인트 기술자간 비교 후 산출되는 키포인트 기술자간 거리 비율을 기초로 입력된 얼굴 영상 및 포즈별 얼굴 영상에 등록 얼굴 영상의 고유한 식별 기호를 할당한다.(S840)

등록 얼굴 판단부는 정규화 영상의 각 키포인트에 할당된 식별 기호를 수집하여, 가장 많이 할당된 식별 기호인 최빈 식별 기호를 산출하고, 그 최빈 식별 기호의 수가 전체 식별 기호의 수에서 얼마만큼의 비율을 차지하는지 산출한다.(S850)

등록 얼굴 판단부는 최빈 식별 기호의 수가 전체 식별 기호의 수에서 차지하는 비율이 과반수(50%초과)로 산출되었는 지 판단한다.(S860)

등록 얼굴 판단부는 최빈 식별 기호의 수가 전체 식별 기호의 수에서 차지 하는 비율이 과반수로 산출되었다면, 최빈 식별 기호에 해당하는 등록 얼굴 영상의 얼굴을 입력된 얼굴 영상의 얼굴과 동일인의 얼굴로 판단한다.(S870)

이에 비해, 등록 얼굴 판단부는 최빈 식별 기호의 수가 전체 식별 기호의 수에서 차지 하는 비율이 과반수에 미치지 못한다면 입력된 얼굴 영상에 포함된 얼굴은 등록 얼굴 영상의 얼굴과 동일인물의 얼굴로 볼 수 없다고 판단하여, 얼굴 인식이 불가하다는 결과를 출력하거나, 가장 많은 수의 식별 기호에 해당하는 등록 얼굴 영상의 얼굴을 화면에 출력하여, 그 화면을 볼 수 있는 사람에게 동일인 판단을 맡길 수 있다.(S880)

도 9는 본 발명의 일 실시 예에 따른 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템의 다수결 판단부에 포함된 분할 매칭부를 예시한다.

도 9의 분할 매칭부는 캐시 데이터 베이스(910), 캐시 데이터 매칭부(920), 캐시 매칭 투표부(930), 캐시 매칭 인식 결정부(940), 갤러리 데이터 베이스(950), 갤러리 데이터 매칭부(960), 갤러리 데이터 투표부(970), 및 갤러리 매칭 인식 결정부(980)를 포함하며, 설명의 용이함을 위해서, 도 1의 등록 얼굴 판단부(150)를 참조한다.

캐시 데이터 베이스(910)는 등록 얼굴 영상 데이터베이스(156)로부터 가중치가 설정된 적어도 하나 이상의 등록 얼굴 영상을 전달받는다.

여기서, 등록 얼굴 영상의 가중치는 그 등록 얼굴 영상의 식별 기호가 최근에 최빈 식별 기호로 판별되었을 때, 등록 얼굴 영상 데이터베이스(156)에 의해 설정되는 값으로, 자주 최빈 식별 기호로 판별된다는 것은 가까운 미래에 다시 최빈 식별 기호로 판별될 확률이 높다는 가정하에 정의되는 값이다.

본 발명은 얼굴 인식에 있어서, 더 정확하고 빠른 시스템 및 방법을 제공하기 위해 제안된 것으로, 특히 정보보안이 엄격한 회사에서 본 발명이 구현된다고 가정하면, 대개 얼굴을 인식하기 위해 입력되는 영상의 얼굴은 그 회사의 직원일 확률이 극단적으로 높기 마련이다. 그리고 그 회사의 직원내에서도, 출입빈도가 높은 직원이 있을 수 있는데, 그 직원에 대한 등록 얼굴 영상을 빠르게 얼굴 인식을 할 수 있도록 별도의 소규모 데이터베이스에 저장해두는 것이다.

캐시 데이터 매칭부(920)는 캐시 데이터 베이스(910)에 저장된 등록 얼굴 영상의 키포인트 기술자와 정규화 영상의 키포인트 기술자를 비교한다.

캐시 데이터 베이스(910)에 저장된 등록 얼굴 영상의 키포인트 기술자와 정규화 영상의 키포인트 기술자를 비교하는 예로서, 상술한 키포인트 기술자간 거리 비율을 산출하여 미리 저장된 임계 거리 비율과 비교하는 방식이 있을 수 있다. 또한, 최빈 식별 기호를 산출하는 데에 있어서 다수결 기법(과반수인 식별 기호만을 인정)을 적용할 수 있다.

캐시 매칭 투표부(930)는 얼굴 오인식의 확률을 최소화하기 위해서, 입력된 얼굴 영상을 구성하는 일정 비디오 프레임에 대해서 각각 키포인트 기술자를 추출하여, 케시 데이터 베이스(910)에 저장된 등록 얼굴 영상의 키포인트 기술자와 비교한다.

캐시 매칭 투표부(930)는 더 빠른 얼굴 인식을 위해 등록 얼굴 영상의 일부만을 캐시 데이터 베이스(910)에 저장하는 특성상, 캐시 데이터 베이스(910)를 이용함으로써 발생할 수 있는 얼굴 인식 정확도 하락을 보완하는 기능을 한다.

예를 들어, 캐시 매칭 투표부(930)는 일정 프레임에 대해서 최빈 식별 기호를 추가로 산출했으므로, 캐시 데이터 매칭부(920) 및 캐시 매칭 투표부(930)에서 각각 산출된 최빈 식별 기호가 동일하다면, 최종 산출되는 얼굴 인식 결과는 더 적은 수의 등록 얼굴 영상을 데이터베이스에 저장하여 얼굴 인식과정을 수행했더라도, 높은 신뢰도를 가질 수 있다.

캐시 매칭 인식 결정부(940)는 캐시 데이터 매칭부(920)와 캐시 매칭 투표부(930)의 결과값을 토대로, 최빈 식별 기호에 해당하는 등록 얼굴 영상의 얼굴을 입력된 얼굴 영상의 얼굴과 동일인의 얼굴로 판단한다.

이때 캐시 매칭 인식 결정부(940)는 캐시 데이터 매칭부(920)와 캐시 매칭 투표부(930)에서 산출된 최빈 식별 기호가 전체 식별 기호의 수에 있어서, 과반수가 되지 못함에도 산출되었다면, 얼굴 오인식으로 판단하여, 갤러리 데이터 매칭부(960)로 정규화 영상의 키포인트 기술자 및 각종 정보를 전달한다.

갤러리 데이터 베이스(950)는 전체 등록 얼굴 영상 중 캐시 데이터 베이스(910)에 전달된 등록 얼굴 영상을 제외한 나머지 등록 얼굴 영상을 등록 얼굴 영상 데이터베이스(156)로부터 전달받아 저장한다. 상세하게는, 나머지 등록 얼굴 영상이란, 최근에 최빈 식별 기호로 판별된 식별 기호에 해당하지 않는 등록 얼굴 영상을 의미한다.

갤러리 데이터 매칭부(960)는 갤러리 데이터 베이스(950)에 저장된 등록 얼굴 영상의 키포인트 기술자와 정규화 영상의 키포인트 기술자를 비교한다.

갤러리 매칭 투표부(970)는 얼굴 오인식의 확률을 최소화하기 위해서, 입력된 얼굴 영상을 구성하는 일정 비디오 프레임에 대해서 각각 키포인트 기술자를 추출하여, 갤러리 데이터 베이스(950)에 저장된 등록 얼굴 영상의 키포인트 기술자와 비교한다. 갤러리 데이터 매칭부(960) 및 갤러리 매칭 투표부(970)에서 키포인트 기술자를 비교하는 방법과 순서는 캐시 데이터 매칭부(920) 및 캐시 매칭 투표부(930)와 동일하게 진행된다.

갤러리 매칭 인식 결정부(980)는 갤러리 데이터 매칭부(920)와 갤러리 매칭 투표부(930)의 결과값을 토대로, 최빈 식별 기호에 해당하는 등록 얼굴 영상의 얼굴을 입력된 얼굴 영상의 얼굴과 동일인의 얼굴로 판단한다.

이때 갤러리 매칭 인식 결정부(980)는 갤러리 데이터 매칭부(960)와 갤러리 매칭 투표부(970)에서 산출된 최빈 식별 기호가 전체 식별 기호의 수에 있어서, 과반수가 되지 못함에도 산출되었다면, 얼굴 인식이 불가하다는 결과를 출력하거나, 현재 최빈 식별 기호에 해당하는 등록 얼굴 영상의 얼굴을 화면에 출력하여, 그 화면을 볼 수 있는 사람에게 동일인 판단을 맡길 수 있다.

도 10은 등록 얼굴 영상의 비교키포인트군과 입력된 얼굴 영상의 키포인트에서 각각 추출된 키포인트 기술자를 서로 비교하는 것을 예시한다. 도 10에서 비교키포인트군에 포함된 비교키포인트의 개수는 25개이며, 5x5의 정사각형 형태로 비교키포인트를 구성하고 있는 것을 알 수 있다.

도 11은 복수의 등록 얼굴 영상의 비교키포인트군과 입력된 얼굴 영상의 키포인트에서 각각 추출된 키포인트 기술자를 서로 비교하는 것을 예시한다.

도 11의 상단부분은 정규화처리된 입력된 얼굴 영상(안경 착용)과 등록 얼굴 영상 중 어느 하나를 비교하는 것을 예시한다. 도 11의 하단부분은 정규화처리된 입력된 얼굴 영상과 등록 얼굴 영상 중 앞서 비교한 얼굴 영상과 다른 등록 얼굴 영상을 비교하는 것을 예시한다.

도 12는 등록 얼굴 영상이 생성되는 과정과 복수의 등록 얼굴 영상의 비교키포인트군과 입력된 얼굴 영상의 키포인트에서 각각 추출된 키포인트 기술자를 서로 비교하는 과정을 예시한다.

도 12의 상단 부분은 등록 얼굴 영상이 등록 얼굴 영상 데이터베이스에 기록되는 과정을 예시한다. 더 정확한 얼굴 인식을 위해, 등록 얼굴 영상을 생성할 때에는 정면 얼굴뿐만 아니라, 상단, 하단, 좌측, 우측에서 본 얼굴에 대한 것도 등록 얼굴 영상으로 저장할 수 있다.

도 12의 하단 부분은 도 11의 내용과 연동하여, 본 발명에 따른 얼굴 인식 시스템 및 방법이 구현된 경우, 특정 얼굴을 포함하는 영상이 입력되었을 때, 그 특정 얼굴을 포함하는 영상의 얼굴과 등록 얼굴 영상 데이터베이스에 기록된 등록 얼굴 영상이 서로 비교되는 과정을 도식적으로 나타낸다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되지 아니하고, 첨부된 청구범위에 의해 권리범위를 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경할 수 있다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.

110 : 합성얼굴 생성부 153 : 다수결 판단부
130 : 키포인트 기술자 추출부 154 : 입력 영상 식별 기호 할당부
150 : 등록 얼굴 판단부 155 : 포즈별 영상 식별 기호 할당부
151 : 비교키포인트군 생성부 156 : 등록 얼굴 영상 데이터베이스
152 : 비교키포인트군 매칭부

Claims (6)

1. 입력된 얼굴 영상으로부터 복수의 포즈별 얼굴 영상을 생성하는 합성 얼굴 생성부;
   상기 입력된 얼굴 영상과 상기 포즈별 얼굴 영상의 동일한 위치에 복수의 키포인트를 설정하고, 상기 키포인트의 위치를 기준으로 하여 크기와 방향을 갖는 키포인트 기술자를 추출하는 키포인트 기술자 추출부; 및
   상기 입력된 얼굴 영상과 상기 포즈별 얼굴 영상의 키포인트 기술자와, 적어도 하나 이상의 기저장된 등록 얼굴 영상의 키포인트 기술자를 서로 비교하여, 상기 등록 얼굴 영상 중에서
   상기 입력된 얼굴 영상의 얼굴과 상기 등록 얼굴 영상의 얼굴이 동일인의 얼굴인지 판단하는 등록 얼굴 판단부; 를 포함하는 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템.
2. 제1항에 있어서, 상기 등록 얼굴 판단부는
   상기 입력된 얼굴 영상과 상기 포즈별 얼굴 영상에서 특정 키포인트를 선정하고, 상기 등록 얼굴 영상의 상기 특정 키포인트와 같은 위치의 키포인트를 중심으로 하는 복수의 키포인트로 구성된 비교키포인트군을 생성하는 비교키포인트군 생성부; 및
   상기 특정 키포인트로부터 추출된 키포인트 기술자와 상기 비교키포인트군에 포함된 각각의 키포인트로부터 추출된 복수의 키포인트 기술자를 비교하는 비교키포인트군 매칭부; 를 포함하는 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템.
3. 제1항 또는 제2항에 있어서, 상기 등록 얼굴 판단부는,
   상기 입력된 얼굴 영상의 키포인트 기술자와 상기 등록 얼굴 영상의 키포인트 기술자를 비교하여, 제1 유사도를 산출하고, 상기 제1 유사도가 기설정된 임계범위에 속하면 상기 등록 얼굴 영상의 고유한 식별 기호를 상기 입력된 얼굴 영상에 할당하는 입력 영상 식별 기호 할당부;
   상기 포즈별 얼굴 영상의 키포인트 기술자와 상기 등록 얼굴 영상의 키포인트 기술자를 비교하여, 제2 유사도를 산출하고, 상기 제2 유사도가 기설정된 임계범위에 속하면 상기 등록 얼굴 영상의 고유한 식별 기호를 상기 포즈별 얼굴 영상에 할당하는 포즈별 영상 식별 기호 할당부; 및
   상기 입력된 얼굴 영상 및 포즈별 얼굴 영상에 할당된 상기 등록 얼굴 영상의 고유한 식별 기호를 수집하고, 수집된 식별 기호 중 과반수를 갖는 최빈 식별 기호를 산출하여, 상기 최빈 식별 기호에 해당하는 등록 얼굴 영상의 얼굴을 상기 입력된 얼굴 영상의 얼굴과 동일인의 얼굴로 판단하는 다수결 판단부; 를 포함하는 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템.
4. 입력된 얼굴 영상으로부터 복수의 포즈별 얼굴 영상을 생성하는 합성 얼굴 생성 단계;
   상기 입력된 얼굴 영상과 상기 포즈별 얼굴 영상의 동일한 위치에 복수의 키포인트를 설정하고, 상기 키포인트의 위치를 기준으로 하여 크기와 방향을 갖는 키포인트 기술자를 추출하는 키포인트 기술자 추출 단계; 및
   상기 입력된 얼굴 영상과 상기 포즈별 얼굴 영상의 키포인트 기술자와, 적어도 하나 이상의 기저장된 등록 얼굴 영상의 키포인트 기술자를 서로 비교하여, 상기 등록 얼굴 영상 중에서 상기 입력된 얼굴 영상의 얼굴과 상기 등록 얼굴 영상의 얼굴이 동일인의 얼굴인지 판단하는 등록 얼굴 판단 단계; 를 포함하는 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 방법.
5. 제4항에 있어서, 상기 등록 얼굴 판단 단계는
   상기 입력된 얼굴 영상과 상기 포즈별 얼굴 영상에서 특정 키포인트를 선정하고, 상기 등록 얼굴 영상의 상기 특정 키포인트와 같은 위치의 키포인트를 중심으로 하는 복수의 키포인트로 구성된 비교키포인트군을 생성하는 비교키포인트군 생성 단계; 및
   상기 특정 키포인트로부터 추출된 키포인트 기술자와 상기 비교키포인트군에 포함된 각각의 키포인트로부터 추출된 복수의 키포인트 기술자를 비교하는 비교키포인트군 매칭 단계; 를 포함하는 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 방법.
6. 제4항 또는 제5항에 있어서, 상기 등록 얼굴 판단 단계는,
   상기 입력된 얼굴 영상의 키포인트 기술자와 상기 등록 얼굴 영상의 키포인트 기술자를 비교하여, 제1 유사도를 산출하고, 상기 제1 유사도가 기설정된 임계범위에 속하면 상기 등록 얼굴 영상의 고유한 식별 기호를 상기 입력된 얼굴 영상에 할당하는 입력 영상 식별 기호 할당 단계;
   상기 포즈별 얼굴 영상의 키포인트 기술자와 상기 등록 얼굴 영상의 키포인트 기술자를 비교하여, 제2 유사도를 산출하고, 상기 제2 유사도가 기설정된 임계범위에 속하면 상기 등록 얼굴 영상의 고유한 식별 기호를 상기 포즈별 얼굴 영상에 할당하는 포즈별 영상 식별 기호 할당 단계; 및
   상기 입력된 얼굴 영상 및 포즈별 얼굴 영상에 할당된 상기 등록 얼굴 영상의 고유한 식별 기호를 수집하고, 수집된 식별 기호 중 과반수를 갖는 최빈 식별 기호를 산출하여, 상기 최빈 식별 기호에 해당하는 등록 얼굴 영상의 얼굴을 상기 입력된 얼굴 영상의 얼굴과 동일인의 얼굴로 판단하는 다수결 판단 단계; 를 포함하는 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 방법.

Images