KR102225623B1

KR102225623B1 - Face recognizing system using keypoint descriptor matching and majority vote and method thereof

Info

Publication number: KR102225623B1
Application number: KR1020140124637A
Authority: KR
Inventors: 전승선; 노승인; 강봉남; 왕하이; 김대진
Original assignee: 한화테크윈 주식회사; 포항공과대학교 산학협력단
Priority date: 2014-09-18
Filing date: 2014-09-18
Publication date: 2021-03-12
Also published as: KR102225623B9; KR20160033552A

Abstract

본 발명에 따른 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템 및 방법에 의하면, 입력된 얼굴 영상과 등록 얼굴 영상으로부터 키포인트 기술자를 추출하여 비교하고, 다수결 기법으로 동일인 여부를 판단함으로써, 더 빠르고 정확한 얼굴 인식이 가능하다.According to the face recognition system and method based on the keypoint descriptor matching and majority voting method according to the present invention, by extracting and comparing the keypoint descriptor from the input face image and the registered face image, and determining whether the same person is the same by the majority voting method, faster and more accurate face recognition This is possible.

Description

[Face recognizing system using keypoint descriptor matching and majority vote and method thereof]

본 발명은 얼굴 인식 시스템 및 방법에 관한 것으로, 구체적으로는 입력된 영상에 포함된 얼굴과 미리 저장된 얼굴을 비교하여, 동일인인지 여부를 판단하는 시스템 및 방법에 관한 것이다.The present invention relates to a face recognition system and method, and more particularly, to a system and method for determining whether the person is the same person by comparing a face included in an input image with a previously stored face.

생체 인식 기술은 개인마다 갖고 있는 고유한 지문, 얼굴, 홍채, 정맥 등의 신체 특징을 인식하는 기술이다. 이와 같은 신체 특징은 열쇠나 비밀번호처럼 타인에게 도용이나 복제될 수 없으며, 변경되거나 분실할 위험성이 없어 보안 분야 등에 활용될 수 있다. 신체 특징은 개인마다 고유한 특징을 가지므로, 다른 인물을 같은 인물로 인식하는 오인식을 최소화시킬 수 있으며, 그 중에서도 얼굴 특징을 기반으로 하는 얼굴 인식 기술은 지문이나 홍채 인식 등의 생체 인식 기술들에 비해서, 그 인식 절차가 복잡하지 않고 자연스러우며, 사용자에게 거부감을 주지 않는다는 장점이 있다.Biometric recognition technology is a technology that recognizes physical features such as fingerprints, faces, irises, and veins that are unique to each individual. Such physical characteristics cannot be stolen or copied to others like keys or passwords, and there is no risk of being changed or lost, so it can be used in security fields. Since body features have unique features for each individual, it is possible to minimize misrecognition of recognizing other people as the same person. Among them, facial recognition technology based on facial features is suitable for biometric recognition technologies such as fingerprint and iris recognition. In contrast, the recognition procedure is not complex and natural, and has the advantage of not giving the user a sense of rejection.

다만, 얼굴 인식 기술은 얼굴로부터 검출될 수 있는 고유한 특징이 사진이나 영상 형태로 샘플링 등을 거쳐 기록되면서, 동일하거나 극히 유사한 형태로 변경되어 오인식이 발생하는 경우도 있으며, 조명 변화 및 회전 변화 등의 요소가 얼굴 인식의 정확성에 상당한 영향을 끼치는 한계점이 존재한다.However, in the face recognition technology, as the unique features that can be detected from the face are recorded through sampling in the form of photos or images, there are cases where they are changed into the same or extremely similar form, resulting in misrecognition, and changes in lighting and rotation, etc. There is a limitation in that the factor of is significantly affecting the accuracy of face recognition.

일본공개특허 2006-338092호Japanese Patent Publication No. 2006-338092

본 발명이 해결하고자 하는 기술적 과제는 키포인트 기술자 및 다수결 기법을 이용함으로써, 종래의 얼굴 인식 시스템 및 방법보다 입력된 영상에 포함된 얼굴에 다양한 표정 및 포즈 변화가 있을 때에 더 정확한 얼굴 인식을 할 수 있는 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템 및 방법을 제공하는 데에 있다.The technical problem to be solved by the present invention is that by using a keypoint descriptor and a majority vote technique, more accurate face recognition can be performed when there are various facial expressions and pose changes on the face included in the input image than the conventional face recognition system and method. It is to provide a face recognition system and method based on keypoint descriptor matching and majority voting techniques.

상기의 기술적 과제를 해결하기 위한 본 발명의 제1 실시 예에 따른 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템은, 입력된 얼굴 영상으로부터 복수의 포즈별 얼굴 영상을 생성하는 합성 얼굴 생성부; 상기 입력된 얼굴 영상과 상기 포즈별 얼굴 영상의 동일한 위치에 복수의 키포인트를 설정하고, 상기 키포인트의 위치를 기준으로 하여 크기와 방향을 갖는 키포인트 기술자를 추출하는 키포인트 기술자 추출부; 및 상기 입력된 얼굴 영상과 상기 포즈별 얼굴 영상의 키포인트 기술자와, 적어도 하나 이상의 기저장된 등록 얼굴 영상의 키포인트 기술자를 서로 비교하여, 상기 등록 얼굴 영상 중에서 상기 입력된 얼굴 영상의 얼굴과 상기 등록 얼굴 영상의 얼굴이 동일인의 얼굴인지 판단하는 등록 얼굴 판단부;를 포함한다.In order to solve the above technical problem, a face recognition system based on a keypoint descriptor matching and majority voting technique according to a first embodiment of the present invention includes: a synthetic face generator configured to generate face images for each of a plurality of poses from an input face image; A keypoint descriptor extraction unit configured to set a plurality of keypoints at the same position of the input face image and the face image for each pose, and extract a keypoint descriptor having a size and a direction based on the position of the keypoint; And comparing the input face image with a keypoint descriptor of the face image for each pose, and a keypoint descriptor of at least one pre-stored registered face image with each other, and the face of the input face image and the registered face image among the registered face images. And a registered face determination unit that determines whether the face of the same person is the face of the same person.

상기의 기술적 과제를 해결하기 위한 본 발명의 제2 실시 예에 따른 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 방법은, 입력된 얼굴 영상으로부터 복수의 포즈별 얼굴 영상을 생성하는 합성 얼굴 생성 단계; 상기 입력된 얼굴 영상과 상기 포즈별 얼굴 영상의 동일한 위치에 복수의 키포인트를 설정하고, 상기 키포인트의 위치를 기준으로 하여 크기와 방향을 갖는 키포인트 기술자를 추출하는 키포인트 기술자 추출 단계; 및 상기 입력된 얼굴 영상과 상기 포즈별 얼굴 영상의 키포인트 기술자와, 적어도 하나 이상의 기저장된 등록 얼굴 영상의 키포인트 기술자를 서로 비교하여, 상기 등록 얼굴 영상 중에서 상기 입력된 얼굴 영상의 얼굴과 상기 등록 얼굴 영상의 얼굴이 동일인의 얼굴인지 판단하는 등록 얼굴 판단 단계;를 포함한다.In order to solve the above technical problem, a face recognition method based on a keypoint descriptor matching and majority voting technique according to a second embodiment of the present invention includes: a synthetic face generating step of generating face images for each of a plurality of poses from an input face image; A keypoint descriptor extraction step of setting a plurality of keypoints at the same position of the input face image and the face image for each pose, and extracting a keypoint descriptor having a size and a direction based on the position of the keypoint; And comparing the input face image with a keypoint descriptor of the face image for each pose, and a keypoint descriptor of at least one pre-stored registered face image with each other, and the face of the input face image and the registered face image among the registered face images. And a registered face determination step of determining whether the face of the same person is the face of the same person.

본 발명에 따른 얼굴 인식 시스템 및 방법에 의하면, 키포인트 기술자를 추출하고 매칭함으로써, 더 정확하게 입력된 영상의 얼굴이 등록된 얼굴인지 판단할 수 있다. 또한, 다수결 기법과 캐시 데이터 베이스를 이용하여 더 빠른 얼굴 인식이 가능하다.According to the face recognition system and method according to the present invention, by extracting and matching a keypoint descriptor, it is possible to more accurately determine whether a face of an input image is a registered face. In addition, faster face recognition is possible by using a majority voting technique and a cache database.

도 1은 본 발명의 일 실시 예에 따른 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템의 블록도이다.
도 2는 CCD 디지털 카메라에 의해 찍히는 피사체와 그 CCD 디지털 카메라에 의해 처리된 영상의 차이를 도식적으로 나타낸다.
도 3은 입력된 얼굴 영상을 정규화한 정면 얼굴 영상과 4개의 포즈별 얼굴 영상을 예시한다.
도 4는 키포인트 기술자 추출부에 의해 입력된 얼굴 영상 및 포즈별 얼굴 영상에 키포인트를 설정하는 것을 예시한다.
도 5는 키포인트 기술자 추출부에 의해서 반복적으로 키포인트를 추출해나가는 것을 도식적으로 예시한다.
도 6은 정규화 영상과 중첩 블록 기반 격자 키포인트 추출 방법으로 키포인트를 추출한 정규화 영상을 예시한다.
도 7은 키포인트 기술자 추출부에서 정규화 영상에 설정된 각 키포인트에 대한 키포인트 기술자를 생성하는 과정을 예시한다.
도 8은 본 발명의 일 실시 예에 따른 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 방법에 대한 순서도이다.
도 9는 본 발명의 일 실시 예에 따른 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템의 다수결 판단부에 포함된 분할 매칭부를 예시한다.
도 10은 등록 얼굴 영상의 비교키포인트군과 입력된 얼굴 영상의 키포인트에서 각각 추출된 키포인트 기술자를 서로 비교하는 것을 예시한다.
도 11은 복수의 등록 얼굴 영상의 비교키포인트군과 입력된 얼굴 영상의 키포인트에서 각각 추출된 키포인트 기술자를 서로 비교하는 것을 예시한다.
도 12는 등록 얼굴 영상이 생성되는 과정과 복수의 등록 얼굴 영상의 비교키포인트군과 입력된 얼굴 영상의 키포인트에서 각각 추출된 키포인트 기술자를 서로 비교하는 과정을 예시한다.1 is a block diagram of a face recognition system based on a keypoint descriptor matching and majority voting technique according to an embodiment of the present invention.
Fig. 2 schematically shows the difference between a subject photographed by a CCD digital camera and an image processed by the CCD digital camera.
3 illustrates a front face image obtained by normalizing an input face image and a face image for each of four poses.
4 illustrates an example of setting a key point in a face image and a face image for each pose input by a key point descriptor extraction unit.
5 schematically illustrates that a keypoint is repeatedly extracted by a keypoint descriptor extraction unit.
6 illustrates a normalized image and a normalized image obtained by extracting a key point using a method for extracting a grid key point based on an overlapping block.
7 illustrates a process of generating a keypoint descriptor for each keypoint set in a normalized image by a keypoint descriptor extraction unit.
8 is a flowchart illustrating a method for face recognition based on a keypoint descriptor matching and majority voting technique according to an embodiment of the present invention.
9 illustrates a division matching unit included in a majority vote determination unit of a face recognition system based on a keypoint descriptor matching and a majority vote technique according to an embodiment of the present invention.
10 illustrates comparison of a comparison key point group of a registered face image and a key point descriptor extracted from a key point of an input face image with each other.
11 illustrates comparison of a comparison key point group of a plurality of registered face images and a key point descriptor extracted from key points of an input face image with each other.
12 illustrates a process of generating a registered face image and a process of comparing a comparison key point group of a plurality of registered face images and a key point descriptor extracted from key points of the input face image with each other.

이하 본 발명의 바람직한 실시 예가 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. It should be noted that the same components among the drawings are denoted by the same reference numerals and reference numerals as much as possible, even if they are indicated on different drawings.

본 발명을 설명함에 있어서 관련된 공지 기능 혹은 구성에 대해 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하거나 간략하게 설명하는 것으로 한다.In describing the present invention, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted or briefly described.

한편, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.On the other hand, when a part "includes" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary.

도 1은 본 발명의 일 실시 예에 따른 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템의 블록도이다.1 is a block diagram of a face recognition system based on a keypoint descriptor matching and majority voting technique according to an embodiment of the present invention.

도 1의 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템은 합성 얼굴 생성부(110), 키포인트 기술자 추출부(130), 등록 얼굴 판단부(150)를 포함한다.The face recognition system based on the keypoint descriptor matching and majority voting technique of FIG. 1 includes a synthetic face generator 110, a keypoint descriptor extraction unit 130, and a registered face determination unit 150.

합성 얼굴 생성부(110)는 입력된 얼굴 영상으로부터 포즈별 얼굴 영상을 생성한다. The synthetic face generator 110 generates a face image for each pose from the input face image.

보다 상세하게 설명하면, 먼저 합성 얼굴 생성부(110)는 카메라와 같은 촬상 장치에 의해 촬영된 얼굴을 포함한 영상(이하, 입력된 얼굴 영상)을 입력받고, 영상으로부터 얼굴 및 눈을 검출한다. 합성 얼굴 생성부(110)는 입력된 얼굴 영상에서 얼굴 및 눈을 검출하기 위해서, 얼굴 경계선, 이마, 코, 입술 등의 위치를 먼저 특정할 수 있다. In more detail, first, the synthetic face generator 110 receives an image including a face photographed by an imaging device such as a camera (hereinafter, an input face image), and detects a face and eyes from the image. The synthetic face generator 110 may first specify a location of a face boundary line, forehead, nose, lips, etc. in order to detect faces and eyes from the input face image.

그 다음, 합성 얼굴 생성부(110)는 입력된 얼굴 영상을 미리 정해진 크기로 얼굴의 방향, 크기, 조명 성분, 표정 등을 동일한 요소를 갖는 그레이(gray) 영상으로 정규화할 수 있다. 입력된 얼굴 영상은 컬러 영상이므로, 후술하는 등록 얼굴 영상과 비교하기 위해서는 각 영상에 포함된 얼굴의 고유한 특징만을 남길 수 있도록 그레이 영상으로 정규화하는 과정이 필요하다.Then, the synthetic face generator 110 may normalize the input face image to a gray image having the same element, such as the direction, size, lighting component, and expression of the face with a predetermined size. Since the input face image is a color image, in order to compare it with the registered face image to be described later, it is necessary to normalize it to a gray image so that only the unique features of the face included in each image are left.

또한, 주변의 조도값에 의해 얼굴 인식 결과가 달라질 수 있으므로, 입력된 얼굴 영상에 포함된 조명 성분의 영향을 제거하기 위해서 대비 제한 적응 히스토그램 평활화(Contrast Limited Adaptive Histogram Equalization, CLAHE)를 적용할 수 있다.In addition, since the face recognition result may vary depending on the surrounding illuminance value, a Contrast Limited Adaptive Histogram Equalization (CLAHE) can be applied to remove the influence of the lighting component included in the input face image. .

그레이 영상 변환뿐만 아니라, 얼굴의 각 주요 부위인 눈, 코, 입의 위치가 미리 정해진 위치로 오도록 하는 것도 정규화 과정에 포함되며, 사전에 정의된 템플릿(Template)으로 닮음 변환(Similarity Transformation)을 함으로써, 합성 얼굴 생성부(110)는 입력되는 그 어떤 영상에 포함된 얼굴에 대해서도, 동일한 크기와 동일한 눈의 위치를 갖게끔 정규화시킬 수 있다.In addition to the gray image transformation, the normalization process includes making the positions of the eyes, nose, and mouth, which are the main parts of the face, come to a predetermined position, and by performing similarity transformation with a predefined template. , The synthetic face generator 110 may normalize a face included in any input image to have the same size and the same eye position.

정규화를 마친 입력된 얼굴 영상은, 정면을 바라보는 형태가 되며, 명세서 간명화를 위해서, "정규화가 완료된 입력된 얼굴 영상"을 "정면 얼굴 영상"으로 약칭한다.The normalized input face image is in a form facing the front, and for the sake of simplification of the specification, the "normalized input face image" is abbreviated as a "front face image".

입력된 얼굴 영상으로부터 얼굴과 눈이 검출되고, 입력된 얼굴 영상의 각종 정규화 과정이 완료된 이후, 합성 얼굴 생성부(110)는 정규화된 입력된 얼굴 영상으로부터 다양한 방향의 얼굴 영상을 생성한다.After the face and eyes are detected from the input face image and various normalization processes of the input face image are completed, the synthetic face generator 110 generates face images in various directions from the normalized input face image.

여기서 다양한 방향의 얼굴 영상을 생성하는 것은 얼굴 인식에 있어서, 입력되는 얼굴의 포즈, 각도 변화에도 일관된 성능을 보장하기 위함이다.Here, the generation of face images in various directions is to ensure consistent performance in face recognition, even with changes in the input face pose and angle.

명세서의 간명화를 위해서, "정규화된 입력된 얼굴 영상으로부터 생성된 다양한 각도 변화의 얼굴 영상"은 "포즈별 얼굴 영상"으로 약칭한다.For the sake of simplicity of the specification, "a face image with varying angles generated from a normalized input face image" is abbreviated as a "face image for each pose".

도 2는 CCD 디지털 카메라에 의해 찍히는 피사체와 그 CCD 디지털 카메라에 의해 처리된 영상의 차이를 도식적으로 나타낸다. Fig. 2 schematically shows the difference between a subject photographed by a CCD digital camera and an image processed by the CCD digital camera.

도 2의 u는 피사체가 카메라에 의해 촬영되어 영상으로 처리되었을 때의 피사체의 방향이고, u0는 피사체의 원래 방향을 무한한 평면으로 투영시킨 것을 나타낸다.In Fig. 2, u denotes the direction of the subject when the subject is photographed by the camera and processed as an image, and u0 denotes the original direction of the subject projected onto an infinite plane.

도 2를 살펴보면, 피사체를 포함하는 디지털 이미지를 포함하는 CCD Plane P'는 카메라 렌즈와는 평행하나, 피사체의 원래 방향을 무한한 평면으로 투영시킨 Plane P하고는 평행하지 않은 것을 알 수 있다.Referring to FIG. 2, it can be seen that the CCD Plane P′ including the digital image including the subject is parallel to the camera lens, but not parallel to the Plane P, which projects the original direction of the subject onto an infinite plane.

즉, 피사체가 CCD 디지털 카메라에 의해 찍히게 되면, 카메라 렌즈의 광학적 흐림(Optical Blur)현상과, 디지털 데이터화되기 위해 샘플링(Sampling)되는 과정에 의해, 최종적으로 산출되는 피사체를 포함한 영상은, 본래 피사체의 특징적인 요소(방향적인 요소)를 모두 포함하지 못하게 된다. That is, when a subject is captured by a CCD digital camera, the image including the subject finally calculated by the optical blur phenomenon of the camera lens and the process of being sampled to become digital data is It is not possible to include all characteristic elements (directional elements).

이렇게 얼굴의 특정점이 왜곡되는 것은 얼굴 인식에 있어서 정확도를 낮추는 직접적인 관계성이 있으므로, 그런 영향을 최소화하기 위해서 본 발명에서는 어파인 변환(Affine Transformation)을 이용한다.Since a specific point of a face is distorted in this way, there is a direct relationship that lowers the accuracy in face recognition, and thus, affine transformation is used in the present invention in order to minimize such an effect.

입력된 얼굴 영상에 대한 어파인 변환 적용은, 입력된 얼굴 영상에 그 입력된 얼굴 영상을 촬영한 카메라의 기울기 변화에 따른 효과를 반영하기 위함이다.The application of the affine transformation to the input face image is to reflect an effect of a change in the inclination of the camera that has captured the input face image on the input face image.

즉, 입력 영상에 국부적으로 어파인 변환을 적용하면, 마치 카메라 위치 및 기울기를 변화시켜가면서 얼굴을 촬영한 것과 같은 영상(포즈별 얼굴 영상)을 생성시킬 수 있다.That is, if affine transformation is applied locally to the input image, an image (face image for each pose) as if a face was photographed while changing the camera position and tilt can be generated.

수학식 1은 도 2와 연관되어, 얼굴 인식을 위한 피사체의 특징과 피사체를 촬영한 영상의 특징의 차이를 수식화한 것이다.Equation 1 is related to FIG. 2, by formulating a difference between a feature of a subject for face recognition and a feature of a photographed image.

수학식 1에서 A는 투영 맵, G1은 가우시안 블러(Gaussian Blur), S1은 CCD 센서의 샘플링 값, u0는 카메라로부터 입력되는 얼굴을 포함한 영상, u는 얼굴을 포함한 영상을 카메라에 거쳐서 얻게 되는 영상이다. 수학식 1의 u0 및 u는 피사체가 카메라를 거치기 전과 후라는 점에서, 도 2의 u0 및 u 와 대응될 수 있다.In Equation 1, A is a projection map, G1 is a Gaussian Blur, S1 is a sampling value of the CCD sensor, u0 is an image including a face input from the camera, and u is an image obtained through the camera. to be. U0 and u in Equation 1 may correspond to u0 and u in FIG. 2 in that the subject is before and after passing through the camera.

여기서 투영 맵 A는 어파인 투영 맵으로 가정이 가능하고, 수학식 2와 같이 분해가 가능하다.Here, the projection map A can be assumed to be an affine projection map, and can be decomposed as shown in Equation 2.

여기서 λ는 카메라 광축 중심으로 크기 변화를 나타내는 인자, ψ는 카메라 광축 중심으로 회전 각도를 나타내는 인자, θ는 카메라 광축과 영상면의 법선과 이루는 각도 인자로서 위도(Latitude), φ는 카메라 광축과 고정된 수직면과의 이루는 각도 인자로 경도(Longitude)로 정의된다. t는 t=1/cosθ 의 관계를 갖는다.Here, λ is a factor representing the size change around the camera's optical axis, ψ is a factor representing the rotation angle around the camera's optical axis, θ is an angle factor between the camera's optical axis and the image plane, and φ is a fixed angle factor with the camera's optical axis. It is an angular factor formed with the vertical plane and is defined as Longitude. t has a relationship of t=1/cosθ.

실제 정면의 객체 및 사람의 얼굴은 카메라 영상에서 카메라의 위도나 경도 변화에 따라 왜곡 및 변형을 갖는다.The object in front of the real object and the face of a person are distorted and deformed according to changes in the latitude or longitude of the camera in the camera image.

영상 간의 동일한 특징점은 촬영하는 카메라 기울기에 대한 공간상의 각도 변화에 따라서 위치가 변한다. 이러한 이유로 공간상의 카메라 각도 변화에 따른 각도에 대한 요소를 반영하기 위해 촬영 공간에서 위도와 경도의 위치 변화를 반영한 기법을 사용한다. The position of the same feature point between images changes according to a change in the angle in space with respect to the tilt of the camera to be photographed. For this reason, a technique that reflects the change in the position of latitude and longitude in the shooting space is used to reflect the factor of the angle according to the change of the camera angle in the space.

이러한 각도 변화를 반영하기 위해 x축, y축 이동, 회전, 크기, 위도, 및 경도 총 6개의 변화를 이용한 전 방향의 카메라 축 방향의 변화에 의한 어파인 왜곡이 가능한 모든 경우의 영상 변환을 고려한다.To reflect this angular change, consider image conversion in all cases where affine distortion is possible due to changes in the camera axis direction in all directions using six changes in x-axis, y-axis movement, rotation, size, latitude, and longitude. do.

포즈별 얼굴 영상을 많이 생성할수록 후술할 구성과 결합하여 얼굴 인식을 하는 데 있어 더 높은 정확도를 보장할 수 있으나, 일정 수준 이상의 얼굴 인식 속도를 보장하기 위해서, 어파인 변환으로 인해 생성되는 포즈별 얼굴 영상의 개수는 적절하게 조절될 수 있다.The more face-by-pose images are generated, the higher accuracy can be guaranteed in face recognition by combining them with the composition described later, but in order to ensure a certain level of face recognition speed, the face-by-poses generated by affine conversion. The number of images can be appropriately adjusted.

도 3은 입력된 얼굴 영상을 정규화한 정면 얼굴 영상과 4개의 포즈별 얼굴 영상을 예시한다.3 illustrates a front face image obtained by normalizing an input face image and a face image for each of four poses.

도 3에 의하면, 가운데에 위치한 입력된 정면 얼굴 영상에 수학식 2에 따라 각도를 바꿔가며, 4개의 포즈별 얼굴 영상을 생성한 것을 알 수 있으며, 포즈별 얼굴 영상의 수는 4개가 아니라 다른 개수도 가능하다.According to FIG. 3, it can be seen that the angle of the input front face image located in the center is changed according to Equation 2, and four face images for each pose are generated, and the number of face images for each pose is not four, but a different number. It is also possible.

키포인트 기술자 추출부(130)는 입력된 얼굴 영상과 포즈별 얼굴 영상의 동일한 위치에 복수의 키포인트를 설정하고, 키포인트의 위치를 기준으로 하여 크기와 방향을 갖는 키포인트 기술자를 추출한다.The keypoint descriptor extraction unit 130 sets a plurality of keypoints at the same position of the input face image and the face image for each pose, and extracts a keypoint descriptor having a size and a direction based on the position of the keypoint.

입력된 얼굴 영상과 포즈별 얼굴 영상은 합성 얼굴 생성부를 거치면서 정규화가 되었으므로, 동일한 크기(해상도)와 동일한 눈의 위치를 갖는다.Since the input face image and the face image for each pose are normalized through the synthetic face generator, they have the same size (resolution) and the same eye position.

먼저, 키포인트 기술자 추출부(130)는 입력된 얼굴 영상과 포즈별 얼굴 영상에 키포인트를 설정한다. 키포인트는 동일한 인물의 얼굴이라면 표정 변화, 조명 변화, 포즈 변화에 상관없이 항상 일정하게 추출되어야 한다. First, the keypoint descriptor extraction unit 130 sets a keypoint on the input face image and the face image for each pose. Key points should always be consistently extracted regardless of changes in facial expressions, lighting changes, and poses if the faces of the same person are the same.

종래의 키포인트 추출 방법인 SIFT나 SURF 방법은 지역적 특징을 이용하여 키포인트를 추출하는데, 이 두 방법에 의하면, 얼굴과 같이 블롭 요소가 적거나, 픽셀 밝기 차가 적은 영상에서는 키포인트가 필요한 수만큼 추출되지 않거나, 표정 변화, 조명 변화, 포즈 변화로 인해 얼굴의 주요 부위에서 키포인트 추출이 되지 않는 문제점이 있다. The SIFT or SURF methods, which are conventional keypoint extraction methods, extract keypoints using local features. According to these two methods, in an image with a small blob element such as a face or a small difference in pixel brightness, the required number of keypoints may not be extracted. There is a problem in that key points cannot be extracted from the major parts of the face due to changes in facial expressions, changes in lighting, and poses.

그러므로, 본 발명에서는 얼굴 주요 부위를 포함하여 충분한 개수의 키포인트를 추출하기 위해, 중첩 블록 기반 격자 키포인트 추출 방법을 제안한다.Therefore, the present invention proposes a method for extracting a grid keypoint based on an overlapping block in order to extract a sufficient number of keypoints including a major part of the face.

도 4는 키포인트 기술자 추출부에 의해 입력된 얼굴 영상 및 포즈별 얼굴 영상에 키포인트를 설정하는 것을 예시한다.4 illustrates an example of setting a key point in a face image and a face image for each pose input by a key point descriptor extraction unit.

명세서의 간명화를 위해서, 후술하는 "정규화 영상"은 "정규화를 거친 입력된 얼굴 영상과 복수의 포즈별 얼굴 영상"의 약칭으로 간주한다.For the sake of simplicity of the specification, a "normalized image" to be described later is regarded as an abbreviation of "an input face image that has undergone normalization and a face image for each of a plurality of poses".

중첩 블록 기반 격자 키포인트 추출 방법은, 먼저 정규화 영상을 일정 크기의 서브 블록들로 나누고, 인접한 서브 블록들과 50% 이상 겹치게 배열하여 자기 자신과 이웃 서브 블록들과의 격자점 위치를 키포인트 위치로 설정하는 방식이다. 인접한 서브 블록들과 겹치는 넓이의 비율은 50%로 한정되지 않으며, 적절한 값으로 변경될 수 있다.In the method of extracting a grid keypoint based on an overlapping block, the normalized image is first divided into subblocks of a certain size, and the grid point position between itself and the neighboring subblocks is set as the keypoint position by arranging it to overlap the adjacent subblocks by 50% or more. This is the way to do it. The ratio of the area overlapping adjacent sub-blocks is not limited to 50%, and may be changed to an appropriate value.

얼굴 주요 부위를 포함하여 충분한 개수의 키포인트를 추출하기 위해서, 중첩 블록 기반 격자 키포인트 추출 방법 외에도, 정규화 영상에서 일정 간격의 조밀하고 균등한 샘플링 키포인트를 설정하는 것도 가능하다.In order to extract a sufficient number of keypoints including the major part of the face, in addition to the method of extracting a grid keypoint based on an overlapping block, it is also possible to set dense and uniform sampling keypoints at regular intervals in the normalized image.

도 5는 키포인트 기술자 추출부에 의해서 반복적으로 키포인트를 추출해나가는 것을 도식적으로 예시한다.5 schematically illustrates that a keypoint is repeatedly extracted by a keypoint descriptor extraction unit.

도 5의 결과는 상술한 중첩 블록 기반 격자 키포인트 추출 방법을 반복적으로 적용하여 산출될 수도 있고, 정규화 영상에서 일정 간격의 조밀하고 균등한 샘플링 키포인트를 설정한 결과로도 볼 수 있다. 추출되는 키포인트는 얼굴 인식을 할 수 있을 정도로 얼굴 주요 부위의 특징점에 충분한 수로 설정되기만 하면 되므로, 정규화 영상에 도 5와 같이 키포인트를 추출하는 키포인트 추출(설정) 방법은 여러 가지가 있을 수 있다.The result of FIG. 5 may be calculated by repeatedly applying the above-described method for extracting grid keypoints based on overlapping blocks, or may be viewed as a result of setting dense and uniform sampling keypoints at a predetermined interval in a normalized image. Since the extracted keypoints need only be set to a sufficient number for the feature points of the main part of the face to enable face recognition, there may be various keypoint extraction (setting) methods for extracting the keypoints as shown in FIG. 5 in the normalized image.

도 6은 정규화 영상과 중첩 블록 기반 격자 키포인트 추출 방법으로 키포인트를 추출한 정규화 영상을 예시한다.6 illustrates a normalized image and a normalized image obtained by extracting a key point using a method for extracting a grid key point based on an overlapping block.

키포인트 기술자 추출부(130)는 정규화 영상에서 키포인트를 추출 후 각 키포인트로부터 기울기 크기(gradient magnitude) 및 방향(gradient orientation)을 계산함으로써 키포인트 기술자를 추출한다.The keypoint descriptor extraction unit 130 extracts the keypoint descriptor by extracting the keypoint from the normalized image and then calculating a gradient magnitude and a gradient orientation from each keypoint.

보다 구체적으로는, 키포인트 기술자 추출부(130)는 입력된 얼굴 영상을 정규화하여 산출한 정면 얼굴 영상과, 합성 영상 생성부(110)에 의해 생성된 복수의 포즈별 얼굴 영상에 정의된 모든 키포인트에 대해서 각각 키포인트 기술자를 정의한다.More specifically, the keypoint descriptor extraction unit 130 normalizes the input face image and calculates the front face image, and all keypoints defined in the face images for each of a plurality of poses generated by the composite image generation unit 110. Each keypoint descriptor is defined.

도 7은 키포인트 기술자 추출부에서 정규화 영상에 설정된 각 키포인트에 대한 키포인트 기술자를 생성하는 과정을 예시한다.7 illustrates a process of generating a keypoint descriptor for each keypoint set in a normalized image by a keypoint descriptor extraction unit.

먼저, 특정한 하나의 키포인트 중심으로 10×10 크기 영역에 대해서 2×2 사분면을 구성하여 각 사분면에 대해서 하르 웨이블릿(Haar wavelet) 필터 응답을 계산한다.First, a 2×2 quadrant is constructed for a 10×10 size region with a center of one specific key point, and a Har wavelet filter response is calculated for each quadrant.

도 7의 중간 부분은 10×10 크기 영역에서 2×2 사분면을 구성한 경우, 각 사분면에 포함되는 영역은 5×5 크기가 되는 것을 도식적으로 예시한다.The middle part of FIG. 7 schematically illustrates that when a 2×2 quadrant is formed in a 10×10 size area, the area included in each quadrant is 5×5.

이때, 각 사분면에 대해서 하르 웨이블릿 필터의 응답 값뿐만 아니라 하르 웨이블릿 필터 응답 값의 절대값도 같이 계산한다.At this time, for each quadrant, not only the response value of the Har wavelet filter but also the absolute value of the Har wavelet filter response value are calculated.

도 7의 dx, dy는 2×2 사분면 중 특정 한 사분면에서의 하르 웨이블릿 필터 응답의 x, y성분을 의미하며, mdx, mdy는 그 하르 웨이블릿 필터 응답의 절대값을 의미한다. dx, dy, mdx, mdy, 각각을 하나의 벡터로 생성을 하면, 각 사분면에서 4차원의 벡터가 생성된다. In FIG. 7, dx and dy denote the x and y components of the Har wavelet filter response in a specific quadrant among the 2×2 quadrants, and mdx and mdy denote the absolute values of the Har wavelet filter response. If dx, dy, mdx, mdy, and each are created as one vector, a four-dimensional vector is created in each quadrant.

도 7의 len은 각 사분면에서 생성된 4차원의 벡터의 크기를 1로 만들기 위해서 필요한 4차원 벡터의 크기의 제곱값이다. 즉, dx', dy', mdx', mdy'는 앞서 언급한 dx, dy, mdx, mdy을 벡터의 크기(루트 len)로 나눈 값이므로, 각 사분면에서 생성된 4차원의 벡터의 고유한 특징을 그대로 포함하면서도, 크기가 1이라서 수학적 취급이 용이한 특징을 갖게 된다.In FIG. 7, len is a square value of the size of a four-dimensional vector required to make the size of a four-dimensional vector generated in each quadrant to one. That is, dx', dy', mdx', mdy' are values obtained by dividing the aforementioned dx, dy, mdx, and mdy by the size of the vector (root len), so the unique characteristics of the four-dimensional vector created in each quadrant As it is, it has a feature that is easy to handle mathematically because its size is 1.

위와 같은 방식으로 생성된 각 사분면마다 생성된 4차원의 벡터를 차례대로 연결(concatenation)시키면, 사분면의 개수가 4개이므로, 총 16차원의 키포인트 기술자가 추출된다.When four-dimensional vectors generated for each quadrant created in the above manner are concatenated in order, since the number of quadrants is four, a total of 16-dimensional keypoint descriptors are extracted.

키포인트 기술자 추출부(130)는 위와 같은 과정을 정규화 영상의 모든 키포인트에 적용하여, 각 키포인트 당 16차원의 키포인트 기술자를 추출하게 되며, 각 키포인트를 중심으로 설정하는 크기 영역과 사분면의 수는 각각 10x10 과 2x2 로 한정되지 않으므로, 다른 구성을 모두 포함한다면 각 키포인트를 중심으로 설정하는 크기 영역과 사분면의 수가 달라도 본 발명의 범주를 벗어나지 않는다.The keypoint descriptor extraction unit 130 applies the above process to all keypoints of the normalized image to extract a 16-dimensional keypoint descriptor for each keypoint, and the size area and the number of quadrants set around each keypoint are 10x10, respectively. Since it is not limited to and 2x2, if all other configurations are included, even if the size area set around each key point and the number of quadrants are different, it does not depart from the scope of the present invention.

또한, 각 사분면에서 하르 웨이블릿 필터 응답을 계산하는 것이 아닌, 다른 필터 응답이나 지역 구조 패턴(Local Structure Pattern)을 이용하여 키포인트 기술자를 추출하는 것도 가능하다.In addition, it is possible to extract keypoint descriptors using other filter responses or local structure patterns, rather than calculating the har wavelet filter response in each quadrant.

등록 얼굴 판단부(150)는 입력된 얼굴 영상과 포즈별 얼굴 영상의 키포인트 기술자와, 적어도 하나 이상의 기저장된 등록 얼굴 영상의 키포인트 기술자를 서로 비교하여, 등록 얼굴 영상 중에서 어느 등록 얼굴 영상의 얼굴과 입력된 얼굴 영상의 얼굴이 동일인의 얼굴인지 판단하며, 비교키포인트군 생성부(151), 비교키포인트군 매칭부(152), 다수결 판단부(153), 입력 영상 식별 기호 할당부(154), 포즈별 영상 식별 기호 할당부(155), 등록 얼굴 영상 데이터베이스(156)을 포함한다.The registered face determination unit 150 compares the input face image with the keypoint descriptor of the face image for each pose, and the keypoint descriptor of at least one pre-stored registered face image, and inputs the face of any registered face image among the registered face images. Determine whether the face of the face image is the face of the same person, and compare key point group generation unit 151, comparison key point group matching unit 152, majority vote determination unit 153, input image identification symbol assignment unit 154, for each pose An image identification symbol allocation unit 155 and a registered face image database 156 are included.

등록 얼굴 영상이란, 입력된 얼굴 영상과 비교하여 얼굴 인식을 하기 위해서 미리 저장되어 있는 영상을 의미하며, 차후 입력될 영상과 정확한 비교를 위해서 상술한 과정과 동일한 과정을 통해 정규화, 복수의 키포인트 설정 및 그에 따른 키포인트 기술자 추출이 완료되어있다.The registered face image refers to an image that is previously stored in order to recognize a face by comparing it with an input face image, and for accurate comparison with an image to be input later, normalization, setting a plurality of key points, and The extraction of the keypoint descriptor has been completed accordingly.

키포인트 기술자가 추출된 키포인트들의 위치는 사전에 정해져 있기 때문에, 정규화 영상과 등록 얼굴 영상의 키포인트들은 동일한 분포형태를 갖는다.Since the positions of the keypoints extracted by the keypoint descriptor are determined in advance, the keypoints of the normalized image and the registered face image have the same distribution form.

즉, 정규화 영상과 등록 얼굴 영상간에 키포인트별 매칭이 가능하므로, 키포인트 기술자별 매칭도 같은 원리로 가능하다.That is, since it is possible to match each key point between the normalized image and the registered face image, it is possible to match each key point descriptor using the same principle.

등록 얼굴 영상 중에서 어느 등록 얼굴 영상의 얼굴과 입력된 얼굴 영상의 얼굴이 동일인의 얼굴인지 판단하는 방법은 여러 가지가 있을 수 있으며, 하나의 예로서, 벡터 형태로 표현되는 키포인트 기술자간에 거리를 구하는 방식이 가능하다.Among the registered face images, there can be various methods of determining whether the face of the registered face image and the face of the input face image are the faces of the same person, and as an example, a method of obtaining the distance between the keypoint descriptor expressed in the form of a vector. This is possible.

이때 거리를 구하기 위해 정규화 영상과 등록 얼굴 영상에서 각각 선출되는 키포인트 기술자는, 정규화 영상과 등록 얼굴 영상에서 동일한 위치의 키포인트로부터 각각 추출된 기술자이다. At this time, the keypoint descriptors selected from the normalized image and the registered face image, respectively, to obtain the distance, are descriptors extracted from keypoints at the same position in the normalized image and the registered face image.

동일하지 않은 위치의 키포인트로부터 각각 추출된 기술자를 비교하는 방식에 대해서는 비교키포인트군 생성부(151) 및 비교키포인트군 매칭부(152)에서 후술한다.A method of comparing descriptors extracted from key points at different locations will be described later in the comparison key point group generation unit 151 and the comparison key point group matching unit 152.

키포인트 기술자간에 거리를 구하는 방식은 유클리드 거리(Euclidean distance) 공식이나 카이스퀘어 거리(Chi-square distance) 공식을 이용할 수 있고, 다른 방식으로 키포인트 기술자간 거리를 구하더라도 본 발명의 범주를 벗어나지 않는다.A method of obtaining a distance between keypoint descriptors may use an Euclidean distance formula or a Chi-square distance formula, and even if the distance between keypoint descriptors is obtained in another way, it does not depart from the scope of the present invention.

등록 얼굴 판단부(150)는 정규화 영상과 등록 얼굴 영상의 모든 키포인트에 대한 키포인트 기술자간의 거리를 구한 후, 그 키포인트 기술자간의 거리를 정해진 임계치와 비교하여, 그 임계치보다 짧은 거리를 갖는 키포인트에 대해 식별 기호를 할당한다. The registered face determination unit 150 calculates the distance between the keypoint descriptors for all key points of the normalized image and the registered face image, compares the distance between the keypoint descriptors with a predetermined threshold, and identifies keypoints having a distance shorter than the threshold. Assign a symbol.

여기서 식별 기호란, 적어도 하나 이상인 등록 얼굴 영상이 기저장된 다른 등록 얼굴 영상과 서로 구별되기 위해 갖는 고유한 기호로서, 서로 다른 인물의 얼굴을 포함하는 서로 다른 등록 얼굴 영상은 같은 식별 기호를 가질 수 없다.Here, the identification symbol is a unique symbol that has at least one registered face image to be distinguished from other previously stored registered face images, and different registered face images including faces of different persons cannot have the same identification symbol. .

키포인트에 식별 기호가 할당되는 과정을 예를 들어 설명하면, (40,68)의 좌표를 갖는 키포인트에서 키포인트 기술자간 거리가 임계치 이하였고, 그 때 정규화 영상과 비교된 등록 얼굴 영상이 식별 기호 'A'를 가지고 있었다면, (40,68)의 좌표를 갖는 키포인트에는 등록 얼굴 판단부(150)에 의해 식별 기호 A가 할당된다. When explaining the process of assigning an identification symbol to a key point as an example, the distance between the key point descriptors at a key point with coordinates of (40,68) was less than or equal to the threshold value, and at that time, the registered face image compared with the normalized image is the identification symbol'A. ', the identification symbol A is assigned by the registered face determination unit 150 to the keypoint having the coordinates of (40,68).

위와 같은 방식으로 정규화 영상의 모든 키포인트에 식별 기호를 할당한 뒤, 모든 포인트에 할당된 식별 기호에 대한 분포도를 산출하고, 그 분포도를 해석하여 정규화 영상의 얼굴이, 어느 등록 얼굴 영상의 얼굴과 동일인의 얼굴인 것인지 판단한다.After allocating identification symbols to all key points of the normalized image in the same way as above, the distribution map for the identification symbols allocated to all points is calculated, and the distribution map is analyzed so that the face of the normalized image is the same as the face of a registered face image. Determine whether it is the face of

모든 포인트에 할당된 식별 기호에 대한 분포도를 해석하는 방법은, 각 키포인트에 할당된 식별 기호를 일괄 수집하여, 가장 많은 식별 기호에 해당하는 등록 얼굴 영상으로 결정하는 방법도 있고, 보다 합리적인 얼굴 인식 결과 유도를 위해 미리 저장된 패턴형태로 식별 기호가 뭉쳐 있는 경우에 그 식별 기호에 해당하는 등록 얼굴 영상으로 정규화 영상의 얼굴의 소유자를 결정할 수 있다. The method of analyzing the distribution map for the identification symbols assigned to all points is a method of collectively collecting the identification symbols assigned to each key point and determining the registered face image corresponding to the most identification symbols, and a more reasonable face recognition result. When the identification symbols are clustered in the form of patterns stored in advance for induction, the owner of the face of the normalized image can be determined by using the registered face image corresponding to the identification symbol.

정규화 영상의 각 키포인트에 할당되는 식별 기호는 입력 영상 식별 기호 할당부(154) 및 포즈별 영상 식별 기호 할당부(155)에 의해 할당될 수 있으며, 이에 대해서는 후술한다.The identification symbols allocated to each keypoint of the normalized image may be allocated by the input image identification symbol allocation unit 154 and the image identification symbol allocation unit 155 for each pose, which will be described later.

다음은 본 발명에 따른 얼굴 인식 시스템의 일 실시 예로서, 비교키포인트군을 이용하여 얼굴 인식을 하는 시스템을 예시한다.The following is an example of a face recognition system according to the present invention, which illustrates a system for face recognition using a comparison key point group.

비교키포인트군 생성부(151)는 입력된 얼굴 영상과 복수의 포즈별 얼굴 영상에서 특정 키포인트를 선정하고, 등록 얼굴 영상의 특정 키포인트와 같은 위치의 키포인트를 중심으로 하는 복수의 키포인트로 구성된 비교키포인트군을 생성한다.The comparison key point group generation unit 151 selects a specific key point from the input face image and a plurality of face images for each pose, and a comparison key point group consisting of a plurality of key points centering on a key point at the same position as the specific key point of the registered face image. Is created.

먼저, 비교키포인트군 생성부(151)는 입력된 얼굴 영상과 복수의 포즈별 얼굴 영상에서 특정 키포인트를 선정한다. 선정된 정규화 영상의 키포인트는 선정되는 즉시, 위치가 특정되며, 등록 얼굴 영상의 해당 위치에도 키포인트가 설정되어있는 것은 상술한 키포인트 설정 과정을 비추어 볼 때 명백하다.First, the comparison key point group generation unit 151 selects a specific key point from the input face image and a plurality of face images for each pose. As soon as the key point of the selected normalized image is selected, the location is specified, and it is clear in the light of the above-described key point setting process that the key point is also set at the corresponding location of the registered face image.

비교키포인트군 생성부(151)는 위와 같은 결과로 선정된 특정 키포인트와 같은 위치의 키포인트를 중심으로 복수의 키포인트로 구성된 비교키포인트군을 생성한다.The comparison key point group generation unit 151 generates a comparison key point group consisting of a plurality of key points around a key point at the same location as a specific key point selected as a result of the above.

이때 생성되는 비교키포인트군을 구성하는 키포인트의 개수는 정해져 있지 않으며, 비교키포인트군의 형태도 한정되어 있지 않다. 예를 들면, 5x5 정사각형 형태로 25개의 비교키포인트군을 생성하거나, n×n 형태의 마름모 형태의 비교키포인트군을 생성하는 것도 가능하다.At this time, the number of key points constituting the generated comparison key point group is not determined, and the shape of the comparison key point group is not limited. For example, it is possible to create a group of 25 comparison key points in the form of a 5x5 square, or a group of comparison key points in the form of an n×n rhombus.

비교키포인트군 매칭부(152)는 정규화 영상의 특정 키포인트로부터 추출된 키포인트 기술자와 등록 얼굴 영상의 비교키포인트군에 포함된 각각의 키포인트로부터 추출된 복수의 키포인트 기술자를 비교한다.The comparison key point group matching unit 152 compares a key point descriptor extracted from a specific key point of the normalized image and a plurality of key point descriptors extracted from each key point included in the comparison key point group of the registered face image.

키포인트 기술자를 비교하는 방법에 있어서, 등록 얼굴 판단부(150)에서 상술한 과정과 비교키포인트 매칭부(152)에서의 차이는 비교 횟수 및 판단에 있다.In the method of comparing keypoint descriptors, the difference between the process described above in the registered face determination unit 150 and the comparison keypoint matching unit 152 lies in the number of comparisons and determination.

수학식 3 및 4는 키포인트 기술자간 비교를 위해 이용하는 방법 중 하나를 식으로 나타낸다.Equations 3 and 4 represent one of the methods used for comparison between keypoint descriptors.

여기서 X는 정규화 영상의 키포인트 기술자이고, Y는 등록 얼굴 영상의 키포인트 기술자를 의미한다. 또한, m(x,y)는 최근린 내삽법(Nearest neighbor matching)에 대한 함수이며, δ함수는 키포인트 기술자 비교시, 가장 거리가 짧은 키포인트의 거리와 두 번째로 거리가 짧은 키포인트 거리의 비율이 임계치 이하이면 매칭된 키포인트로 간주하는 함수이다.Here, X is the keypoint descriptor of the normalized image, and Y is the keypoint descriptor of the registered face image. Also, m(x,y) is a function for Nearest neighbor matching, and δ function is the ratio of the distance of the shortest keypoint and the distance of the second shortest keypoint when comparing the keypoint descriptor. If it is less than the threshold, it is a function that considers the matched keypoint.

또한, min, max함수는 각각 최소값, 최대값을 도출하는 함수이고, argmax는 두 변수가 있을 때, 어느 한 변수를 최대값을 가지게 하는 나머지 변수를 결과값으로 도출하는 함수이다.In addition, min and max functions are functions that derive the minimum and maximum values, respectively, and argmax is a function that derives the remaining variable that makes one variable have the maximum value as a result value when there are two variables.

수학식 3 및 4를 이해하기 위한 하나의 예로서, 등록 얼굴 영상에 특정 키포인트를 중심으로 5×5 정사각형 형태로 25개의 비교키포인트군을 등록 얼굴 영상에 생성했다고 가정한다.As an example for understanding Equations 3 and 4, it is assumed that a group of 25 comparison key points in the form of a 5×5 square centered on a specific key point in the registered face image is generated in the registered face image.

이 경우, 정규화 영상의 특정 키포인트로부터 추출된 키포인트 기술자와 등록 얼굴 영상의 바교키포인트군으로부터 추출된 키포인트 기술자를 비교해야 하므로, 최소 25회 이상의 키포인트 기술자간 비교 과정이 필요하다.In this case, since it is necessary to compare the keypoint descriptor extracted from a specific keypoint of the normalized image with the keypoint descriptor extracted from the bargyo keypoint group of the registered face image, a comparison process between the keypoint descriptors at least 25 times is required.

보다 상세하게는, 정규화 영상은 위에서 정의했듯이 입력된 얼굴 영상을 정규화하여 생성된 정면 얼굴 영상과 그 정면 얼굴 영상에 어파인 변환을 적용하여 생성된 복수의 포즈별 얼굴 영상을 모두 포함하므로, 비교키포인트군 생성부(151)에서 선정된 특정 키포인트 하나에 의해 발생하는 키포인트 기술자간 비교 횟수는, 25회에 정규화 영상에 포함되는 얼굴 영상의 수(1 + 포즈별 얼굴 영상의 수)를 곱한 수가 된다.More specifically, since the normalized image includes both the front face image generated by normalizing the input face image as defined above and the face images for each of a plurality of poses generated by applying affine transformation to the front face image, the comparison key point The number of comparisons between keypoint descriptors generated by one specific keypoint selected by the group generator 151 is a number obtained by multiplying 25 times by the number of face images included in the normalized image (1 + the number of face images per pose).

정규화 영상과 등록 얼굴 영상의 키포인트 기술자간 비교는 키포인트 기술자간 거리를 계산하고 그 거리값을 활용하는 점에 있어서, 상술한 내용과 유사한 면이 있다. 다만, 비교키포인트군에 복수의 키포인트로 구성됨에 의해서 최종적으로 얼굴 인식 결과를 얻기까지 과정이 상이한 부분이 있으므로 이를 설명한다.The comparison between the keypoint descriptors of the normalized image and the registered face image has a similar aspect to the above in that the distance between the keypoint descriptors is calculated and the distance value is used. However, since there are different parts in the process until finally obtaining a face recognition result by being composed of a plurality of key points in the comparison key point group, this will be described.

예를 들어, 정면 얼굴 영상과 등록 얼굴 영상이 있고, 비교키포인트군은 5×5 형태로 25개의 비교키포인트로 구성되어 있다고 가정한다.For example, it is assumed that there are a front face image and a registered face image, and the comparison key point group is composed of 25 comparison key points in the form of 5×5.

먼저 비교키포인트 매칭부(152)는 25번의 키포인트 기술자간의 거리 산출을 하며, 비교키포인트군에서 정면 등록 영상의 키포인트 기술자와 가장 가까운 거리를 갖는 키포인트 기술자를 찾는다.First, the comparison key point matching unit 152 calculates the distance between the 25 key point descriptors, and finds a key point descriptor having the closest distance to the key point descriptor of the front registration image in the comparison key point group.

여기서, 정규화 영상에 포함된 얼굴과 등록 얼굴 영상에 포함된 얼굴이, 동일 인물을 나타낸다고 하더라도 영상 촬영 시점에 따라 각 영상에 포함된 얼굴이 완전히 일치되지 않는데다가, 정규화 과정에서도 항상 동일하게 정규화가 이루어지지 않기 때문에, 키포인트 기술자간에 가장 가까운 거리를 가질 때, 각 키포인트 기술자의 키포인트 위치가 동일한 위치가 아닐 수 있다.Here, even if the face included in the normalized image and the face included in the registered face image represent the same person, the faces included in each image are not completely matched according to the time of the image capture, and the same normalization is always performed in the normalization process. Because it is not lost, when the closest distance between the keypoint descriptors is reached, the keypoint positions of each keypoint descriptor may not be the same position.

예를 들어, 위와 같이 5×5 형태의 비교키포인트군에 의할 때, 정면 얼굴 영상의 특정 키포인트의 좌표가 (15,15)라면, 비교키포인트군의 포함된 키포인트의 좌표는 (13,13)에서부터 (17,17)이 되는데, 키포인트 기술자간에 가장 가까운 거리를 가질 때의 비교키포인트군에 포함된 비교키포인트의 좌표가 (17,17)이 될 수 있다.For example, if the coordinates of a specific key point in the front face image are (15,15), the coordinates of the key points included in the comparison key point group are (13,13) when the comparison key point group in the form of 5×5 as above is used. From (17, 17), the coordinates of the comparison key point included in the comparison key point group when the closest distance between the key point descriptors is reached can be (17, 17).

이때, 정면 얼굴 영상의 (15, 15)좌표에 있는 키포인트는 등록 얼굴 영상의 (17,17) 좌표에 있는 키포인트와 1차 매칭되었다고 판단할 수 있다.At this time, it may be determined that the key point at the (15, 15) coordinate of the front face image is first matched with the key point at the (17, 17) coordinate of the registered face image.

이에 더해 비교키포인트군 매칭부(152)는 얼굴 오인식의 경우를 최소화하기 위해서, 1차 매칭 이후에 한번 더 매칭과정을 거친다.In addition, the comparison key point group matching unit 152 performs a matching process once more after the first matching in order to minimize the case of face misrecognition.

비교키포인트군 매칭부(152)는 키포인트 기술자간에 두 번째로 가까운 거리를 가질 때의 키포인트 기술자와, 그 키포인트 기술자와 대응되는 비교키포인트를 찾는다.The comparison key point group matching unit 152 finds a key point descriptor when the key point descriptors have a second closest distance, and a comparison key point corresponding to the key point descriptor.

예를 들어, 정면 얼굴 영상과 등록 얼굴 영상의 키포인트 기술자간에 두 번째로 가까운 거리를 가질 때의 비교키포인트가 (17,14)좌표에 있는 비교키포인트라고 한다면, 정면 얼굴 영상의 (15,15)좌표에 있는 키포인트는 (17,14) 좌표에 있는 비교키포인트와 2차 매칭되었다고 판단할 수 있다. 여기까지가 수학식 3의 내용이다.For example, if the comparison key point at the second closest distance between the front face image and the key point descriptor of the registered face image is the comparison key point at the (17,14) coordinate, the (15,15) coordinate of the front face image It can be determined that the key point at is secondary matched with the comparison key point at the (17,14) coordinates. This is the content of Equation 3.

비교키포인트 매칭부(152)는 1차 매칭때의 키포인트 기술자간 거리(이하, 1차 기술자 거리)와 2차 매칭때의 키포인트 기술자간 거리(이하, 2차 기술자 거리)를 이용하여 키포인트 기술자간 거리 비율을 산출한다.The comparison key point matching unit 152 uses the distance between key point technicians in the first matching (hereinafter, referred to as the primary technician distance) and the distance between key point technicians in the second matching (hereinafter, referred to as the secondary technician distance). Calculate the ratio.

키포인트 기술자간 거리 비율의 한 예시로서, 키포인트 기술자간 거리 비율을 1차 기술자 거리를 2차 기술자 거리로 나눈 값으로 정의할 수 있으며, 언제나 1차 기술자 거리가 2차 기술자 거리보다 더 짧은 값인 특성상, 키포인트 기술자간 거리 비율은 언제나 1보다 작거나 같은 수가 된다. 키포인트 기술자간 거리 비율을 다른 방식으로 정의해도 본 발명의 범주를 벗어나지 않는다.As an example of the distance ratio between keypoint technicians, the ratio of the distance between keypoint technicians can be defined as a value obtained by dividing the primary technician distance by the secondary technician distance, and due to the characteristic that the primary technician distance is always a shorter value than the secondary technician distance, The ratio of distances between keypoint descriptors is always a number less than or equal to 1. Defining the distance ratio between keypoint descriptors in different ways does not depart from the scope of the present invention.

비교키포인트 매칭부(152)는 위와 같이 키포인트 기술자간 거리 비율을 산출하여, 그 값을 미리 정해진 임계 거리 비율보다 낮은 경우에 정규화 영상과 등록 얼굴 영상이 매칭된 것으로 본다. 여기까지가 수학식 4의 내용이다.The comparison keypoint matching unit 152 calculates the distance ratio between keypoint descriptors as described above, and considers that the normalized image and the registered face image match when the value is lower than the predetermined threshold distance ratio. This is the content of Equation 4.

키포인트 기술자간 거리 비율이 다르게 정의되는 경우(2차 기술자 거리를 1차 기술자 거리로 나눈 값)에는 그 값이 미리 정해진 임계 거리 비율보다 높은 경우에 정규화 영상과 등록 얼굴 영상이 매칭된 것으로 볼 수 있으며, 이때 비교키포인트 매칭부(152)에 사전에 정의되는 수학식 4의 내용은 부등호의 방향이 적절하게 변경될 수 있다.When the distance ratio between keypoint technicians is defined differently (a value obtained by dividing the secondary technician distance by the primary technician distance), the normalized image and the registered face image can be regarded as matched when the value is higher than the predetermined threshold distance ratio. In this case, the content of Equation 4 defined in advance in the comparison key point matching unit 152 may change the direction of the inequality sign appropriately.

정규화 영상과 등록 얼굴 영상이 서로 매칭된 것으로 판단되는 경우에는, 상술한 것과 같이 입력 영상 식별 기호 할당부(154) 또는 포즈별 영상 식별 기호 할당부(155)에 의해 정규화 영상의 특정 키포인트 하나에 식별 기호 하나가 할당된다.When it is determined that the normalized image and the registered face image match each other, the input image identification symbol allocation unit 154 or the pose-specific image identification symbol allocation unit 155 identifies one specific key point of the normalized image as described above. One symbol is assigned.

등록 영상 판단부(150)는 위와 같은 방법을 정규화 영상의 모든 키포인트에 반복적용하여, 각 키포인트에 하나의 식별 기호를 할당할 수 있도록 한다.The registered image determination unit 150 repeatedly applies the above method to all key points of the normalized image, so that one identification symbol can be assigned to each key point.

다수결 판단부(153)는 입력된 얼굴 영상 및 복수의 포즈별 얼굴 영상의 모든 키포인트에 할당된 할당된 식별 기호를 수집하고, 수집된 식별 기호 중 과반수인 최빈 식별 기호를 산출하여, 최빈 식별 기호에 해당하는 등록 얼굴 영상의 얼굴을 입력된 얼굴 영상의 얼굴과 동일인의 얼굴로 판단한다.The majority vote determination unit 153 collects the input face image and assigned identification symbols assigned to all key points of the face images for each of a plurality of poses, calculates a mode identification symbol that is a majority of the collected identification symbols, and calculates the mode identification symbol as the mode identification symbol. The face of the corresponding registered face image is determined as the face of the same person as the face of the input face image.

다수결 판단부(153)는 비교키포인트 매칭부(152)를 거치면서 정규화 영상의 키포인트에 할당된 식별 기호를 수집한다.The majority vote determination unit 153 collects an identification symbol assigned to a key point of the normalized image while passing through the comparison key point matching unit 152.

수집되는 식별 기호의 수는 정규화 영상에 포함된 영상(정면 얼굴 영상, 복수의 포즈별 영상)마다 설정되어 있는 키포인트의 수와 동일하다.The number of collected identification symbols is the same as the number of key points set for each image (front face image, multiple pose-specific images) included in the normalized image.

그 다음, 다수결 판단부(153)는 수집된 식별 기호에서 과반수인 최빈 식별 기호를 판별하고, 그 식별 기호에 해당하는 등록 얼굴 영상의 얼굴을 입력된 얼굴 영상의 얼굴과 동일인의 얼굴로 판단한다.Then, the majority vote determination unit 153 determines the most frequent identification symbol from the collected identification symbol, and determines the face of the registered face image corresponding to the identification symbol as the face of the input face image and the face of the same person.

수집된 식별 기호 중 가장 많은 수의 식별 기호가, 전체 식별 기호 수의 과반수가 되지 않는 경우에는, 입력된 얼굴 영상에 포함된 얼굴은 등록 얼굴 영상의 얼굴과 동일인물의 얼굴로 볼 수 없다고 판단하여, 얼굴 인식이 불가하다는 결과를 출력하거나, 가장 많은 수의 식별 기호에 해당하는 등록 얼굴 영상의 얼굴을 화면에 출력하여, 그 화면을 볼 수 있는 사람에게 동일인 판단을 맡길 수 있다.If the largest number of identification symbols among the collected identification symbols is not a majority of the total number of identification symbols, it is determined that the face included in the input face image cannot be viewed as a face of the same person as the registered face image. , By outputting a result indicating that face recognition is impossible, or by outputting a face of a registered face image corresponding to the largest number of identification symbols on the screen, the person who can see the screen can determine the same person.

다수결 판단부(153)는 추가적으로 얼굴 오인식 확률을 최소화하기 위해 상술한 '키포인트 기술자 거리 비율'뿐만 아니라, '매칭 키포인트의 개수 비율'도 고려할 수 있다.The majority vote determination unit 153 may additionally consider not only the'key point descriptor distance ratio' described above, but also the'number ratio of matching key points' in order to further minimize the probability of face misrecognition.

매칭 키포인트의 개수 비율이란, 수학식 5와 같이 정의된다.The ratio of the number of matching key points is defined as in Equation 5.

수학식 5에서 X는 정규화 영상에 정의된 키포인트 기술자 집합을 나타내고, CNT(RANK2)는 두 번째로 많은 식별 기호가 할당된 키포인트의 개수, CNT(RANK1)는 최빈 식별 기호가 할당된 키포인트의 개수, RATIO(X)는 매칭 키포인트의 개수 비율이다. 매칭 키포인트의 개수 비율은, 변수인 CNT(RANK1)이 CNT(RANK2)보다 언제나 클 수 밖에 없으므로, 언제나 1을 넘지 않는 수이다.In Equation 5, X represents a set of keypoint descriptors defined in the normalized image, CNT(RANK2) is the number of keypoints to which the second most identification symbol is allocated, CNT(RANK1) is the number of keypoints to which the modest identification symbol is allocated, RATIO(X) is the ratio of the number of matching keypoints. The ratio of the number of matching key points is a number that does not always exceed 1 because the variable CNT (RANK1) is always larger than CNT (RANK2).

매칭 키포인트 개수 비율이 기설정된 임계 키포인트 개수 비율보다 낮아야 신뢰할 수 있는 얼굴 인식이 된 것으로 볼 수 있다. 이는 최빈 식별 기호가 할당된 키포인트의 개수와 두 번째로 많은 식별 기호가 할당된 키포인트의 개수가 비슷하다면 두 등록 얼굴 영상간의 변별력이 낮아서, 입력된 얼굴 영상이 등록 얼굴 영상과 비교하여 정확하게 얼굴 인식이 되었다고 보기 어렵기 때문이다.Reliable face recognition can be seen when the ratio of the number of matching keypoints is lower than the preset ratio of the number of critical keypoints. This means that if the number of keypoints to which the modest identification symbol is assigned and the number of keypoints to which the second most identification symbol is assigned are similar, the discrimination power between the two registered face images is low. This is because it is difficult to say that it has become.

예를 들어, 입력된 얼굴 영상에 설정된 100개의 키포인트 중, 51개는 식별 기호 A를 할당받고, 49개는 식별 기호 B를 할당받았다고 가정한다.For example, it is assumed that out of 100 key points set in an input face image, 51 are assigned an identification symbol A, and 49 are assigned an identification symbol B.

이 경우, 수학식 5에 대입하기 위해 변수를 구하면, CNT(RANK1)가 51이고, CNT(RANK2)가 49가 되며, CNT(RANK1)가 100의 과반수인 51이 되어 최빈 식별 기호라고도 볼 수 있다.In this case, when a variable is calculated to be substituted in Equation 5, CNT(RANK1) is 51, CNT(RANK2) is 49, and CNT(RANK1) is 51, which is a majority of 100, which can be regarded as a mode identification symbol. .

다만, 두 번째로 많은 식별 기호인 B가 51개에 가까운 49개나 입력된 얼굴 영상의 키포인트에 할당되어 있으므로, 입력된 얼굴 영상의 얼굴과 식별 기호 A에 해당하는 등록 얼굴 영상의 얼굴이 동일인의 얼굴이라고 판단하기 어렵다. 상술한 예를 통해 '매칭 키포인트 개수 비율'을 구하면 49/51 = 0.961.. 이 된다.However, since the second most identification symbol B is assigned to the keypoint of the input face image as many as 49, close to 51, the face of the input face image and the face of the registered face image corresponding to the identification symbol A are the same person's face. It is difficult to judge that it is. If the'matching key point number ratio' is calculated through the above example, it becomes 49/51 = 0.961..

수학식 6는 매칭 키포인트 개수 비율과 비교되는 임계 키포인트 개수 비율을 정의한다.Equation 6 defines the ratio of the number of critical key points compared to the ratio of the number of matching key points.

수학식 6의

은 임계 키포인트 개수 비율로서, 예를 들어 임계 키포인트 개수 비율이 0.6으로 정의되었다면, 수학식 5와 함께 상술한 예시에서의 매칭 키포인트 개수 비율은 0.961이므로, 임계 키포인트 개수 비율을 초과하여 신뢰할 수 없는 얼굴 인식으로 판단될 수 있다.Equation 6

Is the ratio of the number of critical key points, for example, if the ratio of the number of critical key points is defined as 0.6, the ratio of the number of matching key points in the example described above with Equation (5) is 0.961, so face recognition that is not reliable because the ratio of the number of critical key points exceeds It can be judged as.

입력 영상 식별 기호 할당부(154) 또는 포즈별 영상 식별 기호 할당부(155)는 비교키포인트 매칭부(152)와 연동되어, 정규화 영상의 각 키포인트에 등록 얼굴 영상의 고유한 식별 기호를 할당한다.The input image identification symbol allocation unit 154 or the image identification symbol allocation unit 155 for each pose is interlocked with the comparison keypoint matching unit 152 to allocate a unique identification symbol of the registered face image to each keypoint of the normalized image.

등록 얼굴 영상 데이터 베이스(156)는 등록 얼굴 영상을 저장해두고 있다가, 비교키포인트군 생성부(151), 비교키포인트군 매칭부(152), 다수결 판단부(153)의 요청에 의해 등록 얼굴 영상에 대한 정보를 제공할 수 있다. The registered face image database 156 stores the registered face image, and then the registered face image at the request of the comparison key point group generation unit 151, the comparison key point group matching unit 152, and the majority vote determination unit 153. You can provide information about it.

등록 얼굴 영상 데이터 베이스(156)는 등록 얼굴 영상 뿐만 아니라, 다수결 판단부(153)에 의해 최빈 식별 기호로 판별된 식별 기호에 대응하는 등록 얼굴 영상에 대해 가중치를 둘 수 있으며, 이 가중치가 설정된 등록 얼굴 영상에 대해서는 도 9와 함께 후술한다.The registered face image database 156 may place a weight on not only the registered face image, but also the registered face image corresponding to the identification symbol determined as the modest identification symbol by the majority vote determination unit 153, and this weight is set. The face image will be described later with reference to FIG. 9.

도 8은 본 발명의 일 실시 예에 따른 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 방법에 대한 순서도이다.8 is a flowchart illustrating a method for face recognition based on a keypoint descriptor matching and majority voting technique according to an embodiment of the present invention.

명세서의 간명화를 위해서, 도 1의 블록도와 중복되는 설명은 생략한다.In order to simplify the specification, descriptions overlapping with the block diagram of FIG. 1 will be omitted.

합성 얼굴 생성부는 입력된 얼굴 영상으로부터 포즈별 얼굴 영상을 생성한다.(S810)The synthetic face generator generates a face image for each pose from the input face image (S810).

보다 상세하게 설명하면, 먼저 합성 얼굴 생성부는 카메라와 같은 촬상 장치에 의해 촬영된 얼굴을 포함한 영상(이하, 입력된 얼굴 영상)을 입력받고, 영상으로부터 얼굴 및 눈을 검출한다.In more detail, first, the composite face generator receives an image including a face photographed by an imaging device such as a camera (hereinafter, an input face image), and detects a face and eyes from the image.

키포인트 기술자 추출부는 입력된 얼굴 영상과 포즈별 얼굴 영상의 동일한 위치에 복수의 키포인트를 설정하고, 키포인트의 위치를 기준으로 하여 크기와 방향을 갖는 키포인트 기술자를 추출한다.(S820)The keypoint descriptor extraction unit sets a plurality of keypoints at the same position of the input face image and the face image for each pose, and extracts a keypoint descriptor having a size and direction based on the position of the keypoints (S820).

등록 얼굴 판단부는 입력된 얼굴 영상과 포즈별 얼굴 영상의 키포인트 기술자와, 적어도 하나 이상의 기저장된 등록 얼굴 영상의 키포인트 기술자를 서로 비교한다.(S830)The registered face determination unit compares the input face image and the keypoint descriptor of the face image for each pose, and the keypoint descriptor of at least one pre-stored registered face image (S830).

등록 얼굴 판단부는 키포인트 기술자간 비교 후 산출되는 키포인트 기술자간 거리 비율을 기초로 입력된 얼굴 영상 및 포즈별 얼굴 영상에 등록 얼굴 영상의 고유한 식별 기호를 할당한다.(S840)The registered face determination unit allocates a unique identification symbol of the registered face image to the input face image and the face image for each pose based on the distance ratio between the key point descriptors calculated after comparison between the key point descriptors (S840).

등록 얼굴 판단부는 정규화 영상의 각 키포인트에 할당된 식별 기호를 수집하여, 가장 많이 할당된 식별 기호인 최빈 식별 기호를 산출하고, 그 최빈 식별 기호의 수가 전체 식별 기호의 수에서 얼마만큼의 비율을 차지하는지 산출한다.(S850)The registered face determination unit collects the identification symbols allocated to each key point of the normalized image, calculates the most frequently allocated identification symbol, the mode identification symbol, and the number of the mode identification symbol occupies a percentage of the total number of identification symbols. Calculate whether it is. (S850)

등록 얼굴 판단부는 최빈 식별 기호의 수가 전체 식별 기호의 수에서 차지하는 비율이 과반수(50%초과)로 산출되었는 지 판단한다.(S860)The registered face determination unit determines whether the ratio of the number of the least frequent identification symbols to the total number of identification symbols is calculated as a majority (more than 50%) (S860).

등록 얼굴 판단부는 최빈 식별 기호의 수가 전체 식별 기호의 수에서 차지 하는 비율이 과반수로 산출되었다면, 최빈 식별 기호에 해당하는 등록 얼굴 영상의 얼굴을 입력된 얼굴 영상의 얼굴과 동일인의 얼굴로 판단한다.(S870)The registered face determination unit determines the face of the registered face image corresponding to the mode of identification as the face of the same person as the face of the input face image, if the ratio of the number of the most frequent identification symbols to the total number of identification symbols is calculated as a majority. (S870)

이에 비해, 등록 얼굴 판단부는 최빈 식별 기호의 수가 전체 식별 기호의 수에서 차지 하는 비율이 과반수에 미치지 못한다면 입력된 얼굴 영상에 포함된 얼굴은 등록 얼굴 영상의 얼굴과 동일인물의 얼굴로 볼 수 없다고 판단하여, 얼굴 인식이 불가하다는 결과를 출력하거나, 가장 많은 수의 식별 기호에 해당하는 등록 얼굴 영상의 얼굴을 화면에 출력하여, 그 화면을 볼 수 있는 사람에게 동일인 판단을 맡길 수 있다.(S880)In contrast, the registered face determination unit judges that the face included in the input face image cannot be viewed as a face of the same person as the face of the registered face image if the ratio of the number of the most frequent identification symbols to the total number of identification symbols is less than half. Accordingly, a result indicating that face recognition is impossible may be output, or the face of the registered face image corresponding to the largest number of identification symbols may be output on the screen, and the person who can see the screen may determine the same person (S880).

도 9는 본 발명의 일 실시 예에 따른 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템의 다수결 판단부에 포함된 분할 매칭부를 예시한다.9 illustrates a division matching unit included in a majority vote determination unit of a face recognition system based on a keypoint descriptor matching and majority vote method according to an embodiment of the present invention.

도 9의 분할 매칭부는 캐시 데이터 베이스(910), 캐시 데이터 매칭부(920), 캐시 매칭 투표부(930), 캐시 매칭 인식 결정부(940), 갤러리 데이터 베이스(950), 갤러리 데이터 매칭부(960), 갤러리 데이터 투표부(970), 및 갤러리 매칭 인식 결정부(980)를 포함하며, 설명의 용이함을 위해서, 도 1의 등록 얼굴 판단부(150)를 참조한다.The divided matching unit of FIG. 9 is a cache database 910, a cache data matching unit 920, a cache matching voting unit 930, a cache matching recognition determination unit 940, a gallery database 950, a gallery data matching unit ( 960), a gallery data voting unit 970, and a gallery matching recognition determining unit 980. For ease of explanation, reference is made to the registered face determination unit 150 of FIG. 1.

캐시 데이터 베이스(910)는 등록 얼굴 영상 데이터베이스(156)로부터 가중치가 설정된 적어도 하나 이상의 등록 얼굴 영상을 전달받는다.The cache database 910 receives at least one registered face image with a weight set from the registered face image database 156.

여기서, 등록 얼굴 영상의 가중치는 그 등록 얼굴 영상의 식별 기호가 최근에 최빈 식별 기호로 판별되었을 때, 등록 얼굴 영상 데이터베이스(156)에 의해 설정되는 값으로, 자주 최빈 식별 기호로 판별된다는 것은 가까운 미래에 다시 최빈 식별 기호로 판별될 확률이 높다는 가정하에 정의되는 값이다.Here, the weight of the registered face image is a value that is set by the registered face image database 156 when the identification symbol of the registered face image is recently determined as the mode identification symbol, and is often determined as the mode identification symbol in the near future. It is a value defined under the assumption that there is a high probability of being identified as the modest identification symbol again.

본 발명은 얼굴 인식에 있어서, 더 정확하고 빠른 시스템 및 방법을 제공하기 위해 제안된 것으로, 특히 정보보안이 엄격한 회사에서 본 발명이 구현된다고 가정하면, 대개 얼굴을 인식하기 위해 입력되는 영상의 얼굴은 그 회사의 직원일 확률이 극단적으로 높기 마련이다. 그리고 그 회사의 직원내에서도, 출입빈도가 높은 직원이 있을 수 있는데, 그 직원에 대한 등록 얼굴 영상을 빠르게 얼굴 인식을 할 수 있도록 별도의 소규모 데이터베이스에 저장해두는 것이다.The present invention is proposed to provide a more accurate and fast system and method in face recognition. In particular, assuming that the present invention is implemented in a company with strict information security, the face of an image input to recognize a face is usually The probability of being an employee of that company is extremely high. And even within the company's employees, there may be employees with high access frequency, and the registered face image of that employee is stored in a separate small database so that facial recognition can be performed quickly.

캐시 데이터 매칭부(920)는 캐시 데이터 베이스(910)에 저장된 등록 얼굴 영상의 키포인트 기술자와 정규화 영상의 키포인트 기술자를 비교한다.The cache data matching unit 920 compares the keypoint descriptor of the registered face image stored in the cache database 910 with the keypoint descriptor of the normalized image.

캐시 데이터 베이스(910)에 저장된 등록 얼굴 영상의 키포인트 기술자와 정규화 영상의 키포인트 기술자를 비교하는 예로서, 상술한 키포인트 기술자간 거리 비율을 산출하여 미리 저장된 임계 거리 비율과 비교하는 방식이 있을 수 있다. 또한, 최빈 식별 기호를 산출하는 데에 있어서 다수결 기법(과반수인 식별 기호만을 인정)을 적용할 수 있다.As an example of comparing the keypoint descriptor of the registered face image stored in the cache database 910 with the keypoint descriptor of the normalized image, there may be a method of calculating the above-described distance ratio between keypoint descriptors and comparing it with a pre-stored threshold distance ratio. In addition, a majority voting technique (recognizing only the majority identification symbol) can be applied to calculate the most frequent identification symbol.

캐시 매칭 투표부(930)는 얼굴 오인식의 확률을 최소화하기 위해서, 입력된 얼굴 영상을 구성하는 일정 비디오 프레임에 대해서 각각 키포인트 기술자를 추출하여, 케시 데이터 베이스(910)에 저장된 등록 얼굴 영상의 키포인트 기술자와 비교한다.In order to minimize the probability of face misrecognition, the cache matching voting unit 930 extracts a keypoint descriptor for each predetermined video frame constituting the input face image, and is a keypoint descriptor of the registered face image stored in the cache database 910. Compare with

캐시 매칭 투표부(930)는 더 빠른 얼굴 인식을 위해 등록 얼굴 영상의 일부만을 캐시 데이터 베이스(910)에 저장하는 특성상, 캐시 데이터 베이스(910)를 이용함으로써 발생할 수 있는 얼굴 인식 정확도 하락을 보완하는 기능을 한다.Due to the characteristic that the cache matching voting unit 930 stores only a part of the registered face image in the cache database 910 for faster face recognition, it compensates for the decrease in face recognition accuracy that may occur by using the cache database 910. Functions.

예를 들어, 캐시 매칭 투표부(930)는 일정 프레임에 대해서 최빈 식별 기호를 추가로 산출했으므로, 캐시 데이터 매칭부(920) 및 캐시 매칭 투표부(930)에서 각각 산출된 최빈 식별 기호가 동일하다면, 최종 산출되는 얼굴 인식 결과는 더 적은 수의 등록 얼굴 영상을 데이터베이스에 저장하여 얼굴 인식과정을 수행했더라도, 높은 신뢰도를 가질 수 있다.For example, since the cache matching voting unit 930 additionally calculated the mode identification symbol for a certain frame, if the mode identification symbol calculated by the cache data matching unit 920 and the cache matching voting unit 930 is the same, In addition, the final calculated face recognition result may have high reliability even if the face recognition process is performed by storing a smaller number of registered face images in the database.

캐시 매칭 인식 결정부(940)는 캐시 데이터 매칭부(920)와 캐시 매칭 투표부(930)의 결과값을 토대로, 최빈 식별 기호에 해당하는 등록 얼굴 영상의 얼굴을 입력된 얼굴 영상의 얼굴과 동일인의 얼굴로 판단한다.Based on the result values of the cache data matching unit 920 and the cache matching voting unit 930, the cache matching recognition determination unit 940 sets the face of the registered face image corresponding to the modest identification symbol to the same person as the face of the input face image. Judging by the face of.

이때 캐시 매칭 인식 결정부(940)는 캐시 데이터 매칭부(920)와 캐시 매칭 투표부(930)에서 산출된 최빈 식별 기호가 전체 식별 기호의 수에 있어서, 과반수가 되지 못함에도 산출되었다면, 얼굴 오인식으로 판단하여, 갤러리 데이터 매칭부(960)로 정규화 영상의 키포인트 기술자 및 각종 정보를 전달한다.At this time, the cache matching recognition determination unit 940 recognizes a face misrecognized if the modest identification symbol calculated by the cache data matching unit 920 and the cache matching voting unit 930 is calculated even though it is not a majority of the total number of identification symbols. As determined by, the keypoint descriptor of the normalized image and various information are transmitted to the gallery data matching unit 960.

갤러리 데이터 베이스(950)는 전체 등록 얼굴 영상 중 캐시 데이터 베이스(910)에 전달된 등록 얼굴 영상을 제외한 나머지 등록 얼굴 영상을 등록 얼굴 영상 데이터베이스(156)로부터 전달받아 저장한다. 상세하게는, 나머지 등록 얼굴 영상이란, 최근에 최빈 식별 기호로 판별된 식별 기호에 해당하지 않는 등록 얼굴 영상을 의미한다.The gallery database 950 receives and stores the remaining registered face images from the registered face image database 156 except for the registered face image transmitted to the cache database 910 among all registered face images. Specifically, the remaining registered face image refers to a registered face image that does not correspond to an identification symbol that has been recently identified as a modest identification symbol.

갤러리 데이터 매칭부(960)는 갤러리 데이터 베이스(950)에 저장된 등록 얼굴 영상의 키포인트 기술자와 정규화 영상의 키포인트 기술자를 비교한다.The gallery data matching unit 960 compares the keypoint descriptor of the registered face image stored in the gallery database 950 with the keypoint descriptor of the normalized image.

갤러리 매칭 투표부(970)는 얼굴 오인식의 확률을 최소화하기 위해서, 입력된 얼굴 영상을 구성하는 일정 비디오 프레임에 대해서 각각 키포인트 기술자를 추출하여, 갤러리 데이터 베이스(950)에 저장된 등록 얼굴 영상의 키포인트 기술자와 비교한다. 갤러리 데이터 매칭부(960) 및 갤러리 매칭 투표부(970)에서 키포인트 기술자를 비교하는 방법과 순서는 캐시 데이터 매칭부(920) 및 캐시 매칭 투표부(930)와 동일하게 진행된다.In order to minimize the probability of face misrecognition, the gallery matching voting unit 970 extracts a keypoint descriptor for each predetermined video frame constituting the input face image, and is a keypoint descriptor of the registered face image stored in the gallery database 950. Compare with The method and order of comparing the keypoint descriptors in the gallery data matching unit 960 and the gallery matching voting unit 970 are the same as those of the cache data matching unit 920 and the cache matching voting unit 930.

갤러리 매칭 인식 결정부(980)는 갤러리 데이터 매칭부(920)와 갤러리 매칭 투표부(930)의 결과값을 토대로, 최빈 식별 기호에 해당하는 등록 얼굴 영상의 얼굴을 입력된 얼굴 영상의 얼굴과 동일인의 얼굴로 판단한다.The gallery matching recognition determination unit 980 uses the result values of the gallery data matching unit 920 and the gallery matching voting unit 930 to set the face of the registered face image corresponding to the modest identification symbol to be the same person as the face of the input face image. Judging by the face of.

이때 갤러리 매칭 인식 결정부(980)는 갤러리 데이터 매칭부(960)와 갤러리 매칭 투표부(970)에서 산출된 최빈 식별 기호가 전체 식별 기호의 수에 있어서, 과반수가 되지 못함에도 산출되었다면, 얼굴 인식이 불가하다는 결과를 출력하거나, 현재 최빈 식별 기호에 해당하는 등록 얼굴 영상의 얼굴을 화면에 출력하여, 그 화면을 볼 수 있는 사람에게 동일인 판단을 맡길 수 있다.At this time, the gallery matching recognition determination unit 980 recognizes a face if the modest identification symbol calculated by the gallery data matching unit 960 and the gallery matching voting unit 970 is calculated even though it is not a majority of the total number of identification symbols. The result indicating that this is impossible may be output, or a face of a registered face image corresponding to the current mode identification symbol may be output on the screen, and a person who can see the screen may determine the same person.

도 10은 등록 얼굴 영상의 비교키포인트군과 입력된 얼굴 영상의 키포인트에서 각각 추출된 키포인트 기술자를 서로 비교하는 것을 예시한다. 도 10에서 비교키포인트군에 포함된 비교키포인트의 개수는 25개이며, 5x5의 정사각형 형태로 비교키포인트를 구성하고 있는 것을 알 수 있다.10 illustrates comparison of a comparison key point group of a registered face image and a key point descriptor extracted from a key point of an input face image with each other. In FIG. 10, the number of comparison key points included in the comparison key point group is 25, and it can be seen that the comparison key points are configured in a 5x5 square shape.

도 11은 복수의 등록 얼굴 영상의 비교키포인트군과 입력된 얼굴 영상의 키포인트에서 각각 추출된 키포인트 기술자를 서로 비교하는 것을 예시한다. FIG. 11 exemplifies comparing a comparison key point group of a plurality of registered face images and a key point descriptor extracted from key points of an input face image with each other.

도 11의 상단부분은 정규화처리된 입력된 얼굴 영상(안경 착용)과 등록 얼굴 영상 중 어느 하나를 비교하는 것을 예시한다. 도 11의 하단부분은 정규화처리된 입력된 얼굴 영상과 등록 얼굴 영상 중 앞서 비교한 얼굴 영상과 다른 등록 얼굴 영상을 비교하는 것을 예시한다.The upper part of FIG. 11 exemplifies comparing any one of a normalized input face image (wearing glasses) and a registered face image. The lower part of FIG. 11 exemplifies comparing a previously compared face image with another registered face image among the normalized input face image and the registered face image.

도 12는 등록 얼굴 영상이 생성되는 과정과 복수의 등록 얼굴 영상의 비교키포인트군과 입력된 얼굴 영상의 키포인트에서 각각 추출된 키포인트 기술자를 서로 비교하는 과정을 예시한다.12 illustrates a process of generating a registered face image and a process of comparing a comparison keypoint group of a plurality of registered face images and a keypoint descriptor extracted from keypoints of the input face image with each other.

도 12의 상단 부분은 등록 얼굴 영상이 등록 얼굴 영상 데이터베이스에 기록되는 과정을 예시한다. 더 정확한 얼굴 인식을 위해, 등록 얼굴 영상을 생성할 때에는 정면 얼굴뿐만 아니라, 상단, 하단, 좌측, 우측에서 본 얼굴에 대한 것도 등록 얼굴 영상으로 저장할 수 있다.The upper part of FIG. 12 illustrates a process in which a registered face image is recorded in a registered face image database. For more accurate face recognition, when generating a registered face image, not only a front face, but also a face viewed from the top, bottom, left, and right may be saved as a registered face image.

도 12의 하단 부분은 도 11의 내용과 연동하여, 본 발명에 따른 얼굴 인식 시스템 및 방법이 구현된 경우, 특정 얼굴을 포함하는 영상이 입력되었을 때, 그 특정 얼굴을 포함하는 영상의 얼굴과 등록 얼굴 영상 데이터베이스에 기록된 등록 얼굴 영상이 서로 비교되는 과정을 도식적으로 나타낸다.The lower part of FIG. 12 is linked with the contents of FIG. 11, and when the face recognition system and method according to the present invention is implemented, when an image including a specific face is input, the face and registration of the image including the specific face It schematically shows the process of comparing the registered face images recorded in the face image database with each other.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The present invention can also be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tapes, floppy disks, and optical data storage devices. Further, the computer-readable recording medium is distributed over a computer system connected through a network, so that computer-readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention belongs.

본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되지 아니하고, 첨부된 청구범위에 의해 권리범위를 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경할 수 있다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.The present invention is not limited by the above-described embodiments and the accompanying drawings, and is intended to limit the scope of the rights by the appended claims, and various forms of substitution within the scope not departing from the technical spirit of the present invention described in the claims, It will be apparent to those of ordinary skill in the art that it can be modified and changed.

110 : 합성얼굴 생성부 153 : 다수결 판단부
130 : 키포인트 기술자 추출부 154 : 입력 영상 식별 기호 할당부
150 : 등록 얼굴 판단부 155 : 포즈별 영상 식별 기호 할당부
151 : 비교키포인트군 생성부 156 : 등록 얼굴 영상 데이터베이스
152 : 비교키포인트군 매칭부110: synthetic face generation unit 153: majority vote determination unit
130: keypoint descriptor extraction unit 154: input image identification symbol allocation unit
150: registration face determination unit 155: image identification symbol allocation unit for each pose
151: comparison key point group generation unit 156: registered face image database
152: comparison key point group matching unit

Claims

A composite face generator that generates face images for each of a plurality of poses from the input face image;
A keypoint descriptor extraction unit configured to set a plurality of keypoints at the same position of the input face image and the face image for each pose, and extract a keypoint descriptor having a size and a direction based on the position of the keypoint; And
By comparing the input face image and a keypoint descriptor of the face image for each pose, and a keypoint descriptor of at least one pre-stored registered face image, among the registered face images
A registered face determination unit determining whether a face of the input face image and a face of the registered face image are the faces of the same person; Including,
The registered face determination unit,
By comparing the keypoint descriptor of the input face image with the keypoint descriptor of the registered face image, a first degree of similarity is calculated, and when the first degree of similarity falls within a preset threshold range, a unique identification symbol of the registered face image is determined. An input image identification symbol allocating unit that allocates to the input face image;
By comparing the keypoint descriptor of the face image for each pose and the keypoint descriptor of the registered face image, a second similarity is calculated, and when the second similarity falls within a preset threshold range, a unique identification symbol of the registered face image is determined. An image identification symbol allocation unit for each pose that allocates to face images for each pose; And
A registered face corresponding to the mode identification symbol by collecting the unique identification symbol of the registered face image allocated to the input face image and the facial image for each pose, calculating a mode identification symbol having a majority of the collected identification symbol A majority vote determination unit that determines a face of the image as a face of the same person as the face of the input face image; Keypoint descriptor matching and majority voting technique-based facial recognition system comprising a.

The method of claim 1, wherein the registered face determination unit
Generation of a comparison key point group for selecting a specific key point from the input face image and the face image for each pose, and generating a comparison key point group consisting of a plurality of key points centered on a key point at the same location as the specific key point of the registered face image part; And
A comparison key point group matching unit comparing a key point descriptor extracted from the specific key point with a plurality of key point descriptors extracted from each key point included in the comparison key point group; Keypoint descriptor matching and majority voting technique-based facial recognition system comprising a.

delete