KR101612605B1 - Method for extracting face feature and apparatus for perforimg the method - Google Patents
Method for extracting face feature and apparatus for perforimg the method Download PDFInfo
- Publication number
- KR101612605B1 KR101612605B1 KR1020140054087A KR20140054087A KR101612605B1 KR 101612605 B1 KR101612605 B1 KR 101612605B1 KR 1020140054087 A KR1020140054087 A KR 1020140054087A KR 20140054087 A KR20140054087 A KR 20140054087A KR 101612605 B1 KR101612605 B1 KR 101612605B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- feature point
- extracting
- facial
- feature
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
얼굴 특징점 추출 방법 및 장치에 관한 기술이 개시된다. 얼굴 특징점 추출 방법은 디지털 신호 처리가 가능한 정보 처리 장치에서 수행되며, 입력 영상으로부터 얼굴을 검출하는 단계, 미리 생성된 얼굴 모델로부터 얼굴에 상응하는 얼굴 외형을 추출하고 얼굴 외형을 이용하여 얼굴에 대한 적어도 하나의 특징점 후보자를 추출하는 단계, 적어도 하나의 특징점 후보자가 얼굴 상에 매핑되는 위치에 기반하여 초기 파라미터를 설정하는 단계 및 초기 파라미터를 최적화함으로써 얼굴에 대한 얼굴 특징점을 추출하는 단계를 포함한다. 따라서, 얼굴 특징점 추출에 대한 성능을 향상시킴과 동시에 다양한 얼굴 인식 기술에 적용할 수 있다.A technique relating to a facial feature point extraction method and apparatus is disclosed. The facial feature point extraction method is performed in an information processing apparatus capable of digital signal processing. The facial feature point extraction method includes a step of detecting a face from an input image, a step of extracting a facial appearance corresponding to a face from a previously generated facial model, Extracting one feature point candidate, setting an initial parameter based on a location where at least one feature point candidate is mapped on the face, and extracting facial feature points for the face by optimizing the initial parameter. Accordingly, the present invention can be applied to various facial recognition techniques while improving the performance of facial feature point extraction.
Description
본 발명은 얼굴 인식 기술에 관한 것으로, 더욱 상세하게는, 입력 영상으로부터 얼굴의 특징점을 정확하게 추출하기 위한 얼굴 특징점 추출 방법 및 이를 수행하는 장치에 관한 것이다.The present invention relates to a face recognition technique, and more particularly, to a face feature point extraction method for accurately extracting a feature point of an image from an input image and an apparatus for performing the same.
컴퓨터 비전(computer vision)은 인간의 오감 중 시각적 인식 능력을 정보 처리 기기에 구현하는 인공 지능 분야이다.Computer vision is a field of artificial intelligence that realizes visual perception ability of human being in information processing device.
특히, 컴퓨터 비전 분야에서 얼굴 인식 기술은 정보 처리 장치를 통해 촬영된 영상에서 얼굴의 모양 또는 눈, 눈썹, 코, 입, 턱선 등의 위치를 찾아 사용자를 식별할 수 있다는 점에서 가상 현실 기술, 지능형 로봇 또는 보안 기술 등의 다양한 차세대 응용 기술에 적용할 수 있을 것으로 기대된다.Particularly, in the field of computer vision, face recognition technology can recognize a user by finding the position of a face, eye, eyebrow, nose, mouth, and jaw line in a video captured through an information processing device, It is expected to be applicable to various next generation application technologies such as robot or security technology.
종래에는 얼굴을 인식하기 위해 차별적 접근(discriminative approach) 방식 또는 생성적 접근(generative approach) 방식을 이용하여 얼굴에 대한 특징점을 추출하고자 하였다.Conventionally, we have tried to extract facial feature points by using discriminative approach or generative approach to recognize faces.
차별적 접근 방식은 특징점 추출기(feature detector)를 이용하여 얼굴에 나타나는 다수의 특징점 각각에 대한 특징점 후보자를 추출하고, 추출된 특징점 후보자 중에서 올바른 특징점을 추출하여 조합함으로써 얼굴의 전체적인 형태를 표현하고자 하였다.The discriminative approach is to extract the feature point candidates for each of the multiple feature points appearing on the face using a feature detector and extract the correct feature points from the extracted feature point candidates to represent the overall shape of the face.
그러나, 상술한 종래의 차별적 접근 방식은 얼굴의 방향이나 각도 또는 임의의 물체에 의해 얼굴의 일부가 가려지는 경우, 특징점 추출에 실패할 수 있다는 문제가 있다.However, the above-described conventional discriminative approach has a problem in that it can fail to extract feature points when a face is partially covered by a direction or an angle of a face or an arbitrary object.
생성적 접근 방식은 입력 영상에 포함된 얼굴 외양과 유사한 얼굴 외양을 미리 생성된 얼굴 외양 모델로부터 추출하여 이들의 차이를 최소화할 수 있도록 얼굴 특징점을 이동시킴으로써 얼굴의 형태를 표현하고자 한다.The generative approach is to extract the facial appearance similar to the facial appearance contained in the input image from the generated facial appearance model and to express the facial shape by moving the facial feature points so as to minimize the difference between them.
그러나, 생성적 접근 방식 또한 입력 영상의 조명이 미리 생성된 얼굴 외양 모델에서 학습된 영상의 조명과 상이하거나 입력 영상에 포함된 얼굴이 미리 생성된 얼굴 외양 모델을 통해 학습된 사람의 얼굴과 다른 경우, 특징점 추출에 대한 성능이 현저하게 떨어질 수 있다는 문제가 있다.However, the generative approach also differs from that of the learned image in the pre-generated face appearance model of the input image and the face of the input image is different from the face of the learned person through the pre-generated face appearance model , There is a problem that performance for minutiae point extraction may be remarkably deteriorated.
이와 같이 종래의 얼굴 특징점 기술은 입력 영상에 표현되는 얼굴의 크기, 방향 또는 표정, 가려짐(occlusion) 또는 조명 등의 조건에 따라 특징점 추출 성능이 크게 달라질 수 있다는 점에서 한계가 있다.As described above, the conventional facial feature point description has a limit in that the feature point extraction performance can be largely changed according to conditions such as face size, direction, facial expression, occlusion, illumination, or the like expressed in the input image.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 종래의 차별적 접근 방식과 생성적 접근 방식을 결합함으로써 얼굴 특징점 추출에 대한 성능을 향상시킬 수 있는 얼굴 특징점 추출 방법을 제공하는데 있다.SUMMARY OF THE INVENTION It is an object of the present invention to solve the above problems and provide a facial feature point extraction method capable of improving facial feature point extraction performance by combining a conventional discriminant approach and a generative approach.
또한, 본 발명의 다른 목적은, 입력 영상에 포함된 얼굴의 포즈, 표정, 가려짐 또는 조명에 상관없이 얼굴의 특징점을 정확하게 추출함으로써 얼굴 인식이 필요한 다양한 응용 기술에 적용할 수 있는 얼굴 특징점 추출 장치를 제공하는데 있다.It is another object of the present invention to provide a facial feature point extracting apparatus which can be applied to various application techniques requiring facial recognition by accurately extracting facial feature points irrespective of pose, facial expression, .
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 얼굴 특징점 추출 방법은, 디지털 신호 처리가 가능한 정보 처리 장치에서 수행되며, 입력 영상으로부터 얼굴을 검출하는 단계, 미리 생성된 얼굴 모델로부터 얼굴에 상응하는 얼굴 외형(appearance)을 추출하고, 얼굴 외형을 이용하여 얼굴에 대한 적어도 하나의 특징점 후보자를 추출하는 단계, 적어도 하나의 특징점 후보자가 얼굴 상에 매핑되는 위치에 기반하여 초기 파라미터(parameter)를 설정하는 단계 및 초기 파라미터를 최적화함으로써 얼굴에 대한 얼굴 특징점을 추출하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for extracting facial feature points, the method comprising: detecting a face from an input image; Extracting a facial appearance, extracting at least one feature point candidate for a face using the facial appearance, setting an initial parameter based on a location where at least one feature point candidate is mapped on a face And extracting facial feature points for the face by optimizing the step and initial parameters.
여기에서, 입력 영상으로부터 얼굴을 검출하는 단계는 입력 영상에서 얼굴이 위치하는 좌표를 추출하고, 좌표에 기반하여 얼굴의 크기, 방향 및 각도 중 적어도 하나를 포함하는 얼굴 포즈(pose) 정보를 분석함으로써 얼굴을 검출할 수 있다.Here, the step of detecting a face from the input image may include extracting coordinates where a face is located in the input image, and analyzing face pose information including at least one of the size, direction, and angle of the face based on the coordinates The face can be detected.
여기에서, 미리 생성된 얼굴 모델은 사전에 촬영된 적어도 하나의 영상으로부터 얼굴 포즈가 상이한 적어도 하나의 얼굴 외형을 검출하고, 적어도 하나의 얼굴 외형 각각에 대한 적어도 하나의 특징점을 추출하여, 적어도 하나의 얼굴 외형 각각에 적어도 하나의 특징점이 포함되도록 기계 학습함으로써 생성될 수 있다.Wherein the pre-generated face model includes at least one facial contour having a different facial pose from the at least one previously photographed image, extracting at least one feature point for each of the at least one facial contour, And can be generated by machine learning so that at least one feature point is included in each face appearance.
여기에서, 적어도 하나의 특징점 후보자를 추출하는 단계는 미리 생성된 얼굴 모델로부터 얼굴의 얼굴 포즈 정보에 상응하는 얼굴 외형을 추출하여 얼굴 상에 매핑하는 단계를 포함할 수 있다.Here, extracting at least one feature point candidate may include extracting a face contour corresponding to face pose information of a face from a previously generated face model, and mapping the face contour to a face.
여기에서, 적어도 하나의 특징점 후보자를 추출하는 단계는 얼굴 상에 매핑된 특징점을 얼굴의 부위 별로 구분하여 검색 영역으로 설정하는 단계 및 검색 영역에 위치하는 특징점이 얼굴에 대한 얼굴 특징점이 될 확률 값을 산출하는 단계를 포함할 수 있다.The step of extracting the at least one feature point candidates includes the steps of setting the feature points mapped on the face by the parts of the face and setting them as a search area and extracting a probability value that the feature point located in the search area becomes the face feature point of the face And a step of calculating the number of steps.
여기에서, 확률 값을 산출하는 단계는 서포트 벡터 머신(SVM, Support Vector Machine), k-최근접 이웃(K-nearest neighbor), 신경망(neural network), 회귀 분석(regression), 아다부스트(adaboost) 중 적어도 하나를 포함하는 기계 학습 알고리즘에 의해 구축된 특징점 추출기(feature detector)를 이용할 수 있다.Here, the step of calculating the probability value may be a support vector machine (SVM), a K-nearest neighbor, a neural network, a regression, an adaboost, A feature detector constructed by a machine learning algorithm that includes at least one of a feature detector and a feature detector.
여기에서, 적어도 하나의 특징점 후보자를 추출하는 단계는 산출된 확률 값에 따라 검색 영역에 포함된 특징점을 얼굴에 대한 적어도 하나의 특징점 후보자로써 추출할 수 있다.Here, the step of extracting at least one feature point candidates may extract the feature points included in the search region as at least one feature point candidates for the face according to the calculated probability value.
여기에서, 초기 파라미터를 설정하는 단계는 적어도 하나의 특징점 후보자를 얼굴의 특징과 매핑되도록 이동시키는 적어도 하나의 가설(hypothesis)을 설정하는 단계 및 적어도 하나의 가설을 렌삭(ransac) 알고리즘을 기반으로 평가함으로써 초기 파라미터를 설정하는 단계를 포함할 수 있다.Wherein setting an initial parameter comprises: setting at least one hypothesis that moves at least one feature point candidate to be mapped to a feature of a face; and determining at least one hypothesis based on a ransac algorithm Thereby setting an initial parameter.
여기에서, 얼굴에 대한 얼굴 특징점을 추출하는 단계는 초기 파라미터에 포함된 적어도 하나의 특징점 후보자 간의 거리 및 강도(intensity)를 얼굴에 맞게 조정함으로써 얼굴에 대한 얼굴 특징점을 추출할 수 있다.Here, the step of extracting the facial feature points with respect to the face may extract facial feature points with respect to the face by adjusting the distance and intensity between at least one feature point candidates included in the initial parameter to the face.
또한, 상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 얼굴 특징점 추출 장치는, 디지털 신호 처리가 가능한 정보 처리 장치에 의해 구현되며 입력 영상으로부터 얼굴을 검출하는 얼굴 검출부, 미리 생성된 얼굴 모델로부터 얼굴에 상응하는 얼굴 외형(appearance)을 추출하고, 얼굴 외형을 이용하여 얼굴에 대한 적어도 하나의 특징점 후보자를 추출하는 후보자 추출부, 적어도 하나의 특징점 후보자가 얼굴 상에 매핑되는 위치에 기반하여 초기 파라미터(parameter)를 설정하는 파라미터 설정부 및 초기 파라미터를 최적화함으로써 얼굴에 대한 얼굴 특징점을 추출하는 특징점 추출부를 포함한다.According to another aspect of the present invention, there is provided an apparatus for extracting facial feature points, the facial feature point extracting apparatus comprising: a face detecting unit that is implemented by an information processing apparatus capable of digital signal processing and detects a face from an input image; A candidate extracting unit for extracting at least one feature point candidate for a face by using the face appearance, an extraction unit for extracting at least one feature point candidate for a face based on a position where at least one feature point candidate is mapped on the face, parameter and a feature point extracting unit for extracting facial feature points for the face by optimizing the initial parameters.
상술한 바와 같은 본 발명의 실시예에 따른 얼굴 특징점 추출 방법 및 장치에 따르면, 종래의 차별적 접근 방식과 생성적 접근 방식을 결합함으로써 얼굴 특징점 추출에 대한 성능을 향상시킬 수 있다.According to the method and apparatus for extracting facial feature points according to the embodiment of the present invention as described above, the performance of facial feature point extraction can be improved by combining the conventional discriminant approach and the generative approach.
또한, 입력 영상에 포함된 얼굴의 포즈, 표정, 가려짐 또는 조명에 상관없이 얼굴의 특징점을 정확하게 추출함으로써 얼굴 인식이 필요한 다양한 응용 기술에 적용할 수 있다.In addition, the present invention can be applied to various application technologies requiring face recognition by accurately extracting feature points of a face irrespective of pose, facial expression, masking, or illumination of a face included in the input image.
도 1은 본 발명의 실시예에 따른 얼굴 특징점 추출 방법을 설명하는 흐름도이다.
도 2는 본 발명의 실시예에 따른 미리 생성된 얼굴 모델을 설명하는 예시도이다.
도 3은 본 발명의 실시예에 따른 특징점 후보자를 추출하는 것을 설명하는 흐름도이다.
도 4는 본 발명의 실시예에 따른 특징점 후보자를 추출하는 것을 설명하는 예시도이다.
도 5는 본 발명의 실시예에 따른 초기 파라미터를 설정하는 것을 설명하는 예시도이다.
도 6은 본 발명의 실시예에 따른 얼굴 특징점 추출 장치를 설명하는 블록도이다.1 is a flowchart illustrating a facial feature point extracting method according to an embodiment of the present invention.
2 is an exemplary diagram illustrating a pre-generated face model according to an embodiment of the present invention.
FIG. 3 is a flow chart illustrating extracting a minutiae candidate according to an embodiment of the present invention.
FIG. 4 is an exemplary diagram illustrating extraction of a minutiae candidate according to an embodiment of the present invention.
5 is an exemplary diagram illustrating setting of initial parameters according to an embodiment of the present invention.
6 is a block diagram illustrating a facial feature point extracting apparatus according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. The terms first, second, A, B, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 얼굴 특징점 추출 방법을 설명하는 흐름도이고, 도 2는 본 발명의 실시예에 따른 미리 생성된 얼굴 모델을 설명하는 예시도이다.FIG. 1 is a flowchart illustrating a facial feature point extraction method according to an embodiment of the present invention, and FIG. 2 is an exemplary view illustrating a pre-generated face model according to an embodiment of the present invention.
또한, 도 3은 본 발명의 실시예에 따른 특징점 후보자를 추출하는 것을 설명하는 흐름도이고, 도 4는 본 발명의 실시예에 따른 특징점 후보자를 추출하는 것을 설명하는 예시도이며, 도 5는 본 발명의 실시예에 따른 초기 파라미터를 설정하는 것을 설명하는 예시도이다.FIG. 3 is a flowchart illustrating extraction of a minutiae candidate according to an embodiment of the present invention. FIG. 4 is a diagram illustrating extraction of a minutiae candidate according to an embodiment of the present invention. Fig. 8 is a diagram illustrating an example of setting initial parameters according to the embodiment of Fig.
도 1을 참조하면, 얼굴 특징점 추출 방법은 입력 영상으로부터 얼굴을 검출하는 단계(S100), 미리 생성된 얼굴 모델로부터 추출한 얼굴 외형을 이용하여 특징점 후보자를 추출하는 단계(S200), 초기 파라미터를 설정하는 단계(S300) 및 초기 파라미터를 최적화하여 얼굴 특징점을 추출하는 단계(S400)를 포함할 수 있다.Referring to FIG. 1, a facial feature point extraction method includes a step of detecting a face from an input image (S100), a step of extracting a feature point candidate using a face contour extracted from a previously generated face model (S200) (S300) and extracting facial feature points by optimizing the initial parameters (S400).
종래에는 입력 영상에서 얼굴 특징점을 추출하기 위해 차별적 접근(discriminative approach) 방식 또는 생성적 접근 방식(generative approach)을 이용하였다.Conventionally, a discriminative approach or a generative approach is used to extract facial feature points from an input image.
그러나, 종래의 차별적 접근 방식 또는 생성적 접근 방식을 이용하는 얼굴 특징점 추출 방법은 입력 영상에 표현되는 얼굴의 크기, 방향 또는 표정, 가려짐(occlusion) 또는 조명 등의 조건에 따라 특징점 추출 성능이 크게 달라질 수 있다는 점에서 한계가 있다.However, in the facial feature point extraction method using the conventional different approach or the generative approach, feature extraction performance largely varies depending on conditions such as face size, direction or facial expression, occlusion or illumination expressed in the input image There is a limit in that it can be.
이에 따라, 본 발명은 입력 영상에서 표현되는 얼굴의 조건 또는 입력 영상이 촬영되는 외부 환경에 상관없이 정확하게 얼굴에 대한 특징점을 추출하기 위해 종래의 차별적 접근 방식과 생성적 접근 방식을 결합하는 것을 제안한다.Accordingly, the present invention proposes to combine a conventional discriminant approach and a generative approach in order to accurately extract the feature points of a face irrespective of the condition of the face expressed in the input image or the external environment in which the input image is captured .
본 발명에 따른 얼굴 특징점 추출 방법은 디지털 신호 처리가 가능한 정보 처리 장치에서 수행될 수 있다.The facial feature point extraction method according to the present invention can be performed in an information processing apparatus capable of digital signal processing.
여기에서, 정보 처리 장치는 입력 영상을 촬영할 수 있도록 카메라와 같은 적어도 하나의 이미지 센서를 탑재하고, 촬영된 입력 영상에서 얼굴 특징점을 추출할 수 있도록 정보 처리 기능을 구비한 스마트폰(smart phone), 태블릿 PC, PDA(Personal Digital Assistant), 컴퓨터, 노트북 등의 사용자 단말 및 스마트 가전 기기를 포함할 수 있으나 이에 한정되는 것은 아니다.Here, the information processing apparatus may include a smart phone equipped with at least one image sensor such as a camera for capturing an input image and having an information processing function for extracting facial feature points from the captured input image, But is not limited to, a user terminal such as a tablet PC, a PDA (Personal Digital Assistant), a computer, a notebook computer, and a smart home appliance.
이와 같이 정보 처리 장치를 통해 촬영된 입력 영상으로부터 얼굴을 검출할 수 있다(S100).As described above, the face can be detected from the input image photographed through the information processing apparatus (S100).
여기에서, 입력 영상은 얼굴이 표현된 사진(picture) 및 동영상(moving picture)을 의미할 수 있다. 따라서, 입력 영상에 대한 해상도, 픽셀 수, 조명 등뿐만 아니라 입력 영상마다 얼굴이 표현되는 위치, 크기, 방향 및 각도가 각각 상이할 수 있다.Herein, the input image may mean a picture and a moving picture in which a face is expressed. Therefore, the position, size, direction, and angle of the face may be different for each input image as well as resolution, number of pixels, illumination, and the like of the input image.
이에 따라, 입력 영상에서 얼굴이 위치하는 좌표를 추출하여 입력 영상에서 얼굴이 표현되는 크기, 방향 및 각도 중 적어도 하나를 포함하는 얼굴 포즈(pose) 정보를 분석할 수 있다.Accordingly, it is possible to analyze face pose information including at least one of a size, a direction, and an angle at which a face is expressed in the input image by extracting coordinates in which the face is located in the input image.
특히, 입력 영상에서 얼굴은 3차원으로 표현될 수 있으므로, 2차원의 평면 상에 검출된 얼굴이 표시될 수 있도록 얼굴 포즈 정보에 기반하여 3차원 형태의 얼굴을 2차원으로 변환할 수 있다.In particular, since the face can be expressed in three dimensions in the input image, the face of the three-dimensional shape can be converted into two-dimensional based on the face pose information so that the detected face can be displayed on the two-dimensional plane.
입력 영상으로부터 얼굴이 검출되면, 미리 생성된 얼굴 모델로부터 얼굴에 상응하는 얼굴 외형(appearance)을 추출하고, 얼굴 외형을 이용하여 얼굴에 대한 적어도 하나의 특징점 후보자를 추출할 수 있다(S200).When a face is detected from the input image, a face appearance corresponding to the face is extracted from the face model generated in advance, and at least one feature point candidate for the face can be extracted using the face appearance (S200).
여기에서, 미리 생성된 얼굴 모델은 사전에 촬영된 적어도 하나의 영상으로부터 얼굴 포즈가 상이한 적어도 하나의 얼굴 외형을 검출하고, 적어도 하나의 얼굴 외형 각각에 대한 적어도 하나의 특징점을 추출하여, 적어도 하나의 얼굴 외형 각각에 적어도 하나의 특징점이 포함되도록 기계 학습함으로써 생성될 수 있다.
Wherein the pre-generated face model includes at least one facial contour having a different facial pose from the at least one previously photographed image, extracting at least one feature point for each of the at least one facial contour, And can be generated by machine learning so that at least one feature point is included in each face appearance.
보다 구체적으로, 사전에 촬영된 적어도 하나의 영상에서 검출된 얼굴 외형은 도 2 (a)와 같이 3차원으로 표현될 수 있다. 여기에서, 얼굴 외형에는 적어도 하나의 특징점이 기계 학습되어 포함될 수 있다.More specifically, the face contours detected from at least one image photographed in advance can be expressed in three dimensions as shown in FIG. 2 (a). Here, at least one feature point may be machine-learned in the face contour.
그리하여, 수학식 1을 참조하면, 적어도 하나의 특징점이 포함된 얼굴 외형을 3차원 좌표 S(p)로 표현할 수 있다.Thus, referring to Equation (1), a face contour including at least one feature point can be expressed by a three-dimensional coordinate S (p).
여기에서, S0 3은 사전에 촬영된 적어도 하나의 영상에서 얼굴 외형이 표현되는 좌표의 평균 값을 의미할 수 있으며, Si 3은 얼굴의 크기, 방향, 각도 또는 표정 등을 포함하는 얼굴 포즈의 변화에 따라 얼굴 외형에 포함된 특징점이 이동하는 좌표 값을 의미할 수 있다. 또한, Pi는 얼굴 포즈의 변화에 따른 파라미터 값을 의미할 수 있으며, M은 얼굴 포즈의 변화에 따라 얼굴 외형이 이동하는 방향을 나타내는 벡터(vector)를 의미할 수 있다.Here, S 0 3 may mean an average value of the coordinates at which face contours are represented in at least one image photographed in advance, and S i 3 is a face pose including face size, direction, angle, The feature point included in the face contour according to the change of the face coordinate. In addition, P i may mean a parameter value according to a change in facial pose, and M may denote a vector indicating a direction in which a facial contour moves according to a change in facial pose.
이와 같이 3차원으로 표현되는 얼굴 외형을 2차원 평면에 도시하기 위해서는 얼굴 외형의 3차원 좌표를 2차원으로 변환되어야 한다.In order to display the facial contour expressed in three dimensions in the two-dimensional plane, the three-dimensional coordinate of the facial contour must be converted into two-dimensional.
따라서, 수학식 2를 참조하여, 수학식 1을 통해 산출한 얼굴 외형의 3차원 좌표를 2차원인 s(q)로 변환할 수 있다.Therefore, with reference to Equation (2), it is possible to convert the three-dimensional coordinates of the face contour calculated through Equation (1) into two-dimensional s (q).
여기에서, ξ은 영상의 크기를 나타내는 파라미터를 의미할 수 있다. φ, θ, ψ는 얼굴 외형을 표현하는 3차원 좌표의 x, y, z 축 각각을 2차원으로 이동하기 위한 회전 파라미터로써, 이를 이용하여 3차원 회전 행렬인 R()을 계산할 수 있다.Here,? Can mean a parameter indicating the size of an image. φ, θ, and ψ are rotation parameters for moving the x, y, and z axes of the three-dimensional coordinates representing the facial contour into two dimensions, and can be used to calculate the three-dimensional rotation matrix R ().
또한, t()는 3차원의 좌표를 2차원의 평면에 도시하기 위한 함수로써, 2차원 평면의 x축에 대한 이동 파라미터인 tx와 y축에 대한 이동 파라미터인 ty로 구성될 수 있다.Also, t () is a function for plotting three-dimensional coordinates on a two-dimensional plane, and may be composed of t x , which is a movement parameter for the x-axis of the two-dimensional plane, and t y , which is a movement parameter for the y- .
예를 들어, 도 2 (a)와 같이 3차원 좌표로 표현되는 얼굴 외형을 2차원으로 변환하면, 얼굴이 정면을 주시할 때 θ 값이 0°인 것을 알 수 있다. 따라서, 3차원의 얼굴 외형을 좌우 방향으로 이동시키면, 이동 정도에 따라 2차원으로 변환되는 회전 각도 θ값 또한 -60°에서 60°까지 변화할 수 있다.For example, as shown in FIG. 2 (a), when the face contour represented by three-dimensional coordinates is converted into two-dimensional, it can be seen that the θ value is 0 ° when the face is looking at the front face. Accordingly, when the three-dimensional facial contour is moved in the left-right direction, the rotation angle? Converted into two-dimensional according to the degree of movement can also be changed from -60 ° to 60 °.
그리하여, 2차원으로 변환된 얼굴 외형을 2차원 평면에 도시함으로써 얼굴 모델을 표현할 수 있다.Thus, a face model can be expressed by showing the face outline converted into two dimensions on a two-dimensional plane.
수학식 3을 참조하면, 도 2 (b)와 같이 각각 상이한 얼굴 포즈를 갖는 적어도 하나의 얼굴 외형이 2차원 평면에 출력될 수 있다.Referring to Equation (3), at least one facial contour, each having a different facial pose, may be output in a two-dimensional plane as shown in Fig. 2 (b).
여기에서, m은 얼굴 외형에 대한 얼굴 포즈 인덱스를 의미할 수 있으며, A0 m은 얼굴 외형을 나타낼 수 있다. 또한, Ai m은 얼굴 포즈의 변화에 따른 얼굴 외형의 이동을 나타내며, λi m은 얼굴 포즈 변화에 따라 얼굴 외형에 대한 이동 파라미터를 나타낼 수 있다.Here, m may denote the face pose index for the face contour, and A 0 m may represent the face contour. Also, A i m represents the movement of the face contour according to the change of the face pose, and λ i m represents the movement parameter for the face contour according to the face pose change.
이와 같이 얼굴 포즈가 상이한 적어도 하나의 얼굴 외형에 적어도 하나의 특징점을 포함하여 생성된 얼굴 모델을 이용하면, 입력 영상에서 검출된 얼굴에 대한 적어도 하나의 특징점 후보자를 추출할 수 있다(S200).
At least one feature point candidate for a face detected in the input image may be extracted using the face model generated by including at least one feature point in at least one face contour having a different face pose (S200).
도 3 및 도 4를 참조하면, 입력 영상에서 검출된 얼굴에 대한 얼굴 특징점 후보자를 추출할 수 있다.Referring to FIGS. 3 and 4, a face feature point candidate for a face detected in the input image can be extracted.
먼저, 미리 생성된 얼굴 모델로부터 추출된 얼굴 외형에 포함되는 특징점을 얼굴 상에 매핑할 수 있다(S210). 즉, 얼굴의 얼굴 포즈 정보에 상응하는 얼굴 외형을 미리 생성된 얼굴 모델에서 추출하고, 얼굴 외형에 포함된 특징점을 도 4 (a)와 같이 얼굴 상에 매핑할 수 있다.First, minutiae points included in a face contour extracted from a pre-generated face model may be mapped on a face (S210). That is, the facial contour corresponding to the facial pose information can be extracted from the generated facial model, and the minutiae included in the facial contour can be mapped on the face as shown in Fig. 4 (a).
얼굴 상에 매핑된 특징점은 얼굴의 부위 별로 구분하여 검색 영역으로 설정할 수 있다(S220). 여기에서, 검색 영역은 눈, 눈썹, 코, 입, 턱선 등 얼굴을 구성하는 특정 부위에 대하여 설정할 수 있다.The minutiae mapped on the face can be set as a search area by dividing them into parts of the face (S220). Here, the search region can be set for a specific region constituting the face such as eyes, eyebrows, nose, mouth, and chin line.
예를 들어, 도 4 (b)와 같이 얼굴 상에서 왼쪽 눈썹에 매핑된 특징점들을 모아 검색 영역 A로 설정하고, 왼쪽 턱선에 매핑된 특징점들을 모아 검색 영역 B로 설정할 수 있다. 이와 마찬가지로, 오른쪽 눈에 매핑된 특징점들을 모아 검색 영역 C로 설정할 수 있다.For example, as shown in FIG. 4B, the minutiae mapped to the left eyebrow on the face can be collected and set as the search area A, and the minutiae mapped on the left cheek line can be collected and set as the search area B. Likewise, the minutiae mapped to the right eye can be collected and set in the search area C.
그리하여, 검색 영역에 위치하는 특징점이 얼굴에 대한 얼굴 특징점이 될 확률 값을 산출할 수 있다(S230). 이 때, 확률 값은 서포트 벡터 머신(SVM, Support Vector Machine), k-최근접 이웃(K-nearest neighbor), 신경망(neural network), 회귀 분석(regression), 아다부스트(adaboost) 중 적어도 하나를 포함하는 기계 학습 알고리즘에 의해 구축된 특징점 추출기(feature detector)를 이용할 수 있으나 이에 한정되는 것은 아니다.Thus, a probability value that a feature point located in the search region becomes a face feature point for a face can be calculated (S230). At this time, the probability value may be at least one of a support vector machine (SVM), a K-nearest neighbor, a neural network, a regression, and an adaboost But not limited to, a feature detector constructed by a machine learning algorithm.
산출된 확률 값에 따라 검색 영역에 포함된 특징점을 얼굴에 대한 적어도 하나의 특징점 후보자로써 추출할 수 있다(S240).According to the calculated probability value, the minutiae included in the search region can be extracted as at least one minutia point candidate for the face (S240).
구체적으로 예를 들어, 도 4 (b)에서 설정된 검색 영역 A에 위치하는 적어도 하나의 특징점을 가우시안 분포의 평균 좌표 또는 공분산 행렬을 이용하여 표현한 후, 이 중에서 얼굴 특징점이 될 확률 값이 높은 특징점을 도 4 (c)의 A´와 같이 얼굴에 대한 특징점 후보자로 추출할 수 있다. Specifically, for example, after at least one feature point located in the search area A set in FIG. 4 (b) is expressed using an average coordinate or a covariance matrix of a Gaussian distribution, a feature point having a high probability value It can be extracted as a minutia point candidate for a face as shown by A 'in Fig. 4 (c).
이와 같은 방식으로 도 4 (b)에서 설정된 검색 영역 B에 위치하는 적어도 하나의 특징점 중에서 얼굴 특징점이 될 확률 값이 특징점을 도 4 (c)의 B´와 같이 얼굴에 대한 특징점 후보자로 추출할 수 있다.4 (b), the probability value to be the facial feature point among at least one feature point located in the search region B can be extracted as the feature point candidates for the face as shown in B 'in FIG. 4 (c) have.
반면, 도 4 (b)에서 설정된 검색 영역 C는 얼굴 상에서 머리카락에 의해 얼굴의 부위가 가려져 있기 때문에, 검색 영역 C에 위치하는 적어도 하나의 특징점이 가우시안 분포의 평균 좌표 또는 공분산 행렬을 통해 표현되지 않는다. 이에 따라 도 4 (c)의 C´와 같이 얼굴에 대한 특징점 후보자가 추출되지 않을 수 있다.
On the other hand, since the face region of the search region C set in FIG. 4B is covered by the hair on the face, at least one feature point located in the search region C is not expressed through the average coordinate or covariance matrix of the Gaussian distribution . Accordingly, the minutiae candidate for the face may not be extracted as shown at C 'in Fig. 4 (c).
이와 같이 추출된 적어도 하나의 특징점 후보자가 얼굴 상에 매핑되는 위치에 기반하여 초기 파라미터(parameter)를 설정할 수 있다(S300).The initial parameter may be set based on the position of the at least one minutia candidate extracted in this manner on the face (S300).
즉, 추출된 적어도 하나의 특징점 후보자를 입력 영상으로부터 검출된 얼굴의 부위에 보다 가깝게 위치하도록 이동시켜 얼굴에 대한 특징점을 추출하기 위한 초기 파라미터를 설정할 수 있다.That is, the initial parameter for extracting the feature points for the face can be set by moving the extracted at least one feature point candidate closer to the detected face region from the input image.
이를 위해, 추출된 적어도 하나의 특징점 후보자를 얼굴의 특징과 매핑되도록 이동시켜 가설(hypothesis)을 설정하고, 가설을 렌삭(ransac) 알고리즘을 이용하여 평가할 수 있다.To this end, a hypothesis can be set by moving the extracted at least one minutiae candidate to be mapped to a facial feature, and the hypothesis can be evaluated using a ransac algorithm.
예를 들어, 도 5 (a)와 같이 적어도 하나의 특징점 후보자가 얼굴 상에 매핑되면, 눈썹, 눈, 코, 입, 턱선과 같은 얼굴의 부위 별로 임의의 서로 다른 두 개의 특징점 후보자를 선택하여 얼굴의 특징과 매핑되도록 이동시킬 수 있다. For example, as shown in FIG. 5 (a), when at least one feature point candidate is mapped on a face, arbitrary two different feature point candidates are selected for each face region such as eyebrows, eyes, nose, mouth, So as to be mapped to the features of FIG.
이를 가설이라 정의하고 렌삭 알고리즘을 이용하여 평가함으로써 두 특징점 후보자 중에서 얼굴의 특징에 보다 가까운 위치에 매핑되는 특징점 후보자를 추출할 수 있다.By defining it as a hypothesis and evaluating it using the Leanz algorithm, it is possible to extract a minutiae candidate mapped to a location closer to the face feature among the two minutiae candidates.
그리하여, 상술한 일련의 과정을 반복하면, 도 5 (a)와 같이 얼굴 상에 매핑된 적어도 하나의 특징점 후보자가 도 5 (b) 및 도 5 (c)와 같이 점점 입력 영상으로부터 검출된 얼굴에 가까이 위치하게 되며, 최종적으로 도 5 (d)와 같이 얼굴에 가장 가까운 곳에 위치하는 특징점 후보자들을 초기 파라미터로 설정할 수 있다.5 (b) and 5 (c), when at least one feature point candidate mapped on the face as shown in FIG. 5 (a) And finally, the feature point candidates located closest to the face as shown in FIG. 5 (d) can be set as initial parameters.
초기 파라미터를 최적화하여 얼굴에 대한 얼굴 특징점을 추출할 수 있다(S400).The facial feature points for the face can be extracted by optimizing the initial parameters (S400).
즉, 초기 파라미터에 포함된 적어도 하나의 특징점 후보자 간의 거리 및 강도(intensity)를 얼굴에 맞게 조정함으로써 얼굴에 대한 얼굴 특징점을 추출할 수 있다.That is, facial feature points for a face can be extracted by adjusting the distance and intensity between at least one feature point candidates included in the initial parameter to the face.
수학식 4를 참조하면, 초기 파라미터를 기초로 얼굴 특징점을 추출하기 위한 최적화를 수행할 수 있다.Referring to Equation (4), optimization for extracting facial feature points based on initial parameters can be performed.
상기 수학식 4에서 
또한, 
특히, 수학식 4에서 α는 차별적 접근 방식과 생성적 접근 방식의 균형을 맞추는 값을 의미할 수 있다.In particular, in Equation (4),? May mean a value that balances the differential approach and the productive approach.
이 때, 얼굴에서 가려진 부분에 대한 얼굴 특징점을 추출하기 위해 하기 수학식 5를 이용할 수 있다At this time, the following expression (5) can be used to extract facial feature points for a part hidden from the face
수학식 5에서 
반면, 가려지는 부분이 아닌 경우에는 가시성을 표시하는 
이와 같이 본 발명에 따른 얼굴 특징점 추출 방법은 차별적 접근 방식과 생성적 접근 방식을 결합하여 보다 정확하게 얼굴 특징점을 추출할 수 있다.
As described above, the facial feature point extraction method according to the present invention can extract facial feature points more accurately by combining the discriminant approach and the generative approach.
도 6은 본 발명의 실시예에 따른 얼굴 특징점 추출 장치를 설명하는 블록도이다.6 is a block diagram illustrating a facial feature point extracting apparatus according to an embodiment of the present invention.
도 6을 참조하면, 얼굴 특징점 추출 장치(100)는 얼굴 검출부(110), 후보자 추출부(120), 파라미터 설정부(130) 및 특징점 추출부(140)를 포함할 수 있다.Referring to FIG. 6, the facial feature
얼굴 특징점 추출 장치(100)는 디지털 신호 처리가 가능한 정보 처리 장치에 의해 구현될 수 있다.The facial feature
여기에서, 정보 처리 장치는 입력 영상을 촬영할 수 있도록 카메라와 같은 적어도 하나의 이미지 센서를 탑재하고, 촬영된 입력 영상에서 얼굴 특징점을 추출할 수 있도록 정보 처리 기능을 구비한 스마트폰(smart phone), 태블릿 PC, PDA(Personal Digital Assistant), 컴퓨터, 노트북 등의 사용자 단말 및 스마트 가전 기기를 포함할 수 있으나 이에 한정되는 것은 아니다.Here, the information processing apparatus may include a smart phone equipped with at least one image sensor such as a camera for capturing an input image and having an information processing function for extracting facial feature points from the captured input image, But is not limited to, a user terminal such as a tablet PC, a PDA (Personal Digital Assistant), a computer, a notebook computer, and a smart home appliance.
얼굴 검출부(110)는 정보 처리 장치를 통해 촬영된 입력 영상으로부터 얼굴을 검출할 수 있다. The
여기에서, 입력 영상은 얼굴이 표현된 사진(picture) 및 동영상(moving picture)을 의미할 수 있다. 따라서, 입력 영상에 대한 해상도, 픽셀 수, 조명 등뿐만 아니라 입력 영상마다 얼굴이 표현되는 위치, 크기, 방향 및 각도가 각각 상이할 수 있다.Herein, the input image may mean a picture and a moving picture in which a face is expressed. Therefore, the position, size, direction, and angle of the face may be different for each input image as well as resolution, number of pixels, illumination, and the like of the input image.
이에 따라, 입력 영상에서 얼굴이 위치하는 좌표를 추출하여 입력 영상에서 얼굴이 표현되는 크기, 방향 및 각도 중 적어도 하나를 포함하는 얼굴 포즈(pose) 정보를 분석할 수 있다.Accordingly, it is possible to analyze face pose information including at least one of a size, a direction, and an angle at which a face is expressed in the input image by extracting coordinates in which the face is located in the input image.
특히, 입력 영상에서 얼굴은 3차원으로 표현될 수 있으므로, 2차원의 평면 상에 검출된 얼굴이 표시될 수 있도록 얼굴 포즈 정보에 기반하여 3차원 형태의 얼굴을 2차원으로 변환할 수 있다.In particular, since the face can be expressed in three dimensions in the input image, the face of the three-dimensional shape can be converted into two-dimensional based on the face pose information so that the detected face can be displayed on the two-dimensional plane.
후보자 추출부(120)는 미리 생성된 얼굴 모델(150)로부터 얼굴에 상응하는 얼굴 외형을 추출하고, 얼굴 외형을 이용하여 얼굴에 대한 적어도 하나의 특징점 후보자를 추출할 수 있다.The
후보자 추출부(120)는 특징점 매핑 모듈(121), 검색 영역 설정 모듈(123) 및 확률 산출 모듈(125)을 포함할 수 있다.The
특징점 매핑 모듈(121)은 미리 생성된 얼굴 모델(150)로부터 추출된 얼굴 외형에 포함되는 특징점을 얼굴 상에 매핑할 수 있다. 즉, 얼굴의 얼굴 포즈 정보에 상응하는 얼굴 외형을 미리 생성된 얼굴 모델(150)에서 추출하고, 얼굴 외형에 포함된 특징점을 얼굴 상에 매핑할 수 있다.The feature point mapping module 121 can map feature points included in the face outline extracted from the
여기에서, 미리 생성된 얼굴 모델(150)은 사전에 촬영된 적어도 하나의 영상으로부터 얼굴 포즈가 상이한 적어도 하나의 얼굴 외형을 검출하고, 적어도 하나의 얼굴 외형 각각에 대한 적어도 하나의 특징점을 추출하여, 적어도 하나의 얼굴 외형 각각에 적어도 하나의 특징점이 포함되도록 기계 학습함으로써 생성될 수 있다.Here, the
검색 영역 설정 모듈(123)은 얼굴 상에 매핑된 특징점을 얼굴의 부위 별로 구분하여 검색 영역으로 설정할 수 있다. 여기에서, 검색 영역은 눈, 눈썹, 코, 입, 턱선 등 얼굴을 구성하는 특정 부위에 대하여 설정할 수 있다.The search
확률 산출 모듈(125)은 검색 영역에 위치하는 특징점이 얼굴에 대한 얼굴 특징점이 될 확률 값을 산출할 수 있다. 이 때, 확률 값은 서포트 벡터 머신(SVM, Support Vector Machine), k-최근접 이웃(K-nearest neighbor), 신경망(neural network), 회귀 분석(regression), 아다부스트(adaboost) 중 적어도 하나를 포함하는 기계 학습 알고리즘에 의해 구축된 특징점 추출기(feature detector)를 이용할 수 있으나 이에 한정되는 것은 아니다.The
이를 통해 후보자 추출부(120)는 산출된 확률 값에 따라 검색 영역에 포함된 특징점을 얼굴에 대한 적어도 하나의 특징점 후보자로써 추출할 수 있다.Accordingly, the
파라미터 설정부(130)는 적어도 하나의 특징점 후보자가 얼굴 상에 매핑되는 위치에 기반하여 초기 파라미터(parameter)를 설정할 수 있다.The
즉, 추출된 적어도 하나의 특징점 후보자를 입력 영상으로부터 검출된 얼굴의 부위에 보다 가깝게 위치하도록 이동시켜 얼굴에 대한 특징점을 추출하기 위한 초기 파라미터를 설정할 수 있다.That is, the initial parameter for extracting the feature points for the face can be set by moving the extracted at least one feature point candidate closer to the detected face region from the input image.
이를 위해, 추출된 적어도 하나의 특징점 후보자를 얼굴의 특징과 매핑되도록 이동시켜 가설(hypothesis)을 설정하고, 가설을 렌삭(ransac) 알고리즘을 이용하여 평가할 수 있다.To this end, a hypothesis can be set by moving the extracted at least one minutiae candidate to be mapped to a facial feature, and the hypothesis can be evaluated using a ransac algorithm.
예를 들어, 적어도 하나의 특징점 후보자가 얼굴 상에 매핑되면, 눈썹, 눈, 코, 입, 턱선과 같은 얼굴의 부위 별로 임의의 서로 다른 두 개의 특징점 후보자를 선택하여 얼굴의 특징과 매핑되도록 이동시킬 수 있다. For example, when at least one feature point candidate is mapped on a face, two arbitrary different feature point candidates are selected for each facial region such as eyebrows, eyes, nose, mouth, and jaw line, .
이를 가설이라 정의하고 렌삭 알고리즘을 이용하여 평가함으로써 두 특징점 후보자 중에서 얼굴의 특징에 보다 가까운 위치에 매핑되는 특징점 후보자를 추출할 수 있다.By defining it as a hypothesis and evaluating it using the Leanz algorithm, it is possible to extract a minutiae candidate mapped to a location closer to the face feature among the two minutiae candidates.
이와 같은 과정을 반복하면, 얼굴에 가장 가까운 곳에 위치하는 특징점 후보자들이 초기 파라미터로 설정될 수 있다.By repeating this process, feature point candidates located closest to the face can be set as initial parameters.
특징점 추출부(140)는 초기 파라미터를 최적화하여 얼굴에 대한 얼굴 특징점을 추출할 수 있다. 즉, 초기 파라미터에 포함된 적어도 하나의 특징점 후보자 간의 거리 및 강도를 얼굴에 맞게 조정함으로써 얼굴에 대한 얼굴 특징점을 추출할 수 있다.
The feature
상술한 바와 같은 본 발명의 실시예에 따른 얼굴 특징점 추출 방법 및 장치에 따르면, 종래의 차별적 접근 방식과 생성적 접근 방식을 결합함으로써 얼굴 특징점 추출에 대한 성능을 향상시킬 수 있다.According to the method and apparatus for extracting facial feature points according to the embodiment of the present invention as described above, the performance of facial feature point extraction can be improved by combining the conventional discriminant approach and the generative approach.
또한, 입력 영상에 포함된 얼굴의 포즈, 표정, 가려짐 또는 조명에 관계없이 얼굴의 특징점을 정확하게 추출함으로써 다양한 얼굴 인식 기술에 적용할 수 있다.
In addition, it can be applied to various face recognition technologies by accurately extracting feature points of a face irrespective of pose, facial expression, masking, or illumination of a face included in the input image.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that
100: 얼굴 특징점 추출 장치 110: 얼굴 검출부
120: 후보자 추출부 121: 특징점 매핑 모듈
123: 검색 영역 설정 모듈 125: 확률 산출 모듈
130: 파라미터 설정부 140: 특징점 추출부
150: 얼굴 모델100: facial feature point extracting apparatus 110: face detecting unit
120: candidate extracting unit 121: minutiae mapping module
123: Search area setting module 125: Probability calculation module
130: Parameter setting unit 140:
150: Face model
Claims (18)
입력 영상으로부터 얼굴을 검출하는 단계;
미리 생성된 얼굴 모델로부터 상기 얼굴에 상응하는 얼굴 외형(appearance)을 추출하고, 상기 얼굴 외형을 이용하여 상기 얼굴에 대한 적어도 하나의 특징점 후보자를 추출하는 단계;
상기 적어도 하나의 특징점 후보자가 상기 얼굴 상에 매핑되는 위치에 기반하여 초기 파라미터(parameter)를 설정하는 단계; 및
상기 초기 파라미터를 최적화함으로써 상기 얼굴에 대한 얼굴 특징점을 추출하는 단계를 포함하되,
상기 적어도 하나의 특징점 후보자를 추출하는 단계는,
상기 얼굴 외형에 포함된 특징점을 상기 입력 영상으로부터 검출된 얼굴에 매핑하고,
상기 얼굴 상에 매핑된 특징점을 상기 얼굴의 부위 별로 구분하여 검색 영역으로 설정한 후, 특징점 추출기(feature detector)를 이용하여 상기 검색 영역에 위치하는 특징점이 상기 얼굴에 대한 얼굴 특징점이 될 확률 값을 산출하며,
상기 산출된 확률 값에 따라 상기 검색 영역에 포함된 특징점을 상기 얼굴에 대한 적어도 하나의 특징점 후보자로써 추출하는 것을 특징으로 하는 얼굴 특징점 추출 방법.A facial feature point extraction method performed in an information processing apparatus capable of digital signal processing,
Detecting a face from an input image;
Extracting a facial appearance corresponding to the face from a pre-generated face model, and extracting at least one feature point candidate for the face using the facial appearance;
Setting an initial parameter based on a location where the at least one minutiae candidate is mapped onto the face; And
And extracting facial feature points for the face by optimizing the initial parameters,
Wherein the extracting of the at least one minutiae candidate comprises:
A feature point included in the face contour is mapped to a face detected from the input image,
The feature points mapped on the face are classified into the search regions by the face regions, and a probability value that a feature point located in the search region becomes a face feature point for the face using a feature detector However,
And extracting feature points included in the search region as at least one feature point candidates for the face according to the calculated probability value.
상기 입력 영상으로부터 얼굴을 검출하는 단계는,
상기 입력 영상에서 상기 얼굴이 위치하는 좌표를 추출하고,
상기 좌표에 기반하여 상기 얼굴의 크기, 방향 및 각도 중 적어도 하나를 포함하는 얼굴 포즈(pose) 정보를 분석함으로써 상기 얼굴을 검출하는 것을 특징으로 하는 얼굴 특징점 추출 방법.The method according to claim 1,
Wherein the step of detecting a face from the input image comprises:
Extracting a coordinate at which the face is located in the input image,
Wherein the face is detected by analyzing face pose information including at least one of a size, a direction and an angle of the face based on the coordinates.
상기 미리 생성된 얼굴 모델은,
사전에 촬영된 적어도 하나의 영상으로부터 얼굴 포즈가 상이한 적어도 하나의 얼굴 외형을 검출하고,
상기 적어도 하나의 얼굴 외형 각각에 대한 적어도 하나의 특징점을 추출하여,
상기 적어도 하나의 얼굴 외형 각각에 상기 적어도 하나의 특징점이 포함되도록 기계 학습함으로써 생성되는 것을 특징으로 하는 얼굴 특징점 추출 방법.The method of claim 2,
The pre-generated face model includes:
Detecting at least one face contour having a different face pose from at least one image photographed in advance,
Extracting at least one feature point for each of the at least one facial appearance,
Wherein the at least one facial appearance is generated by machine learning so that the at least one feature point is included in each of the at least one facial appearance.
상기 특징점 추출기는,
서포트 벡터 머신(SVM, Support Vector Machine), k-최근접 이웃(K-nearest neighbor), 신경망(neural network), 회귀 분석(regression), 아다부스트(adaboost) 중 적어도 하나를 포함하는 기계 학습 알고리즘에 의해 구축되는 것을 특징으로 하는 얼굴 특징점 추출 방법.The method according to claim 1,
Wherein the feature point extractor comprises:
A machine learning algorithm including at least one of Support Vector Machine (SVM), K-nearest neighbor, neural network, regression, and adaboost Wherein the facial feature point extraction step comprises:
상기 초기 파라미터를 설정하는 단계는,
상기 적어도 하나의 특징점 후보자를 상기 얼굴의 특징과 매핑되도록 이동시키는 적어도 하나의 가설(hypothesis)을 설정하는 단계; 및
상기 적어도 하나의 가설을 렌삭(ransac) 알고리즘을 기반으로 평가함으로써 상기 초기 파라미터를 설정하는 단계를 포함하는 것을 특징으로 하는 얼굴 특징점 추출 방법.The method according to claim 1,
Wherein the step of setting the initial parameters comprises:
Establishing at least one hypothesis that moves the at least one minutiae candidate to be mapped to a feature of the face; And
And setting the initial parameter by evaluating the at least one hypothesis based on a ransac algorithm.
상기 얼굴에 대한 얼굴 특징점을 추출하는 단계는,
상기 초기 파라미터에 포함된 상기 적어도 하나의 특징점 후보자 간의 거리 및 강도(intensity)를 상기 얼굴에 맞게 조정함으로써 상기 얼굴에 대한 얼굴 특징점을 추출하는 것을 특징으로 하는 얼굴 특징점 추출 방법.The method of claim 8,
The step of extracting facial feature points for the face may include:
And extracting facial feature points for the face by adjusting the distance and intensity between the at least one feature point candidates included in the initial parameter to the face.
입력 영상으로부터 얼굴을 검출하는 얼굴 검출부;
미리 생성된 얼굴 모델로부터 상기 얼굴에 상응하는 얼굴 외형(appearance)을 추출하고, 상기 얼굴 외형을 이용하여 상기 얼굴에 대한 적어도 하나의 특징점 후보자를 추출하는 후보자 추출부;
상기 적어도 하나의 특징점 후보자가 상기 얼굴 상에 매핑되는 위치에 기반하여 초기 파라미터(parameter)를 설정하는 파라미터 설정부; 및
상기 초기 파라미터를 최적화함으로써 상기 얼굴에 대한 얼굴 특징점을 추출하는 특징점 추출부를 포함하되,
상기 후보자 추출부는,
상기 얼굴 외형에 포함된 특징점을 상기 입력 영상으로부터 검출된 얼굴에 매핑하고,
상기 얼굴 상에 매핑된 특징점을 상기 얼굴의 부위 별로 구분하여 검색 영역으로 설정한 후, 특징점 추출기(feature detector)를 이용하여 상기 검색 영역에 위치하는 특징점이 상기 얼굴에 대한 얼굴 특징점이 될 확률 값을 산출하며,
상기 산출된 확률 값에 따라 상기 검색 영역에 포함된 특징점을 상기 얼굴에 대한 적어도 하나의 특징점 후보자로써 추출하는 것을 특징으로 하는 얼굴 특징점 추출 장치.A facial feature point extracting apparatus, which is implemented by an information processing apparatus capable of digital signal processing,
A face detector for detecting a face from an input image;
A candidate extractor for extracting a facial appearance corresponding to the face from a pre-generated face model and extracting at least one feature point candidate for the face using the face contour;
A parameter setting unit for setting an initial parameter based on a position where the at least one minutia point candidate is mapped on the face; And
And a feature point extracting unit for extracting facial feature points for the face by optimizing the initial parameters,
Wherein the candidate extracting unit comprises:
A feature point included in the face contour is mapped to a face detected from the input image,
The feature points mapped on the face are classified into the search regions by the face regions, and a probability value that a feature point located in the search region becomes a face feature point for the face using a feature detector However,
And extracting feature points included in the search region as at least one feature point candidates for the face according to the calculated probability value.
상기 얼굴 검출부는,
상기 입력 영상에서 상기 얼굴이 위치하는 좌표를 추출하고,
상기 좌표에 기반하여 상기 얼굴의 크기, 방향 및 각도 중 적어도 하나를 포함하는 얼굴 포즈(pose) 정보를 분석함으로써 상기 얼굴을 검출하는 것을 특징으로 하는 얼굴 특징점 추출 장치.The method of claim 10,
Wherein the face detection unit comprises:
Extracting a coordinate at which the face is located in the input image,
Wherein the face detecting unit detects the face by analyzing face pose information including at least one of a size, a direction and an angle of the face based on the coordinates.
상기 미리 생성된 얼굴 모델은,
사전에 촬영된 적어도 하나의 영상으로부터 얼굴 포즈가 상이한 적어도 하나의 얼굴 외형을 검출하고,
상기 적어도 하나의 얼굴 외형 각각에 대한 적어도 하나의 특징점을 추출하여,
상기 적어도 하나의 얼굴 외형 각각에 상기 적어도 하나의 특징점이 포함되도록 기계 학습함으로써 생성되는 것을 특징으로 하는 얼굴 특징점 추출 장치.The method of claim 11,
The pre-generated face model includes:
Detecting at least one face contour having a different face pose from at least one image photographed in advance,
Extracting at least one feature point for each of the at least one facial appearance,
Wherein the at least one facial appearance is generated by machine learning so that the at least one feature point is included in each of the at least one facial appearance.
상기 특징점 추출기는,
서포트 벡터 머신(SVM, Support Vector Machine), k-최근접 이웃(K-nearest neighbor), 신경망(neural network), 회귀 분석(regression), 아다부스트(adaboost) 중 적어도 하나를 포함하는 기계 학습 알고리즘에 의해 구축되는 것을 특징으로 하는 얼굴 특징점 추출 장치.The method of claim 10,
Wherein the feature point extractor comprises:
A machine learning algorithm including at least one of Support Vector Machine (SVM), K-nearest neighbor, neural network, regression, and adaboost Wherein the facial feature point extracting unit is constructed by the facial feature point extracting unit.
상기 파라미터 설정부는,
상기 적어도 하나의 특징점 후보자를 상기 얼굴의 특징과 매핑되도록 이동시키는 적어도 하나의 가설(hypothesis)을 설정하고,
상기 적어도 하나의 가설을 렌삭(ransac) 알고리즘을 기반으로 평가함으로써 상기 초기 파라미터를 설정하는 것을 특징으로 하는 얼굴 특징점 추출 장치.The method of claim 10,
Wherein the parameter setting unit comprises:
Setting at least one hypothesis that moves the at least one feature point candidate to be mapped to the feature of the face,
Wherein the initial parameter is set by evaluating the at least one hypothesis based on a ransac algorithm.
상기 특징점 추출부는,
상기 초기 파라미터에 포함된 상기 적어도 하나의 특징점 후보자 간의 거리 및 강도(intensity)를 상기 얼굴에 맞게 조정함으로써 상기 얼굴에 대한 얼굴 특징점을 추출하는 것을 특징으로 하는 얼굴 특징점 추출 장치.18. The method of claim 17,
The feature point extracting unit may extract,
Wherein the facial feature point extraction unit extracts facial feature points for the face by adjusting the distance and intensity between the at least one feature point candidates included in the initial parameter to the face.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140054087A KR101612605B1 (en) | 2014-05-07 | 2014-05-07 | Method for extracting face feature and apparatus for perforimg the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140054087A KR101612605B1 (en) | 2014-05-07 | 2014-05-07 | Method for extracting face feature and apparatus for perforimg the method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150127381A KR20150127381A (en) | 2015-11-17 |
| KR101612605B1 true KR101612605B1 (en) | 2016-04-14 |
Family
ID=54786016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140054087A KR101612605B1 (en) | 2014-05-07 | 2014-05-07 | Method for extracting face feature and apparatus for perforimg the method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101612605B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190098858A (en) * | 2018-02-01 | 2019-08-23 | 고려대학교 산학협력단 | Method and apparatus for pose-invariant face recognition based on deep learning |
| KR20200032258A (en) * | 2016-07-17 | 2020-03-25 | 쥐에스아이 테크놀로지 인코포레이티드 | Finding k extreme values in constant processing time |
| US12027238B2 (en) | 2021-09-30 | 2024-07-02 | Gsi Technology Inc. | Functional protein classification for pandemic research |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102610035B1 (en) * | 2016-06-13 | 2023-12-06 | 한국전자통신연구원 | System and method for recognizing pose invariant face |
| US10528799B2 (en) | 2016-12-23 | 2020-01-07 | Samsung Electronics Co., Ltd. | Electronic apparatus and operation method thereof |
| CN107679446B (en) * | 2017-08-17 | 2019-03-15 | 平安科技（深圳）有限公司 | Human face posture detection method, device and storage medium |
| CN108229308A (en) | 2017-11-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | Recongnition of objects method, apparatus, storage medium and electronic equipment |
| KR102063745B1 (en) * | 2018-05-04 | 2020-02-11 | 한국과학기술연구원 | Apparatus and method for user identifying based on face profiling |
| KR102244013B1 (en) * | 2018-09-06 | 2021-04-22 | 포항공과대학교 산학협력단 | Method and apparatus for face recognition |
| KR20200106111A (en) | 2019-02-26 | 2020-09-11 | 연세대학교 산학협력단 | Face landmark detection apparatus and method using gaussian landmark map with regression scheme |
| CN109961055A (en) * | 2019-03-29 | 2019-07-02 | 广州市百果园信息技术有限公司 | Face critical point detection method, apparatus, equipment and storage medium |
| CN110287774A (en) * | 2019-05-14 | 2019-09-27 | 广东康云科技有限公司 | Object method for detecting, system and storage medium based on WIFI |
-
2014
- 2014-05-07 KR KR1020140054087A patent/KR101612605B1/en not_active IP Right Cessation
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200032258A (en) * | 2016-07-17 | 2020-03-25 | 쥐에스아이 테크놀로지 인코포레이티드 | Finding k extreme values in constant processing time |
| US10929751B2 (en) | 2016-07-17 | 2021-02-23 | Gsi Technology Inc. | Finding K extreme values in constant processing time |
| KR102305568B1 (en) * | 2016-07-17 | 2021-09-27 | 쥐에스아이 테크놀로지 인코포레이티드 | Finding k extreme values in constant processing time |
| KR20190098858A (en) * | 2018-02-01 | 2019-08-23 | 고려대학교 산학협력단 | Method and apparatus for pose-invariant face recognition based on deep learning |
| KR102016082B1 (en) * | 2018-02-01 | 2019-08-29 | 고려대학교 산학협력단 | Method and apparatus for pose-invariant face recognition based on deep learning |
| US12027238B2 (en) | 2021-09-30 | 2024-07-02 | Gsi Technology Inc. | Functional protein classification for pandemic research |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150127381A (en) | 2015-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101612605B1 (en) | Method for extracting face feature and apparatus for perforimg the method | |
| Sagayam et al. | Hand posture and gesture recognition techniques for virtual reality applications: a survey | |
| EP3284011B1 (en) | Two-dimensional infrared depth sensing | |
| Hasan et al. | RETRACTED ARTICLE: Static hand gesture recognition using neural networks | |
| US10572072B2 (en) | Depth-based touch detection | |
| US8971572B1 (en) | Hand pointing estimation for human computer interaction | |
| JP4653606B2 (en) | Image recognition apparatus, method and program | |
| US20190392587A1 (en) | System for predicting articulated object feature location | |
| US20160162673A1 (en) | Technologies for learning body part geometry for use in biometric authentication | |
| Feng et al. | Features extraction from hand images based on new detection operators | |
| Bhuyan et al. | Hand pose recognition using geometric features | |
| EP2704056A2 (en) | Image processing apparatus, image processing method | |
| Shukla et al. | A method for hand gesture recognition | |
| CN111062328B (en) | Image processing method and device and intelligent robot | |
| JP6822482B2 (en) | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium | |
| JP6071002B2 (en) | Reliability acquisition device, reliability acquisition method, and reliability acquisition program | |
| JP7151875B2 (en) | Image processing device, image processing method, and program | |
| KR101558547B1 (en) | Age Cognition Method that is powerful to change of Face Pose and System thereof | |
| US20150199592A1 (en) | Contour-based classification of objects | |
| CN102713975B (en) | Image clearing system, image method for sorting and computer program | |
| CN111062263A (en) | Method, device, computer device and storage medium for hand pose estimation | |
| KR20100011280A (en) | Method and apparatus of recognizing detailed facial expression using facial expression information amplification | |
| Wang et al. | A new hand gesture recognition algorithm based on joint color-depth superpixel earth mover's distance | |
| Enikeev et al. | Recognition of sign language using leap motion controller data | |
| CN106406507B (en) | Image processing method and electronic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |