WO2013048159A1 - 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
WO2013048159A1
WO2013048159A1 PCT/KR2012/007843 KR2012007843W WO2013048159A1 WO 2013048159 A1 WO2013048159 A1 WO 2013048159A1 KR 2012007843 W KR2012007843 W KR 2012007843W WO 2013048159 A1 WO2013048159 A1 WO 2013048159A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature point
point candidate
image
feature
position information
Prior art date
Application number
PCT/KR2012/007843
Other languages
English (en)
French (fr)
Inventor
천영재
박용찬
Original Assignee
(주)올라웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)올라웍스 filed Critical (주)올라웍스
Priority to EP12836458.5A priority Critical patent/EP2763078A4/en
Priority to CN201280058002.5A priority patent/CN104395913A/zh
Priority to US14/129,356 priority patent/US9202109B2/en
Priority to JP2014531736A priority patent/JP5795443B2/ja
Publication of WO2013048159A1 publication Critical patent/WO2013048159A1/ko
Priority to US14/926,284 priority patent/US9563821B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions

Definitions

  • the present invention relates to a method, an apparatus, and a computer readable recording medium for detecting facial feature point positions using an Adaboost learning algorithm. More particularly, the present invention relates to a method, an apparatus, and a computer readable recording medium for more accurately detecting a feature point location of a face in an unusual face image using a multilayer adboost classifier.
  • Biometric technology is a technology for recognizing body features such as fingerprints, faces, irises, and veins that are different for each individual. Such physical features can not be stolen or copied by others like keys or passwords, and can be used in security because there is no risk of being changed or lost.
  • the dual face recognition technology includes a technology for identifying a face in a detected face region after detecting a face region in a video or photo image, so that the face recognition technology can be used not only in the security field but also in various applications in accordance with the smartphone era. Can be.
  • the face recognition technology is a technology for identifying a face by using feature point positions in a detected face image.
  • the feature points include eye points, both eyes of each eye, both ends and midpoints of eyebrows, and both ends of lips. Can be.
  • a method using a histogram for example, a method using a principal component analysis (PCA), and a method using an Adaboost learning algorithm are used.
  • PCA principal component analysis
  • Adaboost learning algorithm for example, a method using an Adaboost learning algorithm
  • the above methods may be used for unusual facial images (e.g., a face image with glasses, a face image with hair covering part of the face, a rich facial image, a face image that is not frontal, a partially dark face image, When applied to an image, such as closing eyes, there is a problem that the feature point position detection performance is significantly reduced.
  • unusual facial images e.g., a face image with glasses, a face image with hair covering part of the face, a rich facial image, a face image that is not frontal, a partially dark face image
  • the object of the present invention is to solve all the above-mentioned problems.
  • the present invention uses the Adaboost learning algorithm to detect the position of the facial feature point, the facial feature point position detection performance by accurately detecting the feature point candidate position for the non-generic face image as well as the feature point candidate position for the general face image It is for other purposes that it can be guaranteed.
  • a sub-window image is classified into a first feature candidate recommendation image and a first feature candidate candidate deprecated image using the first feature patterns selected by the Adaboost learning algorithm, and the first feature point.
  • Generating first feature point candidate position information of a candidate recommendation image and (b) generating the first sub-window image classified as the first feature point candidate deprecated image by using second feature patterns selected by the Adaboost learning algorithm.
  • a sub-window image is classified into a first feature point candidate recommendation image and a first feature point candidate deprecated image by using the first feature patterns selected by the Adaboost learning algorithm, and the first feature point candidate recommendation image.
  • the method and apparatus of the present invention provide that the first feature patterns are based on features for a general face image, the second feature patterns are based on features for a non-generic face image, and that the first feature patterns Each of the second feature patterns specifies one or more dark areas and one or more light areas.
  • a feature point candidate position generator for storing and generating the first feature point candidate position information and the second feature point candidate position information for sub-window images of a face image, and the first feature point Clustering of the candidate position information and the second feature point candidate position information to form a cluster, the midpoint position of the first feature point candidate position information and the second feature point candidate position information forming the largest cluster among the clusters
  • a feature point candidate position clustering unit for generating the position information for the feature point position information is additionally provided.
  • the feature point position detection performance can be improved by detecting the feature point position by detecting the feature point candidate position for the unusual face image as well as the feature point candidate position for the general face image.
  • FIG. 1 is a block diagram showing the configuration of a facial feature point position detection apparatus according to an embodiment of the present invention.
  • FIG. 2 illustrates a sub window image input to a feature point candidate position detector according to an exemplary embodiment of the present invention.
  • 3 is for explaining the function of the feature point candidate position clustering unit.
  • FIG. 4 illustrates a feature point candidate position detector using an Adaboost learning algorithm according to an embodiment of the present invention.
  • FIG. 5 illustrates a steel classifier of one embodiment of the feature candidate position detector shown in FIG. 4.
  • FIG 6 illustrates feature patterns selected by learning by the Adaboost learning algorithm of an embodiment of the present invention.
  • FIG. 1 is a block diagram showing the configuration of a facial feature point position detection apparatus according to an embodiment of the present invention.
  • the facial feature point position detecting apparatus 100 includes a normalizer 110, an image converter 120, a feature point candidate position detector 130, a feature point candidate position clustering unit 140, and a feature point position adjuster. 150 may be included.
  • the normalization unit 110 may normalize the face image to a gray image having a predetermined size. That is, the size of the input face image may vary and the color may be a color image.
  • the normalization unit 110 may normalize the gray image having a predetermined size to detect a feature point position of the face image having various sizes.
  • the image converter 120 may convert the gray image into a multi-scale image by performing a modified census transform (MCT). That is, the image converter 120 may convert an image having a scale larger than that of the gray image. If each pixel of the gray image has 256 scales, for example, from 0 to 255, the image converter 120 ) May convert each pixel of the gray image into 512 scales, for example, from 0 to 511.
  • MCT modified census transform
  • the feature point candidate position detector 130 learns the patterns of the general face image by the Adaboost learning algorithm and uses the selected first feature patterns to select the sub-window image. If a sub-window image classified as one of the candidate recommendation image and the first feature candidate deprecated image and the sub-window image classified as the first feature candidate deprecation image is input, the patterns for the non-generic face images are generated by the Adboost learning algorithm.
  • the sub-window image classified into the first feature point candidate non-recommended image is classified into a second feature point candidate recommendation image and a second feature point candidate non-recommended image by using the second feature patterns selected by learning, and the first feature point of the first feature point candidate recommendation image. Of the location information and the second feature candidate recommendation image. 2 can output the feature point position information.
  • patterns for a general face image are classified into one of a first feature candidate recommendation image and a first feature candidate deprecation image using the first feature patterns selected by learning by the Adaboost learning algorithm.
  • the first feature patterns may refer to patterns included in at least one strong classifier included in the first layer, which will be described later. If the first layer includes a plurality of strong classifiers, the first feature patterns are included in the first layer. Of course, the patterns included in each of the strong classifiers may be different from each other.
  • the second feature patterns selected by learning patterns for an unusual face image by an Adaboost learning algorithm are selected.
  • the second feature patterns may be described later after the second layer (that is, the second layer).
  • To k-th layer may refer to a pattern included in at least one strong classifier, wherein the patterns included in each strong classifier may not only be different for each layer, but may also be different within the same layer. Of course you will.
  • the method and apparatus of the present invention wherein the first feature patterns are based on features for a general face image, the second feature patterns are based on features for an unusual face image, and the first feature pattern And each of the second feature patterns designate at least one dark region and at least one bright region.
  • whether the image is a general face image may be determined by determining whether the image is within a predetermined threshold or more compared with the normal face image, and whether the area included in the first and second feature patterns is a dark area or a bright area. It may be divided based on at least one predetermined brightness value. More specifically, if it is determined that it is an unusual face image, an abnormal degree may be graded, and a plurality of preset thresholds may be provided for this purpose.
  • FIG. 2 is a view for explaining a sub-window image input to the feature point candidate position detector 130 according to an embodiment of the present invention.
  • A is an image of 384 x 288 size converted by the image converter 120.
  • A, b, c, and d may represent a 24 ⁇ 24 sub window image sequentially input to the feature point candidate position detector 130. That is, the image from the first sub-window image a to the last sub-window image d obtained while moving from the first pixel to the last pixel of the image A in the predetermined pixel unit is sequentially transferred to the feature point candidate position detector 130. Can be entered.
  • the feature point candidate position clustering unit 140 clusters the feature point position recommendation image of the first feature point candidate recommendation images and the second feature point candidate recommendation images obtained with respect to the image A detected by the feature point candidate position detection unit 130. After clustering is performed to create clusters, the location information of the midpoint of the largest cluster may be output as the final feature point location information.
  • FIG. 3 is a view for explaining the function of the feature point candidate position clustering unit 140, and the feature points according to the first feature point position information and the second feature point position information obtained by the feature point candidate position detector 130 are indicated by black dots.
  • the position information of the midpoint of the largest cluster e1 may be the final feature point position information.
  • various modifications may be assumed. For example, there is no need to be limited to the midpoint, and any representative position that can represent the cluster may function as information about the cluster.
  • the feature point position controller 150 may output the feature point position information by adjusting the position information corresponding to the size of the face image input to the normalization unit 110 after receiving the final feature point position information. That is, since the size of the face image is changed by the normalization unit 110, the feature point position controller 150 receives the final feature point position information obtained by the feature point candidate position clustering unit 140 into the normalizer 110. A function of adjusting the position information corresponding to the size of the image may be performed.
  • the normalizer 110, the image converter 120, and the feature point position adjuster 150 have a face image input to the facial feature point position detection apparatus 100 for a feature point position detector 130.
  • the configuration may not be necessary.
  • FIG. 4 illustrates a feature point candidate position detector 130 according to an embodiment of the present invention.
  • the feature point candidate position detector 130 includes a classifier 210-1, a reclassifier 210-2 to 210-k, and a feature point candidate position generator 220.
  • the classifier 210-1 may be referred to as a so-called first layer
  • the reclassifiers 210-2 to 210-k may be referred to as a so-called second to kth layers, respectively.
  • the first layer may include at least one strong classifier including patterns obtained through learning about a general face image
  • the second to kth layers may have a higher degree of abnormality as k becomes larger. It may include at least one strong classifier including the patterns obtained through learning about.
  • the classifier 210-1 which is the classifier of the first layer, uses the steel classifiers 230-11 through 230-1n
  • the reclassifier 210-2 which is the classifier of the second layer, uses the steel classifiers 230-21 through 230. 2 m
  • the reclassifier 210-k which is the classifier of the k-th layer, may include steel classifiers 230-k1 to 230-kl.
  • the classifier 210-1 and the reclassifiers 210-2 to 210-k may include steel classifiers having one or more different configurations.
  • the classifier 210-1 uses the first feature patterns selected by learning by the Adaboost learning algorithm among patterns of the general face image, and inputs the input sub-window image to the first feature candidate recommendation image and the first feature candidate rejection image.
  • the image may be classified into one image, and location information about the first feature point candidate recommendation image may be generated.
  • Each of the reclassifiers 210-2 to 210-k uses a second feature pattern selected by learning by an Adaboost learning algorithm among patterns of an unusual face image, the classifier 210-that is the classifier of the first layer. 1) and a sub-window image classified as a feature point candidate deprecated image by a reclassifier 210-2 to 210-k, which is a classifier of the second layer, of one of the second feature point candidate recommendation image and the second feature point candidate deprecated image.
  • the feature point position information on the second feature point candidate recommendation image may be generated.
  • the classifier 210-1 may generate a first feature point candidate position of the first feature point candidate recommendation image with respect to the general face image, and each of the reclassifiers 210-2 to 210-k may have an unusual face.
  • the second feature point candidate position of the second feature point candidate recommendation image for the image may be generated.
  • the strong classifiers 230-11 to 230-1n included in the first layer may use the first feature pattern candidate recommendation image and the first feature pattern by using the input sub window image and the first feature pattern selected by learning by the Adaboost learning algorithm.
  • the first feature point candidate is classified as a non-recommended image, and the first feature point candidate position information is output.
  • all of the classifiers 230-11 to 230-1 n included in the first layer should be determined as the first feature point candidate recommendation image.
  • the classifiers 230-21 ⁇ 230-2m included in the second layer may use the second feature pattern candidate recommendation image and the second feature pattern by using the input sub window image and the second feature pattern selected by learning by the Adaboost learning algorithm.
  • the second feature point candidate is classified as a non-recommended image, and the second feature point candidate position information is output.
  • all of the classifiers 230-21 to 230-2m included in the second layer should be determined as the second feature point candidate recommendation image. .
  • the strong classifiers 230-k1 to 230-kl included in the k-th layer may be configured by learning the second feature pattern (ie, the strong classifiers 230-21) by learning by the input sub-window image and the Adaboost learning algorithm. 230-2m), and classify the second feature point candidate recommendation image and the second feature point candidate non-recommended image using the second feature pattern), which may be different from the second feature pattern used by the second feature pattern.
  • the second feature point candidate position information in order for the second feature point candidate position information to be output through the k-th layer, all of the classifiers 230-k1 to 230-kl included in the k-th layer should be determined as the second feature point candidate recommendation image. .
  • Steel classifier at the shear in each cascade connected steel classifiers (230-11 to 230-1n), (230-21 to 230-2m), ..., (230-k1 to 230-kl) Compares the sub-window image with the first and second feature pattern candidate recommendation images and the first and second feature points using fewer first and second feature patterns selected by learning by the Adaboost learning algorithm, compared to the later classifier. It can be classified as a candidate deprecated image.
  • the steel classifier 230-11 uses two first feature patterns
  • the steel classifier 230-12 uses 10 first feature patterns
  • the steel classifier 230-1n uses 30 first feature patterns.
  • First feature patterns may be used.
  • the feature point location information of the image may be location information having a high possibility of having a feature point.
  • the feature point candidate position generator 220 may store and output first and second feature point candidate position information output from each of the classifier 210-1 and the reclassifiers 210-2 to 210-n.
  • the feature point candidate position generator 220 may store and output first and second feature point candidate position information of all sub-window images of the image A of FIG. 2.
  • FIG. 5 illustrates a steel classifier of an embodiment of the feature candidate position detector 130 shown in FIG. 4.
  • the steel classifier 230 may include the weak classifiers 240-1 to 240 -p and the determination unit 250.
  • Each of the classifiers 240-1 to 240-p may generate a feature value indicating whether the feature point candidate recommendation image or the feature point candidate non-recommended image is provided by using a different feature pattern.
  • the determination unit 250 combines the results from the weak classifiers 240-1 to 240-p, and outputs the feature point candidate position information and the sub window image to the strong classifier at the rear end if the feature point candidate recommendation image is obtained ( If there is no classifier, the feature point candidate position generator 220 is recorded as "positive" state. If the feature point candidate is not recommended image, the feature point candidate non-recommended position information and sub-window image are output to the rear reclassifier 210-2 to 210-k. do.
  • FIG. 6 shows feature patterns selected by learning by the Adaboost learning algorithm of an embodiment of the present invention. If three weak classifiers 240-1 to 240-3 constitute one river classifier, FIG. Feature patterns (a), (b) and (c) may be used for different drug classifiers.
  • the feature pattern (a) represents a pattern comprising two rectangles arranged at a corresponding position in the sub window 10, and the feature pattern (b) includes three rectangles arranged at a corresponding position in the sub window 10.
  • the pattern may be represented, and the feature pattern (c) may represent a pattern including four quadrangles disposed at a corresponding position in the sub-window 10.
  • a dark image may exist in the hatched rectangle f of the feature patterns (a), (b), and (c), and a bright image may exist in the rectangle g. That is, the feature patterns may designate a region f in which one or more dark images exist in the sub-window 10 and a region g in which one or more bright images exist.
  • each of the feature patterns (a), (b), and (c) may be set to have a high weight if the probability of finding a feature point is high by learning by the Adaboost learning algorithm, and a low weight if the low one.
  • the sum of the weights of the weak classifiers 240-1 to 240-3 constituting the steel classifier may be set to 1.
  • each of the weak classifiers and the strong classifiers may have a threshold value for classifying the feature candidate candidate image and the feature candidate candidate deprecated image.
  • Each of the weak classifiers 240-1 through 240-p of FIG. 5 is present in the rectangle g and the sum of the pixels in the sub window image present in the rectangle f of the selected one pattern of the sub window 10.
  • a feature value indicating whether the feature point candidate recommendation image or the feature point candidate deprecation image may be generated by comparing the difference value of the sum of the pixels in the sub-window image with the set threshold.
  • the feature value may have a value of 1 in the case of the feature point candidate recommendation image and a value of 0 in the case of the feature point candidate deprecated image.
  • the determination unit 250 of FIG. 5 classifies the sub-window image into a feature point candidate recommendation image and a feature point candidate deprecated image by combining feature values output from the classifiers 240-1 to 240 -p using FIG. 6.
  • a method of an embodiment is described as follows.
  • the determination unit 250 obtains the sum of the values obtained by multiplying the feature values output from each of the medicine classifiers 240-1 to 240-p by the weights set in each of the medicine classifiers 240-1 to 240-p. This value may be compared with a threshold value set in the strong classifier 230 to determine whether the feature point candidate recommendation image or the feature point candidate deprecated image.
  • the classifier 230 may calculate and output a confidence value for feature point candidate position information of the feature point candidate recommendation image.
  • the determination unit 250 is the total of the value obtained by multiplying the weight of each of the classifiers 240-1 to 240-p by the feature value output from each of the separators 240-1 to 240-p. The sum can be output as a confidence value.
  • the feature point candidate position clustering unit 140 uses the confidence value to determine the sum of the product of the feature point candidate position information of the largest cluster formed by clustering and the value obtained by multiplying the confidence value of each feature point candidate position information.
  • Feature point candidate position information may be determined.
  • the face recognition system may identify the input face image by comparing the feature point position information extracted with respect to the registered face image with the feature point position information extracted with respect to the input face image. .
  • Embodiments according to the present invention described above may be implemented in the form of program instructions that may be executed by various computer components, and may be recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the computer-readable recommended recording medium may be those specially designed and constructed for the present invention, or may be those known and recommended to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, and magnetic-optical media such as floptical disks. optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the process according to the invention, and vice versa.

Abstract

본 발명은 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다. 본 발명의 일 태양에 따르면, 얼굴 특징점 위치를 검출하기 위한 방법으로서, (a) 아다부스트 학습 알고리즘에 의해서 선택된 제1특징 패턴들을 이용하여 서브 윈도우 이미지를 제1특징점 후보 추천 이미지와 제1특징점 후보 비추천 이미지로 분류하고, 상기 제1특징점 후보 추천 이미지의 제1특징점 후보 위치 정보를 발생하는 단계, 및 (b) 상기 아다부스트 학습 알고리즘에 의해서 선택된 제2특징 패턴들을 이용하여 상기 제1특징점 후보 비추천 이미지로 분류된 상기 서브 윈도우 이미지를 제2특징점 후보 추천 이미지와 제2특징점 후보 비추천 이미지로 재분류하고, 상기 제2특징점 후보 추천 이미지의 제2특징점 후보 위치 정보를 발생하는 단계를 포함하는 방법이 제공된다.

Description

아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
본 발명은 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다. 보다 상세하게는, 본 발명은 멀티 레이어 아다부스트 분류기를 이용하여 일반적이지 않은 상태의 얼굴 이미지 내에서 얼굴의 특징점 위치를 보다 정확하게 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
생체 인식 기술은 개인마다 다른 지문, 얼굴, 홍채, 정맥 등의 신체 특징을 인식하는 기술이다. 이와 같은 신체 특징은 열쇠나 비밀번호처럼 타인에게 도용이나 복제될 수 없으며, 변경되거나 분실할 위험성이 없어 보안 분야 등에 활용될 수도 있다. 이중 얼굴 인식 기술은 비디오 혹은 사진 이미지에서 얼굴 영역을 검출한 후 검출된 얼굴 영역에 포함된 얼굴의 신원을 식별하는 기술을 포함하므로, 보안 분야뿐만 아니라 스마트폰 시대에 발맞추어 다양한 애플리케이션 등에도 활용될 수 있다.
구체적으로, 얼굴 인식 기술은 검출된 얼굴 이미지에서 특징점 위치를 이용하여 얼굴을 식별하는 기술로서, 특징점에는 눈의 중점, 각 눈의 양 끝점, 눈썹의 양 끝점 및 중점, 입술의 양 끝점 등이 포함될 수 있다.
이와 같은 얼굴 특징점의 위치 검출을 위한 기술로서는 가령 히스토그램(Histrogram)을 이용한 방법, 주성분 분석(PCA; Principal Component Analysis)를 이용한 방법, 아다부스트(Adaboost) 학습 알고리즘을 이용한 방법 등의 기술이 이용되고 있으며, 이러한 방법들을 일반적인 얼굴 이미지(즉, 정상적인 얼굴 이미지)에 적용하는 경우에는 어느 정도 좋은 결과를 나타내기 마련이었다.
그러나, 상기와 같은 방법들을 일반적이지 않은 얼굴 이미지(가령, 안경을 착용한 얼굴 이미지, 머리카락이 얼굴 일부를 가리고 있는 얼굴 이미지, 표정이 풍부한 얼굴 이미지, 정면이 아닌 얼굴 이미지, 부분적으로 어두운 얼굴 이미지, 눈을 감고 있는 이미지 등)에 적용하는 경우에는 특징점 위치 검출 성능이 현저하게 떨어지게 되는 문제점이 있었다.
따라서, 일반적인 얼굴 이미지 뿐만 아니라 일반적이지 않은 얼굴 이미지에 대해서도 안정적인 특징점 위치 검출 성능을 보장하기 위한 기술을 개발할 필요가 있게 되었다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 얼굴 특징점의 위치 검출을 위하여 아다부스트 학습 알고리즘을 이용하되, 일반적인 얼굴 이미지에 대한 특징점 후보 위치 뿐만 아니라 일반적이지 않은 얼굴 이미지에 대한 특징점 후보 위치까지 정확하게 검출함으로써 얼굴 특징점 위치 검출 성능을 보장할 수 있는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, (a) 아다부스트 학습 알고리즘에 의해서 선택된 제1특징 패턴들을 이용하여 서브 윈도우 이미지를 제1특징점 후보 추천 이미지와 제1특징점 후보 비추천 이미지로 분류하고, 상기 제1특징점 후보 추천 이미지의 제1특징점 후보 위치 정보를 발생하는 단계, 및 (b) 상기 아다부스트 학습 알고리즘에 의해서 선택된 제2특징 패턴들을 이용하여 상기 제1특징점 후보 비추천 이미지로 분류된 상기 서브 윈도우 이미지를 제2특징점 후보 추천 이미지와 제2특징점 후보 비추천 이미지로 재분류하고, 상기 제2특징점 후보 추천 이미지의 제2특징점 후보 위치 정보를 발생하는 단계를 구비하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 방법이 제공된다.
본 발명의 다른 태양에 따르면, 아다부스트 학습 알고리즘에 의해서 선택된 제1특징 패턴들을 이용하여 서브 윈도우 이미지를 제1특징점 후보 추천 이미지와 제1특징점 후보 비추천 이미지로 분류하고, 상기 제1특징점 후보 추천 이미지의 제1특징점 후보 위치 정보를 발생하는 분류기, 및 상기 아다부스트 학습 알고리즘에 의해서 선택된 제2특징 패턴들을 이용하여 상기 제1특징점 후보 비추천 이미지로 분류된 상기 서브 윈도우 이미지를 제2특징점 후보 추천 이미지와 제2특징점 후보 비추천 이미지로 재분류하고, 상기 제2특징점 후보 추천 이미지의 제2특징점 후보 위치 정보를 발생하는 적어도 하나의 재분류기를 구비하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 장치가 제공된다.
본 발명의 방법 및 장치는 상기 제1특징 패턴들은 일반적인 얼굴 이미지에 대한 특징들에 기초하고, 상기 제2특징 패턴들은 일반적이지 않은 얼굴 이미지에 대한 특징들에 기초하고, 상기 제1특징 패턴들과 상기 제2특징 패턴들 각각은 하나이상의 어두운 영역과 하나이상의 밝은 영역을 지정하는 것을 특징으로 한다.
본 발명의 다른 태양의 장치에 따르면, 얼굴 이미지의 서브 윈도우 이미지들에 대한 상기 제1특징점 후보 위치 정보 및 상기 제2특징점 후보 위치 정보를 저장하고 발생하는 특징점 후보 위치 발생부, 및 상기 제1특징점 후보 위치 정보들 및 상기 제2특징점 후보 위치 정보들에 대한 클러스터링을 하여 클러스터를 형성하고, 클러스터들 중 가장 큰 클러스터를 이루는 상기 제1특징점 후보 위치 정보들 및 상기 제2특징점 후보 위치 정보들의 중점 위치에 대한 위치 정보를 특징점 위치 정보로 발생하는 특징점 후보 위치 클러스터링부가 추가적으로 제공된다.
이 외에도, 본 발명을 구현하기 위한 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 일반적인 얼굴 이미지에 대한 특징점 후보 위치 뿐만 아니라 일반적이지 않은 얼굴 이미지에 대한 특징점 후보 위치를 검출하여 특징점 위치를 검출함으로써 특징점 위치 검출 성능을 개선할 수 있는 효과가 달성된다.
도 1은 본 발명의 일 실시예의 얼굴 특징점 위치 검출 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예의 특징점 후보 위치 검출부로 입력되는 서브 윈도우 이미지를 설명하기 위한 것이다.
도 3은 특징점 후보 위치 클러스터링부의 기능을 설명하기 위한 것이다.
도 4는 본 발명의 일 실시예에 따른 아다부스트 학습 알고리즘을 이용한 특징점 후보 위치 검출기를 나타내는 것이다.
도 5는 도 4에 나타낸 특징 후보 위치 검출기의 일 실시예의 강 분류기를 나타내는 것이다.
도 6은 본 발명의 일 실시예의 아다부스트 학습 알고리즘에 의해서 학습하여 선택된 특징 패턴들을 나타내는 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예의 얼굴 특징점 위치 검출 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 얼굴 특징점 위치 검출 장치(100)는 정규화부(110), 이미지 변환부(120), 특징점 후보 위치 검출부(130), 특징점 후보 위치 클러스터링부(140), 및 특징점 위치 조절부(150)를 포함할 수 있다.
도 1에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.
정규화부(110)는 얼굴 이미지를 미리 정해진 크기의 그레이(gray) 이미지로 정규화할 수 있다. 즉, 입력되는 얼굴 이미지의 크기는 다양하고 색상은 칼라 이미지일 수 있는데, 정규화부(110)는 다양한 크기를 가지는 얼굴 이미지의 특징점 위치를 검출하기 위하여 미리 정해진 크기의 그레이 이미지로 정규화할 수 있다.
이미지 변환부(120)은 수정 센서스 변환(MCT; Modified Census Transform)을 수행하여 그레이 이미지를 멀티-스케일(multi-scale) 이미지로 변환할 수 있다. 즉, 이미지 변환부(120)는 그레이 이미지의 스케일보다 많은 스케일을 가지는 이미지로 변환할 수 있는데, 만일 그레이 이미지의 각 화소가 가령 0부터 255까지의 256개의 스케일을 가진다면, 이미지 변환부(120)는 그레이 이미지의 각 화소를 가령 0부터 511까지의 512개의 스케일로 변환할 수 있다.
특징점 후보 위치 검출부(130)는 멀티-스케일 이미지의 서브 윈도우 이미지가 입력되면, 일반적인 얼굴 이미지에 대한 패턴들을 아다부스트 학습 알고리즘에 의해서 학습하여 선택된 제1특징 패턴들을 이용하여 서브 윈도우 이미지를 제1특징점 후보 추천 이미지와 제1특징점 후보 비추천 이미지중의 하나의 이미지로 분류하고, 제1특징점 후보 비추천 이미지로 분류된 서브 윈도우 이미지가 입력되면, 일반적이지 않은 얼굴 이미지에 대한 패턴들을 아다부스트 학습 알고리즘에 의해서 학습하여 선택된 제2특징 패턴들을 이용하여 제1특징점 후보 비추천 이미지로 분류된 서브 윈도우 이미지를 제2특징점 후보 추천 이미지와 제2특징점 후보 비추천 이미지로 분류하고, 제1특징점 후보 추천 이미지의 제1특징점 위치 정보와 제2특징점 후보 추천 이미지의 제2특징점 위치 정보를 출력할 수 있다.
여기서, 일반적인 얼굴 이미지에 대한 패턴들은 아다부스트 학습 알고리즘에 의해서 학습하여 선택된 제1특징 패턴들을 이용하여 서브 윈도우 이미지를 제1특징점 후보 추천 이미지와 제1특징점 후보 비추천 이미지중의 하나의 이미지로 분류함에 있어서, 제1특징 패턴들은 후술할 제1레이어에 포함된 적어도 하나의 강분류기에 포함된 패턴을 지칭하는 것일 수 있으며, 이때 만약 제1레이어에 복수 개의 강분류기가 포함되어 있다면 제1레이어에 포함된 각각의 강분류기에 포함된 패턴은 서로 다를 수 있음은 물론이라 할 것이다. 또한, 제1특징점 후보 비추천 이미지로 분류된 서브 윈도우 이미지가 특징점 후보 위치 검출부(130)에 입력되는 경우, 일반적이지 않은 얼굴 이미지에 대한 패턴들을 아다부스트 학습 알고리즘에 의해서 학습하여 선택된 제2특징 패턴들을 이용하여 제1특징점 후보 비추천 이미지로 분류된 서브 윈도우 이미지를 제2특징점 후보 추천 이미지와 제2특징점 후보 비추천 이미지로 분류함에 있어서, 제2특징 패턴들은 후술할 제2레이어 이후(즉, 제2레이어 내지 제k레이어)에 포함된 적어도 하나의 강분류기에 포함된 패턴을 지칭하는 것일 수 있으며, 이때 각각의 강분류기에 포함된 패턴은 레이어별로 서로 다를 수 있을뿐만 아니라 같은 레이어 내에서도 서로 다를 수 있음은 물론이라 할 것이다.
또한, 본 발명의 방법 및 장치는 상기 제1특징 패턴들은 일반적인 얼굴 이미지에 대한 특징들에 기초하고, 상기 제2특징 패턴들은 일반적이지 않은 얼굴 이미지에 대한 특징들에 기초하고, 상기 제1특징 패턴들과 상기 제2특징 패턴들 각각은 하나이상의 어두운 영역과 하나이상의 밝은 영역을 지정하는 것을 특징으로 한다. 여기서, 일반적인 얼굴 이미지인지 여부는 정상 얼굴 이미지와 비교하여 기설정된 임계치 이상 벗어나지 않는지를 판단하여 결정할 수도 있을 것이며, 제1 및 제2특징 패턴들에 포함된 영역이 어두운 영역인지 밝은 영역인지의 여부는 기설정된 적어도 하나의 명도값을 기준으로 구분될 수도 있을 것이다. 더욱 구체적으로, 일반적이지 않은 얼굴 이미지라고 판단된 경우 비정상적인 정도에 등급을 매길 수도 있는데, 이를 위해서 기설정된 임계치를 복수 개 마련할 수도 있을 것이다.
도 2는 본 발명의 일 실시예의 특징점 후보 위치 검출부(130)로 입력되는 서브 윈도우 이미지를 설명하기 위한 것으로, 도 2에서, A는 이미지 변환부(120)에 의해서 변환된 384 x 288 크기의 이미지를 나타내고, a, b, c, d는 특징점 후보 위치 검출부(130)로 순차적으로 입력되는 24 x 24 크기의 서브 윈도우 이미지를 나타낼 수 있다. 즉, 이미지(A)의 첫번째 화소부터 마지막 화소까지 소정의 화소 단위로 이동하면서 얻어진 첫번째 서브 윈도우 이미지(a)로부터 마지막 서브 윈도우 이미지(d)까지의 이미지가 순차적으로 특징점 후보 위치 검출부(130)로 입력될 수 있다.
특징점 후보 위치 클러스터링부(140)는 특징점 후보 위치 검출부(130)에 의해서 검출된 이미지(A)에 대해서 얻어진 제1특징점 후보 추천 이미지들과 제2특징점 후보 추천 이미지들의 특징점 위치 정보를 참조로 하여 클러스터링(clustering)을 수행하여 클러스터(cluster)들을 만든 후, 가령 가장 큰 클러스터(cluster)의 중점의 위치 정보를 최종 특징점 위치 정보로 출력할 수 있다.
도 3은 특징점 후보 위치 클러스터링부(140)의 기능을 설명하기 위한 것으로, 검은 점으로 표시한 것이 특징점 후보 위치 검출부(130)에 의해서 구해진 제1특징점 위치 정보와 제2특징점 위치 정보에 따른 특징점들을 나타내는 것이고, 이 특징점들이 e1 내지 e5의 다섯 개의 클러스터를 이루는 경우에, 가장 큰 클러스터인 e1의 중점의 위치 정보가 최종 특징점 위치 정보가 될 수 있다. 물론, 이에 한정되는 것은 아니며 다양한 변형예를 상정할 수 있을 것이다. 가령, 중점에 한정될 필요는 없으며 해당 클러스터를 대표할 수 있는 소정의 대표 위치라면 이에 대한 정보로서 기능할 수 있을 것이다.
특징점 위치 조절부(150)는 최종 특징점 위치 정보를 입력 받은 후 정규화부(110)로 입력되는 얼굴 이미지의 크기에 대응하는 위치 정보로 조절하여 특징점 위치 정보를 출력할 수 있다. 즉, 특징점 위치 조절부(150)는 정규화부(110)에 의해서 얼굴 이미지의 크기가 변경되었으므로, 특징점 후보 위치 클러스터링부(140)에 의해서 구해진 최종 특징점 위치 정보를 정규화부(110)로 입력되는 얼굴 이미지의 크기에 대응하는 위치 정보로 조절하는 기능을 수행할 수 있다.
도 1에서, 정규화부(110), 이미지 변환부(120), 및 특징점 위치 조절부(150)는 얼굴 특징점 위치 검출 장치(100)로 입력되는 얼굴 이미지가 특징점 위치 검출기(130)를 위한 미리 정해진 크기의 멀티 스케일 이미지인 경우에는 필요하지 않은 구성일 수도 있을 것이다.
도 4는 본 발명의 일 실시예에 따른 특징점 후보 위치 검출부(130)를 나타내는 것이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 특징점 후보 위치 검출부(130)는 분류기(210-1), 재분류기(210-2 ~ 210-k) 및 특징점 후보 위치 발생기(220)를 포함할 수 있다. 여기서, 분류기(210-1)는 소위 제1 레이어에 해당하는 것으로 지칭할 수 있고 재분류기(210-2 ~ 210-k)는 소위 제2 내지 제k 레이어에 각각 해당하는 것으로 지칭할 수 있다. 참고로, 제1 레이어는 일반적인 얼굴 이미지에 대한 학습을 통해 획득된 패턴들을 포함하고 있는 강분류기를 적어도 하나 포함할 수 있고, 제2 내지 제k 레이어는 k가 커질수록 비정상의 정도가 높은 얼굴 이미지에 대한 학습을 통해 획득된 패턴들을 포함하고 있는 강분류기를 적어도 하나 포함할 수 있다. 제1 레이어의 분류기인 분류기(210-1)는 강 분류기들(230-11 ~ 230-1n)을, 제2 레이어의 분류기인 재분류기(210-2)는 강 분류기들(230-21 ~ 230-2m)을, 제k 레이어의 분류기인 재분류기(210-k)는 강 분류기들(230-k1 ~ 230-kl)을 포함할 수 있다. 분류기(210-1) 및 재분류기들(210-2 ~ 210-k)은 1개 이상의 서로 다른 구성을 가지는 강 분류기를 포함할 수 있다.
도 4에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.
분류기(210-1)는 일반적인 얼굴 이미지의 패턴들 중 아다부스트 학습 알고리즘에 의해서 학습하여 선택된 제1특징 패턴들을 이용하여, 입력되는 서브 윈도우 이미지를 제1특징점 후보 추천 이미지와 제1특징점 후보 비추천 이미지중 하나의 이미지로 분류할 수 있고, 제1특징점 후보 추천 이미지에 대한 위치 정보를 발생할 수 있다.
재분류기들(210-2 ~ 210-k) 각각은 일반적이지 않은 얼굴 이미지의 패턴들 중 아다부스트 학습 알고리즘에 의해서 학습하여 선택된 제2특징 패턴들을 이용하여, 제1레이어의 분류기인 분류기(210-1) 및 제2레이어의 분류기인 재분류기(210-2 ~ 210-k)에 의해서 특징점 후보 비추천 이미지로 분류된 서브 윈도우 이미지를 제2특징점 후보 추천 이미지와 제2특징점 후보 비추천 이미지 중 하나의 이미지로 재분류할 수 있고, 제2특징점 후보 추천 이미지에 대한 특징점 위치 정보를 발생할 수 있다.
이에 따르면, 분류기(210-1)는 일반적인 얼굴 이미지에 대한 제1특징점 후보 추천 이미지의 제1특징점 후보 위치를 발생할 수 있고, 재분류기들(210-2 ~ 210-k) 각각은 일반적이지 않은 얼굴 이미지에 대한 제2특징점 후보 추천 이미지의 제2특징점 후보 위치를 발생할 수 있다.
한편, 제1레이어에 포함된 강 분류기들(230-11 ~ 230-1n)은 입력되는 서브 윈도우 이미지와 아다부스트 학습 알고리즘에 의해서 학습하여 선택된 제1특징 패턴을 이용하여 제1특징점 후보 추천 이미지와 제1특징점 후보 비추천 이미지로 분류하고, 제1특징점 후보 위치 정보를 출력한다. 여기서, 제1특징점 후보 위치 정보가 출력되기 위해서는, 제1레이어에 포함된 강 분류기들(230-11 ~ 230-1n)에서 모두 제1특징점 후보 추천 이미지로 판정을 받아야 할 것이다.
또한, 제2레이어에 포함된 강 분류기들(230-21 ~ 230-2m)은 입력되는 서브 윈도우 이미지와 아다부스트 학습 알고리즘에 의해서 학습하여 선택된 제2특징 패턴을 이용하여 제2특징점 후보 추천 이미지와 제2특징점 후보 비추천 이미지로 분류하고, 제2특징점 후보 위치 정보를 출력한다. 여기서, 제2레이어를 통해 제2특징점 후보 위치 정보가 출력되기 위해서는, 제2레이어에 포함된 강 분류기들(230-21 ~ 230-2m)에서 모두 제2특징점 후보 추천 이미지로 판정을 받아야 할 것이다.
또한, 제k레이어에 포함된 강 분류기들(230-k1 ~ 230-kl)은 입력되는 서브 윈도우 이미지와 아다부스트 학습 알고리즘에 의해서 학습하여 선택된 제2특징 패턴(즉, 강분류기들(230-21 ~ 230-2m)에 의해서 이용되는 제2특징 패턴과는 다를 수 있는 제2특징 패턴)을 이용하여 제2특징점 후보 추천 이미지와 제2특징점 후보 비추천 이미지로 분류하고, 제2특징점 후보 위치 정보를 출력한다. 여기서, 제k레이어를 통해 제2특징점 후보 위치 정보가 출력되기 위해서는, 제k레이어에 포함된 강 분류기들(230-k1 ~ 230-kl)에서 모두 제2특징점 후보 추천 이미지로 판정을 받아야 할 것이다.
종속(cascade) 연결된 강분류기들((230-11 ~ 230-1n), (230-21 ~ 230-2m), ..., (230-k1 ~ 230-kl)) 각각에 있어서 전단의 강 분류기는 후단의 강 분류기에 비해서 아다부스트 학습 알고리즘에 의해서 학습하여 선택된 보다 적은 개수의 제1 및 제2특징 패턴들을 이용하여 서브 윈도우 이미지를 제1 및 제2특징점 후보 추천 이미지와 제1 및 제2특징점 후보 비추천 이미지로 분류할 수 있다. 예를 들면, 강 분류기(230-11)는 2개의 제1특징 패턴들을 이용하고, 강 분류기(230-12)는 10개의 제1특징 패턴들을 이용하고, 강 분류기(230-1n)는 30개의 제1특징 패턴들을 이용할 수 있다. 그 이유는 단일 이미지에서 얼굴 특징점의 위치로 판단되는 부분이 적기 마련이므로 대부분의 서브 윈도우 이미지가 "negative(즉, 제k 레이어까지 연속적으로 특징점 후보 비추천 이미지)"로 판정받게 된다는 점에 착안하여, 각 레이어의 앞단의 강분류기에서 적은 수의 패턴만으로도 가볍게 필터링을 하기 위함이다. 이에 따라, 전단의 강 분류기에서 순차적으로 입력되는 100개 서브 윈도우 이미지가 제1 및 제2특징점 후보 추천 이미지로 분류되었을지라도 바로 다음 단의 강 분류기에서 50개의 서브 윈도우 이미지만이 제1 및 제2특징점 후보 추천 이미지(즉, accept)로 분류될 수 있고, 마지막단인 n번째 강 분류기에서 통과(accept)되는 제1 및 제2특징점 후보 추천 이미지는 10개로 줄어들 수 있다. 이에 따라, 분류기(210-1) 및 재분류기(210-2 ~ 210-k)의 마지막단 강 분류기(230-1n, 230-2m, 230-kl)에서 발생되는 제1 및 제2특징점 후보 추천 이미지의 특징점 위치 정보는 특징점이 있을 가능성이 높은 위치 정보가 될 수 있다.
특징점 후보 위치 발생기(220)는 분류기(210-1) 및 재분류기들(210-2 ~ 210-n) 각각으로부터 출력되는 제1 및 제2 특징점 후보 위치 정보들을 저장하고 출력할 수 있다. 특징점 후보 위치 발생기(220)는 도 2의 이미지(A)의 모든 서브 윈도우 이미지에 대한 제1 및 제2 특징점 후보 위치 정보들을 저장한 후 출력할 수 있다.
도 5는 도 4에 나타낸 특징 후보 위치 검출부(130)의 일 실시예의 강 분류기를 나타내는 것이다.
도 5를 참조하면, 일 실시예에 따른 강 분류기(230)는 약 분류기들(240-1 ~ 240-p) 및 판단부(250)를 포함할 수 있다.
도 5에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.
약 분류기들(240-1 ~ 240-p) 각각은 서브 윈도우 이미지가 입력되면, 서로 다른 특징 패턴을 이용하여 특징점 후보 추천 이미지인지 특징점 후보 비추천 이미지인지를 나타내는 특징값을 발생할 수 있다.
판단부(250)는 약 분류기들(240-1 ~ 240-p)로부터의 결과를 조합하여, 특징점 후보 추천 이미지이면 후단의 강 분류기로 특징점 후보 위치 정보와 서브 윈도우 이미지를 출력하고(후단에 강 분류기가 없다면 특징점 후보 위치 발생기(220)에 "positive"상태로 기록함), 특징점 후보 비추천 이미지이면, 후단의 재분류기(210-2 ~ 210-k)로 특징점 후보 비추천 위치 정보와 서브 윈도우 이미지를 출력한다.
도 6은 본 발명의 일 실시예의 아다부스트 학습 알고리즘에 의해서 학습하여 선택된 특징 패턴들을 나타내는 것으로, 만일 3개의 약 분류기들(240-1 ~ 240-3)이 하나의 강 분류기를 구성하는 경우에, 특징 패턴들 (a), (b), (c)는 서로 다른 약 분류기를 위하여 이용될 수 있다. 특징 패턴 (a)는 서브 윈도우(10)내의 해당 위치에 배치되는 2개의 사각형을 포함하는 패턴을 나타내고, 특징 패턴 (b)는 서브 윈도우(10)내의 해당 위치에 배치되는 3개의 사각형을 포함하는 패턴을 나타내고, 특징 패턴 (c)는 서브 윈도우(10)내의 해당 위치에 배치되는 4개의 사각형을 포함하는 패턴을 나타낼 수 있다. 그리고, 특징 패턴들 (a), (b), (c)의 빗금친 사각형(f)에는 어두운 이미지가 존재하고, 사각형(g)에는 밝은 이미지가 존재할 수 있다. 즉, 특징 패턴들은 서브 윈도우(10) 내의 하나 이상의 어두운 이미지가 존재하는 영역(f)과 하나 이상의 밝은 이미지가 존재하는 영역(g)을 지정할 수 있다. 그리고, 특징 패턴들 (a), (b), (c) 각각은 아다부스트 학습 알고리즘에 의해서 학습하여 특징점 위치를 발견할 확률이 높으면 가중치가 높게, 낮으면 가중치가 낮게 설정될 수 있으며, 하나의 강 분류기를 구성하는 약 분류기들(240-1 ~ 240-3)의 가중치의 합이 1이 되게 설정될 수 있다. 또한, 아다부스트 학습 알고리즘에 의해서 학습함으로써 약 분류기들 및 강 분류기들 각각은 특징점 후보 추천 이미지와 특징점 후보 비추천 이미지로 분류하기 위한 문턱값이 설정될 수 있다.
도 6을 이용하여 도 5의 약 분류기들(240-1 ~ 240-p)이 서브 윈도우 이미지를 특징점 후보 추천 이미지와 특징점 후보 비추천 이미지로 분류하는 일 실시예의 방법을 설명하면 다음과 같다.
만일 도 5의 약 분류기들(240-1 ~ 240-p) 각각은 서브 윈도우(10)의 선택된 하나의 패턴의 사각형(f)내에 존재하는 서브 윈도우 이미지내의 화소들의 총합과 사각형(g)내에 존재하는 서브 윈도우 이미지내의 화소들의 총합의 차 값을 설정된 문턱값과 비교하여 특징점 후보 추천 이미지인지, 특징점 후보 비추천 이미지인지를 나타내는 특징값을 발생할 수 있다. 특징값은 특징점 후보 추천 이미지인 경우에 1의 값을 가질 수 있고, 특징점 후보 비추천 이미지인 경우에 0의 값을 가질 수 있다.
도 6을 이용하여 도 5의 판단부(250)가 약 분류기들(240-1 ~ 240-p)로부터 출력되는 특징값을 조합하여 서브 윈도우 이미지를 특징점 후보 추천 이미지와 특징점 후보 비추천 이미지로 분류하는 일 실시예의 방법을 설명하면 다음과 같다.
판단부(250)는 약 분류기들(240-1 ~ 240-p) 각각으로부터 출력되는 특징값에 약 분류기들(240-1 ~ 240-p) 각각에 설정된 가중치를 곱해서 얻어진 값의 총 합을 구하고, 이 값을 강 분류기(230)에 설정된 문턱값과 비교하여 특징점 후보 추천 이미지인지, 특징점 후보 비추천 이미지인지를 판단할 수 있다.
그리고, 강 분류기(230)는 특징점 후보 추천 이미지의 특징점 후보 위치 정보에 대한 신뢰도 값을 계산하여 출력할 수 있다. 이 경우에, 판단부(250)는 약 분리기들(240-1 ~ 240-p) 각각으로부터 출력되는 특징값에 약 분류기들(240-1 ~ 240-p) 각각의 가중치를 곱해서 얻어진 값의 총 합을 신뢰도 값으로 출력할 수 있다.
또한, 특징점 후보 위치 클러스터링부(140)는 신뢰도 값을 이용하여 클러스터링에 의해서 만들어진 가장 큰 클러스터의 특징점 후보 위치 정보들 각각과 특징점 후보 위치 정보들 각각의 신뢰도 값을 곱한 값의 총합을 참조로 하여 최종 특징점 후보 위치 정보를 결정할 수 있다.
본 발명에서 이용하는 아다부스트 학습 알고리즘의 일 예로서, Paul Viola와 Michael J. Jones에 의해서 개발되고, 2004년 5월 "International Journal of Computer Vision, Volume 57, Issue 2"에 공개된 "Robust Real-Time Face Detection"이라는 논문을 참조할 수 있을 것이다. 이 논문에 공개된 아다부스트 학습 알고리즘에 의해서 학습하여 얼굴 이미지의 패턴들로부터 특징 패턴들을 선택하는 기술, 강 분류기들을 종속 연결하여 특징점 위치를 검출하는 기술 등을 포함하는 이 논문에 포함된 특징점 위치 검출을 위하여 사용되는 모든 기술 내용들은 본 발명의 얼굴 특징점 검출 방법에 포함될 수 있을 것이다.
도시하지는 않았지만, 본 발명의 일 실시예의 얼굴 인식 시스템은 등록 얼굴 이미지에 대하여 추출된 특징점 위치 정보와 입력 얼굴 이미지에 대하여 추출된 특징점 위치 정보를 비교하여 유사도를 판단하여 입력 얼굴 이미지를 식별할 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 추천한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 추천한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 추천한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 추천한 것일 수도 있다. 컴퓨터 판독 추천한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
[부호의 설명]
100: 얼굴 특징점 위치 검출 장치
110: 정규화부
120: 이미지 변환부
130: 특징점 후보 위치 검출부
140: 특징점 후보 위치 클러스터링부
150: 특징점 위치 조절부
210-1: 분류기
210-2 ~ 210-k: 재분류기
220: 특징점 후보 위치 발생기
230-11 ~ 230-kl: 강 분류기
240-1 ~ 240-p: 약 분류기
250; 판단부

Claims (33)

  1. (a) 아다부스트 학습 알고리즘에 의해서 선택된 제1특징 패턴들을 이용하여 서브 윈도우 이미지를 제1특징점 후보 추천 이미지와 제1특징점 후보 비추천 이미지로 분류하고, 상기 제1특징점 후보 추천 이미지의 제1특징점 후보 위치 정보를 발생하는 단계; 및
    (b) 상기 아다부스트 학습 알고리즘에 의해서 선택된 제2특징 패턴들을 이용하여 상기 제1특징점 후보 비추천 이미지로 분류된 상기 서브 윈도우 이미지를 제2특징점 후보 추천 이미지와 제2특징점 후보 비추천 이미지로 재분류하고, 상기 제2특징점 후보 추천 이미지의 제2특징점 후보 위치 정보를 발생하는 단계
    를 포함하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 방법.
  2. 제1항에 있어서,
    (c) 얼굴 이미지의 서브 윈도우 이미지들에 대한 상기 제1특징점 후보 위치 정보 및 상기 제2특징점 후보 위치 정보를 저장하는 단계; 및
    (d) 상기 제1특징점 후보 위치 정보들 및 상기 제2특징점 후보 위치 정보들을 참조로 하여 클러스터링을 하여 클러스터를 형성하고, 클러스터들 중 가장 큰 클러스터를 이루는 상기 제1특징점 후보 위치 정보들 및 상기 제2특징점 후보 위치 정보들의 소정의 대표 위치에 대한 위치 정보를 특징점 위치 정보로 발생하는 단계를 추가적으로 포함하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 방법.
  3. 제1항에 있어서,
    상기 제1특징 패턴들은 일반적인 얼굴 이미지에 대한 특징들에 기초하여 결정되고, 상기 제2특징 패턴들은 일반적이지 않은 얼굴 이미지에 대한 특징들에 기초하여 결정되는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 방법.
  4. 제3항에 있어서,
    상기 일반적인 얼굴 이미지와 상기 일반적이지 않은 얼굴 이미지는 정상 얼굴 이미지와 비교하여 기설정된 임계치를 벗어나는지 않는지를 판단하여 결정하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 방법.
  5. 제1항에 있어서,
    상기 제1특징 패턴들과 상기 제2특징 패턴들 각각은 상기 서브 윈도우 이미지 내의 하나 이상의 밝은 영역과 하나 이상의 어두운 영역을 지정하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 방법.
  6. 제5항에 있어서,
    상기 하나 이상의 밝은 영역과 상기 하나 이상의 어두운 영역은 기설정된 적어도 하나의 명도값을 기준으로 구분하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 방법.
  7. 제1항에 있어서,
    상기 (a) 단계는
    상기 제1특징 패턴들 각각의 상기 어두운 영역이 지정하는 상기 서브 윈도우 이미지 내의 화소 값들을 더한 제1값과 상기 밝은 영역이 지정하는 상기 서브 윈도우 이미지 내의 화소 값들을 더한 제2값의 차 값들 각각과 상기 제1 특징 패턴들 각각에 대하여 설정된 제1문턱값들 각각을 비교하여 상기 서브 윈도우 이미지가 상기 제1특징점 후보 추천 이미지인지 상기 제1특징점 후보 비추천 이미지 인지를 판단하기 위한 제1특징값들을 발생하는 단계; 및
    상기 제1특징값들 각각에 상기 제1특징값들 각각에 설정된 가중치를 곱해서 얻어진 값들의 총 합인 제1신뢰도 값을 제2문턱값과 비교하여 상기 서브 윈도우 이미지가 제1특징점 후보 추천 이미지인지 상기 제1특징점 후보 비추천 이미지인지를 분류하는 단계
    를 추가적으로 포함하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 방법.
  8. 제7항에 있어서,
    상기 (b) 단계는
    상기 제2특징 패턴들 각각의 상기 어두운 영역이 지정하는 상기 서브 윈도우 이미지 내의 화소 값들을 더한 제3값과 상기 밝은 영역이 지정하는 상기 서브 윈도우 이미지 내의 화소 값들을 더한 제4값의 차 값들 각각과 상기 제2 특징 패턴들 각각에 대하여 설정된 제3문턱값들 각각을 비교하여 상기 서브 윈도우 이미지가 상기 제2특징점 후보 추천 이미지인지 상기 제2특징점 후보 비추천 이미지 인지를 판단하기 위한 제2특징값들을 발생하는 단계; 및
    상기 제2특징값들 각각에 상기 제2특징값들 각각에 설정된 가중치를 곱해서 얻어진 값들의 총 합인 제2신뢰도 값을 제4문턱값과 비교하여 상기 서브 윈도우 이미지가 제2특징점 후보 추천 이미지인지 상기 제2특징점 후보 비추천 이미지인지를 분류하는 단계
    를 추가적으로 포함하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 방법.
  9. 제1항에 있어서,
    상기 (a) 단계는
    상기 제1특징점 후보 위치 정보를 발생하기 위한 적어도 하나의 강 분류기 중 전단의 강 분류기가 후단의 강 분류기에 비해서 보다 적은 개수의 상기 제1특징 패턴들을 이용하여 상기 서브 윈도우 이미지를 상기 제1특징점 후보 추천 이미지와 상기 제1특징점 후보 비추천 이미지로 분류하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 방법.
  10. 제9항에 있어서,
    상기 (b) 단계는
    상기 제2특징점 후보 위치 정보를 발생하기 위한 적어도 하나의 강 분류기 중 전단의 강 분류기가 후단의 강 분류기에 비해서 보다 적은 개수의 상기 제2특징 패턴들을 이용하여 상기 서브 윈도우 이미지를 상기 제2특징점 후보 추천 이미지와 상기 제2특징점 후보 비추천 이미지로 재분류하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 방법.
  11. 제1항에 있어서,
    (c) 얼굴 이미지의 서브 윈도우 이미지들에 대한 상기 제1특징점 후보 추천 이미지들과 상기 제2특징점 후보 추천 이미지들에 대한, 상기 제1특징점 후보 위치 정보들, 상기 제1특징점 후보 위치 정보들에 대한 제1신뢰도 값들, 상기 제2특징점 후보 위치 정보들, 및 상기 제2특징점 후보 위치 정보들에 대한 제2신뢰도 값들을 저장하는 단계를 추가적으로 포함하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 방법.
  12. 제11항에 있어서,
    (d) 상기 제1특징점 후보 위치 정보들 및 상기 제2특징점 후보 위치 정보들에 대한 클러스터링을 하여 클러스터를 형성하고, 클러스터들 중 가장 큰 클러스터를 이루는 상기 제1특징점 후보 위치 정보들 및 상기 제2특징점 후보 위치 정보들의 소정의 대표 위치에 대한 위치 정보를 특징점 위치 정보로 발생하는 단계를 추가적으로 포함하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 방법.
  13. 제12항에 있어서,
    상기 (d) 단계는
    상기 가장 큰 클러스터를 이루는 상기 제1특징점 후보 위치 정보들 각각에 상기 제1특징점 후보 위치 정보들 각각의 제1신뢰도 값을 곱한 값들과 상기 제2특징점 후보 위치 정보들 각각에 상기 제2특징점 후보 위치 정보들 각각의 제2신뢰도 값을 곱한 값의 더한 값을 참조로 하여 상기 특징점 위치 정보를 출력하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 방법.
  14. 제2항에 있어서,
    (a) 단계 이전에,
    원 얼굴 이미지를 동일한 크기의 그레이 이미지로 정규화하는 단계; 및
    상기 정규화된 얼굴 이미지를 멀티-스케일 얼굴 이미지로 변환하는 단계를 추가적으로 포함하되,
    상기 (a) 단계에서,
    상기 서브 윈도우 이미지는 상기 멀티-스케일 얼굴 이미지인 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 방법.
  15. 제14항에 있어서,
    (e) 상기 특징점 위치 정보를 상기 얼굴 이미지의 크기에 대응하는 위치 정보로 조절하는 단계를 추가적으로 포함하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 방법.
  16. 제15항에 있어서,
    상기 멀티-스케일 얼굴 이미지를 화소 단위로 이동하면서 소정 크기를 가지는 상기 서브 윈도우 이미지를 발생하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 방법.
  17. 아다부스트 학습 알고리즘에 의해서 선택된 제1특징 패턴들을 이용하여 서브 윈도우 이미지를 제1특징점 후보 추천 이미지와 제1특징점 후보 비추천 이미지로 분류하고, 상기 제1특징점 후보 추천 이미지의 제1특징점 후보 위치 정보를 발생하는 분류기; 및
    상기 아다부스트 학습 알고리즘에 의해서 선택된 제2특징 패턴들을 이용하여 상기 제1특징점 후보 비추천 이미지로 분류된 상기 서브 윈도우 이미지를 제2특징점 후보 추천 이미지와 제2특징점 후보 비추천 이미지로 재분류하고, 상기 제2특징점 후보 추천 이미지의 제2특징점 후보 위치 정보를 발생하는 적어도 하나의 재분류기를 구비하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 장치.
  18. 제17항에 있어서,
    얼굴 이미지의 서브 윈도우 이미지들에 대한 상기 제1특징점 후보 위치 정보 및 상기 제2특징점 후보 위치 정보를 저장하는 특징점 후보 위치 발생부; 및
    상기 제1특징점 후보 위치 정보들 및 상기 제2특징점 후보 위치 정보들을 참조로 하여 클러스터링을 하여 클러스터를 형성하고, 클러스터들 중 가장 큰 클러스터를 이루는 상기 제1특징점 후보 위치 정보들 및 상기 제2특징점 후보 위치 정보들의 소정의 대표 위치에 대한 위치 정보를 특징점 위치 정보로 발생하는 특징점 후보 위치 클러스터링부를 추가적으로 포함하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 장치.
  19. 제17항에 있어서,
    상기 제1특징 패턴들은 일반적인 얼굴 이미지에 대한 특징들에 기초하여 결정되고, 상기 제2특징 패턴들은 일반적이지 않은 얼굴 이미지에 대한 특징들에 기초하여 결정되는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 장치.
  20. 제19항에 있어서,
    상기 일반적인 얼굴 이미지와 상기 일반적이지 않은 얼굴 이미지는 정상 얼굴 이미지와 비교하여 기설정된 임계치를 벗어나는지 않는지를 판단하여 결정하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 장치.
  21. 제17항에 있어서,
    상기 제1특징 패턴들과 상기 제2특징 패턴들 각각은 상기 서브 윈도우 이미지 내의 하나 이상의 밝은 영역과 하나 이상의 어두운 영역을 지정하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 장치.
  22. 제20항에 있어서,
    상기 하나 이상의 밝은 영역과 상기 하나 이상의 어두운 영역은 기설정된 적어도 하나의 명도값을 기준으로 구분하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 장치.
  23. 제17항에 있어서,
    상기 분류기는,
    종속(cascade) 연결된 강 분류기들을 구비하고,
    상기 종속 연결된 분류기 중 전단의 강 분류기가 후단의 강 분류기에 비해서 보다 적은 개수의 상기 제1특징 패턴들을 이용하여 상기 서브 윈도우 이미지를 상기 제1특징점 후보 추천 이미지와 상기 제1특징점 후보 비추천 이미지로 분류하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 특징점 후보 검출 장치.
  24. 제23항에 있어서,
    상기 강 분류기들 각각은
    적어도 하나의 약 분류기들 및 판단부를 각각 구비하고,
    상기 약 분류기들 각각은
    미리 지정된 상기 제1특징 패턴의 상기 어두운 영역이 지정하는 상기 서브 윈도우 이미지내의 화소 값들을 더한 제1값과 상기 밝은 영역이 지정하는 상기 서브 윈도우내의 화소 값들을 더한 제2값의 차 값을 계산하고, 상기 차 값과 설정된 제1문턱값을 비교하여 상기 서브 윈도우 이미지가 상기 제1 특징점 후보 추천 이미지인지 상기 제1특징점 후보 비추천 이미지 인지를 판단하기 위한 제1특징값들을 발생하고,
    상기 판단부는
    상기 제1특징값들 각각에 상기 제1특징값들 각각에 설정된 가중치를 곱해서 얻어진 값들의 총 합인 제1신뢰도 값을 제2문턱값과 비교하여 상기 서브 윈도우 이미지가 제1특징점 후보 추천 이미지인지 상기 제1특징점 후보 비추천 이미지인지를 분류하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 특징점 후보 위치 검출 장치.
  25. 제17항에 있어서,
    상기 재분류기는
    종속 연결된 강 분류기들을 구비하고,
    상기 종속 연결된 분류기 중 전단의 강 분류기가 후단의 강 분류기에 비해서 보다 적은 개수의 상기 제2특징 패턴들을 이용하여 상기 서브 윈도우 이미지를 상기 제2특징점 후보 추천 이미지와 상기 제2특징점 후보 비추천 이미지로 재분류하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 특징점 후보 검출 장치.
  26. 제25항에 있어서,
    상기 강 분류기들 각각은
    적어도 하나의 약 분류기들 및 판단부를 각각 구비하고,
    상기 약 분류기들 각각은
    미리 지정된 상기 제2특징 패턴의 상기 어두운 영역이 지정하는 상기 서브 윈도우 이미지내의 화소 값들을 더한 제3값과 상기 밝은 영역이 지정하는 상기 서브 윈도우내의 화소 값들을 더한 제4값의 차 값을 계산하고, 상기 차 값과 설정된 제3문턱값을 비교하여 상기 서브 윈도우 이미지가 상기 제2특징점 후보 추천 이미지인지 상기 제2특징점 후보 비추천 이미지 인지를 판단하기 위한 제2특징값들을 발생하고,
    상기 판단부는
    상기 제2특징값들 각각에 상기 제2특징값들 각각에 설정된 가중치를 곱해서 얻어진 값들의 총 합인 제2신뢰도 값을 제4문턱값과 비교하여 상기 서브 윈도우 이미지가 제2특징점 후보 추천 이미지인지 상기 제2특징점 후보 비추천 이미지인지를 분류하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 특징점 후보 위치 검출 장치.
  27. 제17항에 있어서,
    상기 얼굴 이미지의 서브 윈도우 이미지들에 대한 상기 제1특징점 후보 추천 이미지들과 상기 제2특징점 후보 추천 이미지들에 대한, 상기 제1특징점 후보 위치 정보들, 상기 제1특징점 후보 위치 정보들에 대한 제1신뢰도 값들, 상기 제2특징점 후보 위치 정보들, 및 상기 제2특징점 후보 위치 정보들에 대한 제2신뢰도 값들을 저장하고 출력하는 특징점 후보 위치 발생기를 추가적으로 포함하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 장치.
  28. 제27항에 있어서,
    상기 제1특징점 후보 위치 정보들 및 상기 제2특징점 후보 위치 정보들에 대한 클러스터링을 하여 클러스터를 형성하고, 클러스터들중 가장 큰 클러스터를 이루는 상기 제1특징점 후보 위치 정보들 및 상기 제2특징점 후보 위치 정보들의 소정의 대표 위치에 대한 위치 정보를 특징점 위치 정보로 발생하는 특징점 후보 위치 클러스터링부를 추가적으로 포함하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 장치.
  29. 제28항에 있어서,
    상기 특징점 후보 위치 클러스터링부는
    상기 가장 큰 클러스터를 이루는 상기 제1특징점 후보 위치 정보들 각각에 상기 제1특징점 후보 위치 정보들 각각의 제1신뢰도 값을 곱한 값들과 상기 제2특징점 후보 위치 정보들 각각에 상기 제2특징점 후보 위치 정보들 각각의 제2신뢰도 값을 곱한 값의 더한 값을 참조로 하여 상기 특징점 위치 정보로 출력하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 장치.
  30. 제17항에 있어서,
    원 얼굴 이미지를 동일한 크기의 그레이 이미지로 정규화하는 정규화부; 및
    상기 정규화된 얼굴 이미지를 멀티-스케일 얼굴 이미지로 변환하는 이미지 변환부를 추가적으로 포함하되,
    상기 서브 윈도우 이미지는 상기 멀티-스케일 얼굴 이미지인 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 장치.
  31. 제30항에 있어서,
    상기 특징점 위치 정보를 상기 얼굴 이미지의 크기에 대응하는 위치 정보로 조절하는 특징점 위치 조절부를 추가적으로 구비하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 장치.
  32. 제31항에 있어서,
    상기 멀티-스케일 얼굴 이미지를 화소 단위로 이동하면서 소정 크기를 가지는 상기 서브 윈도우 이미지를 발생하는 것을 특징으로 하는 아다부스트 학습 알고리즘을 이용한 얼굴 특징점 위치 검출 장치.
  33. 제1항 내지 제16항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
PCT/KR2012/007843 2011-09-27 2012-09-27 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체 WO2013048159A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP12836458.5A EP2763078A4 (en) 2011-09-27 2012-09-27 METHOD, APPARATUS AND COMPUTER READABLE RECORDING MEDIUM FOR DETECTING A LOCATION OF A FACE CHARACTERISTIC POINT USING ADABOOST LEARNING ALGORITHM
CN201280058002.5A CN104395913A (zh) 2011-09-27 2012-09-27 用于使用adaboost学习算法来检测面部特征点的位点的方法、设备和计算机可读记录介质
US14/129,356 US9202109B2 (en) 2011-09-27 2012-09-27 Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm
JP2014531736A JP5795443B2 (ja) 2011-09-27 2012-09-27 Ａｄａｂｏｏｓｔ学習アルゴリズムを使用して顔特徴点の位置を検出するための方法、装置、およびコンピュータ可読記録媒体
US14/926,284 US9563821B2 (en) 2011-09-27 2015-10-29 Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110097794A KR101175597B1 (ko) 2011-09-27 2011-09-27 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
KR10-2011-0097794 2011-09-27

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/129,356 A-371-Of-International US9202109B2 (en) 2011-09-27 2012-09-27 Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm
US14/926,284 Continuation US9563821B2 (en) 2011-09-27 2015-10-29 Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm

Publications (1)

Publication Number Publication Date
WO2013048159A1 true WO2013048159A1 (ko) 2013-04-04

Family

ID=46887540

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/007843 WO2013048159A1 (ko) 2011-09-27 2012-09-27 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체

Country Status (6)

Country Link
US (2) US9202109B2 (ko)
EP (1) EP2763078A4 (ko)
JP (2) JP5795443B2 (ko)
KR (1) KR101175597B1 (ko)
CN (1) CN104395913A (ko)
WO (1) WO2013048159A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150005094A (ko) * 2013-07-04 2015-01-14 삼성전자주식회사 전자 디바이스 및 전자 디바이스에서 눈 영역 검출 방법
US9020213B1 (en) * 2013-10-17 2015-04-28 Daon Holdings Limited Methods and systems for detecting biometric characteristics in an image
KR101945821B1 (ko) 2015-05-14 2019-02-11 인하대학교 산학협력단 공간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법
US9898674B2 (en) 2015-12-10 2018-02-20 International Business Machines Corporation Spoof detection for facial recognition
US9524430B1 (en) * 2016-02-03 2016-12-20 Stradvision Korea, Inc. Method for detecting texts included in an image and apparatus using the same
CN106067013B (zh) * 2016-06-30 2022-04-12 美的集团股份有限公司 嵌入式系统人脸识别方法及装置
KR101802500B1 (ko) 2016-10-20 2017-11-28 재단법인대구경북과학기술원 영상 인식을 위한 학습 장치 및 그 학습 방법
CN106951888B (zh) * 2017-05-09 2020-12-01 安徽大学 人脸特征点的相对坐标约束方法以及定位方法
US11210498B2 (en) 2017-06-26 2021-12-28 Nec Corporation Facial authentication device, facial authentication method, and program recording medium
JP6970553B2 (ja) * 2017-08-17 2021-11-24 キヤノン株式会社 画像処理装置、画像処理方法
CN108573054A (zh) * 2018-04-24 2018-09-25 百度在线网络技术（北京）有限公司 用于推送信息的方法和装置
CN112749296B (zh) * 2019-10-31 2024-01-26 北京达佳互联信息技术有限公司 一种视频推荐方法、装置、服务器及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100682906B1 (ko) * 2004-12-09 2007-02-15 삼성전자주식회사 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법
KR20090129255A (ko) * 2008-06-12 2009-12-16 인하대학교 산학협력단 Ｂｏｏｓｔｉｎｇ 알고리즘 및 특징벡터분할 기법을 이용한얼굴특징 선택방법 및 장치
KR20100089360A (ko) * 2009-02-03 2010-08-12 인하대학교 산학협력단 부스팅 기법을 통한 얼굴 인식 방법 및 장치
KR20110002338A (ko) * 2009-07-01 2011-01-07 삼성전기주식회사 하라이크 특징점을 이용한 사람 검출 장치 및 그 방법
KR20110012820A (ko) * 2009-07-31 2011-02-09 삼성전기주식회사 얼굴 구성 성분의 모션 조합에 의한 개인 인증 장치 및 그 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7024033B2 (en) * 2001-12-08 2006-04-04 Microsoft Corp. Method for boosting the performance of machine-learning classifiers
US7203669B2 (en) * 2003-03-17 2007-04-10 Intel Corporation Detector tree of boosted classifiers for real-time object detection and tracking
JP2005134966A (ja) * 2003-10-28 2005-05-26 Seiko Epson Corp 顔画像候補領域検索方法及び検索システム並びに検索プログラム
KR100643303B1 (ko) * 2004-12-07 2006-11-10 삼성전자주식회사 다면 얼굴을 검출하는 방법 및 장치
KR100608596B1 (ko) * 2004-12-28 2006-08-03 삼성전자주식회사 얼굴 검출을 기반으로 하는 휴대용 영상 촬영 기기 및영상 촬영 방법
US8503800B2 (en) * 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US7903870B1 (en) * 2006-02-24 2011-03-08 Texas Instruments Incorporated Digital camera and method
JP4933186B2 (ja) * 2006-07-26 2012-05-16 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
US20080107341A1 (en) * 2006-11-02 2008-05-08 Juwei Lu Method And Apparatus For Detecting Faces In Digital Images
US20080170778A1 (en) * 2007-01-15 2008-07-17 Huitao Luo Method and system for detection and removal of redeyes
US7844085B2 (en) * 2007-06-07 2010-11-30 Seiko Epson Corporation Pairwise feature learning with boosting for use in face detection
JP4479756B2 (ja) * 2007-07-05 2010-06-09 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
CN103124354B (zh) * 2007-09-28 2016-01-20 杜比实验室特许公司 处理视频信息
GB2471036B (en) * 2008-03-03 2012-08-22 Videoiq Inc Object matching for tracking, indexing, and search
JP5072655B2 (ja) * 2008-03-03 2012-11-14 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP4513898B2 (ja) * 2008-06-09 2010-07-28 株式会社デンソー 画像識別装置
JP2011128916A (ja) * 2009-12-18 2011-06-30 Fujifilm Corp オブジェクト検出装置および方法並びにプログラム
JP5286574B2 (ja) * 2010-01-08 2013-09-11 日本電信電話株式会社 オブジェクト検出認識装置、オブジェクト検出認識方法、および、プログラム
US8693791B2 (en) * 2010-02-01 2014-04-08 Morpho, Inc. Object detection apparatus and object detection method
JP5675214B2 (ja) * 2010-08-18 2015-02-25 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US8144976B1 (en) * 2010-12-06 2012-03-27 Seiko Epson Corporation Cascaded face model
US8306257B2 (en) * 2011-01-31 2012-11-06 Seiko Epson Corporation Hierarchical tree AAM

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100682906B1 (ko) * 2004-12-09 2007-02-15 삼성전자주식회사 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법
KR20090129255A (ko) * 2008-06-12 2009-12-16 인하대학교 산학협력단 Ｂｏｏｓｔｉｎｇ 알고리즘 및 특징벡터분할 기법을 이용한얼굴특징 선택방법 및 장치
KR20100089360A (ko) * 2009-02-03 2010-08-12 인하대학교 산학협력단 부스팅 기법을 통한 얼굴 인식 방법 및 장치
KR20110002338A (ko) * 2009-07-01 2011-01-07 삼성전기주식회사 하라이크 특징점을 이용한 사람 검출 장치 및 그 방법
KR20110012820A (ko) * 2009-07-31 2011-02-09 삼성전기주식회사 얼굴 구성 성분의 모션 조합에 의한 개인 인증 장치 및 그 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PAUL VIOLA; MICHAEL J JONES, INTERNATIONAL JOURNAL OF COMPUTER VISION, vol. 57, no. 2, May 2004 (2004-05-01)
See also references of EP2763078A4

Also Published As

Publication number Publication date
EP2763078A1 (en) 2014-08-06
CN104395913A (zh) 2015-03-04
KR101175597B1 (ko) 2012-08-21
US20140133743A1 (en) 2014-05-15
EP2763078A4 (en) 2016-04-13
JP2014530424A (ja) 2014-11-17
US9202109B2 (en) 2015-12-01
US20160078319A1 (en) 2016-03-17
JP6111297B2 (ja) 2017-04-05
US9563821B2 (en) 2017-02-07
JP2016001492A (ja) 2016-01-07
JP5795443B2 (ja) 2015-10-14

Similar Documents

Publication Publication Date Title
WO2013048159A1 (ko) 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
CN107423690B (zh) 一种人脸识别方法及装置
WO2013129825A1 (ko) 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
CN108960080B (zh) 基于主动防御图像对抗攻击的人脸识别方法
KR101179497B1 (ko) 얼굴 검출 방법 및 장치
WO2013048160A1 (ko) 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US10445602B2 (en) Apparatus and method for recognizing traffic signs
WO2011096651A2 (ko) 얼굴 식별 방법 및 그 장치
WO2020032506A1 (ko) 시각 감지 시스템 및 이를 이용한 시각 감지 방법
CN103530640B (zh) 基于AdaBoost与SVM的无牌车辆检测方法
KR101222100B1 (ko) 정면 얼굴 검출 장치
WO2020138607A1 (ko) 챗봇을 이용한 질의 응답 방법 및 장치
KR101268520B1 (ko) 영상 인식 장치 및 방법
Sikora et al. Classification of railway level crossing barrier and light signalling system using YOLOv3
KR101343623B1 (ko) 적응적 피부색 검출 방법, 그리고 이를 이용한 얼굴 검출 방법 및 그 장치
Promlainak et al. Thai traffic sign detection and recognition for driver assistance
Hassan et al. Intelligent sign language recognition using enhanced fourier descriptor: a case of Hausa sign language
WO2021125539A1 (ko) 영상에 포함된 객체를 분류하는 장치, 방법 및 컴퓨터 프로그램
KR102326185B1 (ko) 딥러닝을 이용한 얼굴 매칭 방법 및 장치
WO2020175729A1 (ko) 가우시안 특징점맵과 회귀 기법을 이용한 얼굴 특징점 검출 장치 및 방법
KR20160017152A (ko) 이진 하르 캐스케이드에 기반한 성별 분류 방법
WO2020166757A1 (ko) 영상과 얼굴의 특징점을 이용한 스트레스 인식 장치 및 방법
WO2021107333A1 (ko) 딥러닝 기반 감지상황에서의 음향 사건 탐지 방법
EP3893147B1 (en) Liveliness detection using a device comprising an illumination source
WO2023153747A1 (ko) Yolo 알고리즘 기반의 은행권 식별 시스템 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12836458

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14129356

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012836458

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014531736

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE