WO2015088179A1 - 얼굴의 키 포인트들에 대한 포지셔닝 방법 및 장치 - Google Patents

얼굴의 키 포인트들에 대한 포지셔닝 방법 및 장치 Download PDF

Info

Publication number
WO2015088179A1
WO2015088179A1 PCT/KR2014/011793 KR2014011793W WO2015088179A1 WO 2015088179 A1 WO2015088179 A1 WO 2015088179A1 KR 2014011793 W KR2014011793 W KR 2014011793W WO 2015088179 A1 WO2015088179 A1 WO 2015088179A1
Authority
WO
WIPO (PCT)
Prior art keywords
positioning
model
result
evaluation
key points
Prior art date
Application number
PCT/KR2014/011793
Other languages
English (en)
French (fr)
Inventor
션샤오리오
왕삐아오
펑쉬에타오
한재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020167017600A priority Critical patent/KR102068249B1/ko
Publication of WO2015088179A1 publication Critical patent/WO2015088179A1/ko
Priority to US15/172,751 priority patent/US10002308B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the following embodiments relate to face identification technology, and to a method and apparatus for positioning key points of a face using a plurality of positioning models.
  • Positioning techniques for key points of the face acquire a geometric position of a plurality of key points (eg, eyes, mouth, nose, etc.) based on the initial position of the face detected from the input image.
  • the positioning technique has a direct impact on applications such as face identification, image enhancement, and facial animation. Face images can be changed by various factors such as posture, facial expression, lighting, gender, age, and race, and these changes can affect the stability of positioning for face recognition.
  • the positioning method may include a plurality of positions including key points of a face region included in an input image, using a plurality of predetermined positioning models. Obtaining a positioning result; Evaluating the plurality of positioning results using an evaluation model for the location of the key points; And updating at least one of the positioning model and the evaluation model by using a positioning result selected based on the evaluation result among the plurality of positioning results.
  • the acquiring of the plurality of positioning results may include: mapping the input image to each of the positioning models; And acquiring positions of key points of the face area corresponding to key points of each of the positioning model.
  • the plurality of positioning models may correspond to each of different types of training sets comprising face image samples.
  • the predetermined plurality of positioning models is a plurality of positioning models obtained through training, and the training of the positioning model comprises: the face included in each of the different types of training sets. Obtaining an average of positions of key points of the image samples; Acquiring a Scale Invariant Feature Transform (SIFT) feature for the average of the location of the key point by matching the average of the location of the key point with the face area; Combining the SIFT features to obtain a feature vector; And training the positioning model based on the feature vector.
  • SIFT Scale Invariant Feature Transform
  • the acquiring of the plurality of positioning results may include acquiring the plurality of positioning results including positions of key points of the face area based on the feature vector.
  • Updating at least one of the positioning model and the evaluation model comprises: classifying an image type of the face region using the selected positioning result; And updating at least one of the positioning model and the evaluation model based on the classified image type.
  • the evaluation model may include a plurality of classifiers trained corresponding to each of the key points.
  • the evaluating of the plurality of positioning results may include: constructing image blocks having a predetermined size centering on a location of each of the key points included in the plurality of positioning results; Inputting the image blocks into the classifier to obtain an evaluation score; And evaluating the plurality of positioning results using the evaluation score.
  • the image blocks may include a positive sample image block in which the distance between the center position of the image block and the position of the key point does not exceed a preset distance and between the center position of the image block and the position of the key point. It may include a negative sample image block whose distance exceeds the preset distance.
  • Updating at least one of the positioning model and the evaluation model comprises: selecting one positioning result of the plurality of positioning results using the evaluation score; Comparing an evaluation score of the selected positioning result with a preset first threshold; And updating at least one of the evaluation model and the positioning model based on the comparison result.
  • the updating of the evaluation model may include adding an input image corresponding to the selected positioning result to a training set; Generating a predetermined number of positive sample image blocks and negative sample image blocks based on positions of key points according to the selected positioning result; And training the classifier using the generated positive and negative samples to update the assessment model.
  • the updating of the positioning model may include identifying a type of positioning model corresponding to the selected positioning result when the evaluation score of the selected positioning result exceeds the first threshold.
  • the updating of the positioning model may include: adding the selected positioning result to a training set corresponding to the any one type when the identified type corresponds to any one of the types of the positioning model; And training the positioning model using a training set to which the selected positioning result is added to update the positioning model.
  • the updating of the positioning model may include configuring a new training set corresponding to the selected positioning result when the identified type does not correspond to any one of the types of the positioning model.
  • the method may further include training a new positioning model based on the face image samples included in the new training set.
  • the positioning device Communication unit for receiving an input image;
  • a memory for storing a plurality of predetermined positioning models;
  • the positioning model By using the positioning model, a plurality of positioning results including positions of key points of a face area included in the input image are obtained, and the plurality of positioning results are evaluated for the positions of the key points.
  • a processor for updating at least one of the positioning model and the evaluation model using the positioning result selected based on the evaluation result using the model.
  • the processor may configure image blocks having a predetermined size centering on positions of each of the key points included in the plurality of positioning results, and the image blocks may be provided to a plurality of classifiers trained corresponding to the respective key points.
  • the evaluation score may be obtained by inputting, and the plurality of positioning results may be evaluated using the evaluation score.
  • the processor selects one positioning result of the plurality of positioning results using the evaluation score, and based on a result of comparing the evaluation score of the selected positioning result with a preset first threshold value, At least one of the positioning models may be updated.
  • FIG. 1 is a diagram illustrating a classification of a training set used in a positioning method and a positioning method, according to an exemplary embodiment.
  • FIG. 2 is a flowchart illustrating a positioning method according to an exemplary embodiment.
  • FIG. 3 is a flowchart illustrating a positioning method according to another exemplary embodiment.
  • FIG. 4 is a diagram illustrating a process of performing a positioning method according to an embodiment.
  • FIG. 5 is a view for explaining a process of performing a positioning method according to another embodiment
  • FIG. 6 is a flowchart illustrating a method of training a plurality of positioning models, according to an embodiment.
  • FIG. 7 is a diagram illustrating a location of a mean value of a position of a key point and a positioning result used in a positioning method, according to an exemplary embodiment.
  • FIG. 8 is a flowchart illustrating a method of evaluating a plurality of positioning results, according to an exemplary embodiment.
  • FIG. 9 illustrates a positive sample image block and a negative sample image block used in the positioning method, according to an exemplary embodiment.
  • FIG. 10 is a flowchart illustrating a method of updating at least one of a positioning model and an evaluation model, according to an embodiment.
  • FIG. 11 is a flowchart illustrating a method of updating a positioning model, according to an embodiment.
  • FIG. 12 is a flowchart illustrating a method of updating an evaluation model, according to an embodiment.
  • FIG. 13 is a flowchart illustrating a positioning method according to another exemplary embodiment.
  • FIG. 14 is a block diagram of a positioning apparatus according to an embodiment.
  • 15 is a block diagram of a positioning device according to another embodiment.
  • 16 is a block diagram of a positioning apparatus according to another embodiment.
  • FIG. 1 is a diagram illustrating a classification of a training set used in a positioning method and a positioning method, according to an exemplary embodiment.
  • FIG. 1 various types of training sets 130, 150, 170 for classifying an input image 110 and an input image 110 are shown.
  • the face image can be changed by various factors, and the positioning for face recognition is also not easy due to this change.
  • 'positioning' may be understood to localize the key points or landmarks used to recognize or identify the face.
  • the input image 110 is distinguished by using various models (eg, face image samples included in different types of training sets) in consideration of the possibility of change by various factors. It is possible to identify who the image 110 is.
  • various models eg, face image samples included in different types of training sets
  • the input image 110 is, for example, a first training set 130 including face image samples wearing ski glasses, a second training set 150 including black face image samples and a face image of an Asian woman. And the third training set 170 including the sample.
  • the second training set 150 may be further divided into 'basketball player' 160, which is a type specified according to a specific occupation such as a basketball player, a boxer, or the like.
  • the positioning model may be trained according to face image samples included in different types of training sets 130, 150, 170.
  • FIG. 2 is a flowchart illustrating a positioning method according to an exemplary embodiment.
  • the positioning apparatus obtains a plurality of positioning results using a plurality of predetermined positioning models.
  • the predetermined plurality of positioning models may be, for example, a trained model or a representative face model determined statistically instead of training.
  • the plurality of positioning results include positions of key points of the face area included in the input image.
  • the positioning model may be trained using different types of training sets that include a plurality of face image samples.
  • the positioning model may correspond to each of the different types of training sets that include face image samples.
  • the positioning model may be, for example, if there are K types of training sets, there may be positioning models A 1 to A k corresponding to each type of training sets.
  • a method of positioning the plurality of positioning models by the positioning device will be described with reference to FIG. 6.
  • the positioning apparatus may correspond to each of a plurality of trained positioning models, and acquire positions of key points of a face area corresponding to key points of each of the positioning models as a plurality of positioning results. have.
  • the positioning result obtained by the positioning apparatus will be described with reference to FIG. 7.
  • the positioning apparatus evaluates 230 a plurality of positioning results obtained in step 210 using an evaluation model for the location of key points.
  • the evaluation model may include a plurality of classifiers trained corresponding to each of the key points. A method of positioning the plurality of positioning results by the positioning apparatus will be described with reference to FIG. 8.
  • the positioning apparatus updates at least one of the positioning model and the evaluation model by using the positioning result selected based on the evaluation result of step 230 among the plurality of positioning results obtained in step 210 (250). How the positioning device updates at least one of the positioning model and the evaluation model will be described with reference to FIG. 10.
  • FIG. 3 is a flowchart illustrating a positioning method according to another exemplary embodiment.
  • the positioning apparatus may train 310 a plurality of positioning models by using each of different types of training sets including face image samples.
  • the positioning apparatus obtains a plurality of positioning results by using the plurality of positioning models (320).
  • the positioning result includes positions of key points of the face region included in the input image, respectively.
  • the location of the key points may include, for example, the edge of the eye, the tip of the eyebrow, the mouth, the tip of the nose, and the like.
  • K (K ⁇ 1) positioning models A 1 to A k are used, and the set of K positioning models may be denoted by A.
  • the positioning apparatus may arrange the input images in correspondence with the K positioning models, and display K positions corresponding to key points of each of the positioning models in the input image as (x, y) to obtain K positioning results. .
  • the positioning apparatus outputs the K positioning results s 1 , s 2 ,... , s K
  • the positioning result s may include the positions of key points of the L faces, respectively.
  • Positioning result (s) Can be expressed as:
  • the positioning device may obtain positioning models A 1 -A k by training sets C (C 1 -C K ).
  • C K one of the training sets, is a set including face image samples, and the position of L key points in each face image sample Ii included in training set C K. Can be measured.
  • Face image samples included in the training sets C may be classified into different types according to various factors such as posture, facial expression, age, race, identity, and the like.
  • the positioning device may obtain a plurality of positioning models A 1 to A k using each of the different types of training sets.
  • the positioning apparatus evaluates the plurality of positioning results obtained in step 320 by using an evaluation model for the position of key points (330).
  • the positioning device may evaluate the plurality of positioning results by a classifier trained on key points of the face to obtain an optimal positioning result.
  • the positioning device may train one boost classifier for each key point to obtain L classifiers h 1 , h 2 , and h L.
  • the L classifiers may form an evaluation model E.
  • the positioning device may select one of the positioning results of the plurality of positioning results obtained in operation 320 based on the evaluation result of operation 330 (340).
  • the positioning result selected in step 340 may also be referred to as 'optimal positioning result'.
  • the positioning apparatus may classify the type of the input image by using the positioning result selected in operation 340 (350).
  • the positioning apparatus updates 360 the at least one of the positioning model and the evaluation model, based on the type classified in step 350.
  • a method of updating the positioning model based on the classified type by the positioning apparatus will be described with reference to FIG. 11, and a method of updating the evaluation model will be described with reference to FIG. 12.
  • FIG. 4 is a view for explaining a process of performing a positioning method according to an embodiment.
  • Positioning models may correspond to each of the different types of training sets that include face image samples.
  • the positioning apparatus includes a plurality of positioning results (s 1 , s 2 ,, s K ) corresponding to positions of key points corresponding to key points of each of the positioning models A 1 to A k in the face region of the input image. It may be obtained (415).
  • the positioning apparatus evaluates the plurality of positioning results s 1 , s 2 ,, s K using the evaluation model 460, and 420, and the plurality of positioning results s 1 , s 2 ,, s K. ), An optimal positioning result s * may be selected (425).
  • the optimal positioning result s * may correspond to the position of the optimal key points in the face area of the input image.
  • the positioning apparatus may generate a confidence coefficient that can be used in an application such as, for example, face recognition, based on the plurality of positioning results s 1 , s 2 ,, s K. have.
  • the positioning apparatus may classify the image type of the input image using the optimal positioning result s * (430), and search for a positioning model most similar to the type of the classified input image (435). ).
  • the positioning device may update at least one of the positioning models 450 and the evaluation model 460 based on the type of the classified input image (440).
  • FIG. 5 is a view for explaining a process of performing a positioning method according to another embodiment.
  • the positioning device may verify (528) the selected positioning result s *.
  • the positioning apparatus may evaluate 520 the plurality of positioning results s 1 , s 2 ,, s K again if the verification result of step 528 is not appropriate.
  • the positioning apparatus may classify the image type of the input image using the selected positioning result s * (530).
  • the positioning device may update at least one of the positioning model 560 and the evaluation model 570 based on the type of the input image classified in operation 530 (540).
  • the positioning device is a training set corresponding to either type.
  • (C) 540 may be added.
  • the training set C may include sub training sets C 1 541, C 2 542, and C k 543.
  • the training set (C) 540 may include all input images input by the user.
  • the sub training sets C 1 541, C 2 542, C k 543 may include different types of face image samples such as, for example, pose, lighting, race, and the like.
  • Training set (C) 540 and general training set (C 0 ) 556 can be used to update assessment model 570.
  • Each of the sub training sets C 1 541, C 2 542, C k 543 and the general training set C 0 556 can be used to update the positioning model 560.
  • the general training set (C 0 ) 556 is a general training database used to train the positioning model 560, and may be pre-stored in a memory or the like. General training set (C 0 ) 556 can be used to train the initial positioning model.
  • FIG. 6 is a flowchart illustrating a method of training a plurality of positioning models, according to an embodiment.
  • the positioning apparatus obtains an average value of positions of key points of face image samples included in each of different types of training sets.
  • the positioning device uses Equation 1 below to calculate the average value of the position of the key point of the entire face image samples included in the training set C. S 0 ), that is, the position of the average key point can be obtained.
  • the positioning apparatus may acquire a scale invariant feature transform (SIFT) feature for the position of the average key point by matching the average value of the position of the key point acquired in operation 610 with the face area (620).
  • SIFT scale invariant feature transform
  • the positioning apparatus for each face image sample included in the training set C, places the position S 0 of the average key point acquired in step 610 in the center of the input image, thereby placing the average key point in the center.
  • a scale invariant feature transform (SIFT) feature of each position at position S 0 may be obtained.
  • the positioning apparatus may combine the SIFT features acquired in operation 620 to obtain a feature vector fi (630).
  • the positioning apparatus may construct a regression model as shown in Equation 2 below with respect to the entire face image samples included in the training set C based on the feature vector fi.
  • A represents a set of positioning models obtained by training set C.
  • the positioning apparatus may train a plurality of positioning models based on the feature vector obtained in operation 630 (640). Accordingly, the positioning apparatus may obtain a positioning result set s including K positioning results as shown in Equation 3 below.
  • the positioning device may obtain a plurality of positioning results for the position of the key point of the input image from the plurality of trained positioning models.
  • FIG. 7 is a diagram illustrating an average position of a key point and a positioning result of the key point used in the positioning method, according to an exemplary embodiment.
  • FIG. 7 there is shown a diagram 710 showing the average value S 0 of the position of the key points of the entire sample image included in the training set C and a diagram 730 showing the positioning results.
  • the 'X' mark represents an average value of the position of the key points of the entire sample image included in the training set, that is, the position of the average key point.
  • an 'O' mark indicates positions of key points of a face area of the input image, corresponding to average values of positions of key points.
  • the positioning device may obtain a feature vector by combining the SIFT features of each position of the average value of the key point positions obtained by arranging the average value of the key point positions in the center of the input image.
  • the positioning apparatus may obtain positioning results by positioning models trained based on the acquired feature vector.
  • FIG. 8 is a flowchart illustrating a method of evaluating a plurality of positioning results, according to an exemplary embodiment.
  • the positioning apparatus may configure image blocks having a predetermined size centering on positions of key points included in a plurality of positioning results.
  • the positioning apparatus may configure positive sample image blocks and negative sample image blocks as shown in FIG. 9 based on the position of each of the key points. Can be.
  • Positive sample image blocks may be understood as an image block in which the distance between the center position of the image block and the position of the key point does not exceed a preset distance.
  • the negative sample image block may be understood as an image block in which the distance between the center position of the image block and the position of the key point exceeds a preset distance.
  • the positioning apparatus may input the image blocks configured in operation 810 to the classifier to obtain an evaluation score (820).
  • the positioning apparatus may evaluate the plurality of positioning results using the evaluation score obtained in operation 820 (operation 830).
  • FIG. 9 illustrates a positive sample image block and a negative sample image block used in the positioning method, according to an exemplary embodiment.
  • a diagram 910 is depicted showing positive sample image blocks and a diagram 950 is depicted showing negative sample image blocks.
  • the positioning apparatus may set an image block adjacent to the position of the key point as a positive sample among the face image samples included in the training set.
  • 'adjacent to the position of the key point' may be understood that the distance between the center position of the image block and the position of the key point does not exceed a preset distance.
  • the positioning device may set an image block that is far from the position of the key point as a negative sample among the face image samples included in the training set.
  • 'distant from the position of the key point' may be understood as the distance between the center position of the image block and the position of the key point exceeds a preset distance.
  • the positioning apparatus may train the classifier using positive sample image blocks and negative sample image blocks.
  • the positioning device trains the classifier for key point 901 near the left eye.
  • the positioning apparatus may set the image blocks indicated by the squares in the drawing 910 as the positive sample image blocks of the classifier, and set the image blocks indicated by the squares in the drawing 950 as the negative sample image blocks of the classifier.
  • the classifier h j is trained corresponding to each of the key points and may include a plurality of selectors h sel .
  • Each selector h sel may select a weak Haar classifier h w to evaluate the input image block.
  • the output of each classifier h j may be a weighted sum of all selectors h sel as shown in Equation 4 below.
  • the positioning apparatus may obtain classifiers that can evaluate the position of each key point by training the classifier using the positive sample image block and the negative sample image block included in the training set.
  • the positioning device when evaluating the positioning result s i of a key point in FIG. 8, the positioning device selects a correspondingly sized image block centered on the position (x j , y j ) of each key point.
  • One evaluation score h j (x j , y j ) may be obtained by inputting to the classifier h j .
  • the whole classifiers may obtain an evaluation score for the positioning result s j of the key point, and may also obtain an average score of the positioning result as shown in Equation 5 below.
  • L represents the number of key points of the face.
  • the positioning apparatus may obtain an evaluation score of each positioning result included in the K positioning results s 1 , s 2 , and s K , and select an optimal positioning result s * .
  • the positioning apparatus may select, for example, a positioning result having the highest evaluation score and set it as an optimal positioning result for the position of the face key point.
  • the positioning apparatus may evaluate the positioning result obtained by the positioning model using various evaluation techniques.
  • FIG. 10 is a flowchart illustrating a method of updating at least one of a positioning model and an evaluation model, according to an embodiment.
  • the positioning apparatus selects any one of a plurality of positioning results using the evaluation score obtained in operation 820 of FIG. 8.
  • the positioning apparatus may compare the evaluation score of the positioning result selected in operation 1010 with a preset first threshold (1020).
  • the positioning device may update 1030 at least one of the evaluation model and the positioning model based on the comparison result of step 1020.
  • a method of updating the positioning model by the positioning apparatus will be described with reference to FIG. 11, and a method of updating the evaluation model will be described with reference to FIG. 12.
  • FIG. 11 is a flowchart illustrating a method of updating a positioning model, according to an embodiment.
  • the positioning apparatus determines whether an evaluation score of the selected positioning result exceeds a first threshold. It may be determined (1110). In this case, 'the evaluation score of the positioning result exceeds the first threshold' may indicate the existence of a new positioning result, so the positioning apparatus determines this.
  • the positioning apparatus may end the operation.
  • the positioning apparatus may check the type of the positioning model corresponding to the selected positioning result, that is, the optimum positioning result s * ( 1115).
  • the positioning device may be, for example, the positioning result (s *) on the basis of the feature vectors (f), searching for the type of positioning model corresponding to the positioning result (s *) online K mean value method corresponding to .
  • the positioning apparatus may determine whether the type of the positioning model identified in step 1115 corresponds to any type A k of the types of the original K positioning models (1120).
  • step 1120 if the identified type corresponds to one of the types of the original positioning model (e.g., the type of A k ), the positioning device determines which selected positioning result (s * ). One can add to the training set Ck corresponding to one type (type of A k ) (1125).
  • the positioning apparatus may retrain the positioning model A k using the training set Ck to which the selected positioning result is added (1130).
  • the positioning apparatus may update the positioning model A k using the training result of step 1130 (1135).
  • the positioning device is a new training set (C K + 1 ) corresponding to the selected positioning result (s * ). ) May be configured (1140).
  • the positioning device may determine whether the number of face image samples included in the new training set C K + 1 exceeds a second preset threshold (1145).
  • the positioning apparatus determines a new positioning model based on the face image samples included in the new training set.
  • a K + 1 may be trained (1150). Accordingly, if the number of positioning models is increased to K + 1, and the number of positioning models is increased, the original K positioning models may also increase to K + 1.
  • the positioning apparatus may train the positioning model using the new training set (1155). ).
  • the positioning apparatus may update the new positioning model A K + 1 using the training result of step 1155 (1135).
  • the positioning model (A) may be updated in the following way. have.
  • the positioning model A before the update may be expressed as Equation 6 below.
  • F denotes a matrix in which the entire sample feature vector f of the sample image included in the training set C is formed, and the i th row of F means the feature vector of the i th sample.
  • S denotes a matrix in which the position of the key point in which the entire face image samples included in the training set C are directly measured is formed, and the i th row of S refers to the position of the key point of the i th face image sample.
  • S 0 means a matrix in which the positions of the average key points of all samples included in the training set C are formed, and the i th row of S 0 means the positions of the average key points of the i th sample.
  • Equation 7 By applying a least square method to Equation 6, a positioning model A can be obtained as shown in Equation 7 below.
  • Equation 8 The elements of the m th row n th column of the covariance matrices Cov xx and Cov xy can be expressed as Equation 8 below:
  • f im means a value of the m th dimension of the feature vector of the i th face image sample included in the training set.
  • S in I is the value of the n th dimension of the position of the manually measured key point of the i th sample included in the training set, and S in 0 is the n of the position of the average key point of the i th face image sample included in the training set The value of the second dimension.
  • the elements of the covariance matrix may be updated by Equation 9 below.
  • f m * denotes the value of the m th dimension of the feature vector of the new sample
  • S n 0 denotes the value of the n th dimension of the manually measured key point of the new sample
  • S n * 0 denotes the new The value of the n th dimension of the position of the average key point of the sample.
  • FIG. 12 is a flowchart illustrating a method of updating an evaluation model, according to an embodiment.
  • the positioning apparatus may add an input image corresponding to the positioning result s * , selected in step 1010 of FIG. 10, to the training set (1210). .
  • the positioning apparatus may generate a predetermined number of positive sample image blocks and negative sample image blocks based on the position of the key point according to the positioning result s * (1220).
  • the position of the key point according to the positioning result may be understood as the position of the key points in the positioning result.
  • the positioning apparatus may generate, for example, 10 positive sample image blocks and negative sample image blocks, respectively, based on the positions of the L key points in the positioning result.
  • the positioning apparatus may update the evaluation model by training L classifiers h 1 , h 2 , and h L using the positive sample image block and the negative sample image block generated in step 1220 (1230). .
  • the positioning device may train the key point classifiers using, for example, an online AdaBoost method.
  • FIG. 13 is a flowchart illustrating a positioning method according to another exemplary embodiment.
  • a positioning apparatus may acquire a plurality of positioning results from an input image of a face using a trained plurality of positioning models (1310).
  • the positioning apparatus may select an optimal positioning result from the plurality of positioning results obtained in operation 1310 (1320). In this case, the positioning apparatus may evaluate the plurality of positioning results obtained in operation 1310 to select an optimal positioning result among the plurality of positioning results.
  • the positioning apparatus may determine whether an evaluation score of the optimal positioning result selected in operation 1320 exceeds a preset threshold (1330).
  • the positioning apparatus may update at least one of the evaluation model and the positioning model using the optimal positioning result (1340). ).
  • the positioning device may end the operation.
  • FIG. 14 is a block diagram of a positioning apparatus according to an embodiment.
  • the positioning apparatus 1400 includes a communication unit 1410, a processor 1420, and a memory 1430.
  • the communication unit 1410 receives an input image.
  • the processor 1420 obtains a plurality of positioning results including positions of key points of a face area included in an input image received through the communication unit 1410 using the positioning model stored in the memory 1430.
  • the processor 1420 selects any one positioning result based on the evaluation result of the plurality of positioning results using the evaluation model, and updates at least one of the positioning model and the evaluation model using the selected positioning result.
  • the evaluation model may be for the location of key points.
  • the memory 1430 stores a plurality of predetermined positioning models.
  • the predetermined plurality of positioning models may be, for example, a trained model or a representative face model determined statistically rather than training.
  • the processor 1420 may configure image blocks of a predetermined size centering on positions of key points included in the plurality of positioning results.
  • the processor 1420 may obtain an evaluation score by inputting the image blocks to a plurality of classifiers trained corresponding to each of the key points.
  • the processor 1420 may evaluate the plurality of positioning results using the evaluation score.
  • the processor 1420 may select any one of the plurality of positioning results using the evaluation score.
  • the processor 1420 may update at least one of the evaluation model and the positioning model based on a result of comparing the evaluation score of the selected positioning result with a preset threshold (eg, the first threshold).
  • 15 is a block diagram of a positioning device according to another embodiment.
  • the positioning apparatus 1500 includes an acquirer 1510 and an evaluator 1520.
  • the acquirer 1510 may acquire a plurality of positioning results corresponding to each positioning model by positioning a face region included in the input image by the plurality of positioning models.
  • the plurality of positioning models may be positioning models for trained faces based on different types of training sets. Each of the plurality of positioning models may correspond to a different type of training set.
  • the evaluator 1520 may select the optimal positioning result by evaluating a plurality of positioning results obtained by the acquirer 1510 using the trained evaluation model.
  • the evaluation model used in the evaluator 1520 may include a classifier trained on the positions of the plurality of key points included in the face image, and each classifier may evaluate the positions of the key points corresponding to the positioning result.
  • the positioning device 1500 When training the classifier, the positioning device 1500 sets an image block adjacent to the position of the key point as a positive sample among the face image samples included in the training set, and sets a negative image block far from the position of the key point. You can train the classifier by setting it as a sample.
  • 16 is a block diagram of a positioning apparatus according to another embodiment.
  • the positioning apparatus 1600 includes an acquirer 1610, an evaluator 1620, and an updater 1630.
  • the updater 1630 may update the evaluation model used in the evaluator 1620 based on the optimal positioning result selected by the evaluator 1620.
  • the updater 1630 may update the evaluation model based on the optimal positioning result. Can be.
  • the updater 1630 When updating the evaluation model, the updater 1630 adds an input image corresponding to the optimal positioning result to the training set, and a predetermined number of positive sample images based on the position of the key point corresponding to the optimal positioning result. Blocks and negative sample image blocks can be generated.
  • the updater 1630 may update the evaluation model by training a classifier included in the evaluation model using the generated positive sample image block and the negative sample image block.
  • the updater 1630 may update the positioning model used by the acquirer 1610 based on the optimal positioning result selected by the evaluator 1620.
  • the updater 1630 may check a positioning model corresponding to the positioning result.
  • the updater 1630 may search for a type corresponding to an optimal positioning result by, for example, an online K average value method based on the feature vector combining the SIFT features.
  • the updater 1630 may then train the optimal positioning result corresponding to the type of A k . Can be added to set Ck.
  • the updater 1630 may update the positioning model A k by training the above-described positioning model.
  • the updater 1630 may newly configure the training set C K + 1 corresponding to the optimal positioning result.
  • the updater 1630 uses the new training set to position a new one.
  • Model A K + 1 can be trained.
  • an optimal positioning result is selected from among a plurality of positioning results based on an evaluation using an evaluation model, and an evaluation score obtained from the positioning result may be used in various subsequent subsequent processes (eg, face identification). have.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the apparatus and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Abstract

사전에 결정된(predetermined) 복수의 포지셔닝 모델을 이용하여, 입력 영상에 포함된 얼굴 영역의 키 포인트들의 위치를 포함하는 복수의 포지셔닝 결과를 획득하고, 상기 키 포인트들(key points)의 위치에 대한 평가 모델을 이용하여 복수의 포지셔닝 결과를 평가하며, 복수의 포지셔닝 결과 중 평가 결과에 기초하여 선택된 포지셔닝 결과를 이용하여, 포지셔닝 모델 및 평가 모델 중 적어도 하나를 업데이트하는, 포지셔닝 방법 및 장치를 제공할 수 있다.

Description

얼굴의 키 포인트들에 대한 포지셔닝 방법 및 장치
아래의 실시예들은 얼굴 식별 기술에 관한 것으로, 복수의 포지셔닝 모델(positioning model)을 이용한 얼굴의 키 포인트(key point)들의 포지셔닝 방법 및 장치에 관한 것이다.
얼굴의 키 포인트(key point)에 대한 포지셔닝(positioning) 기술은 입력 이미지로부터 검출된 얼굴의 초기 위치를 기반으로 복수의 키 포인트(예를 들어, 눈가, 입가, 코끝 등)의 기하 위치를 획득하는 것이다. 상기 포지셔닝 기술은 얼굴 식별, 이미지 개선, 얼굴 애니메이션 등 응용에서 직접적인 영향을 준다. 얼굴 이미지는 자세, 표정, 조명, 성별, 나이, 인종 등 다양한 요소들에 의해 변화될 수 있으며, 이러한 변화로 인해 얼굴 인식을 위한 포지셔닝의 안정성에 영향을 받을 수 있다.
일 실시예에 따르면, 포지셔닝 방법은, 사전에 결정된(predetermined) 복수의 포지셔닝 모델(positioning model) 을 이용하여, 입력 영상에 포함된 얼굴 영역의 키 포인트들(key points)의 위치를 포함하는 복수의 포지셔닝(positioning) 결과를 획득하는 단계; 상기 키 포인트들(key points)의 위치에 대한 평가 모델(Evaluation Model)을 이용하여 상기 복수의 포지셔닝 결과를 평가하는 단계; 및 상기 복수의 포지셔닝 결과 중 상기 평가 결과에 기초하여 선택된 포지셔닝 결과 를 이용하여, 상기 포지셔닝 모델 및 상기 평가 모델 중 적어도 하나를 업데이트하는 단계를 포함한다.
상기 복수의 포지셔닝 결과를 획득하는 단계는, 상기 입력 영상을, 상기 포지셔닝 모델 각각에 대응시키는 단계; 및 상기 포지셔닝 모델 각각의 키 포인트들에 대응되는 상기 얼굴 영역의 키 포인트들의 위치를 획득하는 단계를 포함할 수 있다.
상기 복수의 포지셔닝 모델은 얼굴 이미지 샘플들을 포함하는 트레이닝 세트들의 서로 다른 유형 각각에 대응할 수 있다.
얼굴 이미지 샘플들을 포함하는 서로 다른 유형의 트레이닝 세트들 각각을 이용하여 상기 포지셔닝 모델을 트레이닝하는 단계를 더 포함할 수 있다.
상기 사전에 결정된(predetermined) 복수의 포지셔닝 모델은 트레이닝(training)을 통해 획득된 복수의 포지셔닝 모델이고, 상기 포지셔닝 모델을 상기 트레이닝하는 단계는, 상기 서로 다른 유형의 트레이닝 세트들 각각에 포함된 상기 얼굴 이미지 샘플들의 키 포인트의 위치의 평균치를 획득하는 단계; 상기 키 포인트의 위치의 평균치를 상기 얼굴 영역에 대응 시켜 상기 키 포인트의 위치의 평균치에 대한 SIFT(Scale Invariant Feature Transform) 특징을 획득하는 단계; 상기 SIFT 특징을 결합하여 특징 벡터를 획득하는 단계; 및 상기 특징 벡터를 기초로, 상기 포지셔닝 모델을 트레이닝하는 단계를 포함할 수 있다.
상기 복수의 포지셔닝 결과를 획득하는 단계는, 상기 특징 벡터를 기초로, 상기 얼굴 영역의 키 포인트들의 위치를 포함하는 상기 복수의 포지셔닝 결과를 획득하는 단계를 포함할 수 있다.
상기 포지셔닝 모델 및 상기 평가 모델 중 적어도 하나를 업데이트하는 단계는, 상기 선택된 포지셔닝 결과를 이용하여 상기 얼굴 영역의 이미지 타입을 분류하는 단계; 및 상기 분류된 이미지 타입의 기초로, 상기 포지셔닝 모델 및 상기 평가 모델 중 적어도 하나를 업데이트하는 단계를 포함할 수 있다.
상기 평가 모델은, 상기 키 포인트들 각각에 대응하여 트레이닝된 복수의 분류기를 포함할 수 있다.
상기 복수의 포지셔닝 결과를 평가하는 단계는, 상기 복수의 포지셔닝 결과에 포함된 키 포인트들 각각의 위치를 중심으로 하는 일정 크기의 이미지 블록들을 구성하는 단계; 상기 이미지 블록들을, 상기 분류기에 입력하여 평가 점수를 획득하는 단계; 및 상기 평가 점수를 이용하여 상기 복수의 포지셔닝 결과를 평가하는 단계를 포함할 수 있다.
상기 이미지 블록들은 상기 이미지 블록의 중심 위치와 상기 키 포인트의 위치 간의 거리가 미리 설정된 거리를 초과하지 않는 포지티브 샘플 이미지 블록(positive sample image block) 및 상기 이미지 블록의 중심 위치와 상기 키 포인트의 위치 간의 거리가 상기 미리 설정된 거리를 초과하는 네거티브 샘플 이미지 블록(negative sample image block)을 포함할 수 있다.
상기 포지셔닝 모델 및 상기 평가 모델 중 적어도 하나를 업데이트하는 단계는, 상기 평가 점수를 이용하여 상기 복수의 포지셔닝 결과 중 어느 하나의 포지셔닝 결과를 선택하는 단계; 상기 선택된 포지셔닝 결과의 평가 점수와 미리 설정된 제1 임계치를 비교하는 단계; 및 상기 비교 결과에 기초하여, 상기 평가 모델 및 상기 포지셔닝 모델 중 적어도 하나를 업데이트하는 단계를 포함할 수 있다.
상기 평가 모델을 업데이트하는 단계는, 상기 선택된 포지셔닝 결과에 대응하는 입력 영상을 트레이닝 세트에 추가하는 단계; 상기 선택된 포지셔닝 결과에 따른 키 포인트의 위치에 기초하여 일정 개수의 포지티브 샘플 이미지 블록 및 네거티브 샘플 이미지 블록을 생성 하는 단계; 및 상기 생성된 포지티브 샘플 및 네거티브 샘플을 사용하여 상기 분류기를 트레이닝하여 상기 평가 모델을 업데이트하는 단계를 포함할 수 있다.
상기 포지셔닝 모델을 업데이트하는 단계는, 상기 선택된 포지셔닝 결과의 평가 점수가 상기 제1 임계치를 초과하는 경우, 상기 선택된 포지셔닝 결과에 대응하는 포지셔닝 모델의 유형을 확인하는 단계를 포함할 수 있다.
상기 포지셔닝 모델을 업데이트하는 단계는, 상기 확인된 유형이 상기 포지셔닝 모델의 유형 중 어느 하나의 유형에 해당하는 경우, 상기 선택된 포지셔닝 결과를 상기 어느 하나의 유형에 대응하는 트레이닝 세트에 추가하는 단계; 및 상기 선택된 포지셔닝 결과가 추가된 트레이닝 세트를 이용하여 상기 포지셔닝 모델을 트레이닝하여 상기 포지셔닝 모델을 업데이트하는 단계를 포함할 수 있다.
상기 포지셔닝 모델을 업데이트하는 단계는, 상기 확인된 유형이 상기 포지셔닝 모델의 유형 중 어느 하나의 유형에 해당하지 않는 경우, 상기 선택된 포지셔닝 결과에 대응하는 새로운 트레이닝 세트를 구성하는 단계를 포함할 수 있다.
상기 새로운 트레이닝 세트에 포함된 얼굴 이미지 샘플의 개수가 미리 설정된 제2 임계값을 초과하면, 상기 새로운 트레이닝 세트에 포함된 얼굴 이미지 샘플에 기초하여 새로운 포지셔닝 모델을 트레이닝하는 단계를 더 포함할 수 있다.
일실시예에 따르면, 포지셔닝 장치는, 입력 영상을 수신하는 통신부; 사전에 결정된(predetermined) 복수의 포지셔닝 모델을 저장하는 메모리; 상기 포지셔닝 모델을 이용하여, 상기 입력 영상에 포함된 얼굴 영역의 키 포인트들의 위치를 포함하는 복수의 포지셔닝 결과를 획득하고, 상기 복수의 포지셔닝 결과를 상기 키 포인트들(key points)의 위치에 대한 평가 모델을 이용하여 평가한 결과에 기초하여 선택된 포지셔닝 결과를 이용하여, 상기 포지셔닝 모델 및 상기 평가 모델 중 적어도 하나를 업데이트하는 프로세서를 포함한다.
상기 프로세서는, 상기 복수의 포지셔닝 결과에 포함된 키 포인트들 각각의 위치를 중심으로 하는 일정 크기의 이미지 블록들을 구성하고, 상기 이미지 블록들을, 상기 키 포인트들 각각에 대응하여 트레이닝된 복수의 분류기에 입력하여 평가 점수를 획득하며, 상기 평가 점수를 이용하여 상기 복수의 포지셔닝 결과를 평가할 수 있다.
상기 프로세서는, 상기 평가 점수를 이용하여 상기 복수의 포지셔닝 결과 중 어느 하나의 포지셔닝 결과를 선택하고, 상기 선택된 포지셔닝 결과의 평가 점수와 미리 설정된 제1 임계치와의 비교 결과에 기초하여, 상기 평가 모델 및 상기 포지셔닝 모델 중 적어도 하나를 업데이트할 수 있다.
도 1은 일실시예에 따른 포지셔닝 방법 및 포지셔닝 방법에서 사용되는 트레이닝 세트(training set)의 분류를 도시한 도면이다.
도 2는 일실시예에 따른 포지셔닝 방법을 나타낸 플로우 차트이다.
도 3은 다른 실시예에 따른 포지셔닝 방법을 나타낸 플로우 차트이다.
도 4는 일실시예에 따른 포지셔닝 방법이 수행되는 과정을 설명하기 위한 도면이다
도 5는 다른 실시예에 따른 포지셔닝 방법이 수행되는 과정을 설명하기 위한 도면이다
도 6은 일실시예에 따라 복수의 포지셔닝 모델(positioning model)을 트레이닝하는 방법을 나타낸 플로우 차트이다.
도 7은 일실시예에 따른 포지셔닝 방법에 사용된 키 포인트의 위치의 평균치의 위치(location) 및 포지셔닝 결과를 도시한 도면이다.
도 8은 일실시예에 따라 복수의 포지셔닝 결과를 평가하는 방법을 나타낸 플로우 차트이다.
도 9는 일실시예에 따른 포지셔닝 방법에서 사용되는 포지티브 샘플 이미지 블록 및 네거티브 샘플 이미지 블록을 도시한 도면이다.
도 10은 일실시예에 따라 포지셔닝 모델 및 평가 모델 중 적어도 하나를 업데이트하는 방법을 나타낸 플로우 차트이다.
도 11은 일실시예에 따라 포지셔닝 모델을 업데이트하는 방법을 나타낸 플로우 차트이다.
도 12는 일실시예에 따라 평가 모델을 업데이트하는 방법을 나타낸 플로우 차트이다.
도 13은 다른 실시예에 따른 포지셔닝 방법을 나타낸 플로우 차트이다.
도 14는 일실시예에 따른 포지셔닝 장치의 블록도이다.
도 15는 다른 실시예에 따른 포지셔닝 장치의 블록도이다.
도 16은 다른 실시예에 따른 포지셔닝 장치의 블록도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일실시예에 따른 포지셔닝 방법 및 포지셔닝 방법에서 사용되는 트레이닝 세트(training set)의 분류를 도시한 도면이다.
도 1을 참조하면, 입력 영상(110) 및 입력 영상(110)을 분류하기 위한 서로 다른 유형의 다양한 트레이닝 세트들(130, 150, 170)이 도시된다.
상술한 바와 같이, 얼굴 이미지는 다양한 요소들에 의해 변화될 수 있으며, 이러한 변화로 인해 얼굴 인식을 위한 포지셔닝(positioning) 또한 용이하지 않다. 일실시예에서, '포지셔닝(positioning)'은 얼굴을 인식 또는 식별하는 데에 이용되는 키 포인트들(key points) 또는 랜드마크들(landmarks)의 위치를 설정(localization)하는 것으로 이해될 수 있다.
일실시예에서는 다양한 요소들에 의한 변화 가능성을 고려하여, 다양한 모델들(예를 들어, 서로 다른 유형의 트레이닝 세트들에 포함된 얼굴 이미지 샘플들)을 이용하여 입력 영상(110)을 구분함으로써 입력 영상(110)이 누구인지를 식별할 수 있다.
입력 영상(110)은 예를 들어, 스키 안경을 착용한 얼굴 이미지 샘플들을 포함하는 제1 트레이닝 세트(130), 흑인의 얼굴 이미지 샘플들을 포함하는 제2 트레이닝 세트(150) 및 아시아 여성의 얼굴 이미지 샘플을 포함하는 제3 트레이닝 세트(170) 등에 의해 구분될 수 있다.
여기서, 제2 트레이닝 세트(150)는 농구 선수, 복서, 등과 같이 특정 직업에 따라 특정된 유형인 '농구 선수'(160)'로 더 구분될 수도 있다.
포지셔닝 모델(positioning model)은 서로 다른 유형의 트레이닝 세트들(130, 150, 170)에 포함된 얼굴 이미지 샘플들에 따라 트레이닝(training)될 수 있다.
도 2는 일실시예에 따른 포지셔닝 방법을 나타낸 플로우 차트이다.
도 2를 참조하면, 일실시예에 따른 포지셔닝 장치는, 사전에 결정된(predetermined) 복수의 포지셔닝 모델을 이용하여, 복수의 포지셔닝 결과를 획득한다(210). 이때, 사전에 결정된 복수의 포지셔닝 모델은 예를 들어, 트레이닝(training)된 모델이거나, 또는 트레이닝(training)이 아닌 통계적으로 결정된 대표적인 얼굴 모델일 수 있다. 복수의 포지셔닝 결과는 입력 영상에 포함된 얼굴 영역의 키 포인트들의 위치를 포함한다.
포지셔닝 모델은 복수의 얼굴 이미지 샘플을 포함하는 서로 다른 유형의 트레이닝 세트들을 이용하여 트레이닝될 수 있다. 포지셔닝 모델은 얼굴 이미지 샘플들을 포함하는 트레이닝 세트들의 서로 다른 유형 각각에 대응될 수 있다. 포지셔닝 모델은 예를 들어, 트레이닝 세트의 종류가 K개라면, 트레이닝 세트들의 각 유형에 대응되는 포지셔닝 모델들(A1~Ak)이 있을 수 있다.
포지셔닝 장치가 복수의 포지셔닝 모델을 트레이닝하는 방법은 도 6을 참조하여 설명한다.
단계(210)에서, 포지셔닝 장치는 입력 영상을, 트레이닝된 복수의 포지셔닝 모델 각각에 대응시키고, 포지셔닝 모델 각각의 키 포인트들에 대응되는 얼굴 영역의 키 포인트들의 위치를 복수의 포지셔닝 결과로 획득할 수 있다. 이때, 포지셔닝 장치가 획득하는 포지셔닝 결과는 도 7을 참조하여 설명한다.
포지셔닝 장치는, 키 포인트들(key points)의 위치에 대한 평가 모델을 이용하여 단계(210)에서 획득한 복수의 포지셔닝 결과를 평가한다(230). 평가 모델은 키 포인트들 각각에 대응하여 트레이닝된 복수의 분류기(classifier)를 포함할 수 있다. 포지셔닝 장치가 복수의 포지셔닝 결과를 평가하는 방법은 도 8을 참조하여 설명한다.
포지셔닝 장치는, 단계(210)에서 획득한 복수의 포지셔닝 결과 중 단계(230)의 평가 결과에 기초하여 선택한 포지셔닝 결과를 이용하여, 포지셔닝 모델 및 평가 모델 중 적어도 하나를 업데이트한다(250). 포지셔닝 장치가 포지셔닝 모델 및 평가 모델 중 적어도 하나를 업데이트하는 방법은 도 10을 참조하여 설명한다.
도 3은 다른 실시예에 따른 포지셔닝 방법을 나타낸 플로우 차트이다.
도 3을 참조하면, 일실시예에 따른 포지셔닝 장치는, 얼굴 이미지 샘플들을 포함하는 서로 다른 유형의 트레이닝 세트들 각각을 이용하여 복수의 포지셔닝 모델을 트레이닝할 수 있다(310).
포지셔닝 장치는 복수의 포지셔닝 모델을 이용하여, 복수의 포지셔닝 결과를 획득한다(320). 포지셔닝 결과는 각각 입력 영상에 포함된 얼굴 영역의 키 포인트들의 위치를 포함한다. 키 포인트들의 위치는 예를 들어, 눈가, 눈썹 끝, 입가, 코끝 등을 포함할 수 있다.
일실시예에서, K（K≥1）개의 포지셔닝 모델들(A1~Ak)을 사용하는 것으로 가정하고, K 개의 포지셔닝 모델들의 집합은 A로 표시할 수 있다.
포지셔닝 장치는 입력 영상을 K 개의 포지셔닝 모델과 대응하여 정렬시키고, 입력 영상에서 포지셔닝 모델 각각의 키 포인트들에 대응하는 픽셀들의 위치를 (x,y)로 표시하여 K 개의 포지셔닝 결과를 획득할 수 있다.
포지셔닝 장치는 K 개의 포지셔닝 결과를 각각 s1, s2, …, sK로 표시할 수 있다. 포지셔닝 결과(s)는 각각 L 개의 얼굴의 키 포인트의 위치를 포함할 수 있다.
포지셔닝 결과(s)는
Figure PCTKR2014011793-appb-I000001
와 같이 나타낼 수 있다.
일실시예에서, 포지셔닝 장치는 트레이닝 세트 C(C1~CK)에 의하여 포지셔닝 모델들(A1~Ak)을 획득할 수 있다. 여기서, 트레이닝 세트 중 하나인 CK는 얼굴 이미지 샘플들을 포함하는 집합이고, 트레이닝 세트 CK에 포함된 각 얼굴 이미지 샘플(Ii)에서 L 개의 키 포인트들의 위치
Figure PCTKR2014011793-appb-I000002
가 측정될 수 있다.
트레이닝 세트 C(C1~CK)에 포함된 얼굴 이미지 샘플들은 예를 들어, 자세, 표정, 연령, 인종, 신분 등 다양한 요소들에 따라 서로 다른 유형으로 분류될 수 있다. 포지셔닝 장치는 서로 다른 유형의 트레이닝 세트들 각각을 이용하여 복수의 포지셔닝 모델들(A1~Ak)을 획득할 수 있다.
포지셔닝 장치는 키 포인트들(key points)의 위치에 대한 평가 모델(Evaluation Model)을 이용하여 단계(320)에서 획득한 복수의 포지셔닝 결과를 평가한다(330).
포지셔닝 장치는 얼굴의 키 포인트에 대해 트레이닝된 분류기에 의해 복수의 포지셔닝 결과를 평가하여 최적의 포지셔닝 결과를 획득할 수 있다.
포지셔닝 장치는 각 키 포인트에 대해 하나의 부스트 분류기(Boost Classifier)를 트레이닝하여 L개의 분류기(h1,h2, , hL)를 획득할 수 있다. 이때, L개의 분류기는 평가 모델 E를 형성할 수 있다.
포지셔닝 장치는 단계(330)의 평가 결과에 기초하여, 단계(320)에서 획득한 복수의 포지셔닝 결과 중 어느 하나의 포지셔닝 결과를 선택할 수 있다(340). 단계(340)에서 선택된 포지셔닝 결과를 '최적의 포지셔닝 결과'라고도 부를 수 있다.
포지셔닝 장치는 단계(340)에서 선택된 포지셔닝 결과를 이용하여 입력 영상의 유형을 분류할 수 있다(350).
포지셔닝 장치는 단계(350)에서 분류된 유형을 기초로, 포지셔닝 모델 및 평가 모델 중 적어도 하나를 업데이트한다(360). 포지셔닝 장치가 분류된 유형을 기초로 포지셔닝 모델을 업데이트하는 방법은 도 11을 참조하여 설명하고, 평가 모델을 업데이트하는 방법은 도 12를 참조하여 설명한다.
도 4는 일실시예에 따른 포지셔닝 방법이 수행되는 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 일실시예에 따른 포지셔닝 장치는 하나의 입력 영상이 입력되면(405), 입력 영상에 대해 모든 포지셔닝 모델들(A1~Ak)(450)을 대응하여 정렬(Align)할 수 있다(410). 포지셔닝 모델들은 얼굴 이미지 샘플들을 포함하는 트레이닝 세트들의 서로 다른 유형 각각에 대응될 수 있다.
포지셔닝 장치는 입력 영상의 얼굴 영역에서, 포지셔닝 모델들(A1~Ak) 각각의 키 포인트들에 대응되는 키 포인트들의 위치에 해당하는 복수의 포지셔닝 결과(s1, s2, , sK)를 획득할 수 있다(415).
포지셔닝 장치는 평가 모델(460)을 이용하여 복수의 포지셔닝 결과(s1, s2, , sK)를 평가(Evaluate)하고(420), 복수의 포지셔닝 결과(s1, s2, , sK) 중 최적의 포지셔닝 결과(s*)를 선택할 수 있다(425). 여기서, 최적의 포지셔닝 결과(s*)는 입력 영상의 얼굴 영역에서 최적의 키 포인트들의 위치에 해당할 수 있다.
포지셔닝 장치는 복수의 포지셔닝 결과(s1, s2, , sK)를 기초로, 예를 들어, 얼굴 인식(face recognition) 등과 같은 응용 어플리케이션에서 사용될 수 있는 신뢰 계수(confidence coefficient)를 생성할 수도 있다.
포지셔닝 장치는 최적의 포지셔닝 결과(s*)를 이용하여 입력 영상의 유형(image type)을 분류(Classify)하고(430), 분류된 입력 영상의 유형에 가장 유사한 포지셔닝 모델을 검색할 수 있다(435).
포지셔닝 장치는 분류된 입력 영상의 유형에 기초하여, 포지셔닝 모델들(450) 및 평가 모델(460) 중 적어도 하나를 업데이트(Update)할 수 있다(440).
도 5는 다른 실시예에 따른 포지셔닝 방법이 수행되는 과정을 설명하기 위한 도면이다.
도 5에서 505 내지 525의 동작은 도 4의 405 내지 425의 동작과 동일하므로, 이에 대하여는 도 4의 기재 내용을 참고하기로 한다.
포지셔닝 장치는 선택된 포지셔닝 결과(s*)를 검증(Qualify)할 수 있다(528).
포지셔닝 장치는 단계(528)의 검증 결과가 적절하지 않다면, 복수의 포지셔닝 결과(s1, s2, , sK)를 다시 평가(Evaluate)할 수 있다(520).
포지셔닝 장치는 단계(528)의 검증 결과가 적절하다면, 선택된 포지셔닝 결과(s*)를 이용하여 입력 영상의 유형(image type)을 분류(Classify)할 수 있다(530).
포지셔닝 장치는 단계(530)에서 분류된 입력 영상의 유형에 기초하여, 포지셔닝 모델(560) 및 평가 모델(570) 중 적어도 하나를 업데이트할 수 있다(540).
단계(530)에서 분류된 유형이 원래의 포지셔닝 모델들의 유형 중 어느 하나의 유형(예를 들어, Ak의 유형)에 해당하는 경우, 포지셔닝 장치는 어느 하나의 유형에 대응하는 트레이닝 세트(training set)(C)(540)에 추가할 수 있다. 트레이닝 세트(C)는 서브 트레이닝 세트들(Sub training set)(C1(541), C2(542), Ck(543))을 포함할 수 있다.
트레이닝 세트(C)(540)는 사용자에 의해 입력된 모든 입력 영상을 포함할 수 있다.
서브 트레이닝 세트들(C1(541), C2(542), Ck(543))은 예를 들어, 포즈, 조명, 인종 등과 같은 서로 다른 유형의 얼굴 이미지 샘플들을 포함할 수 있다.
트레이닝 세트(C)(540) 및 일반 트레이닝 세트(C0)(556)은 평가 모델(570)을 업데이트하는 데에 사용될 수 있다. 서브 트레이닝 세트들(C1(541), C2(542), Ck(543)) 각각과 일반 트레이닝 세트(C0)(556)는 포지셔닝 모델(560)을 업데이트하는 데에 사용될 수 있다.
일반 트레이닝 세트(C0)(556)는 포지셔닝 모델(560)을 트레이닝하는 데에 이용되는 일반적인 트레이닝 데이터베이스로서, 메모리 등에 미리 저장될 수 있다. 일반 트레이닝 세트(C0)(556)는 초기 포지셔닝 모델을 트레이닝하는 데에 이용될 수 있다.
도 6은 일실시예에 따라 복수의 포지셔닝 모델(positioning model)을 트레이닝하는 방법을 나타낸 플로우 차트이다.
도 6을 참조하면, 일실시예에 따른 포지셔닝 장치는 서로 다른 유형의 트레이닝 세트들 각각에 포함된 얼굴 이미지 샘플들의 키 포인트의 위치의 평균치를 획득할 수 있다(610).
예를 들어, 포지셔닝 모델들(A1~Ak)을 트레이닝할 때, 포지셔닝 장치는 아래의 <수학식 1>을 이용하여 트레이닝 세트 C에 포함된 전체 얼굴 이미지 샘플들의 키 포인트의 위치의 평균치(S0), 다시 말해, 평균 키 포인트의 위치를 구할 수 있다.
Figure PCTKR2014011793-appb-I000003
여기서,
Figure PCTKR2014011793-appb-I000004
는 트레이닝 세트 C에 포함된 얼굴 이미지 샘플들의 개수를 의미하고, s i 는 포지셔닝 결과를 나타낸다.
포지셔닝 장치는, 단계(610)에서 획득한 키 포인트의 위치의 평균치를 얼굴 영역에 대응시켜 평균 키 포인트의 위치에 대한 SIFT(Scale Invariant Feature Transform) 특징을 획득할 수 있다(620). 이때, 포지셔닝 장치는 트레이닝 세트(C)에 포함된 각 얼굴 이미지 샘플에 대하여, 단계(610)에서 획득한 평균 키 포인트의 위치(S0)를 입력 영상의 얼굴 영역이 가운데에 배치하여 평균 키 포인트의 위치(S0)의 각 위치의 SIFT(Scale Invariant Feature Transform) 특징을 획득할 수 있다.
포지셔닝 장치는, 단계(620)에서 획득한 SIFT 특징을 결합하여 특징 벡터(fi)를 획득할 수 있다(630).
포지셔닝 장치는 특징 벡터(fi)를 기초로, 트레이닝 세트(C)에 포함된 전체 얼굴 이미지 샘플들에 대하여 아래의 <수학식 2>와 같은 회귀 모델(regression model)를 구성할 수 있다.
Figure PCTKR2014011793-appb-I000005
여기서, A는 트레이닝 세트C에 의하여 획득된 포지셔닝 모델의 집합을 나타낸다.
포지셔닝 장치는, 단계(630)에서 획득한 특징 벡터를 기초로, 복수의 포지셔닝 모델을 트레이닝할 수 있다(640). 이에 따라, 포지셔닝 장치는 아래의 <수학식 3>과 같이 K개의 포지셔닝 결과를 포함하는 포지셔닝 결과 세트(s)를 획득할 수 있다.
Figure PCTKR2014011793-appb-I000006
상기 방법을 통해, 포지셔닝 장치는 트레이닝된 복수의 포지셔닝 모델로부터, 입력된 이미지의 키 포인트의 위치에 대한 복수의 포지셔닝 결과를 획득할 수 있다.
도 7은 일실시예에 따른 포지셔닝 방법에 사용된 키 포인트의 위치의 평균치의 위치 및 포지셔닝 결과를 도시한 도면이다.
도 7을 참조하면, 트레이닝 세트(C)에 포함된 전체 샘플 이미지의 키 포인트의 위치의 평균치(S0)가 도시된 도면(710) 및 포지셔닝 결과를 도시한 도면(730)이 도시된다.
도면(710)에서 'X' 마크는 트레이닝 세트에 포함된 전체 샘플 이미지의 키 포인트의 위치의 평균치, 즉 평균 키 포인트의 위치를 나타낸다.
도면(730)에서 'O' 마크는 키 포인트의 위치의 평균치에 대응되는, 입력 영상의 얼굴 영역의 키 포인트들의 위치를 나타낸다.
포지셔닝 장치는 키 포인트의 위치의 평균치를 입력 영상의 얼굴 영역이 가운데에 배치하여 획득한, 키 포인트의 위치의 평균치의 각 위치의 SIFT 특징을 결합하여 특징 벡터를 획득할 수 있다. 포지셔닝 장치는 획득한 특징 벡터를 기초로 트레이닝한 포지셔닝 모델들에 의해 포지셔닝 결과를 얻을 수 있다.
도 7에서는 키 포인트의 위치의 평균치가 얼굴 영역에서의 키 포인트의 실제 위치와 합치되는 포지셔닝 결과를 볼 수 있다.
도 8은 일실시예에 따라 복수의 포지셔닝 결과를 평가하는 방법을 나타낸 플로우 차트이다.
도 8을 참조하면, 일실시예에 따른 포지셔닝 장치는 복수의 포지셔닝 결과에 포함된 키 포인트들 각각의 위치를 중심으로 하는 일정 크기의 이미지 블록들을 구성할 수 있다(810).
이때, 포지셔닝 장치는 키 포인트들 각각의 위치를 중심으로 예를 들어, 도 9에 도시된 것과 같은 포지티브 샘플 이미지 블록(positive sample image block)들 및 네거티브 샘플 이미지 블록(negative sample image block)들을 구성할 수 있다.
포지티브 샘플 이미지 블록들은 이미지 블록의 중심 위치와 키 포인트의 위치 간의 거리가 미리 설정된 거리를 초과하지 않는 이미지 블록으로 이해될 수 있다. 네거티브 샘플 이미지 블록은 이미지 블록의 중심 위치와 키 포인트의 위치 간의 거리가 미리 설정된 거리를 초과하는 이미지 블록으로 이해될 수 있다.
포지셔닝 장치는, 단계(810)에서 구성된 이미지 블록들을, 분류기에 입력하여 평가 점수를 획득할 수 있다(820).
포지셔닝 장치는, 단계(820)에서 획득한 평가 점수를 이용하여 복수의 포지셔닝 결과를 평가할 수 있다(830).
도 9는 일실시예에 따른 포지셔닝 방법에서 사용되는 포지티브 샘플 이미지 블록 및 네거티브 샘플 이미지 블록을 도시한 도면이다.
도 9를 참조하면, 포지티브 샘플 이미지 블록들이 도시된 도면(910) 및 네거티브 샘플 이미지 블록들이 도시된 도면(950)이 도시된다.
일실시예에 따른 포지셔닝 장치는 분류기를 트레이닝할 때, 트레이닝 세트에 포함된 얼굴 이미지 샘플들 중에서 키 포인트의 위치에 인접된 이미지 블록을 포지티브 샘플로 설정할 수 있다. 여기서, '키 포인트의 위치에 인접한다'는 것은 이미지 블록의 중심 위치와 키 포인트의 위치 간의 거리가 미리 설정된 거리를 초과하지 않는 것으로 이해될 수 있다.
포지셔닝 장치는 트레이닝 세트에 포함된 얼굴 이미지 샘플들 중에서 키 포인트의 위치와 거리가 먼 이미지 블록을 네거티브 샘플로 설정할 수 있다. 여기서, '키 포인트의 위치와 거리가 멀다'는 것은 이미지 블록의 중심 위치와 키 포인트의 위치 간의 거리가 미리 설정된 거리를 초과하는 것으로 이해될 수 있다.
포지셔닝 장치는 포지티브 샘플 이미지 블록들 및 네거티브 샘플 이미지 블록들을 이용하여 분류기를 트레이닝할 수 있다.
예를 들어, 포지셔닝 장치가 왼쪽 눈가의 키 포인트(901)에 대해 분류기를 트레이닝한다고 가정하자.
포지셔닝 장치는, 도면(910)에서 네모 모양으로 표시된 이미지 블록들을 분류기의 포지티브 샘플 이미지 블록으로 설정하고, 도면(950)에서 네모 모양으로 표시된 이미지 블록을 분류기의 네거티브 샘플 이미지 블록으로 설정할 수 있다.
일실시예에서, 분류기(hj)는 키 포인트들 각각에 대응하여 트레이닝되며, 복수의 셀렉터(selector)(hsel)들을 포함할 수 있다.
각 셀렉터(hsel)는 약한(weak) Haar 분류기 hw를 선택하여 입력된 이미지 블록을 평가할 수 있다. 각 분류기(hj)의 출력은 아래의 <수학식 4>와 같이 전체 셀렉터(hsel)들의 가중치 합(weighted sum)일 수 있다.
Figure PCTKR2014011793-appb-I000007
여기서,
Figure PCTKR2014011793-appb-I000008
는 가중치를 의미하고, x는 이미지 블록을 의미한다.
포지셔닝 장치는 트레이닝 세트에 포함된 포지티브 샘플 이미지 블록 및 네거티브 샘플 이미지 블록을 이용하여 분류기를 트레이닝 함으로써 각 키 포인트의 위치를 평가할 수 있는 분류기들을 획득할 수 있다.
예를 들어, 도 8에서 키 포인트의 포지셔닝 결과(si)를 평가할 때, 포지셔닝 장치는 각 키 포인트의 위치(xj, yj)를 중심으로 하는 일정한 크기의 이미지 블록을, 대응하는 키 포인트 분류기(hj)에 입력하여 하나의 평가 점수hj(xj, yj)를 획득할 수 있다.
전체의 분류기들은 키 포인트의 포지셔닝 결과(sj)에 대한 평가 점수를 획득할 수 있으며, 아래의 <수학식 5>와 같이 포지셔닝 결과의 평균 점수 또한 획득할 수 있다.
[수학식 5]
Figure PCTKR2014011793-appb-I000009
여기서, L은 얼굴의 키 포인트들의 개수를 나타낸다.
포지셔닝 장치는 K개의 포지셔닝 결과(s1, s2, , sK)에 포함된 각 포지셔닝 결과의 평가 점수를 획득하고, 최적의 포지셔닝 결과(s*)를 선택할 수 있다. 포지셔닝 장치는 예를 들어, 평가 점수가 가장 높은 포지셔닝 결과를 선택하여 얼굴 키 포인트의 위치에 대한 최적의 포지셔닝 결과로 설정할 수 있다.
실시예에 따라서, 포지셔닝 장치는 다양한 평가 기술들을 이용하여 포지셔닝 모델에 의하여 획득된 포지셔닝 결과를 평가할 수 있다.
도 10은 일실시예에 따라 포지셔닝 모델 및 평가 모델 중 적어도 하나를 업데이트하는 방법을 나타낸 플로우 차트이다.
도 10을 참조하면, 일실시예에 따른 포지셔닝 장치는 도 8의 단계(820)에서 획득한 평가 점수를 이용하여 복수의 포지셔닝 결과 중 어느 하나의 포지셔닝 결과를 선택할 수 있다(1010).
포지셔닝 장치는, 단계(1010)에서 선택된 포지셔닝 결과의 평가 점수와 미리 설정된 제1 임계치를 비교할 수 있다(1020).
포지셔닝 장치는, 단계(1020)의 비교 결과에 기초하여, 평가 모델 및 포지셔닝 모델 중 적어도 하나를 업데이트할 수 있다(1030). 포지셔닝 장치가 포지셔닝 모델을 업데이트하는 방법은 도 11을 참조하여 설명하고, 평가 모델을 업데이트하는 방법은 도 12를 참조하여 설명한다.
도 11은 일실시예에 따라 포지셔닝 모델을 업데이트하는 방법을 나타낸 플로우 차트이다.
도 11을 참조하면, 일실시예에 따른 포지셔닝 장치는 도 10의 단계(1010)과 같이 어느 하나의 포지셔닝 결과가 선택되면(1105), 선택된 포지셔닝 결과의 평가 점수가 제1 임계치를 초과하는지 여부를 판단할 수 있다(1110). 이때, '포지셔닝 결과의 평가 점수가 제1 임계치를 초과한다'는 것은 새로운 포지셔닝 결과의 존재를 나타낼 수 있으므로 포지셔닝 장치가 이를 판단하는 것이다.
단계(1110)의 판단 결과, 포지셔닝 결과의 평가 점수가 제1 임계치를 초과하지 않는 경우, 포지셔닝 장치는 동작을 종료할 수 있다.
단계(1110)의 판단 결과, 포지셔닝 결과의 평가 점수가 제1 임계치를 초과하는 경우, 포지셔닝 장치는 선택된 포지셔닝 결과, 즉 최적의 포지셔닝 결과(s*)에 대응하는 포지셔닝 모델의 유형을 확인할 수 있다(1115). 이때, 포지셔닝 장치는 예를 들어, 포지셔닝 결과(s*)에 대응하는 특징 벡터(f)에 기초하여, 온라인 K 평균값 방법으로 포지셔닝 결과(s*)가 해당하는 포지셔닝 모델의 유형을 검색할 수 있다.
포지셔닝 장치는, 단계(1115)에서 확인된 포지셔닝 모델의 유형이 원래의 K개의 포지셔닝 모델의 유형 중 어느 하나의 유형(Ak)에 해당하는지 여부를 판단할 수 있다(1120).
단계(1120)의 판단 결과, 확인된 유형이 원래의 포지셔닝 모델의 유형 중 어느 하나의 유형(예를 들어, Ak의 유형)에 해당하는 경우, 포지셔닝 장치는 선택된 포지셔닝 결과(s*)를 어느 하나의 유형(Ak의 유형)에 대응하는 트레이닝 세트(Ck)에 추가할 수 있다(1125).
포지셔닝 장치는, 선택된 포지셔닝 결과가 추가된 트레이닝 세트(Ck)를 이용하여 포지셔닝 모델(Ak)을 다시 트레이닝할 수 있다(1130).
포지셔닝 장치는, 단계(1130)의 트레이닝 결과를 이용하여 포지셔닝 모델(Ak)을 업데이트할 수 있다(1135).
단계(1120)의 판단 결과, 확인된 유형이 원래의 K개의 포지셔닝 모델의 유형 중 어느 하나에 해당하지 않는 경우, 포지셔닝 장치는 선택된 포지셔닝 결과(s*)에 대응하는 새로운 트레이닝 세트(CK+1)를 구성할 수 있다(1140).
포지셔닝 장치는 새로운 트레이닝 세트(CK+1)에 포함된 얼굴 이미지 샘플의 개수가 미리 설정된 제2 임계값을 초과하는지 여부를 판단할 수 있다(1145).
단계(1145)의 판단 결과, 새로운 트레이닝 세트에 포함된 얼굴 이미지 샘플의 개수가 미리 설정된 제2 임계값을 초과하는 경우, 포지셔닝 장치는 새로운 트레이닝 세트에 포함된 얼굴 이미지 샘플에 기초하여 새로운 포지셔닝 모델(AK+1)을 트레이닝할 수 있다(1150). 이에 따라 원래의 K개의 포지셔닝 모델은 K+1개로 포지셔닝 모델의 개수가 증가하고, 포지셔닝 모델이 증가한 경우, 원래의 K개의 포지셔닝 결과 또한 K+1개로 증가할 수 있다.
단계(1145)의 판단 결과, 새로운 트레이닝 세트에 포함된 얼굴 이미지 샘플의 개수가 미리 설정된 제2 임계값을 초과하지 않는 경우, 포지셔닝 장치는 새로운 트레이닝 세트를 이용하여 포지셔닝 모델을 트레이닝할 수 있다(1155).
포지셔닝 장치는, 단계(1155)의 트레이닝 결과를 이용하여 새로운 포지셔닝 모델(AK+1)을 업데이트할 수 있다(1135).
일실시예에서, 원래 트레이닝 세트(C)에 얼굴 이미지 샘플(s*)이 새로이 추가되어 새로운 트레이닝 세트(CK+1)가 구성된 경우, 포지셔닝 모델(A)는 다음과 같은 방법으로 업데이트될 수 있다.
업데이트 전의 포지셔닝 모델(A)는 다음의 <수학식 6>과 같이 나타낼 수 있다.
Figure PCTKR2014011793-appb-I000010
여기서, F는 트레이닝 세트(C)에 포함된 샘플 이미지의 전체 샘플 특징 벡터(f)가 형성된 행렬(matrix)를 의미하고, F의 i 번째 행은 i 번째 샘플의 특징 벡터를 의미한다. S는 트레이닝 세트(C)에 포함된 전체 얼굴 이미지 샘플들을 직접 측정한 키 포인트의 위치가 형성된 행렬을 의미하고, S의 i 번째 행은 i 번째 얼굴 이미지 샘플의 키 포인트의 위치를 의미한다. S0는 트레이닝 세트C에 포함된 전체 샘플의 평균 키 포인트의 위치가 형성된 행렬을 의미하고, S0의 i 번째 행은 i 번째 샘플의 평균 키 포인트의 위치를 의미한다.
<수학식 6>에 최소 제곱(least square) 방식을 적용하면, 다음의 <수학식 7>과 같이 포지셔닝 모델(A)를 구할 수 있다.
Figure PCTKR2014011793-appb-I000011
여기서, 공분산 행렬(covariance matrix)은
Figure PCTKR2014011793-appb-I000012
와 같이 나타낼 수 있다.
공분산 행렬 Cov xx 및 Cov xy 의 m 번째 행 n 번째 열의 요소는 다음의 <수학식 8>과 같이 나타낼 수 있다:
Figure PCTKR2014011793-appb-I000013
여기서, f im 는 트레이닝 세트에 포함된 i 번째 얼굴 이미지 샘플의 특징 벡터의 m 번째 차원의 값을 의미한다. S in 는 트레이닝 세트에 포함된 i 번째 샘플의 수동으로 측정된 키 포인트의 위치의 n 번째 차원의 값을 의미하고, S in 0는 트레이닝 세트에 포함된 i 번째 얼굴 이미지 샘플의 평균 키 포인트의 위치의 n 번째 차원의 값을 의미한다.
얼굴 이미지 샘플(s*)이 새로이 추가될 경우, 공분산 행렬의 요소를 다음의 <수학식 9>에 의해 업데이트될 수 있다.
Figure PCTKR2014011793-appb-I000014
여기서, f m * 는 새로운 샘플의 특징 벡터의 m 번째 차원의 값을 의미하고, S n 0 는 새로운 샘플의 수동으로 측정된 키 포인트의 n 번째 차원의 값을 의미하고, S n *0 는 새로운 샘플의 평균 키 포인트의 위치의 n 번째 차원의 값을 의미한다.
도 12는 일실시예에 따라 평가 모델을 업데이트하는 방법을 나타낸 플로우 차트이다.
도 12를 참조하면, 일실시예에 따른 포지셔닝 장치는 예를 들어, 도 10의 단계(1010)에서 선택된, 포지셔닝 결과(s*)에 대응하는 입력 영상을 트레이닝 세트에 추가할 수 있다(1210).
포지셔닝 장치는, 포지셔닝 결과(s*)에 따른 키 포인트의 위치에 기초하여, 일정 개수의 포지티브 샘플 이미지 블록 및 네거티브 샘플 이미지 블록을 생성할 수 있다(1220). 여기서, '포지셔닝 결과에 따른 키 포인트의 위치'는 포지셔닝 결과에서의 키 포인트들의 위치로 이해될 수 있다.
포지셔닝 장치는, 포지셔닝 결과에서의 L 개의 키 포인트들의 위치를 기준으로 예를 들어, 각각 10개의 포지티브 샘플 이미지 블록 및 네거티브 샘플 이미지 블록을 생성할 수 있다.
포지셔닝 장치는, 단계(1220)에서 생성된 포지티브 샘플 이미지 블록 및 네거티브 샘플 이미지 블록을 이용하여 L개의 분류기들(h1,h2, hL)을 트레이닝 함으로써 평가 모델을 업데이트할 수 있다(1230). 이때, 포지셔닝 장치는 예를 들어, 온라인 AdaBoost 방법을 이용하여 키 포인트 분류기들을 트레이닝할 수 있다.
도 13은 다른 실시예에 따른 포지셔닝 방법을 나타낸 플로우 차트이다.
도 13을 참조하면, 일실시예에 따른 포지셔닝 장치는 트레이닝된 복수의 포지셔닝 모델을 사용하여, 입력된 얼굴의 이미지로부터 복수의 포지셔닝 결과를 획득할 수 있다(1310).
포지셔닝 장치는, 단계(1310)에서 획득한 복수의 포지셔닝 결과에서 최적의 포지셔닝 결과를 선택할 수 있다(1320). 이때, 포지셔닝 장치는 단계(1310)에서 획득한 복수의 포지셔닝 결과를 평가하여 복수의 포지셔닝 결과 중 최적의 포지셔닝 결과를 선택할 수 있다.
포지셔닝 장치는, 단계(1320)에서 선택된 최적의 포지셔닝 결과의 평가 점수가 미리 설정된 임계값을 초과하는지를 판단할 수 있다(1330).
단계(1330)의 판단 결과, 최적의 포지셔닝 결과의 평가 점수가 미리 설정된 임계값을 초과하는 경우, 포지셔닝 장치는 최적의 포지셔닝 결과를 이용하여 평가 모델 및 포지셔닝 모델 중 적어도 하나를 업데이트할 수 있다(1340).
단계(1330)의 판단 결과, 최적의 포지셔닝 결과의 평가 점수가 미리 설정된 임계값을 초과하지 않는 경우, 포지셔닝 장치는 동작을 종료할 수 있다.
도 14는 일실시예에 따른 포지셔닝 장치의 블록도이다.
도 14를 참조하면, 일실시예에 따른 포지셔닝 장치(1400)는 통신부(1410), 프로세서(1420) 및 메모리(1430)를 포함한다.
통신부(1410)는 입력 영상을 수신한다.
프로세서(1420)는 메모리(1430)에 저장된 포지셔닝 모델을 이용하여, 통신부(1410)를 통해 수신된 입력 영상에 포함된 얼굴 영역의 키 포인트들의 위치를 포함하는 복수의 포지셔닝 결과를 획득한다.
프로세서(1420)는 복수의 포지셔닝 결과를 평가 모델을 이용하여 평가한 결과에 기초하여 어느 하나의 포지셔닝 결과를 선택하고, 선택된 포지셔닝 결과를 이용하여, 포지셔닝 모델 및 평가 모델 중 적어도 하나를 업데이트한다. 평가 모델은 키 포인트들(key points)의 위치에 대한 것일 수 있다.
메모리(1430)는 사전에 결정된(predetermined) 복수의 포지셔닝 모델을 저장한다. 여기서, 사전에 결정된(predetermined) 복수의 포지셔닝 모델은 예를 들어, 트레이닝(training)된 모델이거나, 또는 트레이닝(training)이 아닌 통계적으로 결정된 대표적인 얼굴 모델일 수 있다.
프로세서(1420)는 복수의 포지셔닝 결과에 포함된 키 포인트들 각각의 위치를 중심으로 하는 일정 크기의 이미지 블록들을 구성할 수 있다. 프로세서(1420)는 이미지 블록들을, 키 포인트들 각각에 대응하여 트레이닝된 복수의 분류기에 입력하여 평가 점수를 획득할 수 있다. 프로세서(1420)는 평가 점수를 이용하여 복수의 포지셔닝 결과를 평가할 수 있다.
프로세서(1420)는 평가 점수를 이용하여 복수의 포지셔닝 결과 중 어느 하나의 포지셔닝 결과를 선택할 수 있다. 프로세서(1420)는 선택된 포지셔닝 결과의 평가 점수와 미리 설정된 임계치(예를 들어, 제1 임계치)와의 비교 결과에 기초하여, 평가 모델 및 포지셔닝 모델 중 적어도 하나를 업데이트할 수 있다.
도 15는 다른 실시예에 따른 포지셔닝 장치의 블록도이다.
도 15를 참조하면, 일실시예에 따른 포지셔닝 장치(1500)는 획득부(1510) 및 평가부(1520)를 포함한다.
획득부(1510)는 복수의 포지셔닝 모델에 의해 입력 영상에 포함된 얼굴 영역을 포지셔닝하여, 각 포지셔닝 모델에 대응하는 복수의 포지셔닝 결과를 획득할 수 있다. 복수의 포지셔닝 모델은 서로 다른 유형의 트레이닝 세트들을 기반으로 트레이닝된 얼굴에 대한 포지셔닝 모델일 수 있다. 복수의 포지셔닝 모델 각각은 서로 다른 유형의 트레이닝 세트에 대응될 수 있다.
평가부(1520)는 트레이닝된 평가 모델을 사용하여, 획득부(1510)에 의하여 획득된 복수의 포지셔닝 결과를 평가하여 최적의 포지셔닝 결과를 선택할 수 있다.
평가부(1520)에서 사용된 평가 모델은, 얼굴 이미지에 포함된 복수의 키 포인트의 위치에 대해 트레이닝된 분류기로 구성되고, 각 분류기는 포지셔닝 결과에 대응하는 키 포인트들의 위치를 평가할 수 있다.
포지셔닝 장치(1500)는 분류기를 트레이닝할 때, 트레이닝 세트에 포함된 얼굴 이미지 샘플들 중에서 키 포인트의 위치에 인접된 이미지 블록을 포지티브 샘플로 설정하고, 키 포인트의 위치와 거리가 먼 이미지 블록을 네거티브 샘플로 설정하여 분류기를 트레이닝할 수 있다.
도 16은 다른 실시예에 따른 포지셔닝 장치의 블록도이다.
도 16을 참조하면, 일실시예에 따른 포지셔닝 장치(1600)는 획득부(1610), 평가부(1620), 및 업데이트부(1630)를 포함한다.
여기서, 획득부(1610), 및 평가부(1620)의 동작은 도 15에 도시된 획득부(1510) 및 평가부(1520)의 동작과 동일하므로, 자세한 설명은 생략한다.
업데이트부(1630)는 평가부(1620)에 의해 선택된 최적의 포지셔닝 결과에 기초하여, 평가부(1620)에 사용된 평가 모델을 업데이트할 수 있다.
보다 구체적으로, 업데이트부(1630)는 평가부(1620)에 의해 선택된 최적의 포지셔닝 결과에 대한 평가 점수가 미리 설정된 임계값을 초과한 것을 확인하면, 최적의 포지셔닝 결과에 기초하여 평가 모델을 업데이트할 수 있다.
평가 모델을 업데이트할 때, 업데이트부(1630)는 최적의 포지셔닝 결과에 대응하는 입력된 이미지를 트레이닝 세트에 추가하고, 최적의 포지셔닝 결과에 대응하는 키 포인트의 위치에 기초하여 일정한 개수의 포지티브 샘플 이미지 블록 및 네거티브 샘플 이미지 블록을 생성할 수 있다. 업데이트부(1630)는 생성된 포지티브 샘플 이미지 블록 및 네거티브 샘플 이미지 블록을 이용하여 평가 모델에 포함된 분류기를 트레이닝하여 평가 모델을 업데이트할 수 있다.
업데이트부(1630)는 평가부(1620)에 의해 선택된 최적의 포지셔닝 결과에 기초하여 획득부(1610)에서 사용된 포지셔닝 모델을 업데이트할 수 있다.
평가 점수가 미리 설정된 임계값을 초과하는 새로운 포지셔닝 결과가 존재한 것을 확인하면, 업데이트부(1630)는 포지셔닝 결과에 대응하는 포지셔닝 모델을 확인할 수 있다.
업데이트부(1630)는 SIFT 특징을 결합한 특징 벡터에 기초하여 예를 들어, 온라인 K 평균값 방법으로 최적의 포지셔닝 결과가 해당하는 유형을 검색할 수 있다.
최적의 포지셔닝 결과가 원래의 K개의 포지셔닝 모델이 속한 어느 하나의 유형(예를 들어, Ak의 유형)에 해당되면, 업데이트부(1630)는 최적의 포지셔닝 결과를 Ak의 유형에 대응하는 트레이닝 세트 Ck에 추가할 수 있다. 업데이트부(1630)는 상술한 포지셔닝 모델을 트레이닝하는 방법으로 포지셔닝 모델Ak을 업데이트할 수 있다.
최적의 포지셔닝 결과가 원래의 K개의 포지셔닝 모델에 포함된 어느 하나의 유형에 해당되지 않으면, 업데이트부(1630)는 최적의 포지셔닝 결과에 대응하는 트레이닝 세트 CK+1를 새로 구성할 수 있다.
이때, 새로 구성된 트레이닝 세트 CK+1에 포함된 얼굴 이미지 샘플의 개수가 미리 설정된 값(예를 들어, 제2 임계값)을 초과하면, 업데이트부(1630)는 새로운 트레이닝 세트를 사용하여 새로운 포지셔닝 모델 AK+1를 트레이닝할 수 있다.
일실시예에 따르면, 복수의 포지셔닝 모델들을 이용함으로써 자세, 표정, 빛 등 요소에 의해 영향을 받더라도 안정적인 포지셔닝 결과를 얻을 수 있다.
일실시예에 따르면, 평가 모델을 이용한 평가에 기초하여 복수의 포지셔닝 결과 중 최적의 포지셔닝 결과를 선택하고, 포지셔닝 결과로부터 얻은 평가 점수를 이후의 다양한 후속 과정(예를 들어, 얼굴 식별)에서 이용할 수 있다.
이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 사전에 결정된(predetermined) 복수의 포지셔닝 모델(positioning model)을 이용하여, 입력 영상에 포함된 얼굴 영역의 키 포인트들(key points)의 위치를 포함하는 복수의 포지셔닝(positioning) 결과를 획득하는 단계;
    상기 키 포인트들(key points)의 위치에 대한 평가 모델(Evaluation Model)을 이용하여 상기 복수의 포지셔닝 결과를 평가하는 단계; 및
    상기 복수의 포지셔닝 결과 중 상기 평가 결과에 기초하여 선택된 포지셔닝 결과를 이용하여, 상기 포지셔닝 모델 및 상기 평가 모델 중 적어도 하나를 업데이트하는 단계
    를 포함하는, 포지셔닝 방법.
  2. 제1항에 있어서,
    상기 복수의 포지셔닝 결과를 획득하는 단계는,
    상기 입력 영상을, 상기 포지셔닝 모델 각각에 대응시키는 단계; 및
    상기 포지셔닝 모델 각각의 키 포인트들에 대응되는 상기 얼굴 영역의 키 포인트들의 위치를 획득하는 단계
    를 포함하는, 포지셔닝 방법.
  3. 제1항에 있어서,
    상기 복수의 포지셔닝 모델은
    얼굴 이미지 샘플들을 포함하는 트레이닝 세트들의 서로 다른 유형 각각에 대응하는, 포지셔닝 방법.
  4. 제1항에 있어서,
    얼굴 이미지 샘플들을 포함하는 서로 다른 유형의 트레이닝 세트들 각각을 이용하여 상기 포지셔닝 모델을 트레이닝하는 단계
    를 더 포함하는, 포지션이 방법.
  5. 제4항에 있어서,
    상기 사전에 결정된(predetermined) 복수의 포지셔닝 모델은 트레이닝(training)을 통해 획득된 복수의 포지셔닝 모델이고,
    상기 포지셔닝 모델을 상기 트레이닝하는 단계는,
    상기 서로 다른 유형의 트레이닝 세트들 각각에 포함된 상기 얼굴 이미지 샘플들의 키 포인트의 위치의 평균치를 획득하는 단계;
    상기 키 포인트의 위치의 평균치를 상기 얼굴 영역에 대응시켜 상기 키 포인트의 위치의 평균치에 대한 SIFT(Scale Invariant Feature Transform) 특징을 획득하는 단계;
    상기 SIFT 특징을 결합하여 특징 벡터를 획득하는 단계; 및
    상기 특징 벡터를 기초로, 상기 포지셔닝 모델을 트레이닝하는 단계
    를 포함하는, 포지셔닝 방법.
  6. 제5항에 있어서,
    상기 복수의 포지셔닝 결과를 획득하는 단계는,
    상기 특징 벡터를 기초로, 상기 얼굴 영역의 키 포인트들의 위치를 포함하는 상기 복수의 포지셔닝 결과를 획득하는 단계
    를 포함하는, 포지셔닝 방법.
  7. 제1항에 있어서,
    상기 포지셔닝 모델 및 상기 평가 모델 중 적어도 하나를 업데이트하는 단계는,
    상기 선택된 포지셔닝 결과를 이용하여 상기 얼굴 영역의 이미지 타입을 분류하는 단계;
    상기 분류된 이미지 타입의 기초로, 상기 포지셔닝 모델 및 상기 평가 모델 중 적어도 하나를 업데이트하는 단계
    를 포함하는, 포지셔닝 방법.
  8. 제1항에 있어서,
    상기 평가 모델은,
    상기 키 포인트들 각각에 대응하여 트레이닝된 복수의 분류기(clssifier)를 포함하는, 포지셔닝 방법.
  9. 제8항에 있어서,
    상기 복수의 포지셔닝 결과를 평가하는 단계는,
    상기 복수의 포지셔닝 결과에 포함된 키 포인트들 각각의 위치를 중심으로 하는 일정 크기의 이미지 블록들을 구성하는 단계;
    상기 이미지 블록들을, 상기 분류기에 입력하여 평가 점수를 획득하는 단계; 및
    상기 평가 점수를 이용하여 상기 복수의 포지셔닝 결과를 평가하는 단계
    를 포함하는, 포지셔닝 방법.
  10. 제9항에 있어서,
    상기 이미지 블록들은
    상기 이미지 블록의 중심 위치와 상기 키 포인트의 위치 간의 거리가 미리 설정된 거리를 초과하지 않는 포지티브 샘플 이미지 블록(positive sample image block) 및 상기 이미지 블록의 중심 위치와 상기 키 포인트의 위치 간의 거리가 상기 미리 설정된 거리를 초과하는 네거티브 샘플 이미지 블록(negative sample image block)을 포함하는, 포지셔닝 방법.
  11. 제9항에 있어서,
    상기 포지셔닝 모델 및 상기 평가 모델 중 적어도 하나를 업데이트하는 단계는,
    상기 평가 점수를 이용하여 상기 복수의 포지셔닝 결과 중 어느 하나의 포지셔닝 결과를 선택하는 단계;
    상기 선택된 포지셔닝 결과의 평가 점수와 미리 설정된 제1 임계치를 비교하는 단계; 및
    상기 비교 결과에 기초하여, 상기 평가 모델 및 상기 포지셔닝 모델 중 적어도 하나를 업데이트하는 단계
    를 포함하는, 포지셔닝 방법.
  12. 제11항에 있어서,
    상기 평가 모델을 업데이트하는 단계는,
    상기 선택된 포지셔닝 결과에 대응하는 입력 영상을 트레이닝 세트에 추가하는 단계;
    상기 선택된 포지셔닝 결과에 따른 키 포인트의 위치에 기초하여 일정 개수의 포지티브 샘플 이미지 블록 및 네거티브 샘플 이미지 블록을 생성하는 단계; 및
    상기 생성된 포지티브 샘플 및 네거티브 샘플을 사용하여 상기 분류기를 트레이닝하여 상기 평가 모델을 업데이트하는 단계
    를 포함하는, 포지셔닝 방법.
  13. 제11항에 있어서,
    상기 포지셔닝 모델을 업데이트하는 단계는,
    상기 선택된 포지셔닝 결과의 평가 점수가 상기 제1 임계치를 초과하는 경우, 상기 선택된 포지셔닝 결과에 대응하는 포지셔닝 모델의 유형을 확인하는 단계
    를 포함하는, 포지셔닝 방법.
  14. 제13항에 있어서,
    상기 포지셔닝 모델을 업데이트하는 단계는,
    상기 확인된 유형이 상기 포지셔닝 모델의 유형 중 어느 하나의 유형에 해당하는 경우, 상기 선택된 포지셔닝 결과를 상기 어느 하나의 유형에 대응하는 트레이닝 세트에 추가하는 단계; 및
    상기 선택된 포지셔닝 결과가 추가된 트레이닝 세트를 이용하여 상기 포지셔닝 모델을 트레이닝하여 상기 포지셔닝 모델을 업데이트하는 단계
    를 포함하는, 포지셔닝 방법.
  15. 제13항에 있어서,
    상기 포지셔닝 모델을 업데이트하는 단계는,
    상기 확인된 유형이 상기 포지셔닝 모델의 유형 중 어느 하나의 유형에 해당하지 않는 경우, 상기 선택된 포지셔닝 결과에 대응하는 새로운 트레이닝 세트를 구성하는 단계
    를 포함하는, 포지셔닝 방법.
  16. 제15항에 있어서,
    상기 새로운 트레이닝 세트에 포함된 얼굴 이미지 샘플의 개수가 미리 설정된 제2 임계값을 초과하면, 상기 새로운 트레이닝 세트에 포함된 얼굴 이미지 샘플에 기초하여 새로운 포지셔닝 모델을 트레이닝하는 단계
    를 더 포함하는, 포지셔닝 방법.
  17. 제1항 내지 제16항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  18. 입력 영상을 수신하는 통신부;
    사전에 결정된(predetermined) 복수의 포지셔닝 모델을 저장하는 메모리;
    상기 포지셔닝 모델을 이용하여, 상기 입력 영상에 포함된 얼굴 영역의 키 포인트들의 위치를 포함하는 복수의 포지셔닝 결과를 획득하고, 상기 복수의 포지셔닝 결과를 상기 키 포인트들(key points)의 위치에 대한 평가 모델을 이용하여 평가한 결과에 기초하여 선택된 포지셔닝 결과를 이용하여, 상기 포지셔닝 모델 및 상기 평가 모델 중 적어도 하나를 업데이트하는 프로세서
    를 포함하는, 포지셔닝 장치.
  19. 제18항에 있어서,
    상기 프로세서는,
    상기 복수의 포지셔닝 결과에 포함된 키 포인트들 각각의 위치를 중심으로 하는 일정 크기의 이미지 블록들을 구성하고, 상기 이미지 블록들을, 상기 키 포인트들 각각에 대응하여 트레이닝된 복수의 분류기에 입력하여 평가 점수를 획득하며, 상기 평가 점수를 이용하여 상기 복수의 포지셔닝 결과를 평가하는, 포지셔닝 장치.
  20. 제19항에 있어서,
    상기 프로세서는,
    상기 평가 점수를 이용하여 상기 복수의 포지셔닝 결과 중 어느 하나의 포지셔닝 결과를 선택하고, 상기 선택된 포지셔닝 결과의 평가 점수와 미리 설정된 제1 임계치와의 비교 결과에 기초하여, 상기 평가 모델 및 상기 포지셔닝 모델 중 적어도 하나를 업데이트하는, 포지셔닝 장치.
PCT/KR2014/011793 2013-12-13 2014-12-04 얼굴의 키 포인트들에 대한 포지셔닝 방법 및 장치 WO2015088179A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020167017600A KR102068249B1 (ko) 2013-12-13 2014-12-04 얼굴의 키 포인트들에 대한 포지셔닝 방법 및 장치
US15/172,751 US10002308B2 (en) 2013-12-13 2016-06-03 Positioning method and apparatus using positioning models

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310684862.6 2013-12-13
CN201310684862.6A CN104715227B (zh) 2013-12-13 2013-12-13 人脸关键点的定位方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/172,751 Continuation US10002308B2 (en) 2013-12-13 2016-06-03 Positioning method and apparatus using positioning models

Publications (1)

Publication Number Publication Date
WO2015088179A1 true WO2015088179A1 (ko) 2015-06-18

Family

ID=53371432

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/011793 WO2015088179A1 (ko) 2013-12-13 2014-12-04 얼굴의 키 포인트들에 대한 포지셔닝 방법 및 장치

Country Status (4)

Country Link
US (1) US10002308B2 (ko)
KR (1) KR102068249B1 (ko)
CN (1) CN104715227B (ko)
WO (1) WO2015088179A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715227B (zh) * 2013-12-13 2020-04-03 北京三星通信技术研究有限公司 人脸关键点的定位方法和装置
CN105354531B (zh) * 2015-09-22 2019-05-21 成都通甲优博科技有限责任公司 一种面部关键点的标注方法
CN106874826A (zh) * 2015-12-11 2017-06-20 腾讯科技（深圳）有限公司 人脸关键点跟踪方法和装置
CN105426870B (zh) * 2015-12-15 2019-09-24 北京文安智能技术股份有限公司 一种人脸关键点定位方法及装置
CN107169397B (zh) * 2016-03-07 2022-03-01 佳能株式会社 特征点检测方法及装置、图像处理系统和监视系统
CN106295511B (zh) * 2016-07-26 2019-05-21 北京小米移动软件有限公司 人脸跟踪方法及装置
CN106295567B (zh) * 2016-08-10 2019-04-12 腾讯科技（深圳）有限公司 一种关键点的定位方法及终端
CN106407958B (zh) * 2016-10-28 2019-12-27 南京理工大学 基于双层级联的面部特征检测方法
CN106778585B (zh) * 2016-12-08 2019-04-16 腾讯科技（上海）有限公司 一种人脸关键点跟踪方法和装置
CN106980845B (zh) * 2017-04-24 2020-02-21 西安电子科技大学 基于结构化建模的人脸关键点定位方法
CN108596022B (zh) * 2018-03-13 2021-09-28 广东合晟网络科技有限公司 一种可移动的图像识别系统
CN109034069B (zh) * 2018-07-27 2021-04-09 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109635752B (zh) * 2018-12-12 2021-04-27 腾讯科技（深圳）有限公司 人脸关键点的定位方法、人脸图像处理方法和相关装置
CN109753580A (zh) * 2018-12-21 2019-05-14 Oppo广东移动通信有限公司 一种图像分类方法、装置、存储介质及电子设备
CN109766872B (zh) * 2019-01-31 2021-07-09 广州视源电子科技股份有限公司 图像识别方法和装置
CN110111418B (zh) 2019-05-15 2022-02-25 北京市商汤科技开发有限公司 创建脸部模型的方法、装置及电子设备
CN111754415B (zh) * 2019-08-28 2022-09-27 北京市商汤科技开发有限公司 人脸图像处理方法及装置、图像设备及存储介质
CN113642503B (zh) * 2021-08-23 2024-03-15 国网山东省电力公司金乡县供电公司 基于图像和语音识别的窗口服务评分方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080298643A1 (en) * 2007-05-30 2008-12-04 Lawther Joel S Composite person model from image collection
US20090185723A1 (en) * 2008-01-21 2009-07-23 Andrew Frederick Kurtz Enabling persistent recognition of individuals in images
KR101089847B1 (ko) * 2010-03-12 2011-12-05 경북대학교 산학협력단 얼굴 인식을 위한 ｓｉｆｔ 알고리즘을 이용한 키포인트 매칭 시스템 및 방법
US20120002867A1 (en) * 2009-03-13 2012-01-05 Nec Corporation Feature point generation system, feature point generation method, and feature point generation program
KR101130817B1 (ko) * 2011-09-27 2012-04-16 (주)올라웍스 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118887A (en) * 1997-10-10 2000-09-12 At&T Corp. Robust multi-modal method for recognizing objects
DE19917660A1 (de) * 1999-04-19 2000-11-02 Deutsch Zentr Luft & Raumfahrt Verfahren und Eingabeeinrichtung zum Steuern der Lage eines in einer virtuellen Realität graphisch darzustellenden Objekts
US6807290B2 (en) 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
DE10043460C2 (de) * 2000-09-04 2003-01-30 Fraunhofer Ges Forschung Auffinden von Körperpartien durch Auswerten von Kantenrichtungsinformation
US7218760B2 (en) 2003-06-30 2007-05-15 Microsoft Corporation Stereo-coupled face shape registration
JP4518092B2 (ja) 2006-03-31 2010-08-04 ソニー株式会社 物体認識装置、物体認識方法、物体認識プログラム、特徴量登録装置、特徴量登録方法、及び特徴量登録プログラム
JP2008059197A (ja) 2006-08-30 2008-03-13 Canon Inc 画像照合装置、画像照合方法、コンピュータプログラム及び記憶媒体
KR20080068988A (ko) 2007-01-22 2008-07-25 뷰웨이 주식회사 점진적 활성형상모델을 이용한 얼굴 윤곽 검출
US8155399B2 (en) 2007-06-12 2012-04-10 Utc Fire & Security Corporation Generic face alignment via boosting
CN101216884B (zh) * 2007-12-29 2012-04-18 北京中星微电子有限公司 一种人脸认证的方法及系统
JP5176572B2 (ja) 2008-02-05 2013-04-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5202037B2 (ja) 2008-02-29 2013-06-05 キヤノン株式会社 特徴点位置決定方法及び装置
US8165354B1 (en) 2008-03-18 2012-04-24 Google Inc. Face recognition with discriminative face alignment
CN101339607B (zh) * 2008-08-15 2012-08-01 北京中星微电子有限公司 人脸识别方法及系统、人脸识别模型训练方法及系统
US8068662B2 (en) 2009-03-30 2011-11-29 Hermes Microvision, Inc. Method and system for determining a defect during charged particle beam inspection of a sample
WO2011034963A2 (en) * 2009-09-15 2011-03-24 Sony Corporation Combining multi-sensory inputs for digital animation
CN101719222B (zh) * 2009-11-27 2014-02-12 北京中星微电子有限公司 分类器训练方法和装置以及人脸认证方法和装置
KR101096049B1 (ko) 2010-06-24 2011-12-19 한국과학기술원 강인한 얼굴 인식을 위한 얼굴 자동 정렬 시스템 및 방법
US8478077B2 (en) 2011-03-20 2013-07-02 General Electric Company Optimal gradient pursuit for image alignment
US9251402B2 (en) 2011-05-13 2016-02-02 Microsoft Technology Licensing, Llc Association and prediction in facial recognition
CN103136513B (zh) * 2013-02-05 2015-11-11 山东神思电子技术股份有限公司 一种改进的asm人脸特征点定位方法
CN103440510A (zh) * 2013-09-02 2013-12-11 大连理工大学 一种面部图像中特征点的定位方法
JP6187817B2 (ja) * 2013-10-09 2017-08-30 アイシン精機株式会社 顔検出装置、方法およびプログラム
US9558396B2 (en) * 2013-10-22 2017-01-31 Samsung Electronics Co., Ltd. Apparatuses and methods for face tracking based on calculated occlusion probabilities
CN104715227B (zh) * 2013-12-13 2020-04-03 北京三星通信技术研究有限公司 人脸关键点的定位方法和装置
WO2015117904A1 (de) * 2014-02-04 2015-08-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hough-prozessor
US20160300100A1 (en) * 2014-11-10 2016-10-13 Intel Corporation Image capturing apparatus and method
US10154818B2 (en) * 2014-12-24 2018-12-18 Samsung Electronics Co., Ltd. Biometric authentication method and apparatus
US10217292B2 (en) * 2015-11-25 2019-02-26 Intel Corporation 3D scene reconstruction using shared semantic knowledge

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080298643A1 (en) * 2007-05-30 2008-12-04 Lawther Joel S Composite person model from image collection
US20090185723A1 (en) * 2008-01-21 2009-07-23 Andrew Frederick Kurtz Enabling persistent recognition of individuals in images
US20120002867A1 (en) * 2009-03-13 2012-01-05 Nec Corporation Feature point generation system, feature point generation method, and feature point generation program
KR101089847B1 (ko) * 2010-03-12 2011-12-05 경북대학교 산학협력단 얼굴 인식을 위한 ｓｉｆｔ 알고리즘을 이용한 키포인트 매칭 시스템 및 방법
KR101130817B1 (ko) * 2011-09-27 2012-04-16 (주)올라웍스 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
CN104715227B (zh) 2020-04-03
US20160283820A1 (en) 2016-09-29
CN104715227A (zh) 2015-06-17
US10002308B2 (en) 2018-06-19
KR102068249B1 (ko) 2020-02-11
KR20160111376A (ko) 2016-09-26

Similar Documents

Publication Publication Date Title
WO2015088179A1 (ko) 얼굴의 키 포인트들에 대한 포지셔닝 방법 및 장치
WO2021080103A1 (en) Method for learning and testing user learning network to be used for recognizing obfuscated data created by concealing original data to protect personal information and learning device and testing device using the same
WO2019151735A1 (en) Vision inspection management method and vision inspection system
WO2020138745A1 (en) Image processing method, apparatus, electronic device and computer readable storage medium
WO2016064132A1 (en) Wearable device and method of transmitting content
WO2015135443A1 (en) Method and apparatus for simulating sound in virtual scenario, and terminal
WO2020101350A1 (en) Method for processing data using neural network and electronic device for supporting the same
WO2019124811A1 (en) Fingerprint verification method and electronic device performing same
WO2020017902A1 (en) Method and apparatus for performing user authentication
WO2015137666A1 (ko) 오브젝트 인식 장치 및 그 제어 방법
WO2021177695A1 (en) Electronic device for providing transaction information and operating method thereof
WO2022240030A1 (ko) 반려동물 생애 관리 시스템 및 그 방법
WO2020168606A1 (zh) 广告视频优化方法、装置、设备及计算机可读存储介质
WO2020032567A1 (en) Electronic device for providing information on item based on category of item
WO2022075668A1 (ko) 인공지능 모델을 분산 처리하는 시스템 및 그 동작 방법
WO2020130301A1 (en) Electronic device for tracking user activity and method of operating the same
WO2020017686A1 (ko) 인공지능 서버 및 인공지능 디바이스
WO2011068315A4 (ko) 최대 개념강도 인지기법을 이용한 최적의 데이터베이스 선택장치 및 그 방법
WO2019074185A1 (en) ELECTRONIC APPARATUS AND CONTROL METHOD THEREOF
EP3659073A1 (en) Electronic apparatus and control method thereof
WO2023229094A1 (ko) 행동 예측 방법 및 장치
WO2019240434A1 (en) Electronic device and method of controlling thereof
WO2021167210A1 (ko) 서버, 전자 장치 및 그들의 제어 방법
WO2021230449A1 (ko) 연합 학습을 위한 전자 장치를 제어하는 방법 및 디바이스
WO2021158040A1 (ko) 대화의 맥락에 대응하는 발화를 제공하는 전자 장치 및 이의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14869065

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20167017600

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 14869065

Country of ref document: EP

Kind code of ref document: A1